Bekannte KI-Fehler sollen vor dem nächsten Einsatz zu verbindlichen Anforderungen werden. Das fordern AI-Incident-Database-Gründer Sean McGregor und Andrew Burt, Geschäftsführer des KI-Testanbieters Luminos.AI, in einem gemeinsamen Beitrag vom 28. Oktober. Sie warnen, dass Unternehmen dieselben Kontrollprobleme immer wieder in neue Systeme übernehmen.
Die Autoren ziehen eine Linie von problematischen Chatbot-Antworten zu Agenten, die tatsächlich Befehle ausführen. Ihr zentraler Unterschied: Eine falsche Aussage lässt sich ignorieren, eine ausgeführte Aktion kann unmittelbar Systeme verändern. Die historischen Fälle dienen ihrer Argumentation; der Beitrag legt keine neue Versuchsreihe oder Messung einer Vorfallsrate vor.
Für Unternehmen schlagen McGregor und Burt konkrete Schritte vor. Vor der Einführung eines Agenten sollten Verantwortliche ihren Einsatzzweck mit früheren Vorfällen abgleichen und beim Anbieter nachfragen, welche Fehlerklassen abgefangen wurden und wie das nachgewiesen ist. Erfahrungen anderer Unternehmen sollten in Verträge, Testpläne und Abnahmekriterien einfließen.
Auch juristisch wollen sie nicht auf völlig neue Instrumente warten. Sie nennen unter anderem Fahrlässigkeit, Produkthaftung und Regeln gegen unbefugte Computerzugriffe als mögliche Hebel. Das ist ihr rechtspolitischer Ansatz, kein Urteil darüber, dass ein bestimmter Schaden bereits von einem Gericht geklärt oder ein KI-System dadurch sicher geworden ist.
Der Beitrag begleitet die eigene Videoserie Inside the Incident. McGregor leitet die Responsible AI Collaborative, Burt bietet mit Luminos.AI Tests für KI-Agenten an. Ihre Forderung richtet sich besonders an Menschen, die über Beschaffung und Freigabe entscheiden: Aus einem bekannten Vorfall soll eine überprüfbare Anforderung werden.