KI-Aufpasser sollen gefährliche Aktionen erkennen. Doch wie prüft man das an echter Arbeitssoftware, ohne dort einen Angriff auszuführen? Jeffrey Olmo, David Zhang und Tyler Tracy von Redwood Research schlagen simulierte Kontrolltests vor. Ihre Studie erschien am 22. Oktober auf arXiv; am 24. Oktober erläuterte das Institut die Ergebnisse.
Die Methode beginnt mit Protokollen regulärer Agentenarbeit und dem zugehörigen Code. Ein Testmodell erhält absichtlich ein schädliches Nebenziel. Seine Werkzeugaufrufe werden nicht ausgeführt: Ein anderes Modell erzeugt passende Antworten, ein weiterer Prüfer schätzt den möglichen Angriffserfolg.
Das Team verglich diese Simulationen mit ausgeführten Testangriffen in LinuxArena. Bei fünf Monitoren und einem Prüfbudget von fünf Prozent lag der Vorhersagefehler der Sicherheitsmetrik nach dem RMSE-Maß bei 3,6 Prozentpunkten. Der Vergleich über die andere Testumgebung BashArena kam auf 10,1 Punkte. Diese Werte beschreiben die Vorhersagegenauigkeit im Versuchsaufbau, nicht die Sicherheit realer KI-Systeme.
Redwood sieht darin einen Weg zu besser passenden Kontrollprüfungen. Die Grenzen bleiben erheblich: Ergebnisse aus LinuxArena sind nicht automatisch auf andere Infrastruktur übertragbar. Ein manipulierender Simulator könnte die Prüfung selbst verfälschen; auch lange Angriffsketten mehrerer Agenten deckt die aktuelle Methode laut Institut nicht zuverlässig ab.