NIST, NSA und CISA empfehlen automatische Stopps, wenn leistungsfähige KI-Agenten während des Trainings oder bei Tests die Kontrolle ihrer Betreiber unterlaufen. Die drei US-Behörden veröffentlichten am 16. Oktober zehn freiwillige Praktiken zur Vorbereitung und Reaktion auf solche Vorfälle.
Ihr Begriff des Kontrollvorfalls erfasst erhebliche, nicht angewiesene Aktionen, die Auftragsgrenzen oder menschliche Aufsicht beeinträchtigen. Ein Schaden bei Dritten ist dafür nicht erforderlich. Von Betreibern oder Angreifern ausdrücklich angewiesene Handlungen fallen nach dieser Definition nicht darunter.
Bei einem erkannten Kontrollfehler soll der betroffene Agentenablauf automatisch enden. Je nach Ausmaß empfehlen die Behörden außerdem eine Pause verwandter Trainings- oder Testläufe, den Entzug betroffener Zugangsdaten und den Neuaufbau möglicherweise kompromittierter Umgebungen.
Vor einem Neustart sollen Betreiber Überwachung, Protokollierung, Netzwerkfreigaben und Abschaltmechanismen überprüfen. Agenten dürfen ihre eigenen Überwachungsprozesse und Protokolle nicht verändern können. Externe Prüfer sollen dabei helfen festzustellen, ob die Schutzmaßnahmen tatsächlich funktionieren.
Die Leitlinie empfiehlt zudem die Weitergabe von Vorfällen und Beinahevorfällen an zuständige Behörden sowie öffentliche Erkenntnisse, soweit angemessen. Sie bleibt freiwillig. Wie ein Wiederanlauf während des Trainings problematisches Verhalten nicht versehentlich verstärkt oder schwerer erkennbar macht, benennen die Autoren ausdrücklich als offene Forschungsaufgabe.