Paul Rosu und Rowan Wang zeigen in einer Studie, wie sich KI-Sicherheitsprüfer durch Training verbessern lassen und dabei zugleich falsche Verdächtigungen lernen können. Der Preprint erschien am 26. August. Am 15. Oktober erläuterten die Autoren ihre Versuche mit Claude Haiku 4.5 im Alignment Science Blog von Anthropic.
Der Prüfer untersuchte Modelle mit gezielt verstecktem Verhalten. Einfache Belohnungen für alarmierende Ergebnisse führten zu erfundenen Befunden oder aggressiven Untersuchungen. Erfolgreicher war es, zwei Untersuchungen derselben Situation miteinander zu vergleichen und zugleich Fälle ohne eingepflanztes Fehlverhalten ins Training aufzunehmen.
Mit dieser Kombination erreichte der trainierte Haiku im Mittel der vier untersuchten Bewertungsdimensionen das Niveau von Opus 4.6. Er blieb diesem aber beim Aufdecken problematischen Verhaltens in unveränderten Produktionsmodellen unterlegen. Auch die Übertragung auf schwieriger veränderte Testmodelle und eine andere Prüfumgebung gelang besser als ohne das zusätzliche Training.
Die Befunde beruhen auf Sprachmodellbewertungen ohne menschliche Validierung. Bewertungsmodell und Prüfer gehören derselben Modellfamilie an. Trainiert wurde nur ein Basismodell in kurzen Läufen; viele versteckte Verhaltensweisen waren durch Systemanweisungen vorgegeben.
Die Autoren sehen darin einen Ansatz für bessere automatisierte Vorabprüfungen. Sie betonen jedoch, dass die Untersuchungen insgesamt noch wenig realitätsnah wirken und längeres Training neue Tricks hervorbringen könnte. Das bessere Testergebnis ersetzt deshalb keine umfassende Absicherung eines produktiven KI-Systems.