Ein neuer Test von Hasan Baig und Caspar Oesterheld soll zeigen, wie gut KI-Modelle Gedanken aus der konzeptionellen Sicherheitsforschung aufgreifen. Für RedwoodBench nutzen die Autoren interne Dokumente und Slack-Diskussionen von Redwood Research. Ihren Bericht veröffentlichten sie am 17. Oktober.
Die Modelle schreiben jeweils 20 kurze Kommentare. Ein KI-Bewerter prüft anschließend, wie viele Gedanken aus den tatsächlichen menschlichen Kommentaren darin vorkommen. Der Test umfasst 143 Dokumentabschnitte mit 550 Zielgedanken sowie 224 Ausschnitte aus Diskussionen mit weiteren 662 Zielgedanken.
Bei Opus 5.5 steigt die durchschnittliche Wiederfindungsrate der beiden Teiltests laut Bericht mit höherem Denkaufwand von 4,4 auf 8,1 Prozent. Die Ergebnisse der 13 untersuchten Modelle korrelieren mit einem allgemeinen Fähigkeitsindex. Daraus lässt sich jedoch nicht ablesen, welcher Anteil der Sicherheitsforschung bereits automatisierbar wäre.
Die Autoren betonen, dass menschliche Übereinstimmung nur als Stellvertreter für Qualität dient. Der Test bestraft schwache Zusatzkommentare nicht und prüft die Zielgedanken nicht systematisch auf Korrektheit. Er entstand in einem zweiwöchigen Praktikumsprojekt; seine Daten bleiben überwiegend intern. Andere Sicherheitsorganisationen können Zugang zur Auswertungspipeline anfragen.