OpenAI-Forschende Melody Guan, Yuxiang Xie und Bowen Baker haben am 20. Oktober zwei ergänzende Verfahren zur Bewertung von KI-Monitoren vorgestellt. Sie sollen unterscheiden, ob ein Modell tatsächlich leichter zu überwachen ist oder lediglich auf einer anderen Mischung von Aufgaben bewertet wurde, und welches Risiko nach einer simulierten Freigabekontrolle verbleibt.
Das erste Verfahren vergleicht Modelle auf gemeinsam auswertbaren Aufgaben. Damit soll verhindert werden, dass Unterschiede im Schwierigkeitsgrad der ausgewählten Beispiele als Unterschiede der Überwachbarkeit erscheinen. Auch dieser Abgleich garantiert nach Darstellung der Autoren keine identischen Verhaltensweisen auf derselben Aufgabe.
Das zweite Verfahren simuliert, dass ein Monitor Ausgaben zurückweist und das Modell weitere Versuche erhält. In den untersuchten Auswertungen vermindert die Kontrolle das Risiko im Mittel, während zusätzliche Versuche einen Teil dieses Vorteils wieder aufzehren. OpenAI erklärt ausdrücklich, seine aktuellen Modelle nicht nach diesem hypothetischen Schema einzusetzen.
Die Autoren empfehlen deshalb, verbleibendes Fehlverhalten gemeinsam mit der Freigaberate und der Zahl zulässiger Versuche anzugeben. Ein kleiner Risikowert kann auch entstehen, weil kaum etwas freigegeben wird. Die neuen Maße ergänzen die bisherige Kennzahl g-mean²; sie liefern keine allgemeine Sicherheitsgarantie.