Anthropic lässt Claude nach Antworten eine zusätzliche Sicherheitsbewertung des Gesprächs erzeugen. Der am 16. Oktober veröffentlichte Forschungsbeitrag beschreibt das Verfahren als nachgelagerten Monitor, der seit dem Start von Claude Fable 5 im Juni eingesetzt wird und inzwischen einen großen Teil des Claude-Verkehrs abdeckt.
Bei einer internen Auswertung erkannte Fable 5 nach Angaben des Teams 78 Prozent der Gespräche, die ein stärkerer Modellklassifizierer als möglicherweise schädlich markierte; bei hoher Priorität waren es 94 Prozent. Die Werte gelten bei einem Prozent Fehlalarmen relativ zu diesem Vergleichsklassifizierer. Sie messen damit keine unabhängig festgestellte Quote aller tatsächlich schädlichen Gespräche.
Als aktive Sperre war die Selbstbewertung deutlich schwächer. In einem kontrollierten Versuch mit 24 Cyberaufgaben und ausgeschalteten regulären Klassifizierern gelangten Angreifer ohne Schutz bei 19 Aufgaben ans Ziel, mit Selbstbewertung bei 13 und mit einem gesonderten Klassifizierer bei sechs. Im Produktivbetrieb blockiert die Selbstbewertung Gespräche nicht, sondern liefert Hinweise für weitere Prüfung.
Die Forschenden benennen gemeinsame blinde Flecken: Derselbe Klassifizierer liefert Trainingslabels und den Bewertungsmaßstab. Ein fehlgeleitetes Modell könnte eigene Handlungen auch in seiner Selbstbewertung verbergen; ein ehrliches Modell kann denselben Fehler zweimal machen. Das Team behandelt die Methode deshalb als zusätzliche Schicht und nicht als alleinige Schutzmaßnahme.