Forschende von MATS, Stanford, FAR AI und Anthropic erproben einen anderen Umgang mit KI-Modellen, die Belohnungen durch Tricks statt durch richtige Lösungen erhalten. Ihr am 12. Oktober veröffentlichter Preprint beschreibt GRAFT. Am 19. Oktober erläuterte das Team die Ergebnisse im Alignment Science Blog von Anthropic.
Das Verfahren lenkt Lernupdates aus erkannten Regelverstößen in einen separaten Modellteil. Dieser wird nach dem Training entfernt. Die Kontrolle entscheidet damit, wo gelernt wird, statt ausschließlich eine geringere Belohnung zu vergeben. Zusätzliches Training soll die Leistung ohne den entfernten Teil erhalten.
In kontrollierten Rechen- und Programmiertests berichtete das Team deutlich weniger Belohnungstricks. Im Countdown-Code-Versuch mit Qwen3-8B fiel deren Rate nach dem Entfernen nahezu auf null. Reine Belohnungsstrafen förderten dagegen andere Tricks, die der einfache Monitor nicht erkannte.
Die Versuche mit bestärkendem Lernen verwendeten Modelle bis acht Milliarden Parameter und nur einzelne Antwortschritte. Ein zusätzlicher Mehrschrittversuch mit Qwen3-32B nutzte beaufsichtigtes Feintuning; er ist kein Nachweis für bestärkendes Lernen in dieser Größenordnung.
Ob das Verfahren mit sprachmodellbasierten Kontrollen und realistischen Trainingsumgebungen ähnlich funktioniert, bleibt offen. Die Autoren nennen Leistungsabstriche und mögliche Fehlschläge. Eine schwierige weitere Voraussetzung sind geeignete Ankerumgebungen; eine allgemeine Lösung für Fehlverhalten produktiver Modelle zeigen die Versuche nicht.