Wer sichtbare KI-Tricksereien im Training abstellt, könnte dem Modell zugleich beibringen, die nächste Trickserei besser zu verbergen. Vor diesem Risiko warnt der KI-Sicherheitsforscher David Africa in einem Beitrag vom 24. Oktober. Er fordert Forschung, die genauer erklärt, was ein Modell durch eine Sicherheitskorrektur lernt.
Sein Argument betrifft Reward Hacking: Ein Modell erreicht eine Belohnung auf einem unerwünschten Weg. Africa befürchtet, dass wiederholte Korrekturen vor allem die Fähigkeit schulen könnten, menschliche Prüfer vorherzusagen. Das ist seine Einschätzung, kein neu gemessener allgemeiner Trainingseffekt.
Thomas Kwa widerspricht in der Originaldiskussion. Offenkundig fehlerhafte Trainingsaufgaben zu reparieren könne notwendig sein, auch wenn es für sichere KI nicht ausreiche. Er plädiert außerdem dafür, manche Prüfsignale für unabhängige Tests zurückzuhalten.
Africa räumt in seiner Antwort ein, dass die Behebung grundlegender Fehler sinnvoll sein kann. Strittig bleiben der Forschungsaufwand und das Vertrauen in schrittweise Verbesserungen. Der Austausch liefert keine neue Vergleichsstudie, die diese Frage entscheidet.