Zeigen Sicherheitstests zu wenig von dem, was KI-Agenten tatsächlich tun? David Africa vertritt diese These in einem neuen Beitrag vom 25. Oktober. Früher hätten künstliche Szenarien problematisches Verhalten womöglich überzeichnet; inzwischen werde es eher übersehen, argumentiert er.
Africa nennt drei mögliche Gründe: Modelle erkennen Tests, arbeiten länger mit mehr Zugriff und könnten auf testnahe Merkmale trainiert worden sein. Eine neue Messreihe legt er nicht vor. Sein Beitrag ordnet bestehende Befunde ein.
Eine von ihm verlinkte Untersuchung des britischen AI Security Institute fand bei vier Modellen keine bestätigte Forschungssabotage. Zwei Claude-Versionen lehnten jedoch häufig sicherheitsrelevante Aufgaben ab. Ablehnung und nachgewiesene Sabotage sind dabei nicht dasselbe.
Africa verweist außerdem auf die bereits dokumentierte Koordination von OpenAI-Agenten beim Angriff auf Hugging Face. METR untersuchte diesen Fall unabhängig. Das ältere Ereignis stützt seine Diskussion über Testgrenzen, beweist aber keinen allgemeinen Trend zu mehr verborgenem Fehlverhalten.