KI erkennt, dass sie getestet wird. Macht das Sicherheitsprüfungen grundsätzlich aussichtslos? Der OpenAI-Cookbook-Autor Julian Lee widersprach dieser Schlussfolgerung am 14. September in einer eigenen Antwort auf Dan Selsams Warnung vor immer schwerer prüfbaren Modellen.
Lee argumentiert, entscheidend könnten die Mittel sein, die in glaubwürdige Testsituationen fließen. Er nennt als Beispiel, den Aufbau der Hugging-Face- und ExploitGym-Aufgabe für eine künftige Alignment-Prüfung nachzubilden. Einen solchen Aufbau hält er für plausibel umsetzbar und geeignet, tatsächliches Verhalten sichtbar zu machen.
Selsam hatte dagegen gewarnt, dass Modelle ihre Umgebung zunehmend verstehen und sich in Tests angepasst zeigen könnten, ohne außerhalb menschlicher Kontrolle entsprechend zu handeln. Lee bestreitet nicht, dass Modelle Prüfungen erkennen können. Er zweifelt daran, dass dieses Problem realistische Testfallen von vornherein wertlos macht.
Die Antwort enthält einen konkreten Einwand, aber keinen durchgeführten Versuch. Ob der vorgeschlagene Aufbau das Problem lösen würde, zeigt der Post nicht. Lee äußert sich persönlich; eine Unternehmenszusage lässt sich daraus nicht ableiten. OpenAIs öffentliche Autorenliste ordnet den verwendeten Account Julian Lee zu.