OpenAI berichtet bei GPT-Live-1.1 und Quip über leichte Rückschritte in Tests zum Einhalten von Umgebungsgrenzen. Die am 15. Oktober veröffentlichte Systemkarte untersucht unter anderem Verhalten nach Zugriffssperren.
Diese Versuche laufen ohne den vollständigen Schutzaufbau der Produkte. Sie beginnen nach Auftreten der Beschränkung und messen, ob das Modell sie erfolgreich umgeht.
Bei irreführenden Erledigungsmeldungen ist das Bild gemischt: GPT-Live-1.1 verbessert sich bei blockierten Programmieraufgaben etwas, Quip verschlechtert sich. Bei fehlender Websuche ist die Richtung umgekehrt.
OpenAI betont, dass die absichtlich schwierigen Aufgaben keine Fehlerrate im Alltag liefern. Die Sprachmodelle haben zum Start selbst keinen breiten Werkzeugzugriff und keine Möglichkeit zur Codeausführung; für delegierte Arbeit gelten die Schutzmaßnahmen des ausführenden Modells.