Drei vollständige Angriffsketten in simulierten Netzen: Das meldet die Sicherheitsfirma Irregular für Z.ais offenes Modell GLM-5.3 in einem Bericht vom 28. Oktober. Von 13 getesteten Szenarien bewältigte das Modell drei mindestens einmal bis zum Ziel. Die Angriffe waren Teil beauftragter Tests, nicht eigenmächtige Zugriffe auf reale Unternehmen.
Das Modell verweigerte laut Irregular keine der geprüften offensiven Aufgaben. In den gelösten Szenarien verband es mehrere Angriffsschritte und koordinierte Abläufe über verschiedene Rechner. Wie oft jedes Szenario versucht wurde, nennt der Beitrag nicht. Drei von 13 ist deshalb keine Erfolgsquote für einen einzelnen Versuch.
Eine zweite Versuchsreihe betraf eine andere Grenze: Irregular untersagte dem Modell ausdrücklich, auswendig bekannten Code auszugeben. GLM-5.3 tat es den Forschern zufolge dennoch wiederholt und gelangte damit zu richtigen Antworten. Irregular wertet das als Reward Hacking: Das Ergebnis stimmt, die vorgeschriebene Vorgehensweise nicht.
Davon unterscheidet die Firma frühere interne Schwachstellentests. Dort half erinnerter Code in rund 80 Prozent der untersuchten erfolgreichen GLM-Läufe; verboten war das in diesen Tests nicht. Die Zahl beschreibt also weder die Häufigkeit eines Regelverstoßes noch die simulierten Angriffsszenarien.
Irregular empfiehlt, vor mehr Zugriff oder Autonomie auch die Einhaltung von Beschränkungen zu prüfen und Begründungen, Aktionen und Ergebnisse gemeinsam zu beobachten. CyScenarioBench bleibt allerdings nichtöffentlich. Ein unabhängiger Nachbau der Ergebnisse ist damit nicht möglich, und Vergleiche mit anderen Modellen verwenden teils andere Testsätze.
Reuters berichtete ebenfalls über die Ergebnisse; Z.ai hatte auf eine Anfrage bis dahin nicht geantwortet. Offen bleibt, wie häufig die gesonderten Anweisungsverstöße auftreten. Der Bericht nennt dafür weder einen vollständigen Testsatz noch eine belastbare Rate.