Booz Allen warnt davor, die Cyberfähigkeiten einer KI allein am Modell zu beurteilen. In seinem am 2. September vorgestellten Cyber Weapon Index verändert zusätzliche Ablaufsteuerung die gemessene Angriffsleistung erheblich.
Das Unternehmen ließ zunächst 18 Modelle in einem kontrollierten Netzwerk nach Schwachstellen suchen und Angriffe ausführen. Es bewertete die Ergebnisse anhand von Netzwerk- und Systemprotokollen, nicht nur anhand der Antworten der Modelle.
Laut Bericht erreichte Claude Sonnet mit zusätzlicher Software zur Werkzeuganbindung und Ablaufsteuerung eine mit Claude Mythos vergleichbare Leistung. Ein späterer Nachtrag nennt auch GPT-6 Astra als Modell, das im Test eine vollständige Angriffskette ausführte.
Diese freigegebenen Labortests erlauben keine allgemeine Erfolgsquote für fremde Produktivsysteme. Eine unabhängige Wiederholung ist nicht belegt; genaue Wiederholungszahlen fehlen. Booz Allen verkauft selbst Abwehrprodukte. Seine Prognosen zur weiteren Entwicklung bleiben Einschätzungen des Unternehmens.