METR hat am 20. Oktober erhebliche Zweifel an der Aussagekraft von Anthropics Tests auf gefährliches Fehlverhalten veröffentlicht. Für die im August-Bericht betrachteten Modelle hält das Institut das Katastrophenrisiko zwar ebenfalls für niedrig. Es begründet dies aber vor allem mit begrenzten Fähigkeiten, nicht mit nachgewiesen verlässlichen Schutzmaßnahmen.
Die Prüfung von Nikola Jurkovic, Tim Hua und Beth Barnes betrifft Modelle, die bis zum 15. Juli eingesetzt wurden. Sie ist keine aktuelle Sicherheitsfreigabe für alle Claude-Modelle. METR warnt, dass die verwendeten Methoden ein höheres Risiko möglicherweise nicht rechtzeitig erkennen würden.
Das Institut empfiehlt umfassende Belastungstests der tatsächlichen Überwachung und eine ausdrückliche Prüfung, ob KI sicherheitsrelevante Entscheidungen beeinflussen könnte. Vergleiche mit anderer Testüberwachung reichten dafür nicht aus. Anthropic hatte in seinem Bericht selbst Unsicherheit und Grenzen eingeräumt.
METR hatte ausgewählte ungeschwärzte Berichtsteile, aber noch nicht den später angekündigten erweiterten internen Zugang. Anthropic konnte die Veröffentlichung verhindern oder Teile schwärzen; laut METR blieb die Prüfung ungeschwärzt und ihre Schlussfolgerungen unverändert. Eine zuverlässige Erkennung künftiger gefährlicher Verhaltensweisen sieht das Institut weiterhin nicht als nachgewiesen an.