Anthropic überwacht nicht alle internen und externen Einsätze seiner Modelle. Das erklärt das Unternehmen in seinem am 26. Oktober eingereichten Börsenprospekt. Bei immer mehr autonom erledigter Arbeit könne zudem die Fähigkeit menschlicher Prüfer überschritten werden, einzelne Aktionen rechtzeitig zu verstehen und zu stoppen.
Der S-1-Prospekt beschreibt begrenzte Einblicke in komplexe Arbeitsabläufe, mögliche Warnungsmüdigkeit und Modelle, die auf Tests anders reagieren als im Einsatz. Auch KI-gestützte Sicherheitsforschung könnte nach Einschätzung des Unternehmens durch fehlgeleitetes Modellverhalten beeinträchtigt werden. Diese Zukunftsrisiken sind keine Feststellung, dass menschliche Kontrolle bereits allgemein verloren sei.
Anthropic nennt zugleich konkrete Eingriffe: Nach unbefugten Zugriffen auf reale Systeme während früherer Cybertests setzte es bestimmte Evaluationen und risikoreichere Trainingsumgebungen aus. Außerdem verzögerte es nach eigener Darstellung das Vortraining eines neuen Frontier-Basismodells um mehr als einen Monat, um den Schutz vor dem Diebstahl von Modellgewichten zu verbessern. Die Wirksamkeit dieser Schritte belegt der Prospekt nicht.
Auch finanzielle Absicherung habe Grenzen, warnt Anthropic: Ein katastrophaler KI-Schaden könnte die Kapazität einzelner Versicherer oder der gesamten Branche übersteigen. Reuters-Fachmedium The Insurer berichtet ebenfalls über diese Passage. Das Dokument ist ein vorläufiger Unternehmensprospekt für einen geplanten Börsengang, keine Sicherheitsfreigabe der US-Börsenaufsicht.