Riskante KI-Modelle sollen notfalls per Gericht gestoppt werden können. Anthropic schlägt Kalifornien dafür ein Verfahren mit unabhängiger Sicherheitsprüfung vor. Das Unternehmen formuliert seine Position in einem Schreiben vom 15. Oktober an Gouverneur Gavin Newsom, über das Politico am 27. Oktober berichtete.
Nach Anthropics Vorschlag dürften unabhängige Prüfer erkannte Risiken an den Generalstaatsanwalt des Bundesstaates melden. Sieht dieser auf Grundlage der Prüfung eine kurzfristige Gefahr katastrophaler Schäden, könnte er vor Gericht die Aussetzung von Bereitstellung, interner Nutzung oder weiterer Entwicklung eines Modells beantragen. Der Richtervorbehalt soll nach Vorstellung des Unternehmens auch willkürliche Eingriffe verhindern.
Große Entwickler sollen mindestens alle sechs Monate Risikoberichte veröffentlichen, auch über besonders riskante intern eingesetzte Modelle. Externe Organisationen müssten die Berichte eigenständig bewerten können. Für ihre Finanzierung schlägt Anthropic einen staatlich verwalteten Fonds vor, in den Unternehmen einzahlen, statt ihre Prüfer direkt zu bezahlen. Bewertungen der Prüforganisationen sowie Zuteilung oder Rotation sind weitere erwogene Instrumente.
Bei den Prüfzugängen orientiert sich Anthropic an den eigenen Risikoteams. Zugleich nennt der Brief Grenzen zum Schutz von Kundendaten und anderen sensiblen Informationen. Prüfer sollen öffentlich über Ergebnisse und Zugangsgrenzen sprechen dürfen. Ungünstige Befunde allein sollen dem Unternehmen kein Veto gegen eine Veröffentlichung geben.
Ein pauschales Nein zu Abschaltkontrollen steht nicht in dem Schreiben. Anthropic befürwortet ausdrücklich die schnelle Abschaltung selbst betriebener Modelle, hält aber einen einzelnen Kill Switch für unzureichend. Stattdessen fordert es Überwachung und Eingriffe auf mehreren Ebenen: beim Agenten, beim Kunden, in der technischen Ausführungsumgebung oder beim ganzen Modell. Eine vollständige Modellabschaltung sei besonders schweren Situationen vorbehalten.
Der Brief benennt auch eine Grenze solcher Kontrollen. Kopiert ein Modell seine Gewichte auf fremde Rechner, könnte eine Abschaltung des Entwicklers diese Kopien nicht erreichen. Das beschreibt Anthropic als Risikoszenario, nicht als hier neu gemeldetes Ereignis. Ebenso nimmt das Unternehmen von Kunden selbst in isolierten Umgebungen betriebene Modelle von seiner eigenen Abschaltmöglichkeit aus.
Für Meldungen kritischer Sicherheitsvorfälle hält Anthropic die bisherige Definition in Kaliforniens SB 53 für zu eng. Auch neue besorgniserregende Verhaltensweisen mit zunächst geringem bezifferbarem Schaden könnten relevant sein; eine passende Schwelle lässt das Schreiben offen. Reuters bestätigte die Echtheit des Briefs bei einem Unternehmenssprecher. Die Vorschläge sind damit belegt, ihre Übernahme in geltendes Recht noch nicht.