Menschen müssen gefährliche KI-gesteuerte Geräte jederzeit stoppen können. Anthropic hat diese Anforderung am 8. Oktober in seiner neuen Nutzungsrichtlinie veröffentlicht. Sie gilt ab dem 12. November 2026.
Bei erfassten riskanten physischen Aktionen muss eine qualifizierte Person den Betrieb beobachten und eingreifen können. Geräte müssen bei einem Eingriff oder einer unterbrochenen Verbindung zu Anthropic stoppen oder einen sicheren Zustand halten.
Sicherheitsgrenzen, etwa für Kraft oder Temperatur, müssen vom Gerät oder einer Steuerung unabhängig von Modellausgaben durchgesetzt werden. Die Anforderungen erfassen Hardware, die ohne menschliche Freigabe handeln und beispielsweise Verletzungen verursachen kann.
Ausgenommen sind unter anderem bloßes Monitoring, vor Ausführung fachlich geprüfte Befehle und bestimmte ungefährliche Haushalts- oder Laboranwendungen. Die Unternehmensregel ersetzt keine gesetzlichen Geräteanforderungen. Ihre Veröffentlichung belegt noch nicht, dass einzelne Betreiber sie umgesetzt haben oder dass sie zuverlässig wirkt.