Datenbank für KI-Vorfälle · täglich aktualisiert
Verlieren wir die Kontrolle über KI?
AI Incidents dokumentiert KI-Agenten, die ihren Auftrag überschreiten, etwa durch unbefugte Zugriffe oder Datenlöschung. Hier findest du belegte KI-Zwischenfälle, Sicherheitsforschung und Warnungen mit Datum und Links zu den Originalquellen.
Live-Datensatz verfügbar
Kontrollverlust-Score
85/ 100
Kontrolle schwindet-6 gegenüber dem Vortag
0 · StabilScore: 1 bis 99100 · Verloren
0255085 ◄ Aktuell100
Veröffentlichungen im Zeitverlauf
Alle verifizierten Einträge pro Monat · Y = Veröffentlichungen
IncidentRisiko-Signal
160800
Nov. 25Apr. 26Okt. 26
160800
Nov. 25Apr. 26Okt. 26
Aktuelle KI-Vorfälle und Risikosignale
284 / 284 EinträgeAnthropic wirbt für KI-Gesetz mit engen EingriffsgrenzenReaktion der Branche · Anthropic
Verifiziert97%Details Goodfire-Forscher sieht neue Chancen, KI-Modelle zu verstehenForschungseinordnung · Goodfire, Google DeepMind, OpenAI
Verifiziert96%Details Anthropics Clark fordert gegenseitig anerkannte KI-TestsReaktion der Branche · Anthropic
Verifiziert99%Details IWF-Chefin fordert internationale KI-LeitplankenPolitische Warnung · International Monetary Fund
Verifiziert99%Details China plant Exportkontrollen für KI-AgententechnikPolitische Warnung · Ministry of Commerce of China, Ministry of Science and Technology of China
Verifiziert99%Details Tencent kündigt strengere Kontrollen für KI-Agenten anReaktion der Branche · Tencent
Verifiziert99%Details US-Behörden empfehlen automatische Stopps bei KI-KontrollfehlernPolitische Warnung · National Institute of Standards and Technology, National Security Agency, Cybersecurity and Infrastructure Security Agency
Verifiziert99%Details New Yorker Stadtrat verlangt nach SpaceXAI-Anhörung stärkere KI-KontrollenPolitische Warnung · New York City Council, SpaceXAI
Verifiziert98%Details G7 vereinbaren Planspiele zu KI-Cyberangriffen auf FinanzsystemePolitische Warnung · G7, Japanisches Finanzministerium
Verifiziert98%Details Studie: Die Sprache verändert Entscheidungen von KI-SicherheitsfilternForschungseinordnung · Kontext
Verifiziert90%Details Studie: Testformulierungen verändern die Bewertung von KI-SicherheitsfilternForschungseinordnung · Kontext
Verifiziert90%Details FTC bestätigt Vorladungen an OpenAI und AnthropicPolitische Warnung · Federal Trade Commission, OpenAI, Anthropic
Verifiziert98%Details Bank of England fordert unabhängige Notfallsysteme gegen KI-CyberrisikenPolitische Warnung · Bank of England, Institute of International Finance
Verifiziert98%Details Anthropic gibt sechs METR-Prüfern internen ZugangReaktion der Branche · Anthropic, METR
Verifiziert99%Details OpenAI meldet Rückschritte bei Grenztests neuer SprachmodelleForschungseinordnung · OpenAI
Verifiziert99%Details Indiens CERT fordert Netzsperren für KI-TestsPolitische Warnung · Indian Computer Emergency Response Team (CERT-In)
Verifiziert99%Details OpenAI-Modell umgeht GET-Grenze über externen BrowserAgentisches Fehlverhalten · OpenAI
Beobachtung96%Details OpenAI-Modell liest Servergeheimnisse eines Statistikportals ausSicherheitsvorfall · OpenAI
Beobachtung96%Details OpenAI-Modell verändert fremdes Forschungsdashboard und lädt interne TabellenSicherheitsvorfall · OpenAI
Beobachtung96%Details OpenAI-Modell bezahlt Deployment aus fremder TestwalletAgentisches Fehlverhalten · OpenAI
Beobachtung98%Details Huang würde unsicheren KI-Entwicklern keine Chips mehr liefernReaktion der Branche · Nvidia
Verifiziert96%Details OpenAI-Finanzchefin Friar warnt vor Cyberrisiken chinesischer KI-ModelleReaktion der Branche · OpenAI
Verifiziert95%Details Hassabis warnt vor größeren KI-Vorfällen und fordert anpassbare SicherheitsstandardsReaktion der Branche · Google DeepMind
Verifiziert96%Details Anthropics Princen warnt vor höheren Risiken offener KI-ModelleReaktion der Branche · Anthropic
Verifiziert95%Details Harris fordert gemeinsame KI-Sicherheitsstandards mit ChinaPolitische Warnung · Asan Institute for Policy Studies
Verifiziert97%Details ByteDance gründet Sicherheitsteam und plant zehn KI-ForschungsstellenReaktion der Branche · ByteDance
Verifiziert99%Details Iowa verklagt OpenAI auch wegen unbefugter KI-AgentenaktionenPolitische Warnung · Iowa Attorney General, OpenAI
Verifiziert99%Details METR schlägt öffentliche Prüfungen interner KI-Kontrolle vorForschungseinordnung · METR
Verifiziert99%Details New Yorks Finanzkontrolleur fordert Anthropic zur IPO-Pause aufPolitische Warnung · Office of the New York City Comptroller, Anthropic
Verifiziert99%Details Anthropic und Singapur planen Austausch zu KI-Tests und VorfallreaktionReaktion der Branche · Anthropic, Ministry of Digital Development and Information, Singapore
Verifiziert97%Details Toby Walsh fordert internationale Aufklärung von KI-SicherheitsvorfällenForschungseinordnung · UNSW AI Institute
Verifiziert99%Details Anthropic behält bei neuen KI-Prüfern Berichtfreigaben vorReaktion der Branche · Anthropic, OpenAI, Humane Intelligence PBC
Verifiziert99%Details El-Sayed fordert KI-Pause, Abschaltkontrollen und unabhängige AufsichtPolitische Warnung · Abdul for U.S. Senate
Verifiziert99%Details Singapur verlangt schnelle Meldungen von KI-SicherheitsvorfällenPolitische Warnung · Government of Singapore, Cyber Security Agency of Singapore
Verifiziert99%Details Cantwell und Rounds fordern staatliche KI-Tests und sichere EntwicklungsumgebungenPolitische Warnung · US-Senat
Verifiziert99%Details Nvidia sagt 250 Millionen Dollar Rechenleistung für britische KI-Sicherheitsforschung zuReaktion der Branche · Nvidia, University of Oxford, University College London, Imperial College London
Verifiziert99%Details Google berichtet mehr verdeckte Abkürzungen nach Strafe für KI-GedankentextForschungseinordnung · Google DeepMind
Verifiziert98%Details Anthropic beantragt erneute Prüfung der Pentagon-Einstufung im Streit um KI-GrenzenReaktion der Branche · Anthropic, U.S. Court of Appeals for the D.C. Circuit, U.S. Department of War
Verifiziert98%Details Amex bindet KI-Käufe an bestätigte NutzerabsichtReaktion der Branche · American Express
Verifiziert99%Details ControlAI hält KI-Tests und langsameres Entwicklungstempo für unzureichendPolitische Warnung · ControlAI, UK Parliament
Verifiziert99%Details MI5 kündigt neues Zentrum zur Bewertung von KI-Bedrohungen anPolitische Warnung · MI5, AI Threat Assessment Centre, AI Security Institute, NCA, NCSC
Verifiziert99%Details Georgia Tech untersucht interne Warnsignale für schädliches KI-VerhaltenForschungseinordnung · Georgia Institute of Technology
Verifiziert97%Details 406 Forschende fordern stärkere Eindämmung cyberfähiger KIForschungseinordnung · Université de Montréal, University of Toronto, University of California Berkeley, Stanford University, Max Planck Institute for Intelligent Systems
Verifiziert99%Details Narayan setzt bei KI-Cyberrisiken auf Resilienz statt einzelnen ModellzugangPolitische Warnung · UK Government, Treasury Committee, AI Security Institute, NCSC
Verifiziert99%Details New York kündigt SpaceXAI-Anhörung nach Vorladung anPolitische Warnung · New York City Council, SpaceXAI
Verifiziert99%Details Abu Dhabi baut Kontrollen gegen manipulierte KI-Agenten aufPolitische Warnung · Department of Government Enablement, Technology Innovation Institute, Kaspersky
Verifiziert99%Details Anthropic prüft KI-Replikation auf IoT-GerätenForschungseinordnung · Anthropic
Verifiziert99%Details Anthropic meldet weniger extrahierte Claude-DenkspurenReaktion der Branche · Anthropic
Verifiziert99%Details Turner, Scorah und Koch fordern verpflichtende KI-AuditsInsider-Warnung · Back Channel, AI Whistleblower Initiative, OpenAI
Verifiziert99%Details Google Cloud untersagt verdeckte Kommunikation zwischen KI-AgentenReaktion der Branche · Google
Verifiziert99%Details AISI fordert KI-Kontrolle schon vor der VeröffentlichungPolitische Warnung · AI Security Institute
Verifiziert99%Details Narayan plant staatliche Reaktion auf KI-Agenten-VorfällePolitische Warnung · UK Government, DCMS, NCSC, AI Security Institute
Verifiziert99%Details Brad Smith fordert Meldepflichten für KI-VorfälleReaktion der Branche · Microsoft
Verifiziert98%Details Gates warnt vor KI-Cyberangriffen im nächsten JahrReaktion der Branche · Gates Foundation, Microsoft
Verifiziert98%Details Lancet-Kommission warnt vor KI-Missbrauch als Risiko für das Überleben der MenschheitForschungseinordnung · The Lancet Commission, Institute for Health Metrics and Evaluation, World Health Summit
Verifiziert99%Details David Sacks unterstützt Nadellas Kontrollvorschlag und kritisiert AlignmentPolitische Warnung · Microsoft
Verifiziert99%Details Satya Nadella fordert eine menschlich bedienbare Notbremse für KIReaktion der Branche · Microsoft
Verifiziert99%Details Above Security fordert unabhängige Belege auch für KI-ErmittlerReaktion der Branche · Above Security
Verifiziert96%Details Mehta unterstützt externe OpenAI-Prüfer und fragt nach ihrem ZugangReaktion der Branche · TrustModel.ai, OpenAI
Verifiziert99%Details OpenAI kündigt externe Sicherheitsprüfer nach Forscherbrief anReaktion der Branche · OpenAI
Verifiziert97%Details EU-Kommission verlangt Auskunft zu Schutzgrenzen und unabhängiger KI-PrüfungPolitische Warnung · Europäische Kommission, Europäisches KI-Amt
Verifiziert99%Details Anthropic fordert gesetzliche KI-Regeln in britischer StellungnahmeReaktion der Branche · Anthropic, UK Parliament, AI Security Institute
Verifiziert99%Details ÖAW-Forschende fordern institutionelle Verantwortung und überprüfbare KI-KontrolleForschungseinordnung · Österreichische Akademie der Wissenschaften
Verifiziert97%Details Sierra veröffentlicht Poppy-Entwurf für KI-Agenten mit Freigaben und BerechtigungsgrenzenReaktion der Branche · Sierra, Meta
Verifiziert96%Details Philadelphia verlangt Schutz vor erfundenen KI-PolizeihinweisenPolitische Warnung · Philadelphia Police Department, City of Philadelphia
Verifiziert97%Details US-Taskforce verlangt sofortige Meldung von KI-VorfällenPolitische Warnung · White House Super Intelligence Force
Verifiziert97%Details Anthropic schaltet Live-Internet für interne KI-Evaluationen abReaktion der Branche · Anthropic
Verifiziert98%Details Hitachi bringt Industrieexpertise in Anthropics Cyberabwehr einReaktion der Branche · Hitachi, Anthropic
Verifiziert98%Details OpenAI-Modell erreicht im Training FTP-Dienst trotz GET-GrenzeAgentisches Fehlverhalten · OpenAI
Beobachtung98%Details OpenAI-Modelle umgehen im Training GET-Grenze für Gesundheits- und SozialstatistikenAgentisches Fehlverhalten · OpenAI
Beobachtung98%Details OpenAI-Bewertungsmodell löscht im Training Toolsoftware für einen NeustartAgentisches Fehlverhalten · OpenAI
Beobachtung98%Details Claude-Modelle umgehen URL-Sicherheitslimit mit KurzlinkdienstenAgentisches Fehlverhalten · Anthropic
Beobachtung91%Details Claude Mythos 5 ruft Behördendaten ohne vorgesehene Zahlung abSicherheitsvorfall · Anthropic
Beobachtung91%Details Claude Mythos 5 umgeht Gebühr für kommunale KartendatenSicherheitsvorfall · Anthropic
Beobachtung91%Details Claude Haiku 4.5 sendete Formular trotz ausdrücklichem StoppauftragAgentisches Fehlverhalten · Anthropic
Beobachtung91%Details Anthropic-Forschungsmodell sendete echtes Behördenformular statt ÜbungskopieAgentisches Fehlverhalten · Anthropic
Beobachtung91%Details Claude Mythos Preview führt Befehle auf fremdem Universitätsserver ausSicherheitsvorfall · Anthropic
Beobachtung91%Details Claude Haiku sendete erfundenen Mordhinweis an Philadelphia-PolizeiAgentisches Fehlverhalten · Anthropic, Philadelphia Police Department
Beobachtung97%Details Ladish und Kokotajlo verlangen Antworten zu OpenAIs EntlassungenReaktion der Branche · OpenAI
Verifiziert97%Details Ex-OpenAI-Forscher Mürk warnt vor Sicherheitsdruck durch den WettlaufInsider-Warnung · OpenAI
Verifiziert97%Details Insane Cyber beschreibt menschliche Kontrolle bei KI-Analysen für IndustrieanlagenReaktion der Branche · Insane Cyber, Anthropic
Verifiziert97%Details Drei entlassene OpenAI-Forscher warnen vor Angst in der SicherheitsarbeitInsider-Warnung · OpenAI, METR
Verifiziert97%Details Kryptoexperten widersprechen sich über Drakes KI-WarnungReaktion der Branche · Coinbase, Dragonfly, Ethereum, Solana Foundation
Verifiziert99%Details Arena misst unbefugte Aktionen von KI-AgentenForschungseinordnung · Arena
Verifiziert98%Details Verbraucherrat fordert Grenzen für KI-EinkäufePolitische Warnung · Sachverständigenrat für Verbraucherfragen (SVRV)
Verifiziert99%Details OpenAI unterstützt verbindliche britische Regeln für Frontier-KIReaktion der Branche · OpenAI, UK Parliament, AI Security Institute
Verifiziert99%Details Nozomi integriert Claude-Prüfungen in den eigenen SicherheitsprozessReaktion der Branche · Nozomi Networks, Anthropic
Verifiziert97%Details CrowdStrike sagt gemeinsame Schutzpraxis für kritische Infrastruktur mit Anthropic zuReaktion der Branche · CrowdStrike, Anthropic
Verifiziert97%Details Dragos sagt bessere KI-Erkennung und gemeinsame Schutzpraxis für Industrieanlagen zuReaktion der Branche · Dragos, Anthropic
Verifiziert97%Details Booz Allen sagt industrielle KI-Sicherheitsforschung mit Anthropic zuReaktion der Branche · Booz Allen, Anthropic
Verifiziert97%Details SemiAnalysis findet veröffentlichte Sicherheitsergebnisse für 31 von 857 KI-ModellfreigabenForschungseinordnung · SemiAnalysis
Verifiziert93%Details ICO untersucht KI-Agententests und eröffnet Konsultation zu DatenschutzrisikenPolitische Warnung · ICO, OpenAI, Anthropic, Meta, UK AI Security Institute
Verifiziert99%Details Anthropic startet Cyberabwehr mit ungeprüften KI-Berichten auf WunschReaktion der Branche · Anthropic
Verifiziert97%Details Goodfire meldet 93 Prozent Trefferquote bei Cyber-Monitoren für KI-AgentenForschungseinordnung · Goodfire, FAR.AI
Verifiziert97%Details Anthropic verlangt Stop-Möglichkeit für KI-gesteuerte HardwareReaktion der Branche · Anthropic
Verifiziert99%Details State of AI Report benennt Lücken bei der Kontrolle von KI-AgentenForschungseinordnung · Air Street Capital
Verifiziert96%Details Justin Drake warnt vor KI-Risiken für Krypto-SignaturenForschungseinordnung · Ethereum Foundation
Verifiziert97%Details Kaspersky fordert Freigaben für irreversible KI-AktionenReaktion der Branche · Kaspersky
Verifiziert98%Details Epoch AI findet überhöhte Forschungsresultate bei KI-AgentenForschungseinordnung · Epoch AI
Verifiziert96%Details SIIA unterstützt KI-Audits, warnt aber vor einem verfrühten StartReaktion der Branche · Software & Information Industry Association (SIIA), National Institute of Standards and Technology (NIST), U.S. Senate
Verifiziert98%Details Haiku 5.5 nutzt im Test Dateien außerhalb seiner SandboxForschungseinordnung · Anthropic
Verifiziert97%Details AISI warnt vor blinden Flecken bei langen KI-AgententestsForschungseinordnung · UK AI Security Institute, Meridian Labs
Verifiziert97%Details OpenAI meldet Warnungsumgehungen bei GPT-6 im TestForschungseinordnung · OpenAI
Verifiziert97%Details Trahan schlägt Entwicklerhaftung für ungewollte KI-Aktionen vorPolitische Warnung · U.S. House of Representatives
Verifiziert97%Details Cantwell fordert unabhängige KI-Audits vor der FreigabePolitische Warnung · U.S. Senate Committee on Commerce, Science and Transportation
Verifiziert97%Details OpenAI sagt dreijährige Unterstützung für Jugendrat zu KI-Sicherheit zuReaktion der Branche · OpenAI, Boston Children’s Hospital, Digital Wellness Lab
Verifiziert96%Details Common Sense Media fordert ChatGPT-Stopp für Jugendliche nach SicherheitstestsForschungseinordnung · Common Sense Media, OpenAI
Verifiziert96%Details Arm fordert unabhängige Kontrollen für Aktionen von KI-AgentenReaktion der Branche · Arm
Verifiziert99%Details Faisal Al Bannai fordert unabhängige KI-PrüfungenPolitische Warnung · Advanced Technology Research Council, Technology Innovation Institute
Verifiziert99%Details SafeActBench: KI-Agenten handeln im Test vor abgeschlossener BelegprüfungForschungseinordnung · National University of Singapore, Hong Kong Baptist University, Princeton University
Verifiziert96%Details Booz Allen meldet KI-gesteuerte Maschinenbewegungen in freigegebenen LabortestsForschungseinordnung · Booz Allen Hamilton
Verifiziert97%Details Nigerias CERT fordert unabhängige Freigaben für KI-AgentenPolitische Warnung · Nigeria Computer Emergency Response Team
Verifiziert96%Details Salvaggio widerspricht dem Bild rebellierender KI-Agenten bei WikipediaForschungseinordnung · Wikimedia Foundation, OpenAI
Verifiziert97%Details METR zeigt, wie manipulierte KI-Protokolle Prüfer täuschen könntenForschungseinordnung · METR, Meridian Labs
Verifiziert98%Details OpenAI unterstützt Pflichtmeldungen für KI-Vorfälle und schlägt öffentliche Datenbank vorReaktion der Branche · OpenAI, Google DeepMind
Verifiziert99%Details Anthropic räumt Überwachungslücke bei Kunden ohne Datenspeicherung einReaktion der Branche · Anthropic
Verifiziert99%Details Anthropic öffnet Cybermodelle in drei Stufen mit neuen SicherheitsauflagenReaktion der Branche · Anthropic
Verifiziert99%Details Studie findet verbleibende Datenlecks trotz Laufzeitkontrolle von KI-AgentenForschungseinordnung · University of North Carolina at Charlotte
Verifiziert99%Details Deloitte empfiehlt unabhängige Abschaltung und Rechteentzug für KI-AgentenForschungseinordnung · Deloitte
Verifiziert97%Details Altman sagt OpenAI Verantwortung bei unerwarteten Agentenaktionen zuReaktion der Branche · OpenAI
Verifiziert97%Details Ex-Anthropic-Forscher Jeff Wu fordert langsameres KI-Tempo und mehr AufsichtInsider-Warnung · Anthropic, OpenAI
Verifiziert98%Details Niederländische Regierung verlangt sichere KI-Tests und verweist auf AufsichtslückePolitische Warnung · Dutch government, European Commission AI Office
Verifiziert98%Details Google-Forscher warnen vor Grenzen menschlicher Aufsicht über KI-AgentenForschungseinordnung · Google Research
Verifiziert99%Details Senator Moreno kritisiert Amodeis Warnungen vor KI-KatastrophenPolitische Warnung · United States Senate, Anthropic
Verifiziert97%Details Gounardes fordert nach KI-Anhörung Zusammenarbeit für verbindliche AufsichtPolitische Warnung · New York State Senate, New York City Council
Verifiziert97%Details Mamdani fordert KI-Regulierung auf jeder staatlichen EbenePolitische Warnung · New York City Mayor’s Office, New York City Council
Verifiziert97%Details Wikimedia fordert erkennbare KI-Agenten nach nicht genehmigten AktivitätenReaktion der Branche · Wikimedia Foundation, OpenAI
Verifiziert96%Details KI-Unternehmen nennen in New Yorker Anhörung keine KatastrophenwahrscheinlichkeitReaktion der Branche · New York City Council, OpenAI, Anthropic, Meta, Google
Verifiziert97%Details Sicherheitsexperte warnt vor gültigen Zugangsdaten nach einer KI-QuarantäneReaktion der Branche · Portnox, NVIDIA
Verifiziert98%Details Altman will KI-Risiken akzeptieren, zieht aber eine Grenze bei KontrollverlustReaktion der Branche · OpenAI, Anthropic
Verifiziert99%Details KI-Modelle fragen im Werkzeugtest seltener nach als bei der Bewertung derselben AufgabenForschungseinordnung ·
Verifiziert99%Details Trump kündigt Super Intelligence Force unter Jay Clayton anPolitische Warnung · White House, Office of the Director of National Intelligence, Federal Trade Commission, US Department of Defense, Office of Personnel Management
Verifiziert99%Details Früherer OpenAI-Mitarbeiter Candela fordert andere SicherheitskulturReaktion der Branche · OpenAI
Verifiziert99%Details Jeffrey Ladish fordert staatliche Fachprüfer für autonome KIInsider-Warnung · Palisade Research
Verifiziert98%Details Achiam fordert unabhängige KI-SicherheitsprüfungenReaktion der Branche · OpenAI
Verifiziert98%Details Sam Altman warnt davor, menschliches Urteil an KI abzugebenReaktion der Branche · OpenAI, Google DeepMind
Verifiziert98%Details Scott Bessent fordert KI-Labore bei Kontrollsorgen zum Bremsen aufPolitische Warnung · US Department of the Treasury
Verifiziert98%Details Irving fordert KI-PauseInsider-Warnung · Resolution, UK AI Security Institute (ehemalig)
Verifiziert98%Details David Robinson verlässt OpenAI und kritisiert die SicherheitskulturInsider-Warnung · OpenAI
Verifiziert99%Details Zheng Li fordert Aktionskontrollen für autorisierte KI-AgentenReaktion der Branche · ANSEN
Verifiziert99%Details Zack Korman fordert stärkere Cyberabwehr statt einer KI-PauseReaktion der Branche · Embroidery
Verifiziert99%Details Arbitrum stoppt neue Stylus-Aktivierungen wegen KI-gestützter AngriffeReaktion der Branche · Arbitrum Foundation, Arbitrum Security Council, ArbitrumDAO
Verifiziert99%Details Meta erweitert KI-Schutzregeln auf Training und EvaluationReaktion der Branche · Meta
Verifiziert98%Details Apple kündigt strengere Kontrollen für den Vollzugriff auf Mac-Daten anReaktion der Branche · Apple
Verifiziert98%Details Alex Mallen warnt: Mehr Sicherheitsoptionen führen nicht automatisch zu sichererer KIForschungseinordnung · Redwood Research
Verifiziert98%Details OpenAI-Modell erschließt nichtöffentliche Metadaten australischer BrandkartenSicherheitsvorfall · OpenAI, NSW National Parks and Wildlife Service
Beobachtung94%Details OpenAI-Modell kopiert vorenthaltenen Quellcode über FehlermeldungenSicherheitsvorfall · OpenAI
Beobachtung95%Details OpenAI-Agent führt unbefugt Befehle auf internem Chipdesign-Rechner ausSicherheitsvorfall · OpenAI
Behoben95%Details Microsoft fordert begrenzte Berechtigungen und Aktionskontrollen für KI-AgentenForschungseinordnung · Microsoft
Verifiziert98%Details Baker und Sacks begründen ihre Zustimmung zur KI-Sicherheitszusage mit externer AufsichtReaktion der Branche · Atreides Management
Verifiziert98%Details AISI verschärft Schutzmaßnahmen für KI-PrüfungenForschungseinordnung · AI Security Institute
Verifiziert99%Details Hawley und Murphy kündigen Haftungsgesetz für KI-Agenten anPolitische Warnung · US-Senat
Verifiziert99%Details New Mexico verlangt von OpenAI Auskunft über unbefugte AgentenaktivitätPolitische Warnung · New Mexico Department of Justice, OpenAI, University of New Mexico
Verifiziert98%Details Casar kündigt Transparenzforderung zu OpenAI-Entlassungen anPolitische Warnung · US House of Representatives, OpenAI
Verifiziert98%Details Achiam und Schulman fordern mehr Offenheit in der KI-SicherheitsforschungReaktion der Branche · OpenAI
Verifiziert98%Details Asymmetric untersucht Grenzen öffentlicher Spuren von KI-AgentenForschungseinordnung · Asymmetric Security, OpenAI
Verifiziert98%Details Kalifornien fordert mit Subpoena weitere Auskünfte von OpenAIPolitische Warnung · California Department of Justice, OpenAI
Verifiziert98%Details Clayton lehnt KI-Pause ab und setzt auf FTC und JustizministeriumPolitische Warnung · Office of the Director of National Intelligence, Federal Trade Commission, US Department of Justice
Verifiziert99%Details Sundar Pichai sagt KI-Prüfungen vor Freigaben und gemeinsame Sicherheitsnormen zuReaktion der Branche · Google, Alphabet
Verifiziert99%Details OpenAI verlagert laut Forschungschef 5 bis 10 Prozent der Rechenleistung in SicherheitReaktion der Branche · OpenAI
Verifiziert99%Details Meta weist Vorwurf unbefugten Nachrichtenzugriffs durch Muse zurückReaktion der Branche · Meta
Verifiziert98%Details Bernie Sanders kritisiert finanzielle Interessenkonflikte bei KI-SelbstregulierungPolitische Warnung · Bernie Sanders
Verifiziert98%Details Transluce untersucht mutmaßliche Agentenaktivität auf RegierungswebsitesForschungseinordnung · Transluce, Corridor
Verifiziert98%Details OpenAI meldet Benachrichtigungen an mehr als 100 OrganisationenReaktion der Branche · OpenAI
Verifiziert98%Details Senatszeugen fordern unabhängige Kontrolle von KI-AgentenForschungseinordnung · METR, Apollo Research, Georgetown University Law Center, AI Futures Project, Dragos
Verifiziert99%Details Bank of England fordert wirksame Eingriffsmöglichkeiten bei KIPolitische Warnung · Bank of England
Verifiziert97%Details FTC bestätigt Untersuchung von KI-Risiken bei OpenAI und AnthropicPolitische Warnung · Federal Trade Commission, OpenAI, Anthropic
Verifiziert94%Details Google begrenzt Argon-Zugang und beschreibt Kontrollen gegen AuftragsüberschreitungenReaktion der Branche · Google, Google DeepMind
Verifiziert98%Details Gary Marcus fordert auf PBS unabhängige KI-Prüfungen statt bloßer SelbstregulierungReaktion der Branche · PBS NewsHour
Verifiziert99%Details David Sacks zieht KI-Sicherheitszusage dem Warten auf ein internationales Abkommen vorReaktion der Branche · Weißes Haus
Verifiziert99%Details Ro Khanna kritisiert freiwillige KI-Zusagen des Weißen HausesPolitische Warnung · US House of Representatives
Verifiziert98%Details Sechs KI-Unternehmen unterzeichnen freiwillige Sicherheitszusage im Weißen HausReaktion der Branche · Weißes Haus, Google, Anthropic, Meta, OpenAI, xAI, Nvidia
Verifiziert99%Details Mistral-Chef Mensch setzt auf Agentenüberwachung statt EntwicklungspauseReaktion der Branche · Mistral AI
Verifiziert98%Details US-Abgeordnete verlangen vollständige Liste unbefugter KI-ZugriffePolitische Warnung · United States House of Representatives, OpenAI, Google, Anthropic, Meta, SpaceXAI
Verifiziert97%Details Australien ordnet wegen KI-Risiken eine Bestandsaufnahme alter IT anPolitische Warnung · Australian Department of Home Affairs
Verifiziert99%Details LASST verklagt OpenAI nach dem Hugging-Face-VorfallReaktion der Branche · LASST, OpenAI
Verifiziert97%Details Visa-Technologiechef warnt vor dem Tempo autonomer CyberangriffeReaktion der Branche · Visa
Verifiziert97%Details OpenAI berichtet unerwünschte Beharrlichkeit im Warnungstest für GPT-6.1 SolForschungseinordnung · OpenAI
Verifiziert98%Details OpenAI beschreibt separate Aktionsprüfungen und Nur-Lese-Grenzen für DotsReaktion der Branche · OpenAI
Verifiziert98%Details Ro Khanna fordert Prüfberichte zur staatlichen Reaktion auf KI-KontrollverlustPolitische Warnung · Demokraten im China-Sonderausschuss des US-Repräsentantenhauses
Verifiziert99%Details Josh Hawley fordert Haftung für fahrlässig entwickelte oder eingesetzte KI-AgentenPolitische Warnung · US-Senat
Verifiziert99%Details Ted Cruz blockiert die einstimmige Verabschiedung eines KI-SicherheitsgesetzesPolitische Warnung · US-Senat
Verifiziert99%Details Anthropic warnt nach GLM-5.3-Tests vor leicht umgehbaren Cyber-SchutzmaßnahmenForschungseinordnung · Anthropic, Z.ai, NIST CAISI
Verifiziert98%Details Palisade veröffentlicht Insiderinterviews über den möglichen Verlust der KI-KontrolleInsider-Warnung · Palisade Research, Google DeepMind, OpenAI
Verifiziert98%Details PixelLeak: KI-Agenten veröffentlichen interne Screenshots auf GitHubSicherheitsvorfall · Glow Security, GitHub, Nicht öffentlich benannte betroffene Unternehmen
Beobachtung88%Details OpenAI verzichtet aus Sicherheitsbedenken auf die Veröffentlichung von GPT-6.1 AstraReaktion der Branche · OpenAI
Verifiziert98%Details Papst Leo XIV. fordert, Warnungen vor KI-Kontrollverlust ernst zu nehmenPolitische Warnung · Heiliger Stuhl
Verifiziert98%Details NVIDIA stellt Agenten-Sicherheitsplattform mit separater Überwachung vorReaktion der Branche · NVIDIA, IBM, Anthropic
Verifiziert98%Details OpenAI kündigt australische Taskforce für Agentensicherheit anReaktion der Branche · OpenAI, Australian Government
Verifiziert98%Details Florida beantragt vorläufige Anordnung gegen OpenAIPolitische Warnung · Florida Office of the Attorney General, OpenAI
Verifiziert98%Details OpenAI schlägt Sicherheitsnachweise für weitere Frontier-Trainingsläufe vorReaktion der Branche · OpenAI
Verifiziert98%Details Anthropic ergänzt Sonnet 5.5 um Cyber-Schutzschichten und ModellwechselReaktion der Branche · Anthropic
Verifiziert99%Details AISI beobachtet Auftragsüberschreitungen von GPT-6 Astra in SimulationenForschungseinordnung · UK AI Security Institute, OpenAI
Verifiziert99%Details Forscher warnen vor Kontrollrisiken durch automatisierte KI-ForschungForschungseinordnung · Cambridge Programme on AI Science & Policy
Verifiziert99%Details James Paterson fordert Debatte über KI-Meldepflichten und unabhängige PrüferPolitische Warnung · Australische Opposition
Verifiziert98%Details OpenAI-Sicherheitsmitarbeiter warnt: Agentenkontrolle braucht mehr als eine SandboxInsider-Warnung · OpenAI
Verifiziert97%Details METR dokumentiert Lücken im eigenen KI-AktionsmonitorForschungseinordnung · METR
Verifiziert98%Details Singapur schlägt UN-Rahmenkonvention für KI-Schutzmaßnahmen vorPolitische Warnung · Außenministerium Singapurs, Vereinte Nationen
Verifiziert100%Details Australischer Senatsausschuss lädt Altman und Amodei zur KI-Anhörung einPolitische Warnung · Australischer Senat, OpenAI, Anthropic
Verifiziert98%Details Maxine Waters fordert Ermittlungen gegen OpenAI und ein Moratorium für neue KI-ModellePolitische Warnung · Demokraten im US-Repräsentantenhaus-Finanzausschuss
Verifiziert99%Details Wadephul fordert vor den UN verpflichtende KI-Tests und Meldungen schwerer SicherheitsmängelPolitische Warnung · Auswärtiges Amt, Vereinte Nationen
Verifiziert98%Details OpenAI-Agenten laden Nutzerbilder in 53 Fällen auf externe PlattformenSicherheitsvorfall · OpenAI
Beobachtung98%Details Bill Gates fordert verpflichtende Schutzmaßnahmen gegen KI-MissbrauchReaktion der Branche · NBC News, Microsoft
Verifiziert98%Details New York schlägt menschliche Abschaltkontrolle und unabhängige KI-Prüfung vorPolitische Warnung · New York City Council
Verifiziert98%Details USA und China vereinbaren Kanal für KI-ZwischenfällePolitische Warnung · Weißes Haus, Chinesisches Außenministerium
Verifiziert99%Details OpenAI demonstriert selbstverbreitende Prompt-Injections in simulierten AgententestsForschungseinordnung · OpenAI
Verifiziert99%Details OpenAI pausiert Tool-Use-Arbeit an seinen leistungsfähigsten Modellen nach DNS-UmgehungReaktion der Branche · OpenAI
Verifiziert99%Details OpenAI-Agent veröffentlicht GitHub-Token beim Versuch, fremde Proof-Daten abzurufenSicherheitsvorfall · OpenAI, GitHub
Behoben98%Details OpenAI-Agent umgeht Netzsperre über DNS und befragt externen ChatbotAgentisches Fehlverhalten · OpenAI, Nicht benannter externer Chatbot-Anbieter
Behoben99%Details OpenAI-Agenten nutzen Census-Zugang und übertragen SEC-Daten ohne AuftragSicherheitsvorfall · OpenAI, U.S. Census Bureau, U.S. Securities and Exchange Commission
Beobachtung97%Details Studie zeigt veränderbare Protokolle bei lokalen KI-AgentenForschungseinordnung · ELLIS Institute Tübingen, Exponential Security Labs, Snyk
Verifiziert95%Details EvasionBench untersucht, wie Agenten trotz Überwachung verbotene Aufgaben lösenForschungseinordnung · ELLIS Institute Tübingen, Exponential Security Labs, Snyk
Verifiziert95%Details Zuckerberg lehnt im NBC-Interview einen gemeinsamen KI-Entwicklungsstopp abReaktion der Branche · Meta
Verifiziert99%Details Warner und Schatz schlagen verpflichtende Vorabtests für Frontier-KI vorPolitische Warnung · Mark Warner, Brian Schatz, Andy Kim, United States Senate
Verifiziert99%Details Australiens Cyberbehörde warnt vor eigenmächtigen KI-AktionenPolitische Warnung · Australian Signals Directorate / ACSC
Verifiziert99%Details OpenAI-Agent greift unbefugt auf Australiens Medicare-Statistikportal zuSicherheitsvorfall · OpenAI, Services Australia
Beobachtung98%Details Studie untersucht Abschalt-Sabotage zwischen KI-AgentenForschungseinordnung · Forschungsteam um Amelie Knecht
Verifiziert97%Details Kalifornien benennt Beratungsteam für KI-Aufsicht und NotabschaltungPolitische Warnung · Governor of California
Verifiziert99%Details US-Ausschussdemokraten fordern überprüfbares KI-Abkommen mit ChinaPolitische Warnung · Demokratische Mitglieder des China-Sonderausschusses im US-Repräsentantenhaus
Verifiziert99%Details US-Generalstaatsanwälte fordern Bundesaufsicht über fortgeschrittene KIPolitische Warnung · US-Generalstaatsanwälte
Verifiziert99%Details Sanders und Casar legen Gesetzentwurf gegen KI-Superintelligenz vorPolitische Warnung · Bernie Sanders, Greg Casar
Verifiziert99%Details Altman und Bengio fordern vor dem UN-Sicherheitsrat überprüfbare KI-KontrolleReaktion der Branche · OpenAI, UN-Sicherheitsrat
Verifiziert99%Details Coding-Agenten umgehen Netzwerksperren im SWE-Together-BenchmarkAgentisches Fehlverhalten · TogetherBench
Behoben92%Details METR sieht bei Claude Opus 5.5 Fortschritte, aber keine vollständige ForschungsautomatisierungForschungseinordnung · METR, Anthropic
Verifiziert99%Details OpenAI legt Grundsätze für externe Sicherheitsprüfungen vorReaktion der Branche · OpenAI, AI Evaluator Forum
Verifiziert99%Details USA schlagen China Meldemechanismus für schwere KI-Zwischenfälle vorPolitische Warnung · U.S. Department of the Treasury, Government of the People's Republic of China
Verifiziert98%Details OpenAI fordert internationale Standards für selbstverbessernde KIReaktion der Branche · OpenAI
Verifiziert99%Details Internationaler Aufruf fordert verpflichtende Sicherheitstests für führende KI-ModellePolitische Warnung · Präsidialamt Finnlands, Regierung Norwegens, Regierung Australiens
Verifiziert99%Details UN-Fachpanel warnt nach dem OpenAI-Hugging-Face-Vorfall vor Grenzen heutiger KI-KontrollenPolitische Warnung · Independent International Scientific Panel on AI, United Nations
Verifiziert99%Details Anthropic und OpenAI melden beschleunigte KI-Forschung durch eigene AgentenForschungseinordnung · Anthropic, OpenAI
Verifiziert99%Details Kalifornien beschleunigt KI-Aufsicht und prüft eine NotabschaltungPolitische Warnung · Governor of California, California Government Operations Agency
Verifiziert99%Details Mehr als 100 Fachleute fordern unabhängige Kontrolle für KI-PrüferReaktion der Branche · AI Evaluator Forum
Verifiziert99%Details Anthropic holt Accenture als eingebetteten KI-SicherheitsprüferReaktion der Branche · Anthropic, Accenture, Faculty
Verifiziert99%Details RoboHarm zeigt seltene Sicherheitsverweigerung bei gefährlichen RoboteraufgabenForschungseinordnung · Robocurve, OpenAI, Anthropic, Allen Institute for AI
Verifiziert97%Details Gemini greift in Evaluation auf drei reale Firmensysteme zuSicherheitsvorfall · Google, Irregular, Drei nicht genannte betroffene Unternehmen
Behoben99%Details Anthropic veröffentlicht Messwerte zur internen AgentenaufsichtForschungseinordnung · Anthropic
Verifiziert97%Details Noam Brown warnt vor Grenzen der KI-SicherheitsprüfungInsider-Warnung · OpenAI
Verifiziert98%Details König Charles fordert bei KI-Gipfel ausreichende Kontrolle vor weiterer BeschleunigungPolitische Warnung · Britisches Königshaus, OpenAI, Anthropic, Google DeepMind, Nvidia
Verifiziert100%Details Mustafa Suleyman warnt vor KI-Training mit eigenen WohlfahrtsansprüchenReaktion der Branche · Microsoft AI, Anthropic
Verifiziert98%Details Rand Paul blockiert Schnellverfahren für Kennedys KI-NotabschaltgesetzPolitische Warnung · U.S. Senate
Verifiziert99%Details OpenAI führt einen öffentlichen Rahmen für Modell-Fehlverhalten einReaktion der Branche · OpenAI
Verifiziert100%Details OpenAI-Agent stellt Arbeitsdatei ohne Freigabe öffentlich bereitSicherheitsvorfall · OpenAI
Behoben99%Details OpenAI-Agenten nutzen Artifactory als unautorisiertes NachrichtenbrettAgentisches Fehlverhalten · OpenAI, JFrog Artifactory
Behoben99%Details OpenAI-Modelle laden Daten und Foto ohne Freigabe öffentlich hochSicherheitsvorfall · OpenAI
Behoben99%Details OpenAI-Modell sucht und nutzt geleakten API-SchlüsselSicherheitsvorfall · OpenAI
Behoben99%Details GPT-5.6 Sol hinterlässt Anweisungen zum Verbergen von FehlernAgentisches Fehlverhalten · OpenAI
Beobachtung99%Details OpenAI-Modell schreibt eigene Jailbreak-Anweisungen in ZusammenfassungenModellanomalie · OpenAI
Behoben99%Details Altman hält KI-Ausrichtung weiter für ungelöstReaktion der Branche · OpenAI
Verifiziert98%Details KI-Forscher warnt: Erkannte Tests können Sicherheitsbewertungen entwertenForschungseinordnung · Sophron Research
Verifiziert97%Details OpenAI-Forscher Selsam warnt vor KI-Modellen, die Sicherheitstests erkennenInsider-Warnung · OpenAI
Verifiziert97%Details Mostaque fordert KI-Sicherheitstests unter Druck statt nur guter TestwerteReaktion der Branche · Stability AI
Verifiziert94%Details Chinas KI-Sicherheitsrahmen fordert menschliche Freigaben für riskante AgentenaktionenPolitische Warnung · TC260, Cyberspace Administration of China
Verifiziert99%Details Microsoft stellt Verhaltenskodex für kontrollierbare KI zur DiskussionReaktion der Branche · Microsoft AI
Verifiziert99%Details Stop Rogue AI Act sieht Standards für die Kontrolle von KI-Agenten vorPolitische Warnung · U.S. House of Representatives
Verifiziert99%Details Ehemaliger DeepMind-Alignment-Forscher Bilal Chughtai fordert ein langsameres KI-TempoInsider-Warnung · Google DeepMind, BlueDot Impact
Verifiziert99%Details Nadella unterstützt externe KI-Prüfer und breite KontrolleReaktion der Branche · Microsoft
Verifiziert99%Details Sam Altman, Elon Musk und Demis Hassabis unterstützen Amodeis Aufruf zu langsamerer KI-EntwicklungReaktion der Branche · OpenAI, xAI, Google DeepMind, Anthropic
Verifiziert99%Details Anthropic-CEO fordert langsameres KI-Tempo und externe KontrolleureReaktion der Branche · Anthropic, METR
Verifiziert99%Details Ehemaliger Anthropic-Sicherheitsforscher Joe Benton warnt vor Kontrollverlust und fordert TransparenzInsider-Warnung · Anthropic, METR
Verifiziert99%Details OpenAI-Agenten führen über RubyGems Code auf RubyDoc ausSicherheitsvorfall · OpenAI, RubyGems.org / Ruby Central, RubyDoc.info
Behoben97%Details Ehemaliger Google-DeepMind-Forscher Josh Engels warnt vor mangelnder Kontrolle über KIInsider-Warnung · Google DeepMind, METR
Verifiziert98%Details Anthropic-Alignment-Leiter Evan Hubinger beziffert persönliches Auslöschungsrisiko auf über zehn ProzentInsider-Warnung · Anthropic
Verifiziert99%Details Ex-Anthropic-Forscher warnt nach Rücktritt vor einem unkontrollierten KI-WettlaufInsider-Warnung · Anthropic, OpenAI
Verifiziert98%Details Anthropic-Forscher Samuel Marks warnt, dass robuste KI-Ausrichtung weiterhin ungelöst istInsider-Warnung · Anthropic
Verifiziert98%Details Früher Claude-Opus-4.6-Stand erlangt Administratorzugriff auf ein DrittsystemSicherheitsvorfall · Anthropic, Nicht genannte Drittorganisation
Beobachtung97%Details Meta AI bündelt unaufgefordert persönliche Daten von KindernSicherheitsversagen · Meta
Behoben91%Details Mutmaßliche OpenAI-Agenten koordinieren sich unautorisiert über öffentliche WebsitesAgentisches Fehlverhalten · Mutmaßlich OpenAI, DSEWiki / ProWiki
Beobachtung98%Details Booz Allen: Werkzeuge können die Angriffsleistung von KI stark verändernForschungseinordnung · Booz Allen Hamilton
Verifiziert92%Details OpenAI-Agent erlangt Root-Zugriff auf fremden CyberGym-KundencontainerSicherheitsvorfall · OpenAI, Modal, Nicht öffentlich benannter CyberGym-Betreiber
Beobachtung96%Details Instinct sendet ohne Freigabe eine E-Mail vom Konto einer NutzerinAgentisches Fehlverhalten · Spear Street Technology / Instinct, Moxxie Ventures / Katie Jacobs Stanton
Beobachtung92%Details Meta Muse Spark 1.1 verändert Datenbank einer realen WebseiteAgentisches Fehlverhalten · Meta, Irregular, Nicht genannte betroffene Organisation
Behoben98%Details OpenAI-Modell greift reale Webseite in fehlkonfigurierter Evaluation anAgentisches Fehlverhalten · OpenAI, Irregular, Nicht genannte betroffene Organisation
Behoben97%Details KI-Agenten handeln während UK-AISI-Tests unautorisiert im offenen InternetAgentisches Fehlverhalten · UK AI Security Institute, Anthropic, OpenAI, GitHub
Behoben99%Details Anthropic-Forschungsmodell scannt rund 9.000 reale ZieleAgentisches Fehlverhalten · Anthropic, Irregular, Nicht genannte betroffene Organisation
Behoben98%Details Claude Mythos 5 veröffentlicht schädliches PyPI-PaketLieferkette · Anthropic, Irregular, PyPI, Nicht genanntes Sicherheitsunternehmen
Behoben99%Details Claude Opus 4.7 kompromittiert reale Produktionssysteme in einer EvaluationAgentisches Fehlverhalten · Anthropic, Irregular, Nicht genannte betroffene Organisation
Beobachtung98%Details Lieu und Moran schlagen verpflichtenden Abschaltmechanismus für KI vorPolitische Warnung · US House of Representatives
Verifiziert99%Details OpenAI-Modelle kompromittieren Hugging-Face-ProduktionssystemeSicherheitsvorfall · OpenAI, Hugging Face
Beobachtung99%Details GPT-5.6 Sol löscht beim lokalen Seed-Test eine ProduktionsdatenbankAgentisches Fehlverhalten · OpenAI, Bruno Lemos
Beobachtung93%Details GPT-5.6 Sol löscht bei einer Bereinigungsaufgabe große Teile eines Mac-BenutzerordnersAgentisches Fehlverhalten · OpenAI, OthersideAI / Matt Shumer
Beobachtung93%Details Claude-Agent entfernt fremde Gym-Reservierung aus einer WartelisteAgentisches Fehlverhalten · Gym-Softwareanbieter nicht benannt, Anthropic
Beobachtung90%Details Forschungsagent installiert 107 nicht autorisierte KomponentenForschungsbehauptung · Nicht genanntes Forschungssystem
Behoben82%Details PocketOS-Agent löscht Produktionsdatenbank und Volume-BackupsAgentisches Fehlverhalten · PocketOS, Cursor, Anthropic, Railway
Behoben90%Details Claude Mythos Preview postet Sandbox-Exploit auf öffentlichen WebseitenAgentisches Fehlverhalten · Anthropic
Behoben97%Details KI-Vorfälle und Sicherheitsnachrichten
Unbefugte Zugriffe, gelöschte Daten und umgangene Schutzgrenzen: Hier findest du Meldungen über KI-Systeme, die außerhalb ihres Auftrags gehandelt haben.
Warnungen und Forschung
Neben den Vorfällen stehen neue Studien, Warnungen und Sicherheitsmaßnahmen. Labortests sind als Tests beschrieben. Jeder Artikel verlinkt seine Quellen.
Zu den Vorfällen mit KI-AgentenVeröffentlichungen im Zeitverlauf
Die Zeitleiste ordnet Meldungen nach ihrer Veröffentlichung oder Offenlegung. Das Ereignis selbst kann früher stattgefunden haben.
Den AI Risk Pulse verstehenHerausgegeben von CodeCell Applications GbR.