Ein Forscher, der selbst für Sicherheitsfilter in KI-Trainingsdaten gearbeitet hat, warnt vor zu viel Vertrauen in diese Technik. Kyle O’Brien schrieb am 25. Oktober, Datenfilter allein reichten für die Sicherheit offener Modellgewichte nicht aus. Er fordert deutlich mehr Forschung zu Schutzmechanismen, die nachträglichen Veränderungen standhalten.
O’Brien ist Gründungsforscher bei Geodesic Research und Mitautor der Studie Deep Ignorance. Darin hatte sein Team untersucht, ob das Entfernen bestimmter Trainingsinhalte unerwünschtes Wissen begrenzen kann. Die Arbeit nennt selbst eine Grenze: Auch gefilterte Modelle können relevante Informationen nutzen, wenn diese später im Kontext bereitgestellt werden.
Im neuen Beitrag kritisiert O’Brien vor allem, wie optimistisch seine Forschung wahrgenommen werden könnte. Er befürchtet, dass das Filtern allein mit stärkeren Modellen nicht dauerhaft genügt. Seine Neubewertung ist keine neue Vergleichsstudie und keine Rücknahme der gemessenen Ergebnisse.
In der Originaldiskussion widerspricht der Kommentator Shankar Sivarajan seiner Einschätzung zur Bedeutung angekündigter offener Modelle. O’Brien verweist dagegen auf Moonshots Kimi-Ankündigung, ohne eine eigene Nachprüfung der Anbieterwerte vorzulegen. Beide diskutieren erwartete Fähigkeiten und eine geplante Gewichtsfreigabe, keine bereits belegte Umgehung dieses Schutzes im Einsatz.