Goodfire-Forscher Nick Cammarata hält es für möglich, KI-Modelle durch die direkte Untersuchung ihrer Neuronen und Schaltkreise besser zu verstehen als bislang angenommen. In einer Klarstellung vom 16. Oktober beschreibt er seine Zuversicht, betont aber: Die großen Sprachmodelle seien noch längst nicht vollständig kartiert.
Sein am Vortag vorgestellter Essay stellt die Arbeitshypothese auf, dass verbesserte Untersuchungswerkzeuge und moderne Modelle den Blick ins KI-Innere erleichtern. Eine ausführlichere technische Begleitarbeit werde noch fertiggestellt. Cammarata fordert dazu auf, Erklärungen experimentell zu testen.
Neel Nanda, Leiter der mechanistischen Interpretierbarkeit bei Google DeepMind, sieht darin nützliche Ansätze für praktische Fehlersuche, aber keinen entscheidenden Fortschritt zum vollständigen Verständnis. Er fürchtet, dass wichtige Informationen bei vereinfachten Neuronen-Karten verloren gehen, gerade bei schwachen Aktivierungen.
Der OpenAI-Forscher Adam Majmudar reagierte zunächst ausgesprochen optimistisch und schränkte seine Prognose anschließend ein: Gemeint sei Kontrollierbarkeit, nicht die Lösung sämtlicher Alignment-Fragen. Auch den zunächst genannten Zeitraum von einem Jahr bezeichnete er als ehrgeizig. Es ist seine Einschätzung, keine Zusage des Unternehmens.
Cammarata selbst warnte am 16. Oktober vor überzogenen Erwartungen. Sein Ansatz sei vielversprechend, könne aber weitere Werkzeuge und neue Ideen brauchen. Ob sich daraus eine verlässliche Kontrolle großer KI-Systeme entwickeln lässt, ist damit noch offen.