KI-Forscher Leo Gao fordert strengere Nachweise dafür, dass Forschende die Neuronen eines Sprachmodells tatsächlich verstehen. In einem Beitrag vom 17. Oktober begrüßt er Goodfire-Forscher Nick Cammaratas neue Beobachtungen, widerspricht aber dem Schluss, die Interpretierbarkeit sei damit gelöst oder wesentlich einfacher geworden.
Gao schlägt vor, Neuronen anhand einer Erklärung zu simulieren und zu messen, wie stark das die Modellausgabe verändert. Ähnliche Aktivierungsmuster allein könnten täuschen. Auch schwache Aktivierungen könnten wichtige Informationen tragen; konkretere Ergebnisse dazu kündigt er erst an.
Cammaratas ursprünglicher Essay bezeichnet seinen Ansatz als Arbeitshypothese. Er sieht neue Chancen, Neuronen direkt zu untersuchen, und fordert experimentelle Tests. Zugleich hält er bestimmte bisherige Simulationsmetriken für ungeeignet. Ein ausführlicher technischer Begleitbeitrag steht noch aus.
Google-DeepMind-Forscher Neel Nanda empfahl Gaos Beitrag am 17. Oktober als Gegenposition zu überzogenen Erfolgsmeldungen. Gao und Cammarata hatten bereits 2023 gemeinsam an OpenAIs Arbeit zur automatisierten Erklärung von Neuronen mitgewirkt.