Jacob Hilton vom Alignment Research Center warnt davor, verständliche Beschreibungen einzelner Neuronen mit einem vollständigen Verständnis großer Sprachmodelle zu verwechseln. In einem eigenen Thread vom 16. Oktober widerspricht er der optimistischen Interpretation neuer Arbeiten von Goodfire-Forscher Nick Cammarata.
Hilton erkennt an, dass viele Neuronen eine erkennbare Hauptfunktion besitzen könnten. Unklar bleibe aber, wie vollständig solche Beschreibungen seien und welche Nebenfunktionen sie ausließen. Für ein umfassendes Verständnis müssten Forschende außerdem erklären, wie die Neuronen gemeinsam Schaltkreise bilden.
Sein Skalierungsargument: Größere Modelle können mehr Aufgaben lösen, doch verständliche Beispiele erklären nicht automatisch diesen gesamten Fähigkeitszuwachs. Hilton hält auch kleine, gezielt verstandene Ausschnitte für nützlich. Daraus folge jedoch noch kein Weg, KI durch vollständiges Verstehen zuverlässig auszurichten.
Google-DeepMind-Forscher Neel Nanda empfahl den Thread als Beitrag zur Interpretierbarkeitsdebatte. Cammaratas ursprünglicher Essay beschreibt seinen Ansatz als Arbeitshypothese und fordert experimentelle Prüfungen. Hilton korrigierte im eigenen Thread zudem seine Bezeichnung eines verwendeten Graphmaßes: Es beschreibt Vollständigkeit, nicht unmittelbar mechanistische Treue.