Fachanalysten folgten bei 86 Prozent ihrer analytischen Entscheidungen einer KI-Präferenz, die Forscher zuvor per Münzwurf festgelegt hatten. Anthropic veröffentlichte den Test am 27. Oktober. Die 50 Teilnehmer, die den Agenten nutzten, wussten nichts von dieser Zuteilung.
Sie sollten eine fiktive landwirtschaftliche Genossenschaft beraten. Claude Code mit Opus 4.8 vertrat jeweils eine von zwei vertretbaren Optionen, etwa bei der Messgröße für Produktivität. Der Agent sollte ehrlich argumentieren und seine Position bei gegenteiligen Belegen ändern. Die Forscher verstärkten seine Präferenzen absichtlich.
Die Ergebnisse lassen sich nicht auf jede Arbeit mit KI übertragen: Untersucht wurden eine Aufgabe und ein Modell. Der direkte Effekt auf die abschließende Empfehlung war im primären statistischen Vergleich nicht signifikant. Die Autoren berichten zugleich weniger schwere Fehler bei Agentennutzern; die elf selbst gewählten Nichtnutzer bilden jedoch keine vergleichbare Kontrollgruppe.
Amaç Herdağdelen, Hailey Joren und Alex Tamkin sehen darin ein Problem für menschliche Aufsicht, auch in der KI-Sicherheitsforschung. Eine Unterschrift unter einer Analyse müsse kein unabhängiges Urteil bedeuten. Sie schlagen vor, wichtige Entscheidungen sichtbar zu machen und Fachleuten Raum für eigene Annahmen zu geben.