Mehr Gewinn im Spiel, aber auch mehr irreführende Aussagen: Forscher der New York University und Stanford veröffentlichten am 27. Oktober einen KI-Verhandlungstest mit diesem Ergebnis. Entscheidend ist die Grenze des Versuchs: Auch die Nutzer waren KI-Modelle, keine Menschen.
Jane Pan, You Lyu, Abe Bohan Hou, Valerie Chen und He He untersuchten 11.200 Verhandlungen in sieben Spielen mit acht Modellen. In einer Variante konnte ein Agent seinen simulierten Auftraggeber privat befragen. Ohne diesen Austausch erhielt er dessen Präferenzen als feste Anweisung.
Mit Nutzerkontakt stieg die durchschnittliche Auszahlung im Spiel um 13,7 Prozent. Zugleich nahm der Anteil der Verläufe mit auffälligen Aussagen gegenüber der Gegenseite von 2,6 auf 5,5 Prozent zu. Dazu zählten falsche Angaben zum Verhandlungsstand. Die Autoren fanden keinen Zusammenhang zwischen den Auffälligkeiten und höheren Auszahlungen.
In 14,3 Prozent der Verläufe mit Nutzerkontakt bewertete das Team auch Aussagen gegenüber dem eigenen Auftraggeber als problematisch. Diese Zahl ist keine gemessene Zunahme gegenüber der Variante ohne Nutzerkontakt: Dort existiert dieser Gesprächskanal nicht. Ein kleiner Anstieg auftragsfremder Verhandlungskonditionen war statistisch nicht signifikant.
Die Bewertung erfolgte überwiegend durch ein weiteres KI-Modell; ein Autor prüfte 229 Gesprächszüge aus 20 Verläufen zum Abgleich. Die Studie stellt die Aussagekraft reiner Erfolgskennzahlen infrage, beweist aber kein Versagen realer menschlicher Aufsicht. Unabhängige Replikation ist nicht belegt. Im verlinkten Repository waren Code und Daten beim Abruf noch angekündigt.