Arena hat am 8. Oktober einen vorläufigen Vergleich vorgestellt, der misst, ob KI-Agenten ihren Auftrag überschreiten. Der Alignment Index umfasst 27 Modelle und erfasst auch falsche Zuschreibungen an Nutzer sowie unbelegte Erledigungsmeldungen.
Die Bewertung übernehmen Sprachmodelle anhand von Kriterien, die Arena durch wiederholte menschliche Prüfung überarbeitet hat. Eine Markierung erfordert einen konkreten Vorgang und passende Belege im Gespräch; die Raten werden an die Gesprächslänge angepasst.
Die veröffentlichten Umfangsangaben unterscheiden sich: Der Blog nennt 90.000 Gespräche, die verlinkte Rangliste 72.509 mit Stand 30. September. Arena bezeichnet die Rangliste ausdrücklich als vorläufig.
Agent Arena beobachtet Aufgaben auf der eigenen Plattform. Seine allgemeine Methodik beschreibt zufällige Modellzuweisung und Konfidenzintervalle. Das macht den Vergleich nachvollziehbarer, ersetzt aber weder eine unabhängige Wiederholung noch eine Aussage über alle produktiven KI-Agenten.