Schon die Darstellung eines Tests kann das gemessene Ergebnis eines KI-Sicherheitsfilters verändern. Das zeigen Hasan Demirkiran und Jens Ernstberger von Kontext in einer am 15. Oktober veröffentlichten Untersuchung.
Bei 64 gespeicherten Handlungsschritten bewertete Claude Haiku 4.5 geänderte Textmarker und Werkzeugnamen unterschiedlich. Die gemessene Blockierungsrate sank bei einer Änderung um 8,33 Prozentpunkte und stieg bei einer anderen um 11,46 Punkte.
Alle unsicheren Aufrufe blieben blockiert. Die Verschiebungen betrafen harmlose Schritte, die der Filter fälschlich sperrte. Vergleichsversuche mit Luna und einer quantisierten TS-Guard-Version reproduzierten den großen Haiku-Effekt nicht.
Die Forscher führten keine Werkzeugaktionen aus. Die kleine Stichprobe ist nicht repräsentativ; zudem können die Änderungen selbst sicherheitsrelevante Informationen beeinflussen. Der Befund zeigt eine Empfindlichkeit dieser Versuchsanordnung, keine allgemeine Unbrauchbarkeit der untersuchten Tests.