Tootfinder

«Methoden aus der #Psychologie decken massive Schwächen in KI-Sicherheitstests auf:
Ein #KI-Modell kann seinen #Sicherheit'sscore einfach dadurch verbessern, dass es pauschal mehr Anfragen blockiert. …

Methoden aus der Psychologie decken massive Schwächen in KI-Sicherheitstests auf
Forscher des UK AI Security Institute zeigen mit psychometrischen Methoden, dass gängige Sicherheitsbenchmarks für Sprachmodelle keine einheitliche Eigenschaft messen. Ein pauschales Blockieren von Anfragen kann den Safety-Score künstlich heben, während das Modell im Alltag unbrauchbarer wird. Zugleich liefert die Studie ein Verfahren, das Modelle entlarvt, die sich bei Tests absichtlich vorsichtiger geben als im normalen Einsatz.