CAT-Entwicklung

Wie funktioniert eigentlich ein CAT (computer-adaptiver Test)?

Bei der Entwicklung eines psychometrischen Tests in Form eines Fragebogens steht man häufig vor einem Problem:

Man muss Fragen stellen, die den ganzen Bereich des zu messenden Konstrukts abdecken (d. h. neben mittelschweren auch besonders leichte oder besonders schwere Fragen), um Unterschiede zwischen Personen mit ähnlicher Merkmalsausprägung deutlich machen zu können. Für ein klassisches Instrument zur Erfassung von Depression heißt das, dass auch ein wenig belasteter Proband Fragen nach Suizidgedanken vorgelegt bekommt, genau wie ein schwer depressiver Patient Fragen nach Freude beantworten muss. Das macht Fragebögen naturgemäß länger, kann aber vom Probanden durchaus auch als unangemessen wahrgenommen werden und die Motivation zur Beantwortung des Tests schmälern.

Computer-adaptive Tests bieten einen Ausweg aus dieser Problematik, indem den Probanden vom Computer nur Items vorgelegt werden, die zu dem bisherigen Antwortverhalten passen. Dazu ist ein Itempool, also eine umfangreiche Sammlung von verschiedensten Fragen zum Zielkonstrukt, notwendig. In einem ersten Schritt werden die Eigenschaften der Items berechnet, aus der sich der Informationsgehalt des Items über das Kontinuum des zu messenden Merkmals ergibt. Als nächstes wird ein Algorithmus festgelegt, der ungefähr so aussieht:

1. Präsentiere ein Item, das besonders gut im mittleren Ausprägungsbereich misst.
2. Berechne abhängig von der Antwort die ungefähre Ausprägung des Probanden und die Unsicherheit der Schätzung.
3. Prüfe, ob ein Abbruchkriterium erfüllt ist. Abbruchkriterien sind häufig die Anzahl der bisher präsentierten Fragen oder die Genauigkeit der Schätzung.
4. Falls Abbruchkriterium noch nicht erfüllt, präsentiere ein Item, das besonders gut im vermuteten Ausprägungsbereich misst und gehe zu 2.
5. Falls Abbruchkriterium erfüllt, beende Test bzw. gehe zum nächsten Testteil.

Der Proband muss also nicht mehr alle möglichen Items beantworten, sondern nur noch jene, die für die wahrscheinliche Ausprägung am passendsten sind. Daher nimmt die Testlänge ab und besonders im Bereich mittlerer Ausprägungen kann man mit deutlich weniger Items die gleiche Genauigkeit erreichen wie mit einem normalen Papierfragebogen. Außerdem ist durch Angabe des Standardfehlers jeweils klar, wie genau bzw. ungenau die Schätzung der individuellen Ausprägung ist.

Die größten Nachteile computer-adaptiver Tests bestehen darin, dass der Testwert nicht, wie bei Fragebögen üblich, einfach durch Addieren der Itemantworten berechenbar ist, sondern aus einem Modell berechnet werden muss. Auch ist für die Testerhebung ein Computer notwendig. Durch die zunehmende Verbreitung von Smartphones, Tablets und dem Internet stellt dies aber in vielen Bereichen keine große Einschränkung mehr dar.