Qualität von Diagnostik , Haupt - und Nebengütekriterien, Normen

Christina Backes & Markus Dresel, Augsburg - Qualität von Diagnostik, Haupt- und Nebengütekriterien, Normen

1. Einleitung

Der vorliegende Text beschäftigt sich mit Gütekriterien und Normen von psychologischen Messverfahren. Für die psychologische Diagnostik sind beide von erheblicher Bedeutung.

Kürzlich hat das Testkuratorium der DGPs (Deutsche Gesellschaft für Psychologie) und des BDP (Berufsverband Deutscher Psychologinnen und Psychologen) die Beurteilungsmaßstäbe für die Testgüte nochmals präziser definiert (Testkuratorium, 2010). Der vorliegende Text beschreibt unter anderem diese Beurteilungsmaßstäbe, die sich sowohl auf die Qualität von Tests als auch auf die Qualität anderer Erhebungsmethoden der Psychologie anwenden lassen.

Die Gütekriterien stellen Qualitätsstandards her. Sie erlauben es, eine Messung im Allgemeinen, wie beispielsweise eine Beobachtung, eine Befragung oder auch die Erhebung von Schulleistungen, auf Qualität hin zu überprüfen. Es gibt in der Psychologie unzählige Messverfahren, die in ihrer Qualität unterschiedlich ausfallen¹. Ihre jeweilige Qualität lässt sich beurteilen, wenn Informationen über die Erfüllung der Gütekriterien vorliegen. Dies ist bei der Auswahl eines geeigneten Instruments sehr hilfreich. Schon bei der Testkonstruktion müssen die Gütekriterien der Klassischen Testtheorie bedacht werden, aber auch in der Anwendung, der Auswertung und der Interpretation von Tests muss der Erfüllung dieser Kriterien große Bedeutung beigemessen werden. Das bedeutet, dass die Erfüllung der Standards den Testprozess in jeder Phase begleitet. Alle an der Testdurchführung beteiligten Personen müssen sich mit diesen Kriterien vertraut machen. Informationen darüber, ob ein Test die Gütekriterien erfüllt und wie es bei der Durchführung des Tests gelingt, diese zu wahren, können in der Regel dem Testhandbuch (auch „Testmanual“) entnommen werden.

Normen sind für die psychologische Diagnostik ebenso wichtig, weil sie für die Messergebnisse Vergleichsmaßstäbe liefern. Ohne diese Vergleichsmaßstäbe hätte eine Messung nicht die gleiche Aussagekraft. Häufig geht es bei der Datengewinnung allgemein darum, Aussagen zu treffen, ob eine Person mit ihren individuellen Ergebnissen über, im oder unter dem Durchschnitt liegt. Dieser Vergleich ist aber nur möglich, wenn die Messung zuvor an zahlreichen vergleichbaren Personen durchgeführt wurde. Damit wird es möglich, das individuelle Ergebnis anhand der Ergebnisse der Vergleichspersonen einzuordnen.

Auch im Schulalltag von Lehrkräften sind Gütekriterien von Bedeutung. So sollen Leistungsmessungen in der Schule, wie beispielsweise Schulleistungstests, Schulaufgaben, aber auch mündliche Prüfungen, die Gütekriterien erfüllen, was sie bedauerlicherweise aber oft nicht tun (vgl. Unterkap. 4.2.1). Je nach Art der Leistungsmessung fällt die Erfüllung der Gütekriterien typischerweise unterschiedlich aus. Bei standardisierten Testverfahren (z. B. Schulleistungstests) sind sie in der Regel deutlich besser erfüllt als bei mündlichen sowie konventionellen Prüfungsformen.

Im Folgenden werden zunächst die Gütekriterien dargestellt, die sich in Hauptgütekriterien (Kap. 4.2) und Nebengütekriterien (Kap. 4.3) aufteilen lassen. Zu den Hauptgütekriterien zählen die Objektivität, also die Unabhängigkeit der Messergebnisse vom Untersuchungsleiter und -auswerter, die Reliabilität, worunter man die Messgenauigkeit einer Messung versteht, und die Validität, die die inhaltliche Richtigkeit einer Messung beschreibt. Unter den Nebengütekriterien werden die Normierung, die Ökonomie, die Zumutbarkeit, die Unverfälschbarkeit, die Fairness und die Nützlichkeit angesprochen. Es geht dabei vor allem um die Darstellung ihrer Bedeutung für psychologische Verfahren der Datengewinnung. Wo es möglich ist, Koeffizienten für die Güte anzugeben, werden kritische Werte genannt, anhand derer die Qualität eingeschätzt werden kann. Kapitel 4 widmet sich schließlich den Normskalen und ihrer Bedeutung für die Interpretation der Ergebnisse. Es gibt zahlreiche Normen, von denen die gängigsten dargestellt werden. Dabei wird auch darauf eingegangen, wie sich Rohwerte in solche Normwerte transformieren lassen.

2. Hauptgütekriterien

Als Hauptgütekriterien werden die Objektivität, die Reliabilität und die Validität bezeichnet. Diese drei Gütekriterien können wiederum weiter unterteilt werden, wie Abbildung 4.1 anschaulich darstellt. Nur wenn sie gewährleistet sind, können Ergebnisse zu angemessenen Diagnosen und bei deren Umsetzung zu angemessenen Interventionsmaßnahmen führen.

Abbildung 4.1: Übersicht über die Hauptgütekriterien

Die Testgütekriterien wurden zunächst für psychologische Tests im engeren Sinne bzw. für Messverfahren in der psychologischen Forschung entwickelt und müssen dort so gut wie möglich erfüllt sein (deshalb findet man in wissenschaftlichen Publikationen meist auch Aussagen dazu). Darüber hinaus stellen die Gütekriterien aber auch allgemeinere Qualitätsstandards für diagnostisches Handeln dar, die außerhalb dieses Bereichs liegen. So stellen sie beispielsweise auch einen Standard zur Beurteilung der Qualität von alltäglichen Leistungsfeststellungen in der Schule dar und können für diesen Bereich ebenso herangezogen werden.

2.1 Objektivität

Im Idealfall sollten die gleichen Messungen unterschiedlicher Untersuchungsleiter bei denselben Versuchspersonen zu identischen Ergebnissen führen. Man unterscheidet je nach Untersuchungsphase verschiedene Arten der Objektivität:

1. Durchführungsobjektivität
2. Auswertungsobjektivität
3. Interpretationsobjektivität

2.1.1 Durchführungsobjektivität

Die Forderung nach Durchführungsobjektivität – Unabhängigkeit bei der Messdurchführung – bezieht sich auf die Phase der Durchführung der Datengewinnung. Das Verhalten des Untersuchungsleiters und die Erhebungssituation sollen keinen Einfluss auf die Ergebnisse ausüben. Die Erhebungssituation soll deshalb standardisiert sein und allen Probanden die gleichen Bedingungen bezüglich der Materialien, des Ortes, der Zeit sowie der Instruktionen bieten (Rentzsch & Schütz, 2009). Angaben darüber, wie z.B. ein psychologischer Test durchzuführen ist und wie die Probanden informiert werden sollen, finden sich bei standardisierten Tests im Testhandbuch. Zur Gewährleistung der Durchführungsobjektivität ist es unumgänglich, dass der Testautor eine Testinstruktion verfasst, die alles enthält, was die Probanden zum Verständnis der Aufgabenstellung brauchen. Es darf nicht sein, dass zusätzliche Anmerkungen nötig sind. Diese Testinstruktion muss klar und verständlich vorgetragen werden. Bei älteren Kindern und Jugendlichen ist es auch möglich, dass die Testinstruktionen vollständig auf den Testbogen bzw. das Testheft gedruckt sind und von den Pbn still gelesen werden oder, dass sie mitlesen können, wenn der Testleiter diese vorträgt. Des Weiteren müssen die Aufgabenstellungen für alle Pbn identisch sein, was vor allem durch gedruckte Aufgaben gegeben ist. Nur so kann gewährleistet werden, dass alle Testteilnehmer den gleichen Bedingungen unterliegen.

Leistungsmessung in Mathematik in der 4. Klasse

Bei einer schriftlichen Leistungsmessung wird die Forderung nach Objektivität dadurch erfüllt, dass alle Schüler dieselben Aufgaben bearbeiten müssen und die gleiche Instruktion erhalten. Außerdem müssen alle die Aufgaben in derselben Zeit bearbeiten und für alle müssen die gleichen Hilfsmittel erlaubt sein.

2.1.2 Auswertungsobjektivität

Bei der Auswertungsobjektivität wird gefordert, dass unterschiedliche Auswerter bei denselben Messungen zu denselben Ergebnissen gelangen. Angaben darüber, wie ein Test auszuwerten ist, findet man ebenfalls im Testhandbuch.

Die Beurteilung des Ausmaßes der Auswertungsobjektivität hängt von der Art der Messung und den gegebenen Auswertungsmaßstäben ab. Bei hochstandardisierten schriftlichen Befragungen im Multiple-Choice-Verfahren ist diese Form der Objektivität stärker gegeben als etwa bei offenen Fragen. Die Antworten werden hierbei jeweils in Textform gegeben und die Beurteilung, ob die Frage richtig oder falsch beantwortet wurde, kann uneindeutig sein und bei verschiedenen Auswertern unterschiedlich ausfallen (Ingenkamp & Lissmann, 2005). Für diese Methoden der Datengewinnung und auch für Erhebungsformen, bei denen Beobachtungen angestellt werden, müssen klare Auswertungsrichtlinien aufgeführt werden. Jedem Auswerter darf im besten Fall kein Spielraum für eigene Entscheidungen bleiben. Dies kann z.B. durch die Verwendung von Schablonen gewährleistet werden.

Die Auswertungsobjektivität ist für die Leistungsmessung dann gegeben, wenn die Kriterien für die Auswertung der Messung, die letztlich zur Benotung führen, für alle Schüler gleich sind. Diese Kriterien müssen eindeutig sein, v.a. dafür, wann eine Aufgabe falsch oder richtig gelöst wurde. Außerdem muss eindeutig sein, welchen Stellenwert die Lösung einer Aufgabe im Gesamt der Aufgaben aufweist. Es darf nicht sein, dass eine Aufgabe bei einem Schüler stärker und bei einem anderen Schüler weniger stark gewichtet wird.

2.1.3 Interpretationsobjektivität

Die Interpretationsobjektivität ist die am schwierigsten zu gewährleistende Art der Objektivität. Hierbei geht es um die Forderung, dass verschiedene Personen auf der Basis der Messergebnisse dieselbe Interpretation vornehmen.

Eindeutiger ist die Interpretationsobjektivität bei normierten Testverfahren gegeben, bei denen die Testergebnisse nach der Auswertung mit den Ergebnissen einer Eichstichprobe (siehe 3.1) verglichen werden, als bei Verfahren, bei denen die Auswertung der Testergebnisse sehr stark von der Deutung und Interpretation des Testleiters abhängig ist (Kubinger, 2006).

Bei psychologischen Tests liefert wiederum das Testhandbuch Hinweise zur Interpretation, um die Objektivität zu gewährleisten.

In der Regel werden in der Schule aus den Ergebnissen von Leistungsmessungen Schulnoten abgeleitet. Dies muss nach eindeutigen und für alle Schüler gleichen Kriterien geschehen. Am einfachsten ist dies zu erreichen, wenn es bei schriftlichen Leistungsmessungen Punktwerte auf richtig beantwortete Fragen gibt und dann für eine klar definierte Anzahl von Punkten ein bestimmter Notenwert zugeordnet wird.

2.1.4 Zusammenfassung

Die dargestellten Aspekte der Objektivität stellen eine Grundlage zur Beurteilung der Qualität von Messungen dar. Objektivität lässt sich häufig nicht in quantitativen Werten ausdrücken (möglich ist dies z.B. durch Beurteilungsübereinstimmungsmaße). Eine sinnvolle Datenerhebung setzt allerdings Objektivität in jeder Erhebungs-, Auswertungs- und Interpretationsphase voraus. Außerdem setzen die anderen Gütekriterien (Reliabilität und Validität) das Vorhandensein von Objektivität voraus (Rost, 2004, S. 39).

2.2 Reliabilität

.

2.2.1 Retest-Reliabilität

.

2.2.2 Paralleltest-Reliabilität

.

2.2.3 Split-Half-Reliabilität

.

2.2.4 Interne Konsistenz

.

2.2.5 Zusammenfassung

.

2.3 Validität

.

2.3.1 Inhaltsvalidität

.

2.3.2 Kriteriumsvalidität

.

2.3.3 Konstruktvalidität

.

2.3.4 Zusammenfassung

.

3. Nebengütekriterien

.

3.1 Normierung

.

3.2 Ökonomie

.

3.3 Nützlichkeit

.

3.4 Zumutbarkeit

.

3.5 Unverfälschbarkeit

.

3.6 Fairness

.

3.7 Zusammenfassung

.

4. Normskalen

.

4.1 Prozentränge

.

4.2 z-Werte

.

4.3 T-Werte

.

4.4 IQ-Werte

.

4.5 Zusammenfassung

.

5. Schluss

.

6. Literatur

.

7. Übungsfragen

.