Evaluation II: Anwendungsmöglichkeiten im schulischen Kontext

Michael Jäger, Erlangen - Evaluation II: Anwendungsmöglichkeiten im schulischen Kontext

1. Einleitung – Evaluation und Schulqualität

Evaluation kann nur auf der Grundlage eines Qualitätsbegriffs stattfinden. Oder anders ausgedrückt: Erst wenn klar ist, was für den jeweiligen Sachverhalt als „gut“ angesehen werden kann, kann dafür ein Bewertungsverfahren konzipiert werden. Bevor wir also die unterschiedlichen praktischen Anwendungen von Evaluation inhaltlich näher betrachten, lohnt ein kleiner Exkurs zur Schulqualität in dieser Einleitung. Ausgehend von dieser Basis betrachten wir danach Verfahren zur Unterrichtsevaluation (Kap. 2), zur Evaluation von einzelnen Schulen (Kap. 3) und zur Bewertung von Schulsystemen (Kap. 4). Danach werden wichtige Begriffe aus dieser Lehreinheit in einem Glossar zusammengestellt (Kap. 5). In einem ergänzenden Anhang, der nicht mehr Teil des Prüfungsumfangs ist, werden schließlich Schritte zur Evaluation des eigenen Unterrichts beschrieben (Kap. 5).

Maßgebliche Arbeiten zur Definition von Schulqualität stammen von Fend (1986, 1998, 2008). Er plädiert für eine Weiterentwicklung auf allen Ebenen des Bildungssystems - auf der Bildungssystemebene, d.h. der Ebene der Bildungspolitik sowie der Bildungsadministration, auf der Schulebene mit allen Interaktionen von Schulleitungen, Kollegien, Eltern und Schülerinnen und Schülern sowie auf der Unterrichtsebene mit den täglich stattfindenden Lehr-Lernprozessen. Auf allen drei Ebenen können Einflussfaktoren für Schulqualität identifiziert werden.

1.1 Qualität auf der Ebene des Unterrichts

.

1.2 Schulqualität auf Ebene der Einzelschule

.

1.3 Schulqualität auf Ebene der Bildungssystems

.

2. Evaluation des Unterrichts

Unterrichtsevaluation findet auf der Grundlage von Qualitätskriterien für Unterricht statt. Den aktuellen Kenntnisstand fassen wir im nächsten Unterkapitel 2.1 zusammen. Danach betrachten wir unterschiedliche Methoden der Erfassung und stellen Studienergebnisse dazu vor (Unterkap. 2.2).

2.1 Was ist Unterrichtsqualität?

Die Definition guten Unterrichts ist seit der Grundsatzdebatte zwischen lehrerzentrierten und offenen Unterrichtsformen deutlich fortgeschritten. Insbesondere die Arbeiten von Brophy (1999) und in Deutschland die Anpassung von Hilbert Meyer (2004) stellen den Wissensstand zum guten Unterricht praxisnah dar. Studien und Forschungsergebnisse zur Bewertung von Unterricht wurden von Helmke (2003) zusammengetragen. Die von Brophy formulierten Kriterien lassen sich nach dem Input-Prozess-Output-Schema gruppieren und umfassen folgende Punkte (s. Abb. 12.1).

Abbildung 12.1: Kriterien guten Unterrichts

(übersetzt und neu geordnet nach Brophy, 1999)

Detailliertere Beispiele zu den einzelnen Aspekten sowie auch weitere international gebräuchliche Klassifikationen zur Unterrichtsqualität finden sich in dem bereits erwähnten Buch von Helmke (2003, S. 122 ff.). Eine der entscheidenden Erkenntnisse aus diesen Arbeiten liegt in der Kombination von Unterrichtsstilen als effektivere Strategie im Vergleich zu offenem oder lehrerzentriertem Unterricht alleine.

2.2 Erfassung der Unterrichtsqualität

Einige der Qualitätskriterien für Unterricht lassen sich leicht quantitativ erfassen (z.B. Lernzeit und Lerngelegenheiten, Orientierung am Lehrplan). Andere können nur mit aufwendigeren Methoden überprüft werden. Nachfolgend werden zwei Forschungsansätze zur Überprüfung von Unterrichtsqualität und Unterrichtsprozessen aufgeführt und deren Beitrag zur Unterrichtsforschung kurz skizziert.

2.2.1 Fragebogenstudien

Fragebogenstudien zur Unterrichtsqualität können an unterschiedliche Zielgruppen gerichtet sein. Die beiden häufigsten Adressaten dürften dabei die Lehrkräfte sowie die Schülerinnen und Schüler sein. Beide Ansätze bringen allerdings Probleme mit sich:

Selbsteinschätzungen der Lehrkräfte

Als Ausführende den eigenen Unterricht zu bewerten, stellt Lehrkräfte vor eine schwierige Aufgabe. Sie müssen einerseits den Unterrichtsprozess gestalten und andererseits kognitive Ressourcen zur Selbstbeobachtung aufwenden. Wenn diese Selbstbeobachtung nicht vor allem durch Aufmerksamkeitseffekte und Wahrnehmungsverzerrungen (z.B. Primacy-/Recency-/Halo-Effekt) bestimmt werden soll, dann muss parallel zum Unterricht ein möglichst detailliertes Protokoll angefertigt werden¹.

Somit überrascht es nicht, dass sich die Ergebnisse dieser Selbsteinschätzungen kaum mit den Ergebnissen externer Beobachter überschneiden. Schülerinnen und Schüler, Beobachter im Unterricht oder Externe, die eine aufgezeichnete Unterrichtsstunde ansehen, kommen dagegen zu ähnlichen Einschätzungen. In einer gut fundierten Arbeit findet Clausen (2002) insgesamt nur wenige Übereinstimmungen zwischen den Urteilen der Lehrkraft, den Ergebnissen der Schülerbefragung und der Auswertung von Unterrichtsvideos. Als Basis dafür standen TIMSS-Videos zur Verfügung – die Videos aus diesem Modul entstammen demselben Pool.

Schülerfeedback zum Unterricht

Rückmeldungen der Klasse zum Unterricht unterliegen im Hinblick auf die zusätzliche Belastung der Schülerinnen und Schüler denselben hinderlichen Mechanismen wie die Selbsteinschätzung der Lehrkräfte. Allerdings hat die Klasse als Ganzes den Vorteil, dass nicht nur eine einzelne Person Auskunft gibt und damit ein umfassenderes Bild möglich wird.

Mittlerweile gibt es zahlreiche Modellversuche und Erfahrungsberichte zum Schülerfeedback. Zusammengefasst hat Schülerfeedback nach Helmke (2003, S. 167) folgende Vor- und Nachteile:

Vorteile:

• Schülerinnen und Schüler sind direkt am Unterrichtsgeschehen beteiligt und als Zielgruppe auch naheliegende Informationsquelle für eine Bewertung des Unterrichts.
• Sie sehen – anders als externe Beurteiler – nicht nur einen kleinen Ausschnitt, sondern ein ganzes Schuljahr und können diese Informationen als Basis der Bewertung heranziehen.
• Die Zusammenfassung der unterschiedlichen Einzelperspektiven führt zu einer Minimierung der Beobachtungsfehler.
• Die Streuung der Urteile kann als Maß der Einigkeit bzw. Uneinigkeit herangezogen werden.

Nachteile:

• Mögliche Überforderung der Schülerinnen und Schüler. Didaktische Kompetenz und fachliche Expertise der Lehrkraft schwer ohne eigene Fachkenntnisse zu beurteilen.
• Bewertungsmaßstab und Beurteilungszeitraum ist – wenn dieser nicht klar vorgegeben und Bewertung geübt wird – nicht eindeutig und damit möglicherweise uneinheitlich.
• Bewertungsverzerrungen, z.B. Herabsetzung oder Gefälligkeitsaussagen, Tendenz zu extremen Antworten möglich.
• Wenig differenzierte Antworten durch die allgemeine Überlagerung von Faktoren wie Beliebtheit, Sympathie und Wertschätzung.

Schülerfeedback liefert also wichtige Informationen zur Verbesserung von Unterricht, unterliegt aber gleichzeitig einigen Problemen. Letztere kommen vor allem dann zum Tragen, wenn diese Rückmeldung als Quelle einer summativen Evaluation genutzt werden soll. Für formative Evaluationen, die eine Prozessverbesserung im Dialog ermöglichen sollen, ist Schülerfeedback dagegen eine sinnvolle Möglichkeit².

¹siehe z.B. dazu Checklisten (Becker, 2007)

² Zum Unterschied von summativ und formativ siehe Lehreinheit 11: Evaluation I

2.2.2 Videoanalyse

Die Möglichkeit, Unterricht zu beobachten und daraus Empfehlungen zur Verbesserung abzuleiten, gibt es zwar auch ohne Videounterstützung. Man denke nur an Hospitationen, Lehrproben oder Unterrichtsbesuche durch die Schulaufsicht. Die Aufnahme der Unterrichts-stunde auf Video ermöglicht aber – wenn die notwendigen Genehmigungen der beteiligten Personen eingeholt sind – eine weitaus intensivere Auswertung der Unterrichtsprozesse.

So lassen sich Unterrichtsausschnitte mehrfach unter verschiedenen Fragestellungen analysieren, Szenen mit den Beteiligten reflektieren oder die Übereinstimmung für externe Beurteiler berechnen. Insbesondere der letztgenannte Aspekt trägt zur Absicherung von Unterrichtsprozessforschung bei, da über die hohe Reliabilität der Beobachtung auch auf eine relative Objektivität der Urteile geschlossen werden kann.

Daher wurde insbesondere die Unterrichtsforschung in den letzten Jahren durch den Einsatz von Videoanalysen bereichert (s. Metaanalyse von Seidel & Shavelson, 2007). Unter anderem zeigte sich beispielsweise, dass die Forschung sich vor allem mit der Auswirkung des Lehrerhandelns auf die gezeigten Schülerleistungen und weniger mit den Lernprozessen oder der Wirkung auf die Lernmotivation beschäftigt hat. In jedem Fall erzielen Lehrkräfte mit spezifischen, auf die jeweilige Domäne zugeschnittenen Interventionen bessere Effekte als mit allgemeineren Unterstützungsmaßnahmen (Seidel & Shavelson, 2007, S. 483). Hier liefert also die Forschung Empfehlungen zur Integration von Lernstrategien in den jeweiligen Fachunterricht statt diese getrennt zu behandeln.

Forschung geht dabei über die Zielsetzung von Evaluation hinaus und sucht allgemeingültige Erkenntnisse während Evaluation auf die spezifische Situation und Fragestellung begrenzt ist (s. Evaluation I). Schließlich können – wie auch in diesem Kurs – Unterrichtsvideos in der Lehreraus- und -weiterbildung eingesetzt werden.

3. Evaluation der Schule

.

3.1 Leistungsmerkmale der Schule

.

3.2 Verfahren der Überprüfung

.

3.2.1 Schulinspektion

.

3.2.2 Vergleichsarbeiten

.

4. Evaluation auf der Ebene des Bildungssystems

.

4.1 PISA

.

4.1.1 Theoretisches Grundkonzept: Kompetenzen

.

4.1.2 Methodische Herangehensweise

.

4.1.3 Ergebnisse

.

4.1.4 Schlussfolgerungen

.

4.2 IGLU

.

5. Anhang: Die Evaluation des eigenen Unterrichts

In diesem abschließenden Kapitel werden einige praktische Instrumente zur Planung und Durchführung einer Evaluation vorgestellt. Dieses Kapitel wird im Rahmen der Prüfungen zu dieser Lehreinheit nicht berücksichtigt, soll aber Anregungen für die schulische Praxis liefern. Den Anfang macht eine Checkliste zur Planung einer Evaluation (Unterkap. 5.1).

Ein weiterer wichtiger praktischer Aspekt im Hinblick auf die Umsetzung einer Evaluation ist die Rückmeldung der Ergebnisse. Dazu werden zunächst die Grundlagen eines Evaluations-berichts erläutert (Unterkap. 5.2) und dann Regeln für das Führen eines Rückmeldegesprächs aufgestellt (Unterkap. 5.3).

Zur weiteren Umsetzung ist es sinnvoll, auf Techniken des Projektmanagements zurück-zugreifen. Einige Beispiele dazu werden abschließend in Unterkapitel 5.4 aufgeführt.

5.1 Planung einer Evaluation

.

5.2 Grundlagen eines Evaluationsberichts

.

5.3 Führen eines Rückmeldegesprächs

Wird im Rahmen der Evaluation auch die konkrete Arbeit einer Lehrkraft beurteilt (z.B. kollegiale Supervision, Unterrichtsbesuch oder Befragung der Klasse durch ein Evaluationsteam), dann sollten die Ergebnisse der betroffenen Person rückgemeldet werden⁸.

Diese Rückmeldung folgt inhaltlich einer ähnlichen Struktur wie der im vorherigen Unterkapitel beschriebene Evaluationsbericht. Zusätzlich muss im Rückmeldegespräch jedoch auch die soziale Situation gestaltet werden. Zwei Ziele werden mit einem Rückmeldegespräch verfolgt. Zum einen sollte der Gesprächspartner die Rückmeldung voll und ganz verstanden haben, zum anderen sollte die Rückmeldung so formuliert sein, dass sie vom Empfänger auch akzeptiert werden kann. Dazu ist natürlich eine Grundbereitschaft des Empfängers nötig. Rückmeldungen so aufzunehmen, dass sie gewinnbringend verwendet werden können, bedarf nicht nur der Bereitschaft, kritische Aspekte des eigenen Verhaltens wahrzunehmen. Es darf auch nicht zu der häufig schon reflexartig einsetzenden Rechtfertigung und Verteidigung des eigenen Verhaltens kommen. Eine Rückmeldung ist ein Fremdbild, das genauso richtig ist wie das Selbstbild. Unterschiedlich ist die Perspektive. Bei Differenzen zwischen Selbst- und Fremdbild geht es nicht darum, eines der beiden Bilder zu bestätigen und das andere zu verwerfen, sondern darum, die Hintergründe für den Unterschied zu erklären.

Förderlich für die Akzeptanz einer Rückmeldung sind folgende Aspekte:

• Eine persönliche Rückmeldung bezieht sich auf gezeigtes Verhalten, nicht auf die Person und vermeidet weitgehend Interpretationen (Nicht „Sie sind ungeduldig“, sondern „Sie unterbrechen das Klassengespräch schnell/nach 30 Sekunden/häufig“)
• Die Rückmeldung sollte positive wie negative Aspekte beinhalten. Kritik ist dabei nur mit einer Perspektive zur Veränderung sinnvoll.
• Der Empfänger einer Rückmeldung sollte Gelegenheit bekommen, den Fremdeindruck zu kommentieren. Es geht aber weder um eine Verteidigung bzw. Rechtfertigung der eigenen Arbeitsweise, noch sollte das Evaluationsteam seine Sichtweise als objektive Wahrheit darstellen. Abweichungen zwischen Fremdbild und Selbstbild sind bei Rückmeldungen häufig und sollten bestenfalls Anlass zur Reflexion bieten.

Vorbereitung des Gesprächs

• Mit dem Empfänger der Rückmeldung sollte rechtzeitig ein Termin vereinbart werden.
• Die Rückmeldung ist dann für den Empfänger gewinnbringender, wenn dieser eigene Fragen an das Evaluationsteam vorbereitet. Dies sollte in der Gesprächseinladung angeregt werden.

Möglicher Ablauf des Gesprächs

• Aufwärmphase: Ein Rückmeldegespräch sollte nicht sofort mit den Ergebnissen begonnen werden. Stattdessen ist eine kurze Aufwärmphase sinnvoll, an deren Ende der Inhalt des Gesprächs skizziert wird.
• Anschließend sollte die Evaluation nochmals erläutert werden (Ziele, Methoden, Beteiligte, Bewertungskriterien).
• Jetzt können die eigentlichen Ergebnisse angesprochen werden. Dabei sollten sowohl Stärken als auch Schwächen offen genannt und mit Verhaltensbeispielen unterlegt werden. Die Struktur der Ergebnisrückmeldung sollte an der Anzahl der Einzelergebnisse orientiert sein. Zwei Vorgehensweisen sind dabei weniger geeignet:
• Regelmäßiges Abwechseln (ein positives, ein negatives Ergebnis) wirkt ermüdend und lässt den Zusammenhang vermissen.
• Start mit den negativen Ergebnissen wirkt wenig motivierend.
• Gute Erfahrungen bestehen für den Fall, dass die positiven Ergebnisse am Anfang und Ende der Rückmeldung genannt werden, die kritischen Aspekte in der Mitte.
• Schwächen sollten mit konstruktiven Hinweisen bzw. Entwicklungsmöglichkeiten verknüpft werden.
• Bitten Sie um die Sichtweise des Empfängers der Rückmeldung. Dies ist ein sinnvoller Schritt, um für den Empfänger den Vergleich zwischen Selbst- und Fremdbild zu erleichtern.

⁸ Eigentlich ist die konkrete Rückmeldung an die entsprechende Person eine notwendige Bedingung für eine faire Evaluation. Es gibt jedoch Situationen, in denen die Ergebnisse nicht auf individueller Ebene, sondern aggregiert für die ganze Schule oder eine größere Einheit betrachtet werden, so dass die individuelle Perspektive nicht aus dem Datensatz extrahiert werden kann.

5.4 Maßnahmen planen und Umsetzung steuern

.

6. Literaturverzeichnis

.

7. Übungsfragen

.