Evaluation I: theoretische Grundlagen

Michael Jäger, Erlangen - Evaluation I: theoretische Grundlagen

1. Einleitung

Evaluation ist im alltäglichen Leben ein selbstverständlicher Vorgang, der immer dann zur Anwendung kommt, wenn ein zielbezogenes Handeln überprüft, angepasst und gesteuert werden soll. Wie kompliziert und aufwendig diese Überprüfung dann ausfällt, hängt vom jeweiligen Einzelfall ab. Der Koch, der die Suppe abschmeckt, ein Bauleiter, der eine Mauer nachmisst oder eine Lehrerin, die nach einer Lehreinheit überprüft, welche Inhalte die Schülerinnen und Schüler verstanden haben, führen eine Evaluation durch.

Sinnvoll wird eine Evaluation allerdings erst dann, wenn aus ihr Konsequenzen abgeleitet werden. Bleibt sie ohne Folgen, dann war die Evaluation den Aufwand nicht wert. Evaluation ist also ein Grundelement der Qualitätsentwicklung und kann ihre Wirkung nur in diesem Kontext entfalten. Evaluation zeichnet sich also gegenüber anderer wissenschaftlicher Forschung durch eine klare Ziel- und Zweckorientierung aus.

In ihrer grundlegenden Arbeit sieht Weiss (1972) den Zweck und Nutzen der Anwendung von sozialwissenschaftlichem Wissen und den entsprechenden Methoden im Rahmen einer Evaluation in:

„(...) improve decision making, lead to the planning of better programs, and so serve program participants in more relevant, more beneficial and more efficient ways.“ (Weiss, 1972, S. 3).

Das Augenmerk der Evaluation liegt hier also vor allem auf der Nützlichkeit der gewonnenen Information. Der Ansatz der „Utilization-Focused Evaluation“ (Patton, 1997) führt diesen Gedanken weiter aus und stellt ebenfalls die Verwertung und Verwertbarkeit der Evaluation als zentrales Merkmal heraus.

Nimmt man diesen Gedanken des Nutzens der Evaluation als zentrale Eigenschaft auf, dann verschiebt sich die Perspektive vom Evaluierenden hin zum Empfänger oder Nutzer der Evaluation. Je nach Adressat¹ können dabei unterschiedliche Anforderungen und Nutzen-erwartungen an die Evaluation gestellt werden. So könnte z.B. die Leitung eines Schul-entwicklungsprojekts zur Verbesserung des Mathematikunterrichts an Aussagen zur aktuellen Akzeptanz bei den angesprochenen Zielgruppen (Lehrkräfte, Schülerinnen und Schüler, Eltern etc.) interessiert sein, während gleichzeitig im Ministerium Belege für die Wirksamkeit im Sinne einer besseren Mathematikleistung der Projektschulen gesucht werden.

Der Nutzen einer Evaluation zeigt sich also erst durch die Umsetzung der Erkenntnisse. Vorher ist es aber nötig, Grundprinzipien von Evaluation zu kennen und zu verstehen. Zu diesen Grundprinzipien gehören beispielsweise

• Grundfunktionen von Evaluation – oder die Frage „Wozu soll evaluiert werden?“
• Evaluationsstandards – oder die Frage „Nach welchen Regeln soll evaluiert werden?“
• sowie ein typischer Evaluationsprozess, als Antwort auf die Frage „Wie soll evaluiert werden?“

Um noch einmal zu den eingangs vorgestellten Beispielen zurückzukommen: Dieser Text kann nicht für alle spezifischen Fragestellungen einer Evaluation maßgeschneiderte Lösungen anbieten. Er soll jedoch die Grundlagen vermitteln, um eine Evaluation im Schulkontext entwickeln, durchführen und interpretieren zu können. Naturgemäß bleiben dabei viele Details unberücksichtigt. Bei Interesse können aber weiterführende Informationen – vor allem zu Evaluationstheorien – anhand der ausführlichen kommentierten Literaturliste am Ende des Textes bezogen werden.

Schließlich ist Evaluation nicht das primäre Ziel einer Schule, sondern nur eine notwendige Voraussetzung, um schulisches Leben und Arbeiten weiterzuentwickeln.

2. Grundlagen der Evaluation

Häufig sind Lehrkräfte in Schulen von Evaluation betroffen, treten aber nicht selbst als Akteure auf. Daher ist zu Beginn dieser Einheit eine kurze Klärung der Begriffe sinnvoll (Unterkap. 2.1). Auf dieser Grundlage können dann unterschiedliche Funktionen einer Evaluation herausgearbeitet werden. Bevor also eine Entscheidung über die Wahl einer bestimmten Methode, Zielgruppe oder einer konkreten Fragestellung für die Evaluation getroffen werden kann, muss geklärt werden, wozu eine Evaluation dienen soll (Unterkap. 2.2).

Einen guten Orientierungsrahmen für die professionelle Planung und Durchführung einer Evaluation bilden die Evaluationsstandards der Gesellschaft für Evaluation (DeGEval, www.degeval.de), die im Anschluss knapp dargestellt werden (Unterkap. 2.3).

Zum Abschluss dieser Lehreinheit wird der Evaluationsprozess als Ganzes betrachtet. Wenn dieser Prozess vollständig durchlaufen wird, lassen sich Probleme wie z.B. die im Eingangsbeispiel skizzierte fehlende Passung des Evaluationsinstruments zur eigenen Fragestellung vermeiden.

Anwendungsbeispiele für Evaluation in der Schule folgen in der letzten Lehreinheit dieses Kurses.

2.1 Was ist Evaluation

In Schulen ist Evaluation häufig ein negativ besetzter Begriff. Evaluation wird assoziiert mit einer externen Kontrolle, der Schulen weitgehend hilflos ausgeliefert sind. Sie steht für eine Beurteilung und Bewertung, die oft nach nicht nachvollziehbaren Kriterien durchgeführt wird und so zu Ergebnissen kommt, die als unzutreffend oder unfair erlebt werden. Auf der anderen Seite gehört eine Überprüfung der erreichten Leistung von Schülerinnen und Schülern – auch eine Form der Evaluation – zum täglichen Handwerk in Schulen.

In seinem Buch „Evaluation Thesaurus“ erklärt Michael Scriven, einer der zentralen Wissenschaftler auf dem Gebiet der Evaluationsforschung, Evaluation als: „...the process of determining the merit, worth, or value of something, or the product of that process“ (Scriven, 1991, S. 139).

Evaluation ist demnach der Prozess der Bewertung eines Untersuchungsgegenstands oder das Ergebnis dieses Bewertungsprozesses. Wie dieser Bewertungsprozess abzulaufen hat, wird hier nicht weiter festgelegt. Insbesondere muss dieser Prozess nach dieser Definition nicht notwendigerweise systematisch ablaufen oder wissenschaftlichen Ansprüchen genügen.

In ihrem Lehrbuch Evaluation sprechen Wottawa und Thierau (2003) etwas vorsichtiger von „Definitionsversuchen“ und machen damit klar, dass die Meinungen über den Begriff weit auseinandergehen. Statt einer Definition in Form eines kurzen Satzes schlagen sie daher vor, zur Klärung des Begriffs die wesentlichen Kennzeichen einer Evaluation aufzulisten: Drei Merkmale sind für eine Evaluation demnach bestimmend:

1. Evaluation dient als Planungs- und Entscheidungshilfe und hat daher etwas mit der Bewertung von Handlungsalternativen zu tun.
2. Evaluation ist ziel- und zweckorientiert. Mit einer Evaluation werden praktische Maßnahmen überprüft, um so zu einer Entscheidung über Verbesserung, Aufgabe, Fortführung etc. dieser Maßnahmen zu kommen.
3. Schließlich soll eine Evaluation dem aktuellen Stand der wissenschaftlichen Forschung entsprechen.

Insbesondere das letzte Merkmal scheint einen sehr hohen Anspruch an den Kenntnisstand eines Evaluators bzw. einer Evaluatorin zu stellen. Wie viel Aufwand ist nun aber nötig, um eine aussagekräftige und damit potenziell Nutzen bringende Unterrichtsevaluation durchzuführen? Betrachten wir dazu im nächsten Abschnitt zuerst die Funktionen, die eine Evaluation haben kann, um so besser entscheiden zu können, welche Grundlagen für eine Unterrichtsevaluation sinnvoll und praktikabel sind.

2.2 Funktion von Evaluation

Die oben genannte Definition von Evaluation betont, dass Evaluation stets ziel- und zweckorientiert ist. Geht es also um eine persönliche Vergewisserung zur eigenen Unterrichtsführung? Soll die Evaluation genutzt werden, um im Kollegenkreis eine gemeinsame Basis für die Weiterentwicklung des Unterrichts zu schaffen? Werden die Ergebnisse im Rahmen einer Qualitätskontrolle systematisch gesammelt und auch an Außenstehende kommuniziert?

Diese Fragen sprechen unterschiedliche Funktionen einer Evaluation an, die von Stockmann (2000) in einem Schema folgendermaßen zusammengefasst wurden (Abb. 11.1):

Abbildung 11.1: Unterschiedliche Funktionen von Evaluation

(modifiziert nach Stockmann, 2000)

Diese Funktionen können im Rahmen einer Evaluation des Unterrichts sowohl einzeln als auch in beliebiger Kombination genutzt werden. Das Sammeln grundlegender Informationen über den Unterricht dient beispielsweise der Erkenntnis über die eigene Unterrichtsführung. Diese Informationen werden möglicherweise noch ohne konkrete Vorstellung über mögliche bzw. angestrebte Veränderungen im Unterricht erhoben und werden ausschließlich individuell genutzt. Eine Selbstevaluation könnte beispielsweise im ersten Schritt alleine dem Erkenntnisgewinn dienen, um dann aus dieser Erkenntnis eigene Verhaltensänderungen abzuleiten.

Unterrichtsevaluation wird zur Kontrolle eingesetzt, wenn zum Beispiel die Wirksamkeit oder Wirkung einer Intervention gezielt überprüft werden soll. Wenn also im Anschluss an Projekttage eine Schülerbefragung durchgeführt wird, die sich besonders mit den Unterschieden der vergangenen Tage zum Regelunterricht befasst, dann dient die Evaluation nicht nur dem Erkenntnisgewinn, sondern auch der Kontrolle der durchgeführten Maßnahme. Die Kontrollfunktion kann einerseits intern im Sinne einer Regulation des eigenen Handelns ausgeübt werden. Von externen Stellen durchgeführte Evaluationen beinhalten in den meisten Fällen einen Kontrollaspekt, z.B. in Form einer Bewertung der Wirksamkeit einer Maßnahme. Eine Evaluation, die sich auf die Kontrollfunktion beschränkt, wird jedoch mit erheblichen Akzeptanzproblemen zu kämpfen haben. Gleichzeitig ist der Nutzen einer solchen Evaluation fraglich, da daraus abgeleitete Schlussfolgerungen auch die Motivation zur Umsetzung bei den Betroffenen benötigen. Wenn sich diese jedoch eher als „Opfer“ einer Evaluation empfinden, ist nicht mit einer eigenständigen Beteiligung zu rechnen.

Wenn die Erkenntnisse als Grundlage eines Austauschs genutzt werden sollen, dann steht der Dialog im Vordergrund. So kann beispielsweise eine Befragung der Schülerinnen und Schüler über die Unterrichtsführung dazu eingesetzt werden, mit diesen im Anschluss die Ergebnisse zu diskutieren und daraus Anregungen für den zukünftigen Unterricht abzuleiten. Der Austausch über Evaluationsergebnisse im Kollegium bietet ebenfalls die Möglichkeit, auf der Grundlage eines gemeinsamen Verständnisses weiterführende Anregungen zu erhalten. Soll Evaluation gewinnbringend, d.h. zur Weiterentwicklung von Schule und Unterricht, genutzt werden, dann ist die Dialogfunktion der Evaluation besonders bedeutsam.

Evaluation dient immer dann zur Legitimierung, wenn es gilt, eine durchgeführte Maßnahme vor Anderen zu vertreten. Ob nun die Arbeit des Kollegiums dem Schulamt oder Ministerium präsentiert wird oder man sich kritischen Fragen von Eltern oder Schulträgern stellt: Evaluation bietet die Möglichkeit, in strukturierter und (selbst-)kritischer Form Arbeits-prozesse und -ergebnisse zu untersuchen, zu interpretieren und in nachvollziehbaren Schlussfolgerungen zusammenzufassen.

In den meisten Fällen kommen in einer Evaluation mehrere dieser Funktionen zum Tragen. So können beispielsweise mit einem Unterrichtsbesuch einerseits Erkenntnisse über den tatsächlichen Einsatz geplanten Lehrformen im Unterricht gewonnen werden; gleichzeitig können diese Erkenntnisse zum Dialog über den Unterricht genutzt werden etc.

Die konkrete Ausgestaltung einer Evaluation richtet sich nach den angestrebten Funktionen. Eine gängige, aber sehr plakative Unterscheidung, die vor allem Ziel und Zweck der Evaluation beschreibt, wird zwischen formativer und summativer Evaluation getroffen: Formative Evaluation richtet sich vornehmlich intern an Akteure/Durchführende im evaluierten Prozess (also z.B. Lehrkräfte im Unterricht), die aufgrund der Ergebnisse dieser Evaluation dann steuernd in den Prozess eingreifen können. Summativ wird eine Evaluation dann, wenn nach der Maßnahme das Ergebnis festgehalten wird. Hier sind oftmals übergeordnete Stellen (Auftraggeber, Schulamt, Ministerien etc.) die eigentlichen Adressaten.

Abbildung 11.2: Unterschiedliche Facetten von Evaluation (Jäger, 2005)

So kann eine externe Evaluation einer Schule für das Ministerium als summative Evaluation – etwa zur Bewertung der Umsetzung eines Schulprogramms – genutzt werden, während die Schule selbst die Ergebnisse als formative Evaluation – einen Zwischenstand in einem Veränderungsprozess – wahrnimmt. Die Evaluation der (Hochschul-)Lehre (Schweer, 2010) kann ebenfalls unter beiden Perspektiven betrachtet werden. Die Lehrenden können die Ergebnisse im Sinne einer formativen Evaluation verstehen und ihre Veranstaltungen entsprechend anpassen; die Universitätsleitung sieht dagegen eher summative Aspekte und bewertet die Ergebnisse als Leistung der Lehrenden.

Abbildung 11.2 zeigt weitere mögliche Facetten einer Evaluation und macht so deutlich, dass formativ und summativ nur zwei ausgewählte Szenarien in einem breiten Feld möglicher Evaluationsformen darstellen.²

² Häufig werden auch Fragen an das Evaluationsprojekt zur Klassifikation genutzt. Wottawa (2006) beschreibt unterschiedliche Evaluationsvorhaben z.B. mit Antworten auf die Fragen "Was?", "Wo?", "Welche Ziele?", "Kosten/Nutzen?", "Vergleichskriterien?" und "Wer entscheidet?".

2.3 Standards und Grundprinzipien einer Evaluation

.

2.3.1 Nützlichkeit

.

2.3.2 Durchführbarkeit

.

2.3.3 Fairness

.

2.3.4 Genauigkeit

.

2.3.5 Zusammenfassung zu den Evaluationsstandards

.

2.4 Ablauf einer Evaluation

.

2.4.1 Klärung des Rahmens

.

2.4.2 Bestimmung der Ziele und Evaluationsfragen

.

2.4.3 Festlegung von Kriterien und Indikatoren

.

2.4.4 Untersuchungsplanung

.

2.4.5 Auswahl der Datenerhebungsmethoden

.

2.4.6 Datensammlung

.

2.4.7 Datenauswertung

.

2.4.8 Bewertung und Interpretation

.

2.4.9 Umsetzung

.

3. Besonders empfehlenswerte Literatur für Evaluation in Schulen

.

4. Literaturverzeichnis

.

5. Übungsfragen

.