-

Wie läuft ein Evaluationsprozess ab?

Ein Evaluationsprozess läuft dabei immer in einer ähnlichen Weise ab. Zunächst wird mit allen Beteiligten eine Zielstellung der Evaluation erarbeitet (Schritt 1). Es muss geklärt werden, was mit der Evaluation erreicht werden soll und welche Funktion die Evaluation erfüllt. Nachdem darüber Klarheit besteht, werden die Inhalte konkretisiert und ausformuliert (Schritt 2). Dabei ist es unabdingbar, dass alle Beteiligten und Betroffenen einbezogen werden, sodass die Ergebnisse zur Fragestellung im Nachhinein für alle vertretbar und nachvollziehbar sind. Zudem müssen Kriterien zur Beurteilung der Ergebnisse schon vor der Datenerhebung festgelegt werden, damit die Ergebnisse nicht „beschönigt“ oder anderweitig interpretiert werden können. Sind die Inhalte festgeschrieben, alle Beteiligten im Boot und die Kriterien festgelegt, steht die Frage nach den passenden Methoden (im Bereich schulischer Evaluation i. d. R. Beobachtung, Befragung oder Dokumenten- und Aufgabenanalyse) im Fokus (Schritt 3). Mit welcher Methode können die Fragestellungen bestmöglich beantwortet werden? Dabei ist es wichtig, die Vor- und Nachteile der verschiedenen Methoden abzuwägen und im günstigsten Falle sogar eine Kombination verschiedener Methoden einzusetzen. Es folgt die Erhebung der Daten.

Bevor die Daten einem Publikum vorgestellt und bestenfalls in einem Bericht zur Verfügung gestellt werden können, werden sie in einem ersten Schritt aufbereitet (Schritt 4). Dem schließt sich eine Auswertung mithilfe statistischer Datenauswertungsverfahren an. Erst im nächsten Schritt werden die Daten von den Evaluator*innen interpretiert und können den Auftraggebenden und Interessierten vorgestellt werden. Nun stellt sich die Frage, welche Schlussfolgerungen aus den Daten für das Anwendungsfeld gezogen werden können. Diese könnten eine Überarbeitung eines Programmes beinhalten, eine Entscheidungsfindung für oder gegen die Einführung einer neuen Unterrichtsmethode oder ein Fazit darüber, ob sich eine Investition bewährt hat. Aus diesen Schlussfolgerungen werden im Anschluss Maßnahmen entwickelt und in Praxis überführt. Dabei ist von besonderer Bedeutung, dass Evaluationen nicht dem Selbstzweck dienen, sondern eine Verbesserung des Ist-Zustandes herbeiführen wollen. „Evaluationen jeglicher Art werden nur Wirkung zeigen, wenn die handelnden Akteure einen Mehrwert darin erkennen.“ (Kempfert & Rolff, 2018, S. 121) Daher ist die Umsetzung der entwickelten Maßnahmen bzw. Entscheidungen mindestens genauso wichtig wie die datengestützte, objektive Untersuchung des Evaluationsgegenstandes. Ob die Maßnahmen zum gewünschten Erfolg geführt haben, kann in einer erneuten Evaluation überprüft werden. Und so beginnt alles wieder von vorn.

Ablauf eines Evaluationsprozesses

Eine Evaluation ist nichts Starres! – Man kann an jedem Punkt immer wieder einen Schritt, sogar bis zum Anfang, zurückgehen.

Schritt 1
Ziele der Evaluation erarbeiten
Was soll mit der Evaluation erreicht werden? Welche Funktion erfüllt die Evaluation?
Schritt 2
Inhalte der Evaluation festlegen
Was soll evaluiert werden? Wer ist involviert? Nach welchen Kriterien soll beurteilt werden?
Schritt 3
Methodeneinsatz
Welche Methoden werden zur Datensammlung eingesetzt? Sammlung und Auswahl der Daten.
Schritt 4
Auswertung und Interpretation
Was sagen die Daten? Welche Schlussfolgerungen kann ich aus den Daten tatsächlich ziehen?
Schritt 5
Maßnahmen
Maßnahmen planen und umsetzen. Maßnahmen erneut prüfen.
… und alles beginnt von vorn …

-

Wer sind Beteiligte an und Betroffene von einer Evaluation?

Im Kontext von Evaluationen spielen zum einen alle direkt oder indirekt von der Nutzung und Wirksamkeit des Evaluationsgegenstandes Betroffenen eine wichtige Rolle (vgl. Balzer & Bewyl, 2018, S. 46f). Darunter fallen zunächst Personen der unmittelbaren Zielgruppe des Evaluationsgegenstandes, zum Beispiel die Teilnehmenden an einer Fördermaßnahme. Als indirekt Betroffene zählen Personen, die indirekt vom Evaluationsgegenstand beeinflusst werden. Bleiben wir bei dem Beispiel der Fördermaßnahme, so können dies z. B. die Elternhäuser sein, deren Kinder an der Maßnahme teilnehmen. Benachteiligte könnten in diesem Falle Kinder sein, die nicht an der Maßnahme teilnehmen können und dadurch nicht die gleichen „Vorteile“ der besonderen Förderung genießen.

Den Betroffenen gegenüber stehen die an der Entwicklung, Umsetzung und Optimierung des Evaluationsgegenstandes Beteiligten. Diese Gruppe beinhaltet Personen oder Gruppen, die in Bezug auf den Evaluationsgegenstand einflussreich sind, ihn aktiv gestalten und steuern (vgl. Balzer & Bewyl, 2018, S. 46f). Darunter fallen einerseits die Auftraggebenden. Im Beispiel der Umsetzung einer Fördermaßnahme könnte dies beispielweise das Thüringer Ministerium für Bildung, Jugend und Sport (TMBJS) oder das zuständige Schulamt sein. Weiterhin gehören in die Gruppe der Beteiligten die Maßnahmenverantwortlichen, die Produkt- und Maßnahmenentwickler sowie die Personen, welche die Maßnahme in der Praxis umsetzen.
Wichtig bei der Planung und Umsetzung einer Evaluation ist es, alle potenziell Beteiligten und Betroffenen einzubeziehen, Bedenken durch eine transparente Informationsvermittlung entgegenzuwirken um so zu einer hohen Beteiligung und möglichst unverzerrten Ergebnissen zu gelangen.

Beteiligte und Betroffene

Betroffene Beteiligte
unmittelbare Zielgruppe Auftraggebende
z.B. Lehrkräfte, Schülerinnen und Schüler z.B. TMBJS
indirekt Betroffene Maßnahmenverantwortliche
z.B. Angehörige, Freunde  
Benachteiligte Produkt- und Maßnahmenentwickler
z.B. nicht zur Maßnahme gehörende  
  Dienstleistungspersonal
  politische Entscheidungsträger

-

Kontakt

Thüringer Institut für Lehrerfortbildung, Lehrplanentwicklung und Medien
Referat 1 4 | Empirische Forschung, Evaluation, Qualitätsmonitoring, nationale und internationale Bildungsvergleiche

-

Literaturquellen

  • Beywl, W., & Balzer, L. (2018). evaluiert. - erweitertes Planungsbuch für Evaluationen im Bildungsbereich (2. Aufl.). Bern: hep Verlag
  • Buhren, C. G. (2018). Selbstevaluation in der Schule. Weinheim Basel: Beltz Verlag