Welche vier Evaluierungsmethoden gibt es?

Die vier Evaluierungsmethoden im Überblick

Die vier klassischen Evaluierungsmethoden sind formative Evaluation, Prozess- bzw. Implementationsevaluation, Outcome-Evaluation und Impact-Evaluation. Diese Einteilung hat sich in der angewandten Forschung, der Programmevaluation und den Sozialwissenschaften als Standardschema durchgesetzt.

Jede dieser vier Methoden beantwortet eine andere Grundfrage: Ist das Programm gut konzipiert? Wird es wie geplant durchgeführt? Wurden die gewünschten Ergebnisse erreicht? Und lassen sich diese Ergebnisse ursächlich auf das Programm zurückführen? Die Methoden unterscheiden sich damit nicht nur im Erkenntnisinteresse, sondern auch im Zeitpunkt ihrer Anwendung und in den methodischen Anforderungen.

Als Grundlage für diesen Artikel dienen unter anderem die methodischen Richtlinien zu Evaluationstypen und ihrer Abgrenzung voneinander, die in der öffentlichen Gesundheitsforschung als Referenzrahmen etabliert sind.

Formative Evaluation – Prüfen vor der Umsetzung

Die formative Evaluation setzt vor oder zu Beginn einer Intervention an. Ihr Ziel ist es, zu prüfen, ob ein geplantes Programm, eine Maßnahme oder ein Forschungsdesign überhaupt machbar, angemessen und für die Zielgruppe akzeptabel ist.

Typische Fragen der formativen Evaluation

• Verstehen die Zielgruppen die entwickelten Botschaften oder Materialien?
• Ist der geplante Ansatz in der Praxis durchführbar?
• Gibt es Barrieren, die eine erfolgreiche Umsetzung verhindern könnten?
• Welche Anpassungen sind nötig, bevor das Programm skaliert wird?

Formative Evaluation dient primär dem Lernen und der Verbesserung – nicht der abschließenden Bewertung. Sie liefert keine Antworten auf die Frage, ob ein Programm gewirkt hat, wohl aber auf die Frage, ob es so wie geplant überhaupt eine Chance hat zu wirken.

In der wissenschaftlichen Praxis findet formative Evaluation häufig in Form von Pretests, Fokusgruppen, Expertenbefragungen oder Pilotierungen statt. In einer Bachelorarbeit oder Masterarbeit entspricht sie beispielsweise dem Pretest eines Fragebogens oder der qualitativen Vorerkundung eines Forschungsfeldes.

Prozess- und Implementationsevaluation – Was wurde wie umgesetzt?

Die Prozess- oder Implementationsevaluation fragt: Wurde das Programm so durchgeführt, wie es geplant war? Sie richtet sich nicht auf die Wirkungen einer Maßnahme, sondern auf deren Umsetzungsqualität.

Worauf die Prozessevaluation schaut

Typische Betrachtungsebenen sind Inhalt, Qualität, Quantität und Struktur der Durchführung. Konkret kann das bedeuten:

• Wurden alle geplanten Programmbestandteile tatsächlich implementiert?
• Hat die Zielgruppe die Intervention in der vorgesehenen Intensität erhalten?
• Gab es Abweichungen vom ursprünglichen Konzept – und wenn ja, warum?
• Wie wurde die Maßnahme von den Beteiligten wahrgenommen?

Diese Evaluationsform ist besonders wichtig, weil ausbleibende Wirkungen nicht immer auf ein schlechtes Programm hindeuten – sie können auch auf eine mangelhafte Umsetzung zurückzuführen sein. Ohne Implementationsevaluation lässt sich dieser Unterschied nicht erkennen.

Wer mehr über den Zusammenhang zwischen Methodik und empirischer Auswertung erfahren möchte, findet in unserem Beitrag zur empirischen Auswertung eine hilfreiche Orientierung.

Outcome-Evaluation – Wurden die Ziele erreicht?

Die Outcome-Evaluation misst, ob die intendierten Ergebnisse einer Maßnahme eingetreten sind. Sie ist in der Evaluationsforschung besonders verbreitet, weil sie direkt auf die zentralen Programmziele eingeht.

Stärken und Grenzen der Outcome-Evaluation

Die Methode liefert Antworten auf Fragen wie: Hat sich das Wissen der Zielgruppe verbessert? Haben sich Einstellungen oder Verhaltensweisen verändert? Sind bestimmte Kennzahlen gestiegen oder gesunken?

Ihre entscheidende Einschränkung: Outcome-Evaluation allein kann keine Kausalität nachweisen. Sie zeigt, dass sich etwas verändert hat – aber nicht, ob diese Veränderung tatsächlich auf das Programm zurückzuführen ist. Andere Einflussfaktoren, sogenannte Confounds, können die beobachteten Outcomes ebenfalls erklären.

Dennoch ist die Outcome-Evaluation in der Praxis unverzichtbar. Sie erlaubt eine effiziente und ressourcenschonende Überprüfung der Zielerreichung – besonders wenn Kausalfragen nicht im Vordergrund stehen oder wenn Vergleichsgruppen nicht realisierbar sind.

Impact-Evaluation – Ist die Wirkung kausal?

Die Impact-Evaluation ist methodisch die anspruchsvollste der vier Evaluierungsmethoden. Sie fragt: Lässt sich die beobachtete Veränderung ursächlich auf das Programm zurückführen?

Das Gegenfaktische als Kern der Impact-Evaluation

Das zentrale Konzept ist der sogenannte Counterfactual oder Gegenfakt: Was wäre mit den Betroffenen passiert, wenn sie das Programm nicht erhalten hätten? Da dieser Zustand nicht direkt beobachtbar ist, muss er geschätzt werden – und dafür braucht es geeignete Vergleichslogiken.

In der methodischen Literatur werden vier zentrale Verfahren zur Schätzung valider Gegenfakten unterschieden:

Wichtig ist: Evaluationsergebnisse sollten nur dann kausal interpretiert werden, wenn Design, Vergleichsgruppe, Datenstruktur und die zugrundeliegenden Annahmen dies tatsächlich rechtfertigen. Dieser Grundsatz gilt nicht nur in der Politikforschung, sondern ebenso für empirische Abschlussarbeiten in Psychologie, Sozialwissenschaften oder Medizin.

Welche Methode passt zu welcher Fragestellung?

Die Wahl der Evaluierungsmethode hängt von drei zentralen Faktoren ab: dem Erkenntnisinteresse, dem Zeitpunkt der Evaluation und den verfügbaren Ressourcen.

Ressourcen wie Zeit, Geld und methodische Kapazitäten sind in der Praxis begrenzt – weshalb vorab geklärt werden sollte, welche Erkenntnisse am wichtigsten sind und wie die Ergebnisse tatsächlich genutzt werden sollen. Eine sorgfältige Planung dieser Entscheidung ist damit nicht nur methodisch sinnvoll, sondern auch pragmatisch geboten.

Kombination der Methoden

In der Forschungspraxis werden die vier Evaluierungsmethoden häufig sequenziell eingesetzt: Zunächst formative Evaluation in der Planungsphase, begleitet von Prozessevaluation während der Umsetzung, abgeschlossen durch Outcome- oder Impact-Evaluation nach Programmende. Wer mehr über den typischen Ablauf von Forschungsprozessen erfahren möchte, findet dazu auch einen eigenen Beitrag zu den Phasen des Forschungsprozesses.

Bedeutung für Abschlussarbeiten und empirische Studien

Für Studierende, die eine empirische Abschlussarbeit schreiben, sind die vier Evaluierungsmethoden aus mehreren Gründen relevant.

Evaluierung als Teil des Forschungsdesigns

Viele Bachelorarbeiten und Masterarbeiten untersuchen die Wirksamkeit von Interventionen, Trainingsprogrammen, Maßnahmen oder pädagogischen Konzepten. In solchen Fällen ist die Frage, welche Evaluierungsmethode dem eigenen Erkenntnisinteresse entspricht, eine zentrale Designentscheidung – und keine bloße Formalie.

Wer beispielsweise untersucht, ob ein betriebliches Gesundheitsprogramm die Stresswerte der Teilnehmenden gesenkt hat, und dabei keine Kontrollgruppe hat, kann maximal eine Outcome-Evaluation durchführen – aber keine Impact-Evaluation. Diese Einschränkung muss in der Diskussion klar benannt werden.

Bezug zur statistischen Auswertung

Je nach gewählter Evaluierungsmethode ergeben sich unterschiedliche Anforderungen an die statistische Auswertung. Für Outcome-Evaluationen reichen häufig deskriptive Statistiken und einfache Hypothesentests. Impact-Evaluationen mit Difference-in-Differences oder Matching verlangen dagegen fortgeschrittene Verfahren der statistischen Auswertung empirischer Abschlussarbeiten.

Das gilt ebenso für die Interpretation der Ergebnisse: Nur wer das methodische Fundament seiner Evaluation kennt, kann die Bedeutung empirischer Ergebnisse korrekt einordnen und überzogene Kausalaussagen vermeiden.

Abgrenzung von verwandten Konzepten

Evaluation wird im wissenschaftlichen Kontext manchmal mit Forschung, Monitoring oder Surveillance gleichgesetzt – das ist nicht korrekt. Evaluation hat einen klar zweckgebundenen Charakter: Sie bewertet Programme, Maßnahmen oder Interventionen im Hinblick auf definierte Ziele. Den Unterschied zwischen empirischer Analyse und allgemeiner Analyse zu kennen, hilft dabei, diese Konzepte sauber voneinander zu trennen.

Wer die eigene Methodik präzise beschreiben und die Grenzen der gewählten Evaluierungsmethode korrekt kommunizieren möchte, ist in der quantitativen Auswertung gut beraten, die zugrundeliegenden Annahmen des jeweiligen Designs explizit zu machen – das stärkt die methodische Überzeugungskraft jeder wissenschaftlichen Arbeit erheblich.