Post-hoc-Test
In diesem Beitrag
Was versteht man unter Post-hoc-Test?
Ein Post-hoc-Test (lateinisch: post hoc – „danach“) ist ein statistisches Verfahren, das nach einem signifikanten Omnibus-Test – typischerweise einer einfaktoriellen ANOVA – eingesetzt wird. Die ANOVA prüft zunächst global, ob sich die Mittelwerte von drei oder mehr Gruppen überhaupt unterscheiden. Sie sagt aber nicht, welche Gruppen konkret voneinander verschieden sind. Genau hier setzen Post-hoc-Tests an: Sie führen paarweise Gruppenvergleiche durch und kontrollieren dabei gleichzeitig das Risiko, durch mehrfaches Testen fälschlicherweise ein signifikantes Ergebnis zu erhalten (sogenannte Alpha-Fehler-Kumulierung).
Würde man alle Paare einfach mit einzelnen t-Tests vergleichen, steigt das familienweise Fehlerrisiko (Family-wise Error Rate, FWER) mit jeder zusätzlichen Gruppe erheblich an. Bei drei Gruppen gibt es bereits drei Paarvergleiche, bei fünf Gruppen schon zehn. Post-hoc-Tests korrigieren dieses Problem durch unterschiedliche Strategien.
Zu den gebräuchlichsten Verfahren zählen:
- Tukey-HSD-Test: Vergleicht alle Paare bei gleich großen Gruppen; weit verbreitet und ausgewogen.
- Bonferroni-Korrektur: Teilt das Signifikanzniveau α durch die Anzahl der Tests – konservativ, aber einfach anwendbar.
- Scheffé-Test: Sehr konservativ; auch für ungleiche Gruppengrößen und komplexere Kontraste geeignet.
- Games-Howell-Test: Robust bei ungleichen Gruppengrößen und heterogenen Varianzen.
- Dunnett-Test: Vergleicht mehrere Gruppen gezielt mit einer Kontrollgruppe.
Warum ist der Post-hoc-Test für statistische Analysen wichtig?
Ohne Post-hoc-Tests bleibt ein signifikantes ANOVA-Ergebnis interpretatorisch unvollständig. Du weißt zwar, dass Unterschiede existieren, kannst aber keine konkreten Aussagen darüber treffen, zwischen welchen Gruppen diese bestehen. In wissenschaftlichen Arbeiten und Publikationen sind solche spezifischen Gruppenvergleiche jedoch häufig das eigentliche Erkenntnisinteresse.
Ein weiterer zentraler Punkt ist die Kontrolle des Fehlerrisikos. Wer nach einem signifikanten ANOVA-Ergebnis einfach mehrere t-Tests durchführt, erhöht die Wahrscheinlichkeit, einen zufälligen Befund als bedeutsam zu interpretieren. Post-hoc-Tests sind so konstruiert, dass das Gesamtfehlerrisiko trotz mehrerer Einzelvergleiche auf dem gewählten Niveau (meistens α = 0,05) gehalten wird.
Praxisbeispiel zu Post-hoc-Test
Eine Forscherin untersucht, ob drei verschiedene Therapiemethoden (A, B und C) unterschiedlich stark die Schlafqualität verbessern. Sie erhebt den Schlafqualitäts-Score (0–100) bei 45 Probandinnen und Probanden (je 15 pro Gruppe) und rechnet zunächst eine einfaktorielle ANOVA.
| Gruppe | Mittelwert | Standardabweichung | n |
|---|---|---|---|
| Therapie A | 62,4 | 8,1 | 15 |
| Therapie B | 71,9 | 7,6 | 15 |
| Therapie C | 64,2 | 9,0 | 15 |
Die ANOVA liefert ein signifikantes Ergebnis (F(2, 42) = 5,83, p = .006). Es bestehen also Unterschiede zwischen den Gruppen – aber zwischen welchen? Die Forscherin führt anschließend einen Tukey-HSD-Post-hoc-Test durch. Das Ergebnis zeigt:
- Therapie A vs. Therapie B: signifikant (p = .008) – Therapie B ist deutlich wirksamer.
- Therapie A vs. Therapie C: nicht signifikant (p = .872).
- Therapie B vs. Therapie C: signifikant (p = .031) – auch hier schneidet Therapie B besser ab.
Erst durch den Post-hoc-Test kann die Forscherin konkret schlussfolgern: Therapie B führt zu einer signifikant besseren Schlafqualität als die beiden anderen Methoden. Therapie A und C unterscheiden sich hingegen nicht bedeutsam voneinander. Diese differenzierte Aussage wäre allein auf Basis der ANOVA nicht möglich gewesen.
