Post-hoc-Poweranalyse
In diesem Beitrag
Was versteht man unter Post-hoc-Poweranalyse?
Eine Post-hoc-Poweranalyse (auch observed power analysis genannt) wird nach der Durchführung einer Studie berechnet. Sie bestimmt rückwirkend, mit welcher Wahrscheinlichkeit der verwendete statistische Test einen tatsächlich vorhandenen Effekt entdeckt hätte – gegeben der tatsächlichen Stichprobengröße, des beobachteten Effekts und des gewählten Signifikanzniveaus.
Die statistische Power (auch Teststärke) ist definiert als die Gegenwahrscheinlichkeit zum Beta-Fehler ():
Formel: Statistische Power
Die Power gibt also an, mit welcher Wahrscheinlichkeit ein Test die Nullhypothese korrekt ablehnt, wenn ein Effekt tatsächlich existiert. Übliche Richtwerte liegen bei einer angestrebten Power von 0,80 oder höher.
Bei der Post-hoc-Variante werden die beobachteten Daten – insbesondere der ermittelte Effekt – als Grundlage für die Berechnung verwendet. Dies unterscheidet sie von der a-priori-Poweranalyse, die vor der Studie durchgeführt wird, um die notwendige Stichprobengröße zu bestimmen.
Warum ist Post-hoc-Poweranalyse für statistische Analysen wichtig?
Die Post-hoc-Poweranalyse wird in der Praxis häufig eingesetzt, um nicht-signifikante Ergebnisse zu interpretieren. Wenn ein Test keinen signifikanten Effekt zeigt, stellt sich die Frage: Gibt es wirklich keinen Effekt – oder war die Studie schlicht zu schwach, um ihn zu entdecken? Eine niedrige Power kann ein falsches Negativ (Fehler 2. Art) produzieren, ohne dass dies sofort offensichtlich ist.
Darüber hinaus wird die Post-hoc-Poweranalyse von Gutachterinnen und Gutachtern oder Betreuungspersonen manchmal als Nachweis der methodischen Qualität einer Studie verlangt.
Praxisbeispiel zu Post-hoc-Poweranalyse
Eine Psychologiestudentin untersucht in ihrer Bachelorarbeit, ob ein neues Lernprogramm die Prüfungsleistungen verbessert. Sie vergleicht zwei Gruppen (Experimentalgruppe vs. Kontrollgruppe) mit jeweils n = 20 Personen mittels eines unabhängigen t-Tests. Das Ergebnis ist nicht signifikant (p = 0,12).
Ihr Betreuer empfiehlt, eine Post-hoc-Poweranalyse durchzuführen. Dafür verwendet sie G*Power mit folgenden beobachteten Werten:
| Parameter | Wert |
|---|---|
| Statistischer Test | t-Test (zwei unabhängige Stichproben) |
| Beobachtete Effektgröße (Cohen’s d) | 0,38 (kleiner bis mittlerer Effekt) |
| Signifikanzniveau (α) | 0,05 |
| Stichprobengröße (gesamt) | 40 (je Gruppe 20) |
| Berechnete Post-hoc-Power | 0,26 |
Das Ergebnis zeigt: Die Studie hatte lediglich eine Power von 0,26 – das bedeutet, selbst wenn ein Effekt dieser Größe tatsächlich existiert, hätte der Test ihn nur in etwa 26 % der Fälle entdeckt. Das nicht-signifikante Ergebnis lässt sich also nicht als Beleg dafür interpretieren, dass das Lernprogramm nicht wirkt. Die Studie war schlicht zu klein.
Eine sinnvolle Schlussfolgerung wäre: Für eine Power von 0,80 bei diesem Effekt wären laut G*Power ca. 112 Personen (je Gruppe 56) nötig gewesen – eine Information, die für die Planung einer Folgestudie wertvoll ist.
