Poweranalyse ist mehr als ein Pflichtfeld: Warum 80 Prozent oft nur Scheinsicherheit sind
In diesem Beitrag
Der Screenshot im Methodenteil
Stellen Sie sich eine typische Szene vor: Im Methodenkapitel einer Masterarbeit steht eine Poweranalyse. 80 Prozent Power, Alpha = 0,05, mittlerer Effekt, N = 128. Das wirkt auf den ersten Blick präzise, sorgfältig und methodisch abgesichert.
Aber dann kommt die Frage im Kolloquium: „Warum haben Sie genau diesen Effekt angenommen?“ Und plötzlich wird aus der vermeintlichen Stärke im Methodenteil eine offene Flanke.
Dieses Szenario ist kein Einzelfall. Es beschreibt ein grundlegendes Missverständnis, das sich in vielen empirischen Abschlussarbeiten findet: Poweranalyse wird als formaler Nachweis behandelt, nicht als inhaltliche Planungsentscheidung. Das Ergebnis ist eine Zahl, die präzise aussieht, aber auf Annahmen beruht, die niemand begründet hat.
Power to detect what? Die eigentliche Frage
Der entscheidende Gedanke stammt aus einem 2024 in Personality and Social Psychology Review erschienenen Artikel von Giner-Sorolla und Kolleginnen und Kollegen: Power to detect what? Die zentrale These lautet: Power folgt nicht isoliert aus der Stichprobengröße. Power ist an ein bestimmtes Studiendesign, ein bestimmtes Analysemodell und eine bestimmte Effektgröße gekoppelt.
Das klingt zunächst nach einer technischen Spitzfindigkeit, hat aber enorme praktische Konsequenzen. Ein Zahlenbeispiel aus derselben Quelle macht das greifbar:
Benötigtes N beim unabhängigen t-Test (80 % Power, α = 0,05)
Quelle: Giner-Sorolla et al. (2024). Beide Analysen mit gleicher Power, gleichem Alpha. Der Unterschied entsteht allein durch die Effektannahme.
Der Unterschied zwischen N = 787 und N = 258 entsteht nicht durch ein anderes Signifikanzniveau oder eine andere Power-Vorgabe. Er entsteht allein durch eine einzige geänderte Annahme: die erwartete Effektgröße. Wer einen kleineren Effekt annimmt, braucht dreimal so viele Personen. Und wer diesen Effekt nicht inhaltlich begründet, plant im Grunde gar nicht.
Warum das Design mitentscheidet
Dieselbe Quelle zeigt außerdem, dass nicht nur die Effektgröße zählt, sondern auch das Studiendesign. Ein Messwiederholungsdesign kann mit deutlich weniger Personen eine vergleichbare Power erreichen als ein Zwischen-Gruppen-Design, weil im Messwiederholungsdesign die Varianz zwischen Personen kontrolliert wird.
Das bedeutet: Wer ein Messwiederholungsdesign plant, aber die Poweranalyse auf Basis eines einfachen Zweistichproben-t-Tests berechnet, überschätzt womöglich den tatsächlichen Stichprobenbedarf. Oder umgekehrt: Wer ein Between-subjects-Design wählt und dabei die höhere Fehlervarianz nicht berücksichtigt, unterschätzt ihn.
Faustregeln wie „mindestens 30 Personen pro Gruppe“ klingen praktisch, sind aber methodisch kaum haltbar. Laut Giner-Sorolla und Kolleginnen und Kollegen sind Powerfunktionen nichtlinear und analysespezifisch. Eine pauschale Heuristik ersetzt keine echte Stichprobenplanung.
Das Problem mit dem „mittleren Effekt“
„Mittlerer Effekt“ ist die am häufigsten verwendete Effektgröße in Poweranalysen von Abschlussarbeiten. Und gleichzeitig ist sie in vielen Fällen die am wenigsten begründete.
Ein 2025 in Humanities and Social Sciences Communications erschienener Artikel von Thomas Schäfer zu Effektgrößen in der Psychologie zeigt: Standardisierte Effektgrößen werden zwar fast immer berichtet, aber meistens anhand von Cohen-Konventionen interpretiert. Viele Forschende schreiben ihnen dabei mehr Bedeutung zu, als sie tatsächlich vermitteln können.
Was standardisierte Effektgrößen tatsächlich aussagen
Standardisierte Effektgrößen wie Cohens d beschreiben, wie groß ein Effekt relativ zur Streuung in einer Stichprobe ist. Sie sind für die Powerplanung relevant, weil sie die Detektierbarkeit eines Effekts abbilden. Aber sie sagen nicht aus, ob dieser Effekt praktisch bedeutsam oder theoretisch relevant ist.
Dasselbe unstandardisierte Ergebnis kann je nach Varianz als kleiner oder als großer Effekt erscheinen. Das bedeutet: Power und Interpretation hängen unmittelbar an Messstreuung und Messqualität, nicht nur an der abstrakten Kategorisierung nach Cohen.
Wer also „mittlerer Effekt“ in ein Tool einträgt, ohne zu erklären, warum dieser Effekt in der eigenen Studie plausibel ist, wie er gemessen wird und welche Varianz zu erwarten ist, erzeugt keine methodische Absicherung. Er erzeugt Scheinsicherheit.
| Scheingenauigkeit | Begründete Planung |
|---|---|
| „Mittlerer Effekt nach Cohen“ | Effektgröße aus Pilotstudie, Meta-Analyse oder Theorie abgeleitet |
| Standardtest aus G*Power übernommen | Test entspricht dem tatsächlichen Analysemodell |
| 80 % Power als Ziel ohne Begründung | Power bezieht sich auf klar benannte Primärhypothese |
| Messqualität und Varianz nicht berücksichtigt | Erwartete Streuung und Ausfälle explizit einbezogen |
| Screenshot als Nachweis | Logik der Annahmen im Methodenteil dokumentiert |
Was seriöses Reporting wirklich verlangt
Ein 2025 in Communications Psychology veröffentlichter Artikel von Schubert, Steinhilber, Kang, Quintana und Kolleginnen und Kollegen über statistisches Reporting in der Psychologie formuliert klar, was transparente Stichprobenplanung bedeutet: Stichprobengröße und -zusammensetzung müssen nachvollziehbar begründet werden. Die Berechnung oder das Analyse-Skript sollen so dokumentiert sein, dass die zugrunde liegenden Annahmen überprüfbar sind.
Was als Komplikation explizit benannt wird
Dieselbe Quelle benennt die häufigsten Stolperstellen bei der Stichprobenplanung direkt: begrenztes oder verzerrtes Wissen über erwartete Effektgrößen, mehrere statistische Tests und komplexere Modellierungsansätze.
Wer also mehrere Hypothesen prüft oder ein mehrfaktorielles Design, ein Strukturgleichungsmodell oder ein Mehrebenenmodell verwendet, braucht eine Powerplanung, die diesen Komplexitätsgrad abbildet. Einfache Standardformeln reichen dort nicht mehr aus. In solchen Fällen können Monte-Carlo-Simulationen eine belastbarere Alternative sein.
Eine Poweranalyse, die erst nach der Datenerhebung berechnet wird, sagt nichts Neues aus: Sie ist mathematisch mit dem beobachteten p-Wert verknüpft und liefert keine unabhängige Information über die Qualität der Studie. Schubert und Kolleginnen und Kollegen empfehlen stattdessen Sensitivitätsanalysen, also die Bestimmung des kleinsten Effekts, der mit dem erhobenen N zuverlässig hätte entdeckt werden können.
Was 80 Prozent Power wirklich bedeuten
80 Prozent Power bedeuten: Wenn der angenommene Effekt tatsächlich existiert, und wenn das Studiendesign so realisiert wird wie geplant, und wenn das Analysemodell dem geplanten entspricht, dann wird dieser Effekt in 80 von 100 Studien als statistisch signifikant erkannt.
Dieses „Wenn“ ist die eigentliche Arbeit. Und genau diese Arbeit fehlt, wenn eine Poweranalyse ohne begründete Annahmen erstellt wird.
80 Prozent Power sind kein Gütesiegel. Sie sind nur so belastbar wie die Annahmen, auf denen sie beruhen.
Was das konkret für Ihre Arbeit bedeutet
Poweranalyse ist wichtig. Gerade deshalb darf sie nicht mechanisch behandelt werden. Die folgenden Fragen helfen dabei, eine Poweranalyse verteidigungsfähig zu machen, also nicht nur formal vorhanden, sondern inhaltlich begründet.
Poweranalyse auf Herz und Nieren prüfen
- Ist die Effektgröße inhaltlich begründet, zum Beispiel durch Vorstudien, Pilotdaten, Meta-Analysen oder einen kleinsten klinisch/praktisch relevanten Effekt?
- Entspricht der verwendete Test dem tatsächlichen Analysemodell der Primärhypothese?
- Wurde das Studiendesign in der Poweranalyse berücksichtigt, zum Beispiel Messwiederholung vs. Gruppen-Vergleich?
- Sind mehrere Hypothesen oder Tests geplant, und wird das in der Planung abgebildet?
- Sind erwartete Varianz, Messqualität und mögliche Ausfälle berücksichtigt?
- Ist im Methodenteil nicht nur das Ergebnis der Poweranalyse dokumentiert, sondern die Logik der Annahmen?
- Wenn ein komplexes Modell geplant ist: Wurde geprüft, ob eine Sensitivitätsanalyse oder Simulation sinnvoller wäre als eine Standardformel?
Gute Powerplanung beginnt nicht beim Tool
G*Power, R oder jedes andere Berechnungswerkzeug ist nur so gut wie die Eingaben, die es bekommt. Der eigentliche methodische Prozess findet vorher statt: bei der Forschungsfrage, beim Design, beim Analyseplan, bei der Auseinandersetzung mit der Literatur zur erwarteten Effektgröße.
Nicht der Screenshot zählt, sondern die Begründung dahinter. Wer diese Begründung im Methodenteil sichtbar macht, hat eine Poweranalyse, die im Kolloquium standhält, nicht weil sie formal vorhanden ist, sondern weil sie argumentativ trägt.
Wenn Ihre Daten bereits erhoben sind oder wenn Sie unsicher sind, welchen Effekt Sie hätten erwarten dürfen: Berechnen Sie den kleinsten Effekt, den Ihre Stichprobengröße mit 80 Prozent Power und dem gewählten Alpha-Niveau hätte aufdecken können. Das ist eine ehrliche und methodisch valide Aussage, die Sie gut begründen können.
Was das für QuantExpert bedeutet
Unterstützung bei der Poweranalyse heißt bei QuantExpert nicht, eine Zahl aus einem Tool zu übernehmen. Es bedeutet, gemeinsam mit Ihnen die methodische Logik zu klären: Welche Hypothese steht im Mittelpunkt? Welches Design planen Sie? Welche Effektgröße ist inhaltlich plausibel? Welches Analysemodell entspricht Ihrer Fragestellung?
Erst wenn diese Fragen beantwortet sind, ergibt die Zahl am Ende einen Sinn. Und erst dann können Sie sie in einem Kolloquium auch verteidigen.
Stichprobenplanung
Effektgröße
Studiendesign
Methodenteil
Abschlussarbeit
