Alpha-Fehler-Kumulierung
In diesem Beitrag
Was versteht man unter Alpha-Fehler-Kumulierung?
Der Alpha-Fehler (auch Fehler 1. Art) bezeichnet die Wahrscheinlichkeit, eine wahre Nullhypothese fälschlicherweise abzulehnen – also ein Ergebnis als statistisch signifikant zu bezeichnen, obwohl in Wirklichkeit kein Effekt vorhanden ist. Üblicherweise wird das Signifikanzniveau auf α = 0,05 festgelegt, was bedeutet: Mit 5-prozentiger Wahrscheinlichkeit tritt ein solcher Irrtum auf.
Von Alpha-Fehler-Kumulierung spricht man, wenn mehrere Hypothesentests an denselben Daten oder innerhalb derselben Studie durchgeführt werden. Dabei addiert sich das Risiko eines falsch-positiven Befunds über die Tests hinweg. Die Wahrscheinlichkeit, bei mindestens einem Test fälschlicherweise ein signifikantes Ergebnis zu erhalten, steigt mit jedem weiteren Test an.
Formal gilt für k unabhängige Tests, jeder mit dem Niveau α, die familienweise Fehlerrate (Family-Wise Error Rate, FWER):
Familienweise Fehlerrate (FWER)
Bei 5 unabhängigen Tests mit α = 0,05 ergibt sich beispielsweise eine kumulierte Fehlerwahrscheinlichkeit von rund 23 % – statt der angestrebten 5 %.
Warum ist Alpha-Fehler-Kumulierung für statistische Analysen wichtig?
Alpha-Fehler-Kumulierung ist ein zentrales Problem in der empirischen Forschung – besonders überall dort, wo viele Variablen oder Gruppen gleichzeitig untersucht werden. Typische Szenarien sind:
- Mehrere paarweise Gruppenvergleiche nach einer ANOVA (z. B. Gruppe A vs. B, A vs. C, B vs. C)
- Gleichzeitiges Testen vieler abhängiger Variablen (z. B. verschiedene psychologische Skalen)
- Explorative Analysen mit vielen Prädiktoren in einem Regressionsmodell
- Subgruppenanalysen, die nach der Hauptanalyse zusätzlich durchgeführt werden
Wird die Alpha-Fehler-Kumulierung ignoriert, steigt das Risiko von falsch-positiven Ergebnissen (False Positives) erheblich. In der Forschungspraxis wird dies als einer der Mitverursacher der sogenannten Replikationskrise diskutiert.
Um das kumulierte Fehlerrisiko zu kontrollieren, gibt es verschiedene Korrekturverfahren:
- Bonferroni-Korrektur: Das Signifikanzniveau wird durch die Anzahl der Tests geteilt (α* = α / k). Konservativ, aber einfach anzuwenden.
- Holm-Korrektur: Eine weniger konservative, schrittweise Methode auf Basis der Bonferroni-Logik.
- Benjamini-Hochberg-Verfahren: Kontrolliert statt der FWER die False Discovery Rate (FDR) – oft sinnvoll bei exploratorischen Analysen mit vielen Tests.
Praxisbeispiel zu Alpha-Fehler-Kumulierung
Eine Studierende untersucht in ihrer Bachelorarbeit, ob sich drei Lernmethoden (A, B, C) im Prüfungserfolg unterscheiden. Statt einer ANOVA führt sie drei separate t-Tests durch: A vs. B, A vs. C und B vs. C – jeweils mit α = 0,05.
Die kumulierte Wahrscheinlichkeit, bei mindestens einem dieser drei Tests fälschlicherweise ein signifikantes Ergebnis zu erhalten, beträgt:
Kumulierte Fehlerrate bei 3 Tests
Statt 5 % beträgt das reale Fehlerrisiko also rund 14,3 %. Um das zu korrigieren, sollte sie entweder eine ANOVA mit geeignetem Post-hoc-Test (z. B. Tukey-HSD) verwenden oder – wenn sie bei den t-Tests bleibt – das Signifikanzniveau per Bonferroni-Korrektur auf α* = 0,05 / 3 ≈ 0,017 anpassen.
| Anzahl Tests (k) | Kumulierte Fehlerrate (FWER) | Bonferroni-Korrekturniveau (α*) |
|---|---|---|
| 1 | 5,0 % | 0,050 |
| 3 | 14,3 % | 0,017 |
| 5 | 22,6 % | 0,010 |
| 10 | 40,1 % | 0,005 |
| 20 | 64,2 % | 0,003 |
