Statistik-Glossar

Multiples Testen

Multiple Testing / Multiples Vergleichsproblem · Maximilian Fuchs · 24. April 2026 · 5 Min. Lesezeit

In diesem Beitrag

Was versteht man unter Multiplem Testen?
Warum ist Multiples Testen wichtig?
Praxisbeispiel

Was versteht man unter Multiplem Testen?

Multiples Testen bezeichnet die Situation, in der innerhalb einer Studie oder Analyse mehrere statistische Hypothesentests gleichzeitig oder nacheinander durchgeführt werden. Das zentrale Problem dabei ist die kumulative Fehlerrate: Je mehr Tests man durchführt, desto höher ist die Wahrscheinlichkeit, mindestens einen falsch positiven Befund zu erhalten – also fälschlicherweise einen Effekt zu entdecken, der in Wirklichkeit nicht existiert.

Für einen einzelnen Test gilt per Konvention ein Signifikanzniveau von $\alpha = 0{,}05$ . Das bedeutet: Die Wahrscheinlichkeit, einen falsch positiven Befund (Fehler 1. Art) zu erhalten, beträgt 5 %. Bei k unabhängigen Tests steigt die familienweise Fehlerrate (Family-Wise Error Rate, FWER) jedoch deutlich an:

Familienweise Fehlerrate

$\text{FWER} = 1 - (1 - \alpha)^k$

Führt man beispielsweise 20 unabhängige Tests auf dem Niveau α = 0,05 durch, liegt die Wahrscheinlichkeit, mindestens einen falschen positiven Befund zu erhalten, bereits bei ca. 64 %.

Einfach erklärt: Stell dir vor, du wirfst eine Münze und behauptest, sie sei gezinkt, sobald du dreimal hintereinander Kopf wirfst. Wenn du dieses Experiment hundertmal wiederholst, wirst du rein zufällig irgendwann dreimal Kopf werfen – obwohl die Münze fair ist. Genauso passiert es beim multiplen Testen: Je öfter du testest, desto wahrscheinlicher findest du zufällig ein „signifikantes“ Ergebnis, auch wenn gar kein echter Effekt vorliegt.

Warum ist Multiples Testen für statistische Analysen wichtig?

Das Problem des multiplen Testens ist in der Praxis allgegenwärtig – und wird häufig unterschätzt oder schlicht ignoriert. Es tritt überall dort auf, wo mehrere Gruppen verglichen, viele Variablen gleichzeitig untersucht oder mehrere Hypothesen in einer Studie geprüft werden: etwa bei klinischen Studien mit mehreren Endpunkten, bei genomweiten Assoziationsstudien oder bei psychologischen Experimenten mit verschiedenen Messzeitpunkten.

Um die Fehlerrate zu kontrollieren, wurden verschiedene Korrekturverfahren entwickelt. Die bekanntesten sind:

Bonferroni-Korrektur: Das Signifikanzniveau wird durch die Anzahl der Tests geteilt ( $\alpha^* = \frac{\alpha}{k}$ ). Konservativ, aber einfach anzuwenden.
Holm-Bonferroni-Methode: Eine schrittweise Variante der Bonferroni-Korrektur, die etwas weniger streng und damit statistisch effizienter ist.
Benjamini-Hochberg-Verfahren: Kontrolliert nicht die FWER, sondern die False Discovery Rate (FDR) – also den erwarteten Anteil falsch positiver Befunde unter allen positiven Befunden. Besonders geeignet bei einer großen Anzahl von Tests, z. B. in der Genomik.

Häufiger Fehler: Viele Forschende führen mehrere Tests durch und berichten nur die signifikanten Ergebnisse – ohne eine Korrektur vorzunehmen. Dieses Vorgehen wird als p-Hacking oder selektives Berichten bezeichnet und führt zu einer systematischen Überschätzung von Effekten. Auch wenn es unbeabsichtigt geschieht, untergräbt es die Reproduzierbarkeit wissenschaftlicher Befunde erheblich.

Gut zu wissen: Nicht jede Situation erfordert zwingend eine Korrektur. Wenn Tests auf Basis vorab formulierter, theoretisch begründeter Hypothesen durchgeführt werden und die Anzahl der Tests gering ist, kann eine Korrektur auch als zu konservativ gelten. Entscheidend ist, dass die gewählte Strategie vor der Datenerhebung transparent geplant und berichtet wird.

Praxisbeispiel zu Multiplem Testen

Eine Psychologin untersucht, ob ein neues Entspannungsprogramm den Stresspegel von Studierenden senkt. Sie erhebt dazu zehn verschiedene Variablen: Schlafqualität, subjektives Stressempfinden, Herzrate, Cortisol-Spiegel, Konzentrationsfähigkeit und fünf weitere Skalen. Für jede dieser zehn Variablen führt sie einen t-Test durch – jeweils auf dem Niveau α = 0,05.

Tabelle 1. Simulierte p-Werte für zehn Tests ohne und mit Bonferroni-Korrektur
Variable	p-Wert	Signifikant (α = 0,05)?	Signifikant (Bonferroni: α = 0,005)?
Schlafqualität	0,032	Ja	Nein
Stressempfinden	0,041	Ja	Nein
Herzrate	0,180	Nein	Nein
Cortisol	0,003	Ja	Ja
Konzentration	0,210	Nein	Nein
Skala 6–10	> 0,10	Nein	Nein

Ohne Korrektur würde die Psychologin drei signifikante Befunde berichten. Nach Bonferroni-Korrektur – das adjustierte Signifikanzniveau beträgt nun $\alpha^* = \frac{0{,}05}{10} = 0{,}005$ – verbleibt nur ein einziger robuster Befund: der Cortisol-Spiegel. Die beiden anderen „signifikanten“ Ergebnisse erweisen sich als nicht mehr haltbar und könnten zufällig entstanden sein.

Dieses Beispiel zeigt: Eine transparente Korrektur für multiples Testen kann den Unterschied zwischen einem belastbaren und einem irreführenden Forschungsergebnis ausmachen.