Signifikant ist nicht automatisch relevant: Warum p < .05 noch keine gute Ergebnisinterpretation ist

Die Ja-Nein-Falle: Was p < .05 wirklich aussagt

Viele Studierende warten nach der Auswertung auf eine scheinbar einfache Antwort: Ist das Ergebnis signifikant oder nicht? Diese Ja-Nein-Logik fühlt sich beruhigend an. Sie ist aber wissenschaftlich gefährlich verkürzt.

Ein aktueller Review aus dem Jahr 2026 zeigt das in bemerkenswert klaren Zahlen: Von 46 ausgewerteten Facharbeiten zur p-Wert-Interpretation kritisierten 38, also 82,6 Prozent, ausdrücklich die isolierte oder dichotome Verwendung von p-Werten. Keine einzige der ausgewerteten Arbeiten verteidigte den p-Wert als eigenständiges Kriterium wissenschaftlicher Entscheidungsfindung.

Das ist kein Randphänomen einer methodischen Nische. Das ist eine breite, substanziell belegte Kritik an einer Praxis, die in Lehrbüchern, Seminarräumen und Abschlussarbeiten täglich reproduziert wird.

Was die Forschung seit Jahren zeigt und warum es trotzdem nicht ankommt

Die institutionelle Grundlage

Die ASA-Stellungnahme zu p-Werten formuliert es klar: Wissenschaftliche Schlussfolgerungen und Entscheidungen sollten nicht allein davon abhängen, ob ein p-Wert eine bestimmte Schwelle überschreitet. Und weiter: Ein p-Wert misst weder die Größe eines Effekts noch die Bedeutung eines Ergebnisses.

Das ist keine Meinungsäußerung einer einzelnen Forschungsgruppe. Das ist die offizielle Position der American Statistical Association, verfasst von Fachleuten aus Statistik, Epidemiologie, Psychologie und angrenzenden Disziplinen.

Was daraus für Studierende folgt

In der Praxis zeigt sich allerdings, dass dieser Grundsatz in Abschlussarbeiten häufig unterschätzt wird. Viele Arbeiten behandeln den p-Wert als Ampel: grün bei p < .05, rot bei p ≥ .05. Was auf der Strecke bleibt, ist die eigentliche Interpretationsarbeit.

Dabei ist es kein Fehler, p-Werte zu berichten. Es ist ein Fehler, dabei stehen zu bleiben.

Der eigentliche Denkfehler: Signifikanz mit Bedeutung verwechseln

Zwei Szenarien, die das Problem deutlich machen

Stellen Sie sich zwei Studien vor. In der ersten wird bei einer sehr großen Stichprobe ein winziger Unterschied zwischen zwei Gruppen gefunden: statistisch signifikant, inhaltlich kaum relevant. In der zweiten liefert eine kleinere Stichprobe einen substantiellen Effekt, der aber knapp die Signifikanzschwelle verfehlt.

Wer nur nach p < .05 schaut, würde das erste Ergebnis als Treffer werten und das zweite verwerfen. Wer Effektgröße und Konfidenzintervall hinzuzieht, kommt möglicherweise zu einem anderen Bild.

Was der p-Wert nicht beantwortet

Der p-Wert sagt, wie unwahrscheinlich die beobachteten Daten wären, wenn die Nullhypothese stimmen würde. Das ist nützlich, aber begrenzt. Er sagt nicht:

• wie groß der Effekt ist
• in welche Richtung er geht
• wie präzise die Schätzung ist
• ob das Ergebnis für die Forschungsfrage inhaltlich relevant ist

Genau das ist der Denkfehler. Signifikanz ist kein Ersatz für Interpretation. Sie ist eine Vorentscheidung, auf die Interpretation erst folgen muss.

Was gutes Reporting stattdessen braucht

Effektgröße, Unsicherheit und Kontext als Einheit

Ein Beitrag zu statistischem Reporting in der Psychologie, erschienen im November 2025 bei Nature Portfolio, empfiehlt, statistische Ergebnisse immer mit Effektgrößen und einem Maß der Unsicherheit um die Punktschätzung zu berichten. Als Unsicherheitsmaße werden Konfidenzintervalle oder Kredibilitätsintervalle genannt. Exakte p-Werte haben dabei weiterhin ihren Platz, allerdings nicht als alleinige Evidenz- oder Relevanzentscheidung.

Der Unterschied zwischen einem Ergebnisbericht, der nur den p-Wert nennt, und einem, der Effektgröße, Konfidenzintervall und fachliche Einordnung zusammenführt, ist erheblich. Und er ist für Gutachtende sichtbar.

Cohen-Schwellen sind Orientierung, keine Regel

Bekannte Richtwerte wie d = 0.20 für einen kleinen Effekt, d = 0.50 für einen mittleren oder d = 0.80 für einen großen Effekt können zur Orientierung dienen. Derselbe Beitrag ordnet sie aber ausdrücklich als grobe, kontextabhängige Hinweise ein, nicht als starre universelle Bewertungsregeln.

Was als kleiner oder großer Effekt gilt, hängt von der Forschungsfrage, dem Forschungsfeld und dem praktischen Kontext ab. Diese Einordnung leistet kein Richtwert allein. Sie erfordert Sachurteil.

Nicht-signifikant ist nicht dasselbe wie kein Effekt

Ein besonders folgenreicher Fehler ist die Gleichsetzung von p ≥ .05 mit „es gibt keinen Effekt“. Ein nicht-signifikantes Ergebnis kann viele Ursachen haben: zu kleine Stichprobe, hohe Streuung, schwaches Studiendesign. Das Konfidenzintervall zeigt oft, ob die Daten einen relevanten Effekt ausschließen oder lediglich nicht präzise genug schätzen, um sicher zu sein.

Wer im Ergebnisteil schreibt „Es konnte kein signifikanter Effekt gefunden werden, daher wird Hypothese 2 abgelehnt“, hat eine formale Entscheidung gefällt, aber keine inhaltliche Interpretation geliefert.

Was das konkret für Ihre Abschlussarbeit bedeutet

Für Bachelorarbeiten, Masterarbeiten und Dissertationen folgt daraus eine klare Konsequenz: Gute Ergebnisdarstellung endet nicht bei der Berechnung. Sie beginnt dort, wo die reine Signifikanzentscheidung aufhört.

Verteidigungsfähigkeit als Maßstab

Was nützt ein korrekter p-Wert, wenn die Gutachterin oder der Betreuer im Kolloquium fragt: „Und wie groß ist der Effekt eigentlich?“ Oder: „Was bedeutet das inhaltlich für Ihre Forschungsfrage?“

Wer diese Fragen mit Effektgröße, Konfidenzintervall und fachlicher Einordnung beantworten kann, zeigt nicht nur statistisches Wissen. Sondern wissenschaftliches Urteilsvermögen.

Wo QuantExpert ansetzt

Statistische Unterstützung endet bei QuantExpert nicht bei der Berechnung in SPSS, R, Jamovi, Stata oder Python. Sie umfasst die Auswahl geeigneter Kennwerte, die APA-konforme Darstellung und die verständliche Einordnung von Effektstärken und Konfidenzintervallen im Kontext Ihrer Forschungsfrage.

Denn Signifikanz macht ein Ergebnis formal. Effektgröße, Unsicherheit und Kontext machen es nachvollziehbar, überprüfbar und verteidigungsfähig.