Wie erkennt man fehlerhafte p-Werte in einer Auswertung?

Was ist überhaupt ein fehlerhafter p-Wert?

Fehlerhafte p-Werte lassen sich in zwei grundlegende Kategorien einteilen: rechnerisch falsche und falsch interpretierte p-Werte. Beide Fehlertypen können eine Abschlussarbeit ernsthaft gefährden – aus unterschiedlichen Gründen.

Ein rechnerisch falscher p-Wert liegt vor, wenn der berichtete Wert nicht mit der angegebenen Teststatistik und den Freiheitsgraden übereinstimmt. Ein falsch interpretierter p-Wert hingegen kann rechnerisch korrekt sein, wird aber im Ergebnisteil oder in der Diskussion missgedeutet – etwa als Maß für die Effektstärke oder als direkter Beweis für eine Hypothese.

Das Problem ist weitverbreitet. Eine systematische Auswertung von mehr als 250.000 p-Werten aus acht großen psychologischen Fachzeitschriften zeigte, dass etwa jeder zweite Artikel, der Nullhypothesen-Signifikanztests berichtet, mindestens einen p-Wert enthält, der rechnerisch nicht mit Teststatistik und Freiheitsgraden übereinstimmt. Wenn das in begutachteten Fachzeitschriften so häufig vorkommt, ist es in studentischen Abschlussarbeiten mindestens ebenso relevant.

Rechnerische Inkonsistenz: Wenn die Zahlen nicht zusammenpassen

Der direkteste Weg, einen fehlerhaften p-Wert zu erkennen, ist die Nachrechnung. Jeder p-Wert ergibt sich aus einer Teststatistik (z. B. t, F, χ²) und den zugehörigen Freiheitsgraden. Wenn Sie diese drei Angaben haben, können Sie den p-Wert reproduzieren – und mit dem berichteten Wert vergleichen.

Was konkret zu prüfen ist

• Teststatistik und p-Wert passen nicht zusammen: Ein t-Wert von 2,15 bei df = 48 ergibt einen anderen p-Wert als t = 2,15 bei df = 12. Wenn die Freiheitsgrade falsch sind, stimmt der p-Wert nicht mehr.
• Falsche Testfamilie: Ein F-Test (ANOVA) und ein t-Test liefern bei ähnlichem Design ähnliche, aber nicht identische p-Werte. Wird der Testwert verwechselt, entsteht eine Inkonsistenz.
• Einseitiger vs. zweiseitiger Test: Wird ein zweiseitiger p-Wert berichtet, aber ein einseitiger berechnet (oder umgekehrt), halbiert oder verdoppelt sich das Ergebnis. Das ist eine der häufigsten Fehlerquellen.
• Rundungsfehler: p = 0,049 und p = 0,051 liegen nah beieinander, haben aber unterschiedliche statistische Bedeutung bei einem Signifikanzniveau von 0,05. Großzügiges Runden kann hier ein Problem verschleiern oder erzeugen.

Aus diesem t-Wert und den Freiheitsgraden lässt sich der p-Wert über die t-Verteilung eindeutig bestimmen. Wenn der berichtete p-Wert davon abweicht, ist das ein klares Signal für einen Fehler.

Nachrechnung in der Praxis

Sie müssen nicht alles von Hand ausrechnen. Das R-Paket statcheck wurde ursprünglich entwickelt, um genau diese Inkonsistenzen systematisch in Publikationen aufzuspüren. Es analysiert Textpassagen und prüft automatisch, ob Teststatistik, Freiheitsgrade und p-Wert zusammenpassen. Für eigene Auswertungen können Sie auch direkt in R, SPSS oder Jamovi den p-Wert aus der Teststatistik rekonstruieren und vergleichen.

Formale Berichtsfehler: Was darf nicht fehlen?

Ein p-Wert kann rechnerisch korrekt sein und trotzdem fehlerhaft berichtet sein. Gemeint sind damit Angaben, die so unvollständig oder inkonsistent sind, dass eine fachliche Überprüfung kaum möglich ist.

Korrekte Berichterstattung nach APA-Standard verlangt, dass neben dem p-Wert stets auch Teststatistik und Freiheitsgrade angegeben werden. Ein Ergebnissatz wie „Das Ergebnis war signifikant (p = .032)“ ohne Angabe von t-Wert und df ist formal unvollständig – und nicht überprüfbar.

Typische formale Auffälligkeiten

• Fehlende Teststatistik: Nur den p-Wert zu berichten, ohne t, F oder χ² anzugeben, macht die Nachvollziehbarkeit unmöglich.
• Fehlende Freiheitsgrade: Ohne df lässt sich nicht bestimmen, welche Verteilung zugrunde liegt.
• Inkonsistente Rundung: Mal werden p-Werte auf zwei, mal auf drei Dezimalstellen gerundet – das wirkt unsauber und erschwert den Vergleich.
• Falsche Schwellenwert-Formulierung: „p = n.s.“ oder „p < .05″ als pauschale Angabe ist informationsärmer als der exakte p-Wert.
• Grenze p < .001 missachtet: Werte unter .001 werden üblicherweise als p < .001 berichtet – nicht als p = .0003 oder p = .000.
• Fehlende Effektrichtung: Bei einem signifikanten Gruppenunterschied muss beschrieben werden, welche Gruppe höher oder niedriger liegt. Ein p-Wert ohne Richtungsangabe ist inhaltlich unvollständig.

Interpretationsfehler: Der p-Wert als Allzweckwaffe

Rechnerisch korrekte, formal vollständige p-Werte können trotzdem zu falschen Schlussfolgerungen führen – wenn sie falsch interpretiert werden. Das ist in Abschlussarbeiten sogar häufiger ein Problem als rechnerische Fehler.

Die American Statistical Association hat in ihrer offiziellen Stellungnahme zu p-Werten sechs Grundprinzipien formuliert. Eines der zentralen: Wissenschaftliche Schlussfolgerungen dürfen nicht allein daran festgemacht werden, ob ein p-Wert eine feste Schwelle unterschreitet. Ein p-Wert von .049 ist nicht „signifikant“ und damit wichtig, während p = .051 bedeutungslos wäre – der Unterschied liegt im Rauschen.

Die häufigsten Interpretationsfehler im Überblick

Wer p-Werte korrekt einordnen möchte, sollte sie grundsätzlich gemeinsam mit Effektgrößen (Cohens d, η², r) und Konfidenzintervallen berichten. Ein p-Wert ohne diese Ergänzungen erzählt nur einen Teil der Geschichte – und oft den falschen.

p-Hacking und selektives Berichten erkennen

Eine besonders kritische Form fehlerhafter p-Werte entsteht nicht durch Rechenirrtümer, sondern durch problematische Analysepraktiken: das sogenannte p-Hacking. Gemeint ist die Praxis, so lange verschiedene Auswertungsvarianten zu testen, bis ein p-Wert unter .05 erscheint – ohne dass diese Variante vorab geplant war.

P-Hacking erhöht die Wahrscheinlichkeit eines statistischen Fehlschlusses systematisch, weil bei 20 unabhängigen Tests allein durch Zufall im Schnitt ein „signifikantes“ Ergebnis zu erwarten ist.

Anzeichen für p-Hacking in einer Auswertung

• Die Hypothesen wurden offensichtlich nach der Datenerhebung formuliert oder klingen so, als wären sie für das Ergebnis maßgeschneidert.
• Es werden viele Tests berichtet, aber nur signifikante Ergebnisse werden inhaltlich diskutiert.
• Subgruppen oder Ausreißerausschlüsse werden ohne methodische Begründung vorgenommen.
• Die p-Werte häufen sich knapp unter der .05-Schwelle – was statistisch unwahrscheinlich ist, wenn es mit rechten Dingen zugeht.
• Es fehlen Korrekturen für multiples Testen (z. B. Bonferroni-Korrektur), obwohl mehrere Tests gleichzeitig durchgeführt wurden.

Prüfcheckliste: So gehen Sie systematisch vor

Wenn Sie Ihre eigene Auswertung oder die einer anderen Person auf fehlerhafte p-Werte prüfen wollen, hilft ein strukturiertes Vorgehen. Die folgende Checkliste deckt die wichtigsten Prüfpunkte ab.

Diese Checkliste eignet sich auch als Grundlage für eine umfassendere Qualitätssicherung statistischer Ergebnisse in der gesamten Auswertung.

Nachrechnung mit R: ein konkretes Beispiel

Wenn in einer Arbeit steht „t(48) = 2,21, p = .031″, können Sie das in R schnell überprüfen:

# p-Wert aus t-Statistik und Freiheitsgraden reproduzieren
t_wert <- 2.21
df <- 48

# Zweiseitiger Test
p_reproduziert <- 2 * pt(-abs(t_wert), df = df)
round(p_reproduziert, 3)
# Ergebnis: 0.032 – leichte Abweichung durch Rundung, plausibel

# Einseitiger Test zum Vergleich
p_einseitig <- pt(-abs(t_wert), df = df)
round(p_einseitig, 3)
# Ergebnis: 0.016 – wäre der berichtete Wert, wenn fälschlich einseitig getestet wurde

Eine Abweichung von einer Dezimalstelle durch Rundung ist in der Regel unproblematisch. Weicht der reproduzierte p-Wert jedoch deutlich ab – z. B. liegt er bei .016 statt .031 – sollte das genauer untersucht werden. Solche Diskrepanzen deuten oft auf einen verwechselten einseitigen/zweiseitigen Test hin.

Wann lohnt sich eine externe Prüfung?

Nicht jede Inkonsistenz ist auf Anhieb erkennbar – besonders dann nicht, wenn man selbst tief in der eigenen Auswertung steckt. Wer seine Hypothesen formuliert, das Design geplant, die Daten erhoben und die Analysen durchgeführt hat, entwickelt naturgemäß blinde Flecken. Das ist keine Kritik, sondern ein gut dokumentiertes Phänomen.

Genau hier setzt ein statistisches Lektorat an: Eine externe Fachperson prüft die Auswertung auf rechnerische Konsistenz, formale Vollständigkeit und inhaltliche Plausibilität – unabhängig vom Entstehungskontext. Das ist etwas grundlegend anderes als ein sprachliches Lektorat, das Grammatik und Stil überprüft.

Besonders sinnvoll ist eine externe Kontrolle in folgenden Situationen:

• Sie haben mehrere Hypothesen getestet und sind unsicher, ob Korrekturen für multiples Testen nötig waren.
• Ihre Ergebnisse liegen knapp an der Signifikanzschwelle und Sie wollen sichergehen, dass die Testentscheidung korrekt war.
• Sie haben komplexe Verfahren (z. B. Moderationsanalysen, Strukturgleichungsmodelle) eingesetzt, die viele potenzielle Fehlerquellen haben.
• Ihr Betreuender hat Rückfragen zu Ihren Ergebnissen gestellt, die Sie nicht eindeutig beantworten können.

Eine umfassende statistische Qualitätssicherung schließt dabei nicht nur die p-Werte ein, sondern auch die Voraussetzungsprüfungen, die Wahl der Analysemethode und die Interpretationen im Ergebnisteil. Ob das für Ihre Arbeit sinnvoll ist und welche Form der Unterstützung passt, beschreibt der Beitrag zur Frage, wann sich eine externe Kontrolle der statistischen Auswertung lohnt.

Fehlerhafte p-Werte sind kein Zeichen von mangelnder Sorgfalt – sie entstehen oft durch subtile Missverständnisse, Software-Eigenheiten oder konzeptuelle Unklarheiten. Entscheidend ist, dass man weiß, wonach man suchen muss. Mit den beschriebenen Prüfkriterien lassen sich die meisten Probleme zuverlässig aufdecken – bevor sie zum echten Problem werden.