Was sind häufige Probleme bei der Bewertung statistischer Ergebnisse?

Statistische Ergebnisse klingen oft überzeugend – Zahlen, Tabellen, Signifikanzsterne. Doch hinter der scheinbaren Präzision verbergen sich häufig Interpretationsfehler, unvollständige Angaben oder methodische Mängel, die die Aussagekraft einer Studie erheblich einschränken. Wer empirische Arbeiten schreibt oder bewertet, sollte die häufigsten Fallstricke kennen – und wissen, woran man fragwürdige statistische Ansprüche erkennt.

Der p-Wert wird falsch interpretiert

Kein statistisches Konzept wird häufiger missverstanden als der p-Wert. In Abschlussarbeiten, Fachartikelns und selbst in populärwissenschaftlichen Texten taucht er regelmäßig in falscher Lesart auf. Das Kernmissverständnis: Ein p-Wert von 0,03 bedeutet nicht, dass die Nullhypothese mit 97-prozentiger Wahrscheinlichkeit falsch ist.

In einer offiziellen Stellungnahme stellt die American Statistical Association klar, dass p-Werte weder die Wahrscheinlichkeit abbilden, dass eine Hypothese wahr ist, noch die Wahrscheinlichkeit, dass Daten allein durch Zufall entstanden sind. Beide Lesarten sind formal falsch – werden aber täglich verwendet.

Konkret bedeutet das: Ein p-Wert unter 0,05 zeigt lediglich, dass das beobachtete Ergebnis (oder ein extremeres) unter der Annahme, die Nullhypothese sei wahr, mit weniger als 5 % Wahrscheinlichkeit auftreten würde. Mehr nicht. Ob das Ergebnis praktisch relevant ist, ob es sich replizieren lässt oder ob die zugrunde liegende Forschungsfrage sinnvoll gestellt war – das sagt der p-Wert nicht.

Wer fehlerhafte p-Werte in Auswertungen erkennen möchte, sollte besonders auf fehlende Angaben zu Stichprobengröße und Teststärke achten – beides sind häufige Begleitprobleme. Wie das konkret geht, zeigt unser Beitrag Wie erkennt man fehlerhafte p-Werte in einer Auswertung?

Fehlende Effektgrößen und Konfidenzintervalle

Ein statistisch signifikantes Ergebnis sagt noch nichts darüber aus, wie groß ein Effekt tatsächlich ist. Genau hier entsteht eines der häufigsten Bewertungsprobleme: Die Effektgröße fehlt oder wird nicht berichtet.

Warum Effektgrößen unverzichtbar sind

Stellen Sie sich eine Studie mit 10.000 Probanden vor. Bei so großen Stichproben wird fast jeder noch so kleine Unterschied statistisch signifikant – auch wenn er praktisch bedeutungslos ist. Ohne Effektgröße (z. B. Cohens d, oder Pearsons r) lässt sich nicht beurteilen, ob ein Ergebnis auch im Alltag etwas bedeutet.

Konfidenzintervalle sind ein weiteres häufig vernachlässigtes Element. Sie zeigen den Bereich, in dem der wahre Populationsparameter mit einer bestimmten Wahrscheinlichkeit liegt – und machen die Unsicherheit eines Schätzwerts sichtbar. In der Praxis werden statt Konfidenzintervallen oft nur Punktschätzungen berichtet, was die Bewertung eines Ergebnisses erheblich erschwert.

Führende Zeitschriften fordern deshalb explizit, für Nullhypothesentests neben dem p-Wert auch Teststatistik, Konfidenzintervalle, Effektgrößen und Freiheitsgrade vollständig zu berichten – und p-Werte wenn möglich als exakte Werte anzugeben, nicht nur als „< 0,05".

Was das für Ihre Arbeit bedeutet

• Berichten Sie immer Effektgrößen zusammen mit Signifikanztests
• Geben Sie Konfidenzintervalle an (typischerweise 95 %-KI)
• Interpretieren Sie die praktische Relevanz des Effekts explizit
• Verzichten Sie auf reine Signifikanzsterne ohne Zahlenwerte

Intransparente Methodenbeschreibung

Ein statistisches Ergebnis ist nur so belastbar wie die Dokumentation der Methode, die dahintersteht. Das klingt selbstverständlich – ist es in der Praxis aber oft nicht.

Anerkannte Reporting-Leitlinien fordern, statistische Methoden so detailliert zu beschreiben, dass fachkundige Lesende mit Zugang zu den Originaldaten die berichteten Ergebnisse nachvollziehen und überprüfen können. Fehlen diese Angaben, ist eine kritische Bewertung der Ergebnisse schlicht nicht möglich – egal wie überzeugend die Tabellen aussehen.

Was häufig fehlt

In empirischen Abschlussarbeiten tauchen regelmäßig folgende Lücken auf:

• Keine Angabe des verwendeten Tests – z. B. nur „es wurde eine Regressionsanalyse durchgeführt“, ohne Spezifikation des Modells
• Fehlende Prüfung von Voraussetzungen – z. B. ob die Normalverteilung der Residuen überprüft wurde
• Keine Softwareangabe – welches Programm und welche Version wurde verwendet?
• Unklare Umgang mit fehlenden Werten – wurden Fälle ausgeschlossen, imputiert oder anders behandelt?
• Fehlende Beschreibung von Ausreißerbehandlung

Ohne diese Informationen lässt sich nicht beurteilen, ob die Analyse korrekt durchgeführt wurde. Was bei einem statistischen Lektorat im Detail geprüft wird, lesen Sie in unserem Beitrag Was wird bei einem statistischen Lektorat geprüft?

Stichprobengröße und Studiendesign werden ignoriert

Die Bewertung eines Ergebnisses ist ohne Kenntnis der Stichprobe kaum möglich. Dennoch werden Stichprobenmerkmale in vielen Arbeiten entweder unvollständig beschrieben oder bei der Interpretation der Ergebnisse schlicht vergessen.

Das Problem mit zu kleinen Stichproben

Kleine Stichproben produzieren instabile Schätzungen. Ein Effekt, der in einer Stichprobe von 30 Personen signifikant erscheint, kann bei einer Replikation mit 300 Personen verschwinden – nicht weil der Effekt nicht existiert, sondern weil die ursprüngliche Studie zu wenig Power hatte, um ihn zuverlässig zu schätzen.

Umgekehrt gilt: Sehr große Stichproben machen triviale Effekte signifikant. Ohne Angabe der statistischen Teststärke und der Effektgröße lässt sich ein Ergebnis nicht einordnen. Die Qualitätssicherung statistischer Auswertungen umfasst deshalb regelmäßig die Prüfung, ob Stichprobenumfang und Studiendesign zur Fragestellung passen.

Externe Validität oft übersehen

Selbst korrekte Ergebnisse können schlecht bewertet werden, wenn das Studiendesign nicht berücksichtigt wird. Eine Online-Befragung unter Studierenden einer Hochschule lässt keine Aussagen über die Allgemeinbevölkerung zu – auch wenn die interne Analyse methodisch einwandfrei ist. Diese Frage der externen Validität wird in der Ergebnisinterpretation häufig übergangen.

Korrelation wird als Kausalität gewertet

„Je mehr Feuerwehrleute an einem Brand beteiligt sind, desto größer ist der Schaden“ – ein klassisches Beispiel dafür, wie eine Korrelation zu einer falschen kausalen Schlussfolgerung verleitet. Natürlich werden mehr Feuerwehrleute zu größeren Bränden geschickt, nicht umgekehrt.

In empirischen Arbeiten äußert sich dieses Problem subtiler: Wer eine Regressionsanalyse durchführt und einen signifikanten Prädiktor findet, interpretiert das Ergebnis häufig als Wirkungsbeziehung – obwohl Regressionsmodelle ohne experimentelles Design zunächst nur Zusammenhänge beschreiben. Formulierungen wie „Variable X beeinflusst Variable Y“ sind bei korrelativen Designs nicht zulässig.

Statistische Fehlschlüsse dieser Art sind im akademischen Kontext weit verbreitet. Konkrete Beispiele und wie man sie erkennt, finden Sie in unserem Beitrag Was ist ein Beispiel für einen statistischen Fehlschluss?

Selektive Berichterstattung und p-Hacking

Ein besonders ernstes Problem – nicht nur in der akademischen Forschung, sondern auch in Abschlussarbeiten – ist die selektive Berichterstattung von Ergebnissen.

Was ist p-Hacking?

P-Hacking bezeichnet die Praxis, statistische Analysen so lange zu variieren (andere Tests, andere Subgruppen, andere Kontrollvariablen), bis ein signifikantes Ergebnis erscheint – das dann als einzige Analyse berichtet wird. Das Ergebnis wirkt überzeugend, spiegelt aber keine echte Entdeckung wider, sondern den Zufall.

Typische Anzeichen für p-Hacking:

• Alle berichteten p-Werte liegen knapp unter 0,05
• Es werden nur die Hypothesen berichtet, die „funktioniert“ haben
• Analysemethoden wurden nicht vorab festgelegt (kein Präregistrierungsnachweis)
• Abweichungen vom ursprünglichen Analyseplan werden nicht erwähnt

Selektive Darstellung von Tabellen und Grafiken

Selektive Berichterstattung muss sich nicht auf p-Werte beschränken. Auch die Auswahl von Skalenbereichen in Grafiken, das Weglassen von Kontrollvariablen oder das Hervorheben von Subgruppenanalysen ohne Korrektur für multiples Testen sind Formen, mit denen Ergebnisse gezielt positiver erscheinen können als sie sind.

Wer seine eigene Auswertung auf solche Probleme prüfen lassen möchte, findet beim statistischen Lektorat eine Möglichkeit, die Ergebnisse durch eine unabhängige Fachperson bewerten zu lassen – bevor die Arbeit eingereicht wird.

Was Sie konkret dagegen tun können

Die gute Nachricht: Die meisten Bewertungsprobleme lassen sich durch konsequente Dokumentation und ein kritisches Bewusstsein für die beschriebenen Fallstricke vermeiden.

Viele dieser Punkte entsprechen dem, was etablierte Reporting-Standards für wissenschaftliche Publikationen fordern. Eine strukturierte Orientierung dafür bietet eine Checkliste zur Qualitätssicherung statistischer Ergebnisse, die die wichtigsten Prüfpunkte bündelt.

Externe Kontrolle als Sicherheitsnetz

Wer selbst mitten in der Auswertung steckt, verliert leicht den Blick für systematische Fehler in der eigenen Analyse. Gerade bei komplexeren Designs – mehrere Hypothesen, Moderations- oder Mediationsanalysen, hierarchische Modelle – lohnt sich eine externe Perspektive. Wann genau sich das rentiert, beschreibt unser Beitrag Wann lohnt sich eine externe Kontrolle der statistischen Auswertung?

Eine unabhängige Prüfung durch erfahrene Statistiker – wie sie im Rahmen einer statistischen Auswertungsprüfung angeboten wird – kann helfen, genau die Probleme aufzudecken, die im eigenen Arbeitsprozess unsichtbar bleiben: fehlerhafte Voraussetzungsprüfungen, falsch interpretierte Ausgaben, inkonsistente Tabellen oder missverständliche Formulierungen in der Ergebnisdarstellung.