Gute Statistik endet nicht beim p-Wert

Gleiche Daten, andere Ergebnisse: Was das für Ihr Reporting bedeutet

Stellen Sie sich vor, Sie und 456 andere Forschende erhalten denselben Datensatz, dieselbe Forschungsfrage und die Freiheit, fachlich begründete Analyseentscheidungen selbst zu treffen. Was würde passieren?

Genau das hat eine internationale Kollaboration untersucht. Laut der SCORE-Reanalyse der Universität Groningen führten 457 Analystinnen und Analysten insgesamt 504 Reanalysen von Daten aus 100 veröffentlichten Studien in den Sozial- und Verhaltenswissenschaften durch. Das Ergebnis ist ernüchternd: Effektstärken, statistische Schätzungen und Unsicherheitsniveaus unterschieden sich häufig deutlich. Nur in etwa einem Drittel der Fälle kamen alle Teams zur gleichen Schlussfolgerung wie die Originalautorinnen und -autoren.

Besonders bemerkenswert: Die Abweichungen ließen sich nicht durch mangelnde Expertise erklären. Auch erfahrene Forschende mit starkem Statistikhintergrund kamen zu divergierenden Ergebnissen. Beobachtungsstudien erwiesen sich dabei als weniger robust als experimentelle Designs, weil sie mehr analytische Freiheitsgrade lassen.

Was modernes Reporting wirklich verlangt

Lange Zeit galt: Wer die richtige Analysemethode gewählt und den Output korrekt abgelesen hat, ist fertig. Diese Vorstellung stimmt heute nicht mehr.

Was ein vollständiger Methoden- und Ergebnisteil heute enthalten sollte, beschreiben Schubert und Kolleginnen in ihrem Artikel zu verbessertem statistischen Reporting in der Psychologie. Ihr Rahmen ist für alle empirischen Disziplinen relevant.

Die Elemente transparenten Reportings

Modernes statistisches Reporting umfasst weit mehr als p-Werte und Mittelwertstabellen. Die Anforderungen reichen von der Hypothesenformulierung bis zur fachlichen Einordnung des Ergebnisses.

Besonders hervorzuheben ist der Umgang mit Nullbefunden und Äquivalenztests: Ein nicht signifikantes Ergebnis ist kein Fehler, sondern ein Befund, der genauso berichtet und eingeordnet werden muss wie ein signifikantes Ergebnis. Wer das weglässt, macht seine Arbeit angreifbar.

Der Denkfehler, der sich hartnäckig hält

Es gibt eine weit verbreitete Annahme, die man gut verstehen kann, die aber in die Irre führt: Wer die Analyse korrekt durchgeführt hat, ist mit dem Ergebnisteil im Wesentlichen fertig.

Der Denkfehler liegt darin, Rechnen und Berichten zu trennen. Tatsächlich ist die Auswahl des Tests nur der erste Schritt. Die eigentliche wissenschaftliche Leistung liegt darin, den Weg zum Ergebnis so transparent zu machen, dass andere ihn nachvollziehen, bewerten und wenn nötig hinterfragen können.

Ein Ergebnis ist nur so überzeugend wie der dokumentierte Weg dorthin.

Gerade unter Zeitdruck, kurz vor der Abgabe, versuchen viele Studierende, den Ergebnisteil aus Software-Outputs zusammenzusetzen. SPSS-Tabellen werden kopiert, R-Outputs werden abgeschrieben, Signifikanzsterne werden notiert. Was dabei oft fehlt, ist die Antwort auf die Fragen: Warum genau diese Analyse? Warum diese Variablencodierung? Wie wurde mit fehlenden Werten umgegangen? Was bedeutet das Ergebnis inhaltlich?

Genau diese Fragen werden im Kolloquium gestellt. Und genau hier entscheidet sich, ob ein Ergebnisteil verteidigungsfähig ist oder nicht.

Was in der Praxis fehlt: Lücken auch in Fachzeitschriften

Man könnte vermuten, dass das Problem vor allem Abschlussarbeiten betrifft und in der wissenschaftlichen Fachliteratur längst gelöst ist. Das stimmt leider nicht.

Eine Auswertung von fast 800 empirischen Artikeln aus zwei führenden Wirtschaftszeitschriften zwischen 2012 und 2024 zeigt ein differenzierteres Bild. Zwar nehmen moderne Reporting-Praktiken zu: Konfidenzintervall-Reporting stieg im Beobachtungszeitraum um geschätzte 23 Prozent pro Jahr, Effektstärken-Reporting um 22 Prozent pro Jahr. Die reine Angabe von p-Wert-Schwellen sank von einstmals 80 bis 90 Prozent auf rund 25 Prozent im Jahr 2024.

Wo die Lücken bleiben

Trotz dieser positiven Entwicklung bleibt die Umsetzung uneinheitlich. Besonders auffällig ist das Outlier-Reporting: Im Jahr 2024 lag die Berichterstattung zu Ausreißern unter 35 Prozent. Selbst optimistische Hochrechnungen sehen diesen Wert bis 2032 unter 50 Prozent. Detaillierte Tabellen zu Robustheitschecks fanden sich in weniger als drei Vierteln der analysierten Artikel.

Das bedeutet: Selbst wer sich an veröffentlichten Studien orientiert, kann dort nicht immer ein vollständiges Vorbild für sauberes Reporting finden. Umso wichtiger ist es, aktive Maßstäbe anzulegen, statt passiv zu kopieren, was man in der Literatur vorfindet.

Was das konkret für Sie bedeutet

Die Anforderungen an statistisches Reporting steigen. Das klingt zunächst belastend, ist in der Praxis aber gut handhabbar, wenn man früh genug damit beginnt, den Ergebnisteil mitzudenken und nicht erst nach Abschluss der Analyse zu schreiben.

Überschätztes und Unterschätztes im Vergleich

Prüffragen vor der Abgabe

Gehen Sie Ihren Ergebnisteil einmal mit den folgenden Fragen durch. Wenn Sie mehrere nicht klar beantworten können, lohnt eine Überarbeitung.

Diese Fragen sind keine Zusatzlast, sondern der Kern dessen, was einen soliden empirischen Teil ausmacht. Statistisches Reporting ist nicht die Verpackung der Analyse, sondern ein Teil ihrer wissenschaftlichen Qualität.

Wo QuantExpert ansetzt

Genau an dieser Verbindung aus Analysedurchführung, APA-konformem Reporting und verteidigungsfähiger Interpretation setzt QuantExpert an. Unterstützung bei Statistik bedeutet nicht nur, Auswertungen in SPSS, R, Stata oder Jamovi durchzuführen, sondern Methoden- und Ergebnisteil so aufzubereiten, dass Analyseentscheidungen, Unsicherheit und fachliche Bedeutung transparent und nachvollziehbar werden.

Der p-Wert beantwortet nicht die wichtigste Frage. Entscheidend ist, ob Betreuer, Gutachter und Prüfer nachvollziehen können, wie ein Ergebnis entstanden ist, wie sicher es ist und was es fachlich bedeutet. Wer Statistik nur ausgibt, berichtet noch nicht wissenschaftlich.