Der p-Wert reicht nicht: Warum Reproduzierbarkeit zur Qualitätsgrenze wird

Ein signifikanter p-Wert, eine sauber formatierte Regressionstabelle, ein überzeugend klingendes Ergebnis. Auf den ersten Blick alles richtig gemacht. Aber was ist dieses Ergebnis tatsächlich wert, wenn niemand mehr nachvollziehen kann, wie es entstanden ist?

Diese Frage klingt akademisch. Sie ist es nicht. Sie ist die eigentliche Qualitätsgrenze moderner empirischer Arbeit.

Wenn Standardmethoden nicht mehr reproduzierbar sind

Lineare Regressionen gehören zu den verbreitetsten statistischen Methoden in empirischen Arbeiten. Wer sie anwendet, bewegt sich methodisch auf gesichertem Terrain. So zumindest die Annahme.

Ein medRxiv-Preprint aus dem April 2026 erschüttert diese Annahme. Die Autorinnen und Autoren untersuchten eine Zufallsstichprobe von 95 gesundheitsbezogenen Artikeln aus PLOS ONE, die lineare Regressionen berichteten. Das Ergebnis ist ernüchternd: Von 20 Artikeln, bei denen überhaupt eine Reproduktion versucht werden konnte, waren lediglich 8 vollständig computationally reproducible.

Noch konkreter wird es auf Ebene einzelner Statistiken. Regressionskoeffizienten, Konfidenzintervalle und p-Werte wurden nur in einer Größenordnung von rund 49 % bis 60 % vergleichbar reproduziert. Das bedeutet: Bei weniger als zwei Dritteln der geprüften Einzelergebnisse ließ sich das Resultat mit den verfügbaren Mitteln nachvollziehen.

Daten allein lösen das Problem nicht

Besonders aufschlussreich ist ein Detail aus derselben Studie: 68 von 95 Artikeln stellten Daten bereit. Trotzdem fehlten bei 25 dieser 68 Artikel genau die Angaben, die zur Reproduktion der Regressionsmodelle nötig gewesen wären.

Das heißt: Es geht nicht nur darum, ob Daten vorhanden sind. Entscheidend ist, ob Variablen klar zugeordnet, Ausschlüsse transparent gemacht und Modellentscheidungen vollständig dokumentiert wurden. Ohne diese Grundlagen bleibt auch ein verfügbarer Datensatz letztlich unvollständig.

Das Problem reicht weit über einzelne Studien hinaus

Man könnte die Befunde aus der medizinischen Forschung als Spezialfall abtun. Doch die Datenlage zeigt, dass Reproduzierbarkeit ein strukturelles Problem ist, das viele Fächer betrifft, darunter genau jene, in denen die meisten empirischen Abschlussarbeiten entstehen.

Sozialwissenschaften: Ein Audit mit klaren Zahlen

Forscherinnen und Forscher der Ludwig-Maximilians-Universität München kontaktierten die Autorinnen und Autoren von mehr als 1.000 Artikeln, die Daten des European Social Survey nutzten. Nur 35 % der Forschenden stellten ihren Analysecode auf Anfrage bereit. Die übrigen antworteten nicht, fanden den Code nicht mehr oder hatten ihn schlicht nicht archiviert.

Das LMU-Audit rechnete für 100 zufällig ausgewählte Artikel mit verfügbarem Code insgesamt 699 publizierte Ergebnisse nach. Das Resultat: Nur rund 18 % aller betrachteten Ergebnisse waren exakt reproduzierbar. Bei 23 % scheiterte die Reproduktion an unvollständigen oder schlecht dokumentierten Materialien. Bei 26 % zeigten sich numerische Abweichungen.

Das betrifft Standardforschung mit etablierten Survey-Daten. Nicht Exotik, sondern Normalfall.

Die Lösung ist bekannt, wird aber selten genutzt

Was passiert, wenn Daten und Code tatsächlich verfügbar sind? Eine groß angelegte Nature-Studie der University of Stirling gibt darauf eine klare Antwort. Das Projekt untersuchte 600 quantitative Artikel aus 62 Zeitschriften in Wirtschaft, Psychologie, Soziologie, Politikwissenschaft und Bildung.

Der Befund ist eindeutig: Wenn Daten und Code vorhanden waren, wurden 88 % der Papiere annähernd und 75 % exakt reproduziert. Mussten Analytikerinnen und Analytiker Datensätze hingegen aus Originalquellen selbst rekonstruieren, fiel die exakte Reproduzierbarkeit auf 11 %.

Der Unterschied zwischen 75 % und 11 % exakter Reproduzierbarkeit ist kein methodischer Zufall. Er erklärt sich vollständig durch die Verfügbarkeit und Qualität der Dokumentation. Das ist kein theoretischer Befund, sondern eine praktische Aussage darüber, was gute empirische Arbeit ausmacht.

Woran scheitert Reproduzierbarkeit konkret?

Die Quellen sind sich einig: Das Problem liegt selten darin, dass Forschende absichtlich undurchsichtig arbeiten. Es liegt daran, dass bestimmte Schritte im Analyseprozess als selbstverständlich behandelt werden und deshalb undokumentiert bleiben.

Der medRxiv-Preprint benennt die zentralen Barrieren sehr konkret:

• Unklare Zuordnung zwischen Variablennamen im Artikel und im Datensatz
• Nicht transparente Datenexklusionen ohne dokumentierte Ausschlussregeln
• Unvollständig beschriebene Methoden und fehlende Modellangaben
• Kein öffentlich zugänglicher Analysecode

Diese Punkte klingen technisch. In der Praxis zeigen sie sich aber in sehr alltäglichen Situationen: Wer hat welche Fälle wann aus welchem Grund ausgeschlossen? Welche Version der Variable wurde tatsächlich ins Modell aufgenommen? Warum wurde Kovariable X einbezogen, aber Kovariable Y nicht?

Ein GitHub-Link ist noch kein reproduzierbarer Workflow

Wer Code teilt, macht einen wichtigen Schritt. Aber Code allein reicht nicht aus, wenn er nicht verständlich strukturiert ist. Ein Scoping Review auf arXiv, der knapp 4.000 PubMed-indexierte Artikel auswertete, zeigt das deutlich: Nur 37,6 % der extrahierten Code-Repositories dokumentierten Abhängigkeiten. Nur 21,6 % gaben Abhängigkeiten mit Versionsbeschränkungen an. Nur 3,9 % enthielten Tests.

Für empirische Abschlussarbeiten lässt sich das direkt übersetzen: Eine Syntaxdatei ohne Kommentare, ohne Variablenlogik, ohne Bezug zu den Outputs ist kaum besser als gar keine Syntaxdatei.

Was das für Ihre Abschlussarbeit bedeutet

An dieser Stelle lohnt es sich, einen Moment innezuhalten. Denn viele Studierende begegnen Reproduzierbarkeit als abstraktem Wissenschaftsthema, das in Open-Science-Debatten und Methodenartikeln vorkommt. Tatsächlich aber beginnt Reproduzierbarkeit in der eigenen Arbeit, in jeder einzelnen Abschlussarbeit.

Das konkrete Risiko ist nicht abstrakt: Betreuungspersonen, Prüfungskommissionen und Gutachterinnen und Gutachter stellen Fragen. Und diese Fragen betreffen genau jene Stellen, die im Analyseprozess typischerweise undokumentiert geblieben sind.

Der Pain Point lautet nicht nur: „Ist meine Statistik rechnerisch korrekt?“ Sondern: „Kann ich im Kolloquium zeigen, warum ich genau so gerechnet habe?“

Ein Ergebnis, das niemand reproduzieren kann, ist kein starkes Ergebnis, sondern ein Vertrauensvorschuss.

Die Verteidigbarkeit ist das eigentliche Ziel

Reproduzierbarkeit ist in diesem Sinne keine akademische Zusatzanforderung für Journals und Forschungsteams. Sie ist die Grundlage dafür, dass eine Analyse auch dann noch erklärbar ist, wenn jemand nachfragt. Im Kolloquium, im Betreuungsgespräch, beim Gutachten.

Wer seinen Analyseweg von Beginn an sauber dokumentiert, schützt sich selbst vor unangenehmen Überraschungen. Das ist nicht übertrieben, sondern pragmatisch.

Reproduzierbarkeit beginnt nicht am Ende, sondern am Anfang

Der häufigste Fehler ist es, Dokumentation als nachgelagerte Aufgabe zu verstehen. Etwas, das man am Ende der Analyse noch schnell erledigt. In der Realität zeigt sich aber, dass nachträgliche Dokumentation lückenhaft bleibt, weil Entscheidungen vergessen werden, sobald sie getroffen sind.

Reproduzierbarkeit muss von Beginn an mitgedacht werden. Das klingt aufwendig, ist in der Praxis aber deutlich einfacher als gedacht, wenn die richtigen Gewohnheiten von Anfang an etabliert werden.

Was gute statistische Begleitung leisten sollte

Statistische Unterstützung, die beim bloßen Auswerten endet, greift zu kurz. Denn eine korrekte Berechnung ist nur dann belastbar, wenn der Weg zur Berechnung nachvollziehbar ist.

Bei QuantExpert verstehen wir Statistikberatung deshalb als strukturierte Begleitung des gesamten empirischen Prozesses: von der Datenaufbereitung über die Analyseschritte bis zur Ergebnisdarstellung. Nicht als einmaliges Ausrechnen, sondern als Prozess, der dokumentiert, kommentiert und verteidigbar bleibt.

Der eigentliche Maßstab

Reproduzierbarkeit ist kein Luxus für Open-Science-Idealisten. Sie ist die Mindestanforderung an Statistik, die auch morgen noch erklärbar sein soll.

Gute empirische Arbeit erkennt man nicht nur daran, welches Ergebnis herauskommt. Man erkennt sie daran, ob der Weg dorthin noch einmal gegangen werden kann.