Wie stellt man die Reproduzierbarkeit der Statistik in der Dissertation sicher?

Was Reproduzierbarkeit in der Dissertation konkret bedeutet

Reproduzierbarkeit bedeutet, dass eine außenstehende Person – ausgestattet mit Ihren Daten, Ihrem Code und Ihrer Dokumentation – dieselben Ergebnisse, Tabellen und Abbildungen erzeugen kann, die in Ihrer Dissertation stehen. Nicht annähernd dieselben. Exakt dieselben.

Dieser Anspruch klingt streng, ist in der wissenschaftlichen Praxis aber der Goldstandard. Insbesondere bei Dissertationen, die auf empirischen Datenanalysen beruhen, erwarten immer mehr Promotionsausschüsse und Gutachtende, dass Analyseprozesse lückenlos nachvollziehbar sind. Das gilt für quantitative Studien ebenso wie für Mixed-Methods-Designs mit quantitativem Anteil.

Konkret heißt das: Es muss zu jedem Zeitpunkt klar sein, welche Rohdaten verwendet wurden, wie diese bereinigt und transformiert wurden, welche statistischen Verfahren in welcher Reihenfolge zum Einsatz kamen und wie die finalen Outputs erzeugt wurden. Wer die statistische Auswertung seiner Dissertation sorgfältig plant, legt diese Grundlage im Idealfall bereits vor der Datenerhebung.

Skripte statt manueller Klickfolgen: Die Grundregel reproduzierbarer Auswertung

Der häufigste Bruch in der Reproduzierbarkeitskette entsteht nicht durch schlechte Absichten, sondern durch Gewohnheit: Viele Promovierende klicken ihre Analysen in SPSS oder Excel zusammen, exportieren Ergebnisse manuell und fügen Zahlen per Hand in ihre Tabellen ein. Das ist praktisch, aber fatal für die Nachvollziehbarkeit.

Warum manuelle Auswertung problematisch ist

Bei einer manuellen Klickfolge ist nicht dokumentiert, welche Optionen gesetzt wurden, ob ein Filter aktiv war oder welche Fälle von welcher Analyse ausgeschlossen wurden. Selbst wenn Sie alle Ergebnisse korrekt notiert haben – kann jemand anderes Ihren Weg rekonstruieren? In den meisten Fällen: Nein.

Sobald Sie stattdessen mit Skripten arbeiten, ist jeder Analyseschritt explizit protokolliert. Ein R-Skript oder ein Python-Notebook zeigt in lesbarer Form, welche Daten eingelesen, wie Variablen umkodiert, welche Tests berechnet und wie die Ergebnisse ausgegeben wurden.

Welche Software eignet sich?

Gängige und empfohlene Statistik- und Programmiersprachen für reproduzierbare Analysen sind R, Python, Stata und Matlab. Diese Sprachen ermöglichen vollständig skriptbasierte Workflows. Beim Planen der statistischen Auswertung sollten Sie die Wahl der Software bewusst treffen – auch unter dem Aspekt, dass die Abhängigkeit von ungewöhnlicher oder kostenpflichtiger proprietärer Software die spätere Reproduzierbarkeit erschwert.

SPSS bietet über seine Syntaxfunktion ebenfalls die Möglichkeit, Analysen skriptbasiert zu dokumentieren. Wer SPSS nutzt, sollte grundsätzlich auch die Syntax speichern und nicht ausschließlich über die Menüoberfläche arbeiten.

# Beispiel: Reproduzierbarer Analysestart in R
# Paketversionen dokumentieren
sessionInfo()

# Seed setzen für Zufallsprozesse
set.seed(42)

# Daten einlesen (relativer Pfad, nicht absolut)
daten <- read.csv("data/rohdaten_bereinigt.csv")

# Variablen umkodieren (explizit, nicht manuell)
daten$gruppe <- factor(daten$gruppe, levels = c(1, 2), labels = c("Kontrolle", "Intervention"))

# Analyse
t.test(ergebnis ~ gruppe, data = daten, var.equal = FALSE)

Dieses einfache Prinzip – relativer Pfad statt absoluter Pfad, Seed gesetzt, Variablenlogik explizit – macht den Unterschied zwischen einem Skript, das auf jedem Rechner läuft, und einem, das nur auf Ihrem Laptop funktioniert.

Versionskontrolle mit Git: Kein „final_neu2_korrigiert.xlsx" mehr

Wer länger an einer Dissertation arbeitet, kennt das Problem: Nach einigen Monaten findet sich im Projektordner eine Dateisammlung mit Namen wie analyse_v3_final_neu_korrigiert.R oder daten_bearbeitet_FINAL2.xlsx. Welche Version ist tatsächlich die finale? Was wurde wann geändert und warum?

Git als Protokoll Ihrer Analyseentscheidungen

Versionskontrolle mit Git löst dieses Problem systematisch. Git dokumentiert jede Änderung an Ihren Dateien mit Zeitstempel, Autor und einer kurzen Beschreibung. So entsteht automatisch ein lückenloses Protokoll Ihrer Analyseentscheidungen – ein erheblicher Vorteil, wenn Gutachtende im Nachhinein fragen, warum eine bestimmte Analysevariante gewählt wurde.

Ein reproduzierbarer Workflow, der Versionskontrolle, dynamische Berichte und Build-Automatisierung kombiniert, fördert langfristige Reproduzierbarkeit und reduziert das Risiko unklarer Dateiversionen erheblich. Für Promovierende, die erstmalig mit Git arbeiten, empfiehlt sich ein einfacher Einstieg: ein lokales Repository für das Dissertationsprojekt, regelmäßige Commits nach jedem Analyseschritt, optional gespiegelt auf GitHub oder GitLab.

Praktische Git-Grundstruktur für ein Dissertationsprojekt

• data/ – Rohdaten (ggf. nur de-identifiziert) und bereinigte Analysedaten
• scripts/ – Alle Analyseskripte in nummerierter Reihenfolge (z.B. 01_datenbereinigung.R, 02_deskriptive.R)
• output/ – Tabellen, Abbildungen, Ergebnisdateien (automatisch erzeugt, nicht manuell)
• docs/ – Dokumentation, Codebuch, Messmodelle
• README.md – Beschreibung des Projekts, der Software und der Ausführungsreihenfolge

Daten sauber dokumentieren und strukturieren

Reproduzierbarkeit beginnt bei den Daten. Ein Skript, das auf undokumentierten oder schlecht strukturierten Rohdaten aufbaut, erzeugt zwar bei jedem Durchlauf dasselbe Ergebnis – aber niemand kann beurteilen, ob dieses Ergebnis korrekt ist.

Codebuch und Variablenübersicht

Jede Variable in Ihrem Datensatz sollte in einem Codebuch beschrieben sein: Name, Label, Skalenniveau, mögliche Ausprägungen, Quelle und eventuelle Umkodierungen. Das ist kein bürokratischer Aufwand, sondern methodische Grundlage – sowohl für die eigene Arbeit als auch für die Beurteilung durch Dritte.

Besonders im Methodenteil der Dissertation wird erwartet, dass Variablenkonstruktion und Operationalisierung transparent dargestellt sind. Ein sauber geführtes Codebuch liefert die Grundlage dafür.

Vertrauliche Daten: Kein Hindernis für Reproduzierbarkeit

Ein häufiges Missverständnis: „Meine Daten unterliegen dem Datenschutz, also kann ich keine Reproduzierbarkeit gewährleisten." Das stimmt so nicht. Selbst wenn Rohdaten aus Datenschutzgründen nicht veröffentlicht werden können, sollte der gesamte Code bereitgestellt werden, der aus Rohdaten Analysedaten erzeugt – einschließlich der Anonymisierungsschritte. Zusätzlich sollten de-identifizierte oder synthetische Daten zur Verfügung gestellt werden, mit denen der Code technisch getestet werden kann.

Viele Forschungseinrichtungen fordern genau dieses Vorgehen explizit: Sämtlicher Code soll bereitgestellt werden, der aus Rohdaten Analysedaten erzeugt, auch wenn die Rohdaten selbst nicht veröffentlicht werden können.

Dynamische Berichte und Pipeline-Werkzeuge

Ein weiterer Schritt zu echter Reproduzierbarkeit ist die Verwendung von Literate Programming: Dokumente, in denen Text, Code und Output nahtlos verbunden sind. Die bekanntesten Ansätze sind R Markdown, Quarto und Jupyter Notebooks.

R Markdown und Quarto

In einem R-Markdown-Dokument werden Analysen direkt im Bericht ausgeführt. Tabellen und Abbildungen entstehen automatisch beim Rendern des Dokuments – nicht durch manuelles Kopieren aus einer Ergebnisliste. Das bedeutet: Wenn sich Daten ändern oder ein Fehler korrigiert wird, aktualisiert sich der gesamte Bericht automatisch. Das eliminiert eine der häufigsten Fehlerquellen in empirischen Arbeiten: inkonsistente Zahlen zwischen Skript und Text.

Make und Pipeline-Automatisierung

Für größere Dissertationsprojekte mit mehreren Datenquellen, Analysestufen und Outputs lohnt sich der Einsatz von Pipeline-Werkzeugen wie Make oder dem R-Paket targets. Diese Werkzeuge legen fest, welche Dateien voneinander abhängen und in welcher Reihenfolge sie erzeugt werden. Ändert sich eine Rohdatendatei, weiß das System automatisch, welche Downstream-Analysen neu berechnet werden müssen.

Wer komplexe statistische Verfahren wie Strukturgleichungsmodelle oder Mehrebenenanalysen einsetzt, profitiert besonders von solchen Pipeline-Tools, da hier die Abhängigkeiten zwischen Modellen und Outputs schnell unübersichtlich werden.

Docker: Wenn Softwareumgebungen zum Problem werden

Ein oft übersehenes Reproduzierbarkeitsproblem: Auch wenn Code vorhanden ist, können unterschiedliche Paketversionen oder Betriebssysteme spätere Replikationen verhindern. R-Pakete werden weiterentwickelt, Funktionen ändern sich oder werden entfernt. Was heute funktioniert, kann in zwei Jahren zu Fehlermeldungen führen.

Docker adressiert dieses Problem durch Containerisierung: Die gesamte Softwareumgebung – inklusive R-Version, aller Pakete und Betriebssystemkonfiguration – wird in einem Container gespeichert und kann exakt reproduziert werden. Für die meisten Dissertationsprojekte ist Docker optional, aber für Doktorarbeiten mit sehr langen Zeiträumen oder komplexen Softwareabhängigkeiten eine sinnvolle Investition. Alternativ bietet das R-Paket renv eine einfachere Möglichkeit, Paketversionen zu fixieren.

Der Reproduktionstest vor der Abgabe

Dieser Schritt wird in der Praxis fast immer übersprungen – und ist dennoch der wichtigste: Bevor Sie Ihre Dissertation einreichen, sollten Sie den gesamten Analyseworkflow einmal von Grund auf neu durchlaufen.

So führen Sie einen Reproduktionstest durch

1. Kopieren Sie Ihren Projektordner an einen neuen Speicherort (oder auf einen anderen Rechner).
2. Löschen Sie alle generierten Outputs (Tabellen, Abbildungen, Zwischendateien) aus der Kopie.
3. Führen Sie alle Skripte in der dokumentierten Reihenfolge neu aus – ohne manuelle Eingriffe.
4. Vergleichen Sie die erzeugten Outputs mit den Zahlen in Ihrer Dissertation.
5. Dokumentieren Sie etwaige Abweichungen und beheben Sie deren Ursachen.

In der angewandten Forschungspraxis wird vor Veröffentlichung geprüft, ob der Code aus einem Reproduzierbarkeitspaket exakt dieselben Ergebnisse wie im finalen Dokument erzeugt. Außerdem sollte nicht bis zum Ende eines Projekts gewartet werden – Projekte sollten laufend extern reproduzierbar gehalten werden, nicht erst kurz vor Abgabe. Das spart erheblichen Aufwand und verhindert, dass am Ende nicht mehr nachvollziehbar ist, welche Analysevariante die korrekte war.

Code und Daten in einem Repositorium bereitstellen

Die langfristige Verfügbarkeit von Analysematerialien ist ein zentraler Aspekt reproduzierbarer Wissenschaft. Es reicht nicht, Code auf dem eigenen Rechner zu haben – er muss auffindbar und zugänglich sein, auch nach Abschluss der Promotion.

Geeignete Plattformen

Welches Repositorium für Ihre Dissertation am besten geeignet ist, hängt von Ihrem Fach, den Anforderungen Ihrer Betreuenden und den Datenschutzbedingungen Ihrer Studie ab. Informieren Sie sich frühzeitig – idealerweise bereits beim Erstellen des Auswertungsplans.

Häufige Fehler und wie Sie sie vermeiden

In der Praxis zeigt sich, dass bestimmte Fehler bei der Reproduzierbarkeit immer wieder auftreten. Wer sie kennt, kann sie gezielt vermeiden.

Eng verwandt mit der Reproduzierbarkeit ist die Frage nach häufigen Fehlern in der statistischen Auswertung – denn viele typische Statistikfehler in Dissertationen entstehen genau an den Stellen, wo Analyseschritte undokumentiert bleiben oder manuell übertragen werden.

Wenn Sie sich unsicher sind, ob Ihr Workflow den Anforderungen Ihrer Hochschule und Ihres Fachs entspricht, lohnt sich eine frühzeitige Beratung. Bei der methodischen Begleitung von Dissertationen gehört die Planung eines reproduzierbaren Analyseworkflows zu den ersten Themen, die gemeinsam besprochen werden sollten – lange bevor die erste Zeile Code geschrieben ist.

Wer außerdem auf eine APA-konforme Darstellung der Ergebnisse achtet, findet im Beitrag zum APA-konformen Berichten statistischer Ergebnisse praktische Hinweise, wie Tabellen und Kennwerte korrekt formatiert werden – ein weiterer Schritt, der in einem reproduzierbaren Workflow automatisiert werden kann.