Welche häufigen Statistikfehler gibt es in Dissertationen?

Warum treten Statistikfehler in Dissertationen so häufig auf?

Statistikfehler in Dissertationen sind kein seltenes Phänomen – sie sind die Regel. Eine Analyse von 62 eingereichten MD-Dissertationen zeigt, dass statistische Mängel in der Methodenwahl, Auswertung und Ergebnisdarstellung systematisch auftreten – und zwar in Promotionsarbeiten, die offiziell eingereicht und angenommen wurden. Das bedeutet: Selbst eine abgeschlossene Dissertation schützt nicht automatisch vor methodischen Schwächen.

Der Grund dafür liegt selten in mangelndem Fleiß. Vielmehr haben Promovierende in vielen Fächern keine vertiefte Ausbildung in angewandter Statistik genossen. Sie lernen Methoden im Kontext ihrer Disziplin – Psychologie, Medizin, Wirtschaftswissenschaften – aber selten auf dem methodischen Niveau, das eine eigenständige Forschungsarbeit erfordert.

Hinzu kommt: Je komplexer das Studiendesign, desto größer das Fehlerpotenzial. Dissertationen mit Messwiederholungen, Mehrgruppenvergleichen, Mediations- oder Moderationsanalysen sind anfällig für Fehler, die auf den ersten Blick nicht offensichtlich sind. Die folgenden Abschnitte zeigen, wo diese Fehler konkret entstehen – und wie Sie sie vermeiden.

Fehler in der Planungsphase: Stichprobe, Poweranalyse und Design

Viele Statistikfehler entstehen nicht bei der Auswertung, sondern deutlich früher – nämlich bei der Planung der Studie. Wer hier grundlegende Entscheidungen falsch trifft, produziert Ergebnisse, die sich im Nachhinein kaum noch retten lassen.

Fehlende oder fehlerhafte Poweranalyse

Eine der folgenreichsten Versäumnisse ist das Fehlen einer Poweranalyse vor der Datenerhebung. Wer die benötigte Stichprobengröße nicht vorab berechnet, riskiert entweder eine unterpowerte Studie – bei der echte Effekte unentdeckt bleiben – oder eine unnötig große Stichprobe mit entsprechendem Aufwand.

Die statistische Power einer Studie sollte mindestens 0,80 betragen, was bedeutet: Die Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt zu entdecken, sollte bei mindestens 80 % liegen. Wer diesen Schritt überspringt, kann im Nachhinein nicht zuverlässig einschätzen, ob ein nicht signifikantes Ergebnis auf einen fehlenden Effekt oder auf eine zu kleine Stichprobe zurückzuführen ist.

Mismatch zwischen Forschungsfrage und Studiendesign

Ein weiterer häufiger Fehler: Das gewählte Studiendesign passt nicht zur Forschungsfrage. Wer kausale Schlüsse ziehen möchte, braucht ein experimentelles oder quasi-experimentelles Design – mit einer Querschnittsbefragung lassen sich keine Kausalaussagen belegen. Dieser Fehler zeigt sich dann häufig im Diskussionsteil, wenn Ergebnisse kausaler interpretiert werden, als das Design erlaubt.

Wer die Stichprobengröße für die eigene Dissertation methodisch korrekt berechnen möchte, findet dazu eine ausführliche Anleitung unter Wie berechnet man die Stichprobengröße für eine Dissertation?

Fehler bei der Voraussetzungsprüfung

Statistische Tests sind keine universell einsetzbaren Werkzeuge. Sie setzen bestimmte Bedingungen voraus – und wenn diese nicht erfüllt sind, sind die Ergebnisse verzerrt oder schlicht falsch.

Normalverteilung wird nicht geprüft

T-Tests, ANOVAs und Regressionsanalysen setzen in der Regel normalverteilte Residuen voraus. In der Praxis wird diese Voraussetzung oft schlicht ignoriert – oder sie wird nur oberflächlich mit dem Kolmogorov-Smirnov-Test geprüft, der bei größeren Stichproben fast immer signifikant wird und damit wenig aussagekräftig ist. Besser geeignet sind der Shapiro-Wilk-Test, Q-Q-Plots oder eine inhaltliche Einschätzung auf Basis der Schiefe- und Kurtosis-Werte.

Varianzhomogenität wird nicht berücksichtigt

Gruppenvergleiche – etwa mit dem t-Test oder der ANOVA – setzen häufig Varianzhomogenität voraus. Ist diese nicht gegeben, müssen robuste Alternativen eingesetzt werden (z. B. Welch-ANOVA statt klassischer ANOVA). Wer den Levene-Test übersieht oder ignoriert, riskiert falsche Schlussfolgerungen.

Falsche Skalenniveaus

Ein besonders hartnäckiger Fehler: Der Einsatz parametrischer Verfahren bei ordinalskalierten Daten. Likert-Skalen mit fünf Stufen gelten streng genommen als ordinal. Die Praxis ist hier gespalten – viele Fächer behandeln Likert-Skalen als metrisch, was bei ausreichender Skalenbreite und symmetrischer Verteilung vertretbar sein kann. Entscheidend ist, dass diese Entscheidung im Methodenteil begründet wird.

Der p-Wert-Fehler: Signifikanz falsch interpretieren

Kein Statistikfehler ist verbreiteter – und folgenreicher – als die Fehlinterpretation des p-Werts. Die American Statistical Association hat dazu eine klare Position formuliert: Ein p-Wert gibt weder die Wahrscheinlichkeit an, dass die Nullhypothese wahr ist, noch die Wahrscheinlichkeit, dass ein Befund durch Zufall entstanden ist.

Was bedeutet das konkret? Viele Promovierende schreiben: „Das Ergebnis ist statistisch signifikant (p < .05), womit die Hypothese bestätigt wird.“ Das ist gleich doppelt falsch:

• Ein p-Wert unter .05 bedeutet nicht, dass die Hypothese wahr ist.
• Statistische Signifikanz sagt nichts über die Größe oder praktische Bedeutsamkeit eines Effekts aus.

Ebenso problematisch ist der umgekehrte Fehler: Ein nicht signifikantes Ergebnis wird als Beweis dafür gewertet, dass kein Effekt existiert. Auch das ist falsch – es zeigt lediglich, dass der Effekt (wenn er existiert) mit der vorliegenden Studie nicht nachweisbar war.

Wie statistische Ergebnisse korrekt – und APA-konform – berichtet werden, ist in dem Beitrag Wie berichtet man statistische Ergebnisse APA-konform in der Dissertation? ausführlich beschrieben.

Fehlende oder falsch berechnete Effektstärken

Effektstärken gehören heute zum Standard einer jeden empirischen Dissertation – und werden dennoch erstaunlich häufig vergessen oder falsch eingesetzt. Sie beantworten die Frage, die der p-Wert nicht beantwortet: Wie groß ist der gefundene Effekt?

Gängige Effektstärkemaße im Überblick

Ein typischer Fehler ist die Verwechslung von η² (Eta-Quadrat) und partiellem η². Gängige Softwareausgaben (z. B. in SPSS) liefern standardmäßig das partielle η², nicht das klassische η². Beide Werte können deutlich voneinander abweichen – besonders bei Designs mit mehreren Faktoren. Im Ergebnisteil sollte immer explizit angegeben werden, welches Maß berichtet wird.

Cohens d für einen Gruppenvergleich berechnet sich als:

Dabei ist die gepoolte Standardabweichung beider Gruppen. Wer Effektstärken korrekt berechnet und berichtet, stärkt die methodische Qualität seiner Dissertation erheblich.

Multiple Testproblematik und zirkuläre Analysen

Wer viele Hypothesen testet, erhöht automatisch die Wahrscheinlichkeit, zufällig ein signifikantes Ergebnis zu erhalten – auch wenn keiner der Effekte real ist. Dieses Problem wird als Alpha-Fehler-Kumulierung bezeichnet und ist in Dissertationen mit mehreren Outcome-Variablen oder Untergruppenanalysen besonders relevant.

Wann ist eine Korrektur notwendig?

Bei mehreren simultanen Tests sollte eine Korrektur des Signifikanzniveaus erfolgen – z. B. durch die Bonferroni-Korrektur (α wird durch die Anzahl der Tests geteilt) oder durch die Benjamini-Hochberg-Prozedur, die eine bessere Balance zwischen Fehlerrate und statistischer Power bietet. In der Praxis wird diese Korrektur häufig vergessen – mit der Folge, dass signifikante Ergebnisse als substanziell interpretiert werden, obwohl sie schlicht dem Zufall geschuldet sind.

Zirkuläre Analysen

Ein besonders subtiler Fehler ist die zirkuläre Analyse: Dieselben Daten werden sowohl dafür genutzt, einen interessanten Effekt zu identifizieren, als auch dafür, ihn statistisch zu prüfen. Das klingt absurd, passiert aber häufiger als gedacht – etwa wenn Variablen für eine Subgruppenanalyse post-hoc ausgewählt werden, weil sie in der Gesamtstichprobe auffällig waren. In der Fachliteratur wird betont, dass zirkuläre Analysen und fehlende Trennung von Explorations- und Konfirmationsanalysen zu systematisch verzerrten Schlussfolgerungen führen.

Die Lösung: Explorative und konfirmatorische Analysen klar trennen – idealerweise bereits im Auswertungsplan festgelegt, bevor die Daten erhoben werden.

Pseudoreplikation

Ein weiteres Problem, das vor allem in biologischen und medizinischen Dissertationen auftritt, aber grundsätzlich relevant ist: Pseudoreplikation. Sie entsteht, wenn abhängige Beobachtungen fälschlicherweise als unabhängig behandelt werden – etwa wenn mehrere Messungen derselben Person als eigenständige Datenpunkte in die Analyse eingehen, ohne dass die Abhängigkeitsstruktur durch ein geeignetes Verfahren (z. B. Mehrebenenanalyse oder gemischte Modelle) berücksichtigt wird. Was eine Mehrebenenanalyse leistet und wann sie sinnvoll ist, hängt dabei stark vom Studiendesign ab.

Fehler bei der Ergebnisdarstellung

Auch wer methodisch sauber gearbeitet hat, kann im Ergebnisteil Fehler machen – durch unvollständige Angaben, irreführende Visualisierungen oder eine unklare Trennung von Ergebnissen und Interpretation.

Unvollständige Berichterstattung

Ein häufig bemängelter Punkt in Gutachten: Es fehlen Angaben zu Teststatistik, Freiheitsgraden, Effektgröße oder Konfidenzintervall. Vollständige Berichterstattung bedeutet – am Beispiel eines t-Tests – mindestens:

Interpretation im Ergebnisteil

Der Ergebnisteil beschreibt – er bewertet nicht. Sätze wie „Dieser signifikante Unterschied belegt, dass das Trainingsprogramm wirksam ist“ gehören in den Diskussionsteil, nicht in den Ergebnisteil. Diese Vermischung ist häufig und wird von Gutachtenden als methodische Unsauberkeit gewertet.

Irreführende Grafiken

Balkendiagramme ohne Fehlerbalken, abgeschnittene y-Achsen oder Boxplots, die falsch gelesen werden – visuelle Darstellungen können Ergebnisse verzerren, selbst wenn die zugrunde liegenden Berechnungen korrekt sind. Fehlerbalken sollten immer angegeben werden, und es sollte klar sein, ob sie Standardfehler oder Konfidenzintervalle darstellen.

Wie Sie Statistikfehler in Ihrer Dissertation vermeiden

Die gute Nachricht: Die meisten der beschriebenen Fehler sind vermeidbar – wenn man sie kennt und früh gegensteuert. Dafür braucht es keine perfekte Statistikausbildung, aber ein systematisches Vorgehen.

Früh planen, nicht reaktiv vorgehen

Statistik beginnt nicht mit der Auswertung, sondern mit der Forschungsfrage. Wer die statistische Auswertung der Dissertation früh plant – idealerweise vor der Datenerhebung –, vermeidet die häufigsten Planungsfehler. Dazu gehören: Wahl des Designs, Festlegung der Analysestrategie, Poweranalyse und Definition der primären Outcome-Variablen.

Voraussetzungen systematisch prüfen

Für jeden eingesetzten Test sollten die statistischen Voraussetzungen dokumentiert und geprüft werden. Das kostet wenig Zeit, schützt aber vor methodischen Einwänden in der Verteidigung.

Effektgrößen und Konfidenzintervalle immer berichten

Wer Effektstärken und Konfidenzintervalle standardmäßig berichtet, zeigt nicht nur methodische Kompetenz – er schützt sich auch vor der Falle, signifikante, aber bedeutungslose Ergebnisse überzubewerten.

Unabhängige Rückmeldung einholen

Ein häufig unterschätzter Schritt: die Überprüfung der Analysen durch eine Person, die nicht in die Datenerhebung involviert war. Ein frischer Blick auf Auswertungsstrategie, Code und Interpretation deckt Fehler auf, die man selbst nach langer Beschäftigung mit dem Datensatz nicht mehr sieht. Wer dabei an seine Grenzen stößt, findet im Bereich methodische Unterstützung für die Dissertation eine professionelle Anlaufstelle.

Welche komplexen statistischen Verfahren in Dissertationen typischerweise zum Einsatz kommen und was dabei zu beachten ist, erfahren Sie in dem weiterführenden Beitrag zu komplexen statistischen Verfahren in Dissertationen.