Wie prüft man, ob eine statistische Auswertung korrekt ist?

Was bedeutet „korrekt“ bei einer statistischen Auswertung?

Eine statistische Auswertung ist korrekt, wenn die verwendeten Methoden zur Fragestellung passen, alle Voraussetzungen erfüllt sind, die Ergebnisse vollständig berichtet werden und die Analyse unter denselben Bedingungen reproduzierbar ist. Korrektheit ist also kein einzelnes Merkmal, sondern das Zusammenspiel von vier Ebenen: Design, Methodenwahl, Berichterstattung und Nachvollziehbarkeit.

Das klingt zunächst wie eine lange Prüfliste – in der Praxis lässt sich jede dieser Ebenen aber mit konkreten Fragen abarbeiten. Der folgende Beitrag zeigt systematisch, worauf Sie bei der Prüfung achten müssen.

Ebene 1: Studiendesign und Analysestrategie

Die Prüfung einer Auswertung beginnt nicht bei den berechneten Werten, sondern bei der Frage, ob das Design überhaupt zur Fragestellung passt. Wer Kausalaussagen treffen möchte, braucht ein experimentelles oder quasi-experimentelles Design – Querschnittsdaten erlauben das grundsätzlich nicht, auch nicht durch den Einsatz fortgeschrittener Verfahren wie Strukturgleichungsmodelle. Dieser Punkt wird in Abschlussarbeiten erstaunlich oft übersehen.

Konkret bedeutet das für die Prüfung: Stimmt die Forschungsfrage mit dem gewählten Design überein? Und wurden Outcome-Variable, Prädiktoren und Kovariaten bereits vor der Datenerhebung festgelegt – oder wurde post hoc ausgewählt, was signifikant war?

Fragen für die Design-Prüfung

• Passt das Studiendesign (Querschnitt, Längsschnitt, Experiment) zur Forschungsfrage?
• Wurden Hypothesen und Analysestrategie vor der Erhebung festgelegt?
• Ist die Stichprobengröße durch eine a-priori-Poweranalyse begründet?
• Wie wird mit fehlenden Werten und Dropout umgegangen?
• Gibt es eine vorab definierte Strategie für multiple Vergleiche?

Besonders die Poweranalyse wird häufig vergessen oder nachträglich ergänzt. Eine vorab geplante Fallzahlberechnung verhindert, dass echte Effekte wegen zu kleiner Stichproben übersehen werden – und umgekehrt, dass zufällige Ausreißer als bedeutsame Befunde erscheinen.

Ebene 2: Voraussetzungsprüfung der Testverfahren

Jeder statistische Test basiert auf Annahmen über die Daten. Werden diese Annahmen verletzt, sind die Testergebnisse im besten Fall unpräzise, im schlechtesten Fall schlicht falsch. Die Voraussetzungsprüfung ist deshalb ein zentraler Bestandteil jeder korrekten Auswertung.

Häufige Voraussetzungen und wie man sie prüft

Bei der Prüfung einer Auswertung schauen Sie nicht nur, ob ein Voraussetzungstest durchgeführt wurde, sondern auch, ob auf Verletzungen angemessen reagiert wurde. Wurde bei nicht erfüllter Normalverteilung ein parametrisches Verfahren trotzdem verwendet? Dann muss zumindest begründet werden, warum das vertretbar ist – etwa bei großen Stichproben aufgrund des zentralen Grenzwertsatzes.

Ebene 3: Vollständige und transparente Berichterstattung

Eine rechnerisch korrekte Auswertung kann trotzdem fehlerhaft wirken, wenn zentrale Informationen fehlen. Für Gutachtende und Lesende muss die Methodik so dokumentiert sein, dass sie die Analyse beurteilen können – ohne Rückfragen stellen zu müssen.

Die international verwendeten SAMPL-Leitlinien wurden genau deshalb entwickelt, weil viele statistische Fehler auf unvollständige Berichterstattung zurückzuführen sind und eine klare Berichtsnorm Reportingdefizite systematisch verhindern kann. Sie richten sich ausdrücklich an Autorinnen und Autoren, aber auch an Reviewende – und eignen sich damit direkt als Prüfraster.

Was eine vollständige Berichterstattung umfasst

• Stichprobengröße: Gesamtzahl, Gruppengrößen, Ausschlüsse und Ausschlussgründe
• Verwendeter Test: Welches Verfahren wurde warum gewählt?
• Prüfgröße und Freiheitsgrade: z. B. t(48) = 2.34
• p-Wert: Exakt angeben, nicht nur „p < .05″
• Effektgröße: Cohens d, η², r oder vergleichbare Maße
• Konfidenzintervalle: Für alle zentralen Schätzer
• Umgang mit fehlenden Werten: Listenweiser Ausschluss, Imputation?
• Software und Version: z. B. R 4.3.1, SPSS 29

Besonders Effektgrößen und Konfidenzintervalle fehlen in Abschlussarbeiten häufig. Dabei sind sie entscheidend für die inhaltliche Bewertung der Befunde: Ein signifikanter p-Wert allein sagt nichts darüber aus, ob der gefundene Effekt auch praktisch bedeutsam ist. Details zu fehlerhaften p-Werten und wie man sie erkennt finden Sie in einem separaten Beitrag.

Diese kompakte Darstellung enthält alle wesentlichen Informationen: Prüfgröße, Freiheitsgrade, exakter p-Wert, Effektgröße und Konfidenzintervall. Fehlt auch nur eines dieser Elemente, lässt sich die Aussagekraft des Ergebnisses nicht vollständig beurteilen.

Ebene 4: Reproduzierbarkeit des Analyseprozesses

Eine Auswertung gilt erst dann als wirklich überprüfbar, wenn sie unter denselben Bedingungen dieselben Ergebnisse liefert. Das klingt selbstverständlich, ist es in der Praxis aber nicht. Wer Analysen manuell in SPSS-Menüs durchführt, ohne Syntax zu speichern, kann seine eigenen Schritte nachträglich kaum rekonstruieren.

Reproduzierbarkeit bedeutet konkret: Es existiert ein sauberer, skriptbasierter Workflow vom Rohdatensatz über bereinigte Daten bis zu den finalen Ergebnissen – so dass die Analyse von jemand anderem oder zu einem späteren Zeitpunkt Schritt für Schritt nachvollzogen werden kann.

Elemente eines reproduzierbaren Workflows

• Rohdaten unverändert aufbewahren: Niemals die Originaldaten überschreiben
• Analyseskript vorhanden: Alle Schritte von der Datenbereinigung bis zur Auswertung dokumentiert
• Klare Ordnerstruktur: Rohdaten, bereinigte Daten, Skripte und Ausgaben getrennt ablegen
• Software und Paketversionen dokumentiert: Damit das Skript auch in einem Jahr noch läuft
• Kommentierter Code: Jede nicht-triviale Entscheidung im Skript kurz begründen
• README-Datei: Überblick über Struktur und Ausführungsreihenfolge des Projekts

Für Abschlussarbeiten ist das besonders relevant, wenn Betreuende oder Prüfende Rückfragen stellen oder Ergebnisse nachvollziehen möchten. Wie Sie sicherstellen, dass Ihre Ergebnisse tatsächlich reproduzierbar sind, ist ein eigenes Thema – Hinweise dazu finden Sie im Beitrag zur Sicherstellung reproduzierbarer Ergebnisse.

Typische Fehler, die bei der Prüfung auffallen

Wer eine statistische Auswertung systematisch prüft, stößt immer wieder auf dieselben Schwachstellen. Eine Übersicht der häufigsten Probleme hilft dabei, die eigene Prüfung zu fokussieren.

Eine ausführliche Darstellung der häufigsten Fehler, die Statistik-Lektoren in Abschlussarbeiten finden, bietet der Beitrag zu typischen Fehlern in Abschlussarbeiten. Wer wissen möchte, was bei einer professionellen Prüfung im Detail kontrolliert wird, findet unter Was wird beim statistischen Lektorat geprüft? eine strukturierte Übersicht.

Selbstprüfung oder externe Kontrolle?

Die Frage, ob man die eigene Auswertung selbst prüfen kann, ist berechtigt. Grundsätzlich ist eine strukturierte Selbstprüfung anhand der oben beschriebenen Ebenen möglich und sinnvoll – besonders als erster Schritt. Eine eigene Checkliste zur Qualitätssicherung statistischer Ergebnisse kann dabei als praktisches Werkzeug dienen.

Allerdings hat die Selbstprüfung eine bekannte Schwäche: Wer eine Analyse selbst durchgeführt hat, neigt dazu, eigene Entscheidungen als selbstverständlich wahrzunehmen – und sieht deshalb Lücken oft nicht, die Außenstehenden sofort auffallen würden. Das ist keine Frage der Kompetenz, sondern ein psychologisch gut belegtes Phänomen.

Wann eine externe Prüfung sinnvoll ist

• Bei komplexeren Verfahren (Regression, Faktorenanalyse, Strukturgleichungsmodelle)
• Wenn die Betreuungsperson wenig Methodenexpertise hat
• Bei knapper Bearbeitungszeit kurz vor der Abgabe
• Wenn Sie sich bei der Methodenwahl oder Interpretation unsicher sind
• Bei Dissertationen oder Studien, die publiziert werden sollen

Eine externe Qualitätssicherung durch erfahrene Statistikerinnen und Statistiker prüft alle vier beschriebenen Ebenen – von der Designlogik über die Voraussetzungsprüfung bis zur vollständigen Berichterstattung. Wie eine solche Prüfung konkret aussieht und was dabei überprüft wird, ist auf der Seite zur statistischen Qualitätssicherung für empirische Abschlussarbeiten ausführlich beschrieben.

Wenn Sie nicht nur eine Prüfung, sondern eine inhaltlich kommentierte Rückmeldung zu Ihrer gesamten Auswertung benötigen, ist ein statistisches Lektorat der passende Rahmen. Es unterscheidet sich von einem sprachlichen Lektorat grundlegend – mehr dazu im Beitrag zum Unterschied zwischen statistischem und sprachlichem Lektorat.