Was gehört zur Datenbereinigung?

Was ist Datenbereinigung – und warum ist sie so wichtig?

Zur Datenbereinigung gehört alles, was dazu dient, Fehler, Inkonsistenzen und Lücken in einem Rohdatensatz zu identifizieren und zu korrigieren – bevor die eigentliche statistische Analyse beginnt. Ohne diesen Schritt riskieren Sie, dass Ihre Ergebnisse verzerrt, unvollständig oder schlicht falsch sind.

Das klingt zunächst nach einer rein technischen Aufgabe, ist in der Praxis aber weit mehr als das. Datenbereinigung umfasst konkrete Teilaufgaben wie Deduplikation, Behandlung fehlender Werte, Standardisierung, Ausreißerbehandlung und abschließende Validierung – und jede dieser Aufgaben erfordert methodische Überlegungen, nicht nur technisches Löschen und Ersetzen.

Als übergeordnete Qualitätsziele gelten dabei: Genauigkeit, Vollständigkeit, Konsistenz und Nutzbarkeit der Daten für Analyse oder Entscheidungsfindung. Diese vier Dimensionen strukturieren auch, worauf Sie bei der Bereinigung Ihres eigenen Datensatzes achten sollten.

Die wichtigsten Problemklassen in Rohdatensätzen

Bevor Sie Daten bereinigen können, müssen Sie wissen, wonach Sie suchen. In der Praxis empirischer Forschung tauchen immer wieder dieselben Fehlertypen auf. Sie lassen sich in sechs Hauptklassen einteilen:

1. Fehlende Werte

Fehlende Werte entstehen durch Nicht-Antworten, Übertragungsfehler oder systematische Ausfälle. Wichtig ist die Unterscheidung: Fehlt ein Wert zufällig (Missing Completely at Random, MCAR) oder systematisch (Missing Not at Random, MNAR)? Das hat direkte Konsequenzen für die Bereinigungsstrategie – von listenweisem Fallausschluss bis zur multiplen Imputation. Mehr zur praktischen Umsetzung finden Sie im Beitrag zum Umgang mit fehlenden Werten in SPSS.

2. Duplikate

Doppelt erfasste Fälle – etwa durch technische Fehler beim Datentransfer oder bei der manuellen Eingabe – verzerren Häufigkeiten und Mittelwerte. Die Prüfung auf Duplikate gehört deshalb zu den ersten Schritten jeder Bereinigung. Dabei sollten Sie neben vollständig identischen Zeilen auch teilweise Duplikate prüfen, bei denen nur die ID gleich ist, andere Werte aber abweichen.

3. Ausreißer

Ausreißer können echte Extremwerte, aber auch Eingabefehler sein. Ein Alter von 999 ist offensichtlich ein Datenfehler; ein Einkommen im obersten Perzentil hingegen könnte ein valider Wert sein. Die Entscheidung, Ausreißer zu entfernen oder zu behalten, muss methodisch begründet werden. Wie Sie Ausreißer zuverlässig erkennen, erklärt unser Beitrag zum Erkennen von Ausreißern im Datensatz.

4. Inkonsistenzen und Widersprüche

Inkonsistente Daten entstehen, wenn dieselbe Information unterschiedlich kodiert wurde – zum Beispiel „m“, „M“, „männlich“ und „1″ für dasselbe Geschlecht. Aber auch logische Widersprüche zählen dazu: Eine Person, die angibt, jünger als 18 Jahre zu sein, aber bereits 10 Jahre Berufserfahrung hat, ist ein klassisches Plausibilitätsproblem.

5. Strukturelle Fehler und Formatprobleme

Darunter fallen falsche Datentypen (z. B. eine numerische Variable, die als Text eingelesen wurde), fehlerhafte Datumsformate oder nicht einheitliche Maßeinheiten. Zur Bereinigung gehört unter anderem die Prüfung, ob numerische Werte innerhalb vordefinierter Wertebereiche liegen, ob Datumssequenzen logisch konsistent sind und ob Identifikationsnummern eindeutig vergeben wurden.

6. Irrelevante Daten

Variablen oder Fälle, die für Ihre Fragestellung nicht relevant sind, gehören ebenfalls behandelt – durch Selektion oder Filterung. Das reduziert den Datensatz auf das Wesentliche und erleichtert die spätere Analyse.

Die Schritte der Datenbereinigung im Überblick

Eine strukturierte Datenbereinigung folgt einer klaren Abfolge. Diese Abfolge ist kein starres Schema – in der Praxis wird man häufig zwischen den Schritten hin- und herwechseln – aber sie gibt eine bewährte Orientierung.

Besonders der erste Schritt – das Datenprofiling – wird in der Praxis häufig unterschätzt. Wer direkt mit dem Löschen beginnt, ohne den Datensatz vorher systematisch zu sichten, übersieht leicht strukturelle Probleme. Der Überblicksartikel zur Datenaufbereitung in der Statistik beschreibt diesen Zusammenhang ausführlicher.

Praktische Checkliste: Was müssen Sie prüfen?

Die folgende Checkliste fasst zusammen, was Sie bei der Bereinigung eines quantitativen Datensatzes konkret prüfen sollten. Sie eignet sich als Ausgangspunkt für Abschlussarbeiten und empirische Studien gleichermaßen.

Warum Dokumentation zur Datenbereinigung gehört

Ein Aspekt der Datenbereinigung, der in Abschlussarbeiten und Forschungsprojekten regelmäßig vernachlässigt wird: die lückenlose Dokumentation aller Bereinigungsschritte. Sie ist kein bürokratischer Zusatz, sondern methodische Pflicht.

In der methodischen Fachliteratur wird empfohlen, Datenprobleme, Diagnosen, Flagging-Entscheidungen und Korrekturraten vollständig zu dokumentieren – und Analysen mit und ohne Ausreißer gegenüberzustellen. Diese Transparenz ist entscheidend, damit Ihre Ergebnisse nachvollziehbar und replizierbar bleiben.

Konkret bedeutet das:

• Speichern Sie den originalen, unveränderten Rohdatensatz separat – nie überschreiben.
• Führen Sie alle Bereinigungsschritte in einer kommentierten Syntax-Datei durch (SPSS-Syntax, R-Skript, Python-Notebook).
• Notieren Sie für jede Entscheidung (z. B. Ausreißer entfernen oder beibehalten) die methodische Begründung.
• Halten Sie fest, wie viele Fälle durch welchen Schritt entfernt oder verändert wurden.

Die Frage, ob Datenbereinigung darauf abzielt, alle Fehler zu entfernen, lässt sich übrigens klar verneinen. Es geht vielmehr darum, nicht-zufällige Fehler zu erkennen und zu reduzieren, ohne dabei neue systematische Fehler in den Datensatz einzuführen. Wer zu aggressiv bereinigt, verschlechtert die Datenqualität statt sie zu verbessern.

Datenbereinigung in der Abschlussarbeit

Für Studierende, die eine empirische Bachelor- oder Masterarbeit schreiben, stellt sich die Frage sehr konkret: Wie viel Datenbereinigung ist nötig – und wie dokumentiere ich das in meiner Arbeit?

Was in der Arbeit beschrieben werden sollte

Im Methodenteil Ihrer Arbeit gehört ein eigener Abschnitt zur Datenaufbereitung. Beschreiben Sie dort mindestens:

• Gesamtzahl der erhobenen Fälle und die finale Stichprobengröße nach Bereinigung
• Wie viele Fälle aus welchem Grund ausgeschlossen wurden
• Wie mit fehlenden Werten umgegangen wurde (listenweiser Ausschluss, Imputation etc.)
• Ob und wie Ausreißer behandelt wurden
• Welche Variablentransformationen vorgenommen wurden

Datenbereinigung und Datenaufbereitung: der Unterschied

Datenbereinigung ist ein Teil der übergeordneten Datenaufbereitung – also jenes Prozesses, der Rohdaten analysefähig macht. Dazu gehört neben der Bereinigung auch die Variablenkodierung, die Skalentransformation und das Zusammenführen von Datensätzen. Einen vollständigen Überblick über die Prozesse der Datenaufbereitung bietet unser gleichnamiger Artikel.

Professionelle Unterstützung nutzen

Wenn Sie unsicher sind, ob Ihr Datensatz korrekt bereinigt ist, oder wenn Sie bei der Interpretation von Fehlwerten und Ausreißern methodisch auf der sicheren Seite sein möchten, ist eine professionelle Begleitung sinnvoll. Im Rahmen unserer Datenbereinigung und Datenaufbereitung unterstützen erfahrene Statistikerinnen und Statistiker Sie dabei – von der ersten Datensichtung bis zur analysefertigen Datei.

Wer seine Daten selbst bereinigen möchte, findet eine konkrete Schritt-für-Schritt-Anleitung in unserem Beitrag zum eigenständigen Datenbereinigen – inklusive Hinweisen zur Umsetzung in SPSS, R und Excel.