Intercoder-Reliabilität
In diesem Beitrag
Was versteht man unter Intercoder-Reliabilität?
Die Intercoder-Reliabilität (auch: Interrater-Reliabilität) ist ein Maß dafür, wie stark verschiedene Personen – sogenannte Codierer oder Rater – bei der Einschätzung oder Klassifikation desselben Materials zu übereinstimmenden Ergebnissen kommen. Sie ist ein zentrales Gütekriterium in der empirischen Forschung, überall dort, wo Daten nicht automatisch gemessen, sondern durch menschliches Urteil erfasst werden.
Typische Anwendungsgebiete sind die Inhaltsanalyse von Texten, die Bewertung von Interviews, die Kodierung offener Antworten in Fragebögen oder die Beurteilung von Beobachtungsprotokollen. Dabei kodieren mindestens zwei Personen dieselben Materialien unabhängig voneinander, und anschließend wird geprüft, wie sehr ihre Einschätzungen übereinstimmen.
Zur Berechnung gibt es verschiedene Kennwerte. Weit verbreitet sind:
- Prozentuale Übereinstimmung: Der einfachste Wert – Anteil der Fälle, in denen beide Codierer identisch entschieden haben. Er berücksichtigt jedoch nicht, dass ein Teil der Übereinstimmungen rein zufällig zustande kommt.
- Cohens Kappa (κ): Korrigiert die prozentuale Übereinstimmung um die zufällig erwartete Übereinstimmung. Gilt als Standardmaß für nominalskalierte Kategorien.
- Krippendorffs Alpha (α): Ein flexibleres Maß, das auch für ordinale, intervallskalierte und fehlende Daten geeignet ist.
- Intraklassenkorrelation (ICC): Wird bei metrischen Urteilen (z. B. Punkteskalen) eingesetzt.
Cohens Kappa ist dabei besonders gebräuchlich. Die Formel lautet:
Cohens Kappa
Dabei steht für die beobachtete Übereinstimmung und für die zufällig erwartete Übereinstimmung. Ein Kappa-Wert von 1 bedeutet perfekte Übereinstimmung, ein Wert von 0 entspricht reiner Zufallsübereinstimmung, negative Werte zeigen eine Übereinstimmung, die schlechter als der Zufall ist.
Als Orientierung für die Interpretation von Kappa-Werten wird häufig folgende Einteilung verwendet:
| Kappa-Wert | Bewertung |
|---|---|
| < 0,20 | Schwache Übereinstimmung |
| 0,21 – 0,40 | Mäßige Übereinstimmung |
| 0,41 – 0,60 | Moderate Übereinstimmung |
| 0,61 – 0,80 | Gute Übereinstimmung |
| 0,81 – 1,00 | Sehr gute bis perfekte Übereinstimmung |
Warum ist Intercoder-Reliabilität für statistische Analysen wichtig?
Ohne ausreichende Intercoder-Reliabilität sind qualitative oder inhaltsanalytische Daten nicht vertrauenswürdig. Wenn zwei Codierer denselben Text unterschiedlich kategorisieren, sind die daraus abgeleiteten Häufigkeiten, Zusammenhänge oder Schlussfolgerungen wenig belastbar. Das untergräbt die gesamte Auswertung – egal wie sorgfältig die nachfolgende statistische Analyse durchgeführt wird.
Intercoder-Reliabilität ist daher kein optionaler Qualitätscheck, sondern ein notwendiges Kriterium für die Objektivität einer Studie. In vielen Fachzeitschriften und Abschlussarbeiten wird erwartet, dass entsprechende Kennwerte berichtet und begründet werden.
Häufig empfohlen wird ein Kappa-Wert von mindestens 0,70, in manchen Disziplinen auch 0,80 als Mindeststandard für eine akzeptable Übereinstimmung. Diese Schwellenwerte sind jedoch nicht universell – sie hängen vom Forschungskontext, der Anzahl der Kategorien und der Komplexität des Codierschemas ab.
Praxisbeispiel zu Intercoder-Reliabilität
Eine Studierende untersucht in ihrer Masterarbeit, wie Nachrichtenmedien über das Thema Klimawandel berichten. Sie hat ein Kategoriensystem entwickelt, das Artikel in drei Tonalitäten einteilt: alarmistisch, neutral und verharmlosend.
Sie und eine zweite Person kodieren unabhängig voneinander dieselben 50 Artikel. Das Ergebnis:
| Artikel | Codiererin A | Codiererin B | Übereinstimmung |
|---|---|---|---|
| 1–50 (gesamt) | – | – | 40 von 50 identisch |
Die prozentuale Übereinstimmung beträgt 80 %. Da es drei Kategorien gibt, wäre rein zufällig eine Übereinstimmung von etwa 33 % zu erwarten. Nach Berechnung von Cohens Kappa ergibt sich ein Wert von κ = 0,70 – das entspricht einer guten Übereinstimmung und ist für eine Abschlussarbeit gut vertretbar.
Die Studierende berichtet diesen Wert transparent in ihrem Methodenteil und ergänzt, dass strittige Fälle in einem gemeinsamen Gespräch konsensuell gelöst wurden. Genau so wird Intercoder-Reliabilität in der Praxis dokumentiert.
