Wie erstellt man eine Skalenanalyse für psychologische Tests?

Was ist eine Skalenanalyse und warum ist sie notwendig?

Eine Skalenanalyse ist die systematische psychometrische Überprüfung eines Messinstruments – also die Frage, ob Ihre Skala das misst, was sie messen soll, und ob sie das zuverlässig tut. In der Psychologie begegnet Ihnen diese Aufgabe immer dann, wenn Sie einen Fragebogen einsetzen, validieren oder neu entwickeln.

Ob Sie eine bestehende Skala wie den BDI, das NEO-PI-R oder eine selbst konstruierte Likert-Skala verwenden: Bevor Sie die Scores interpretieren, müssen Sie deren Qualität nachweisen. Denn wie die zentralen Teststandards der psychologischen Fachgesellschaften klar formulieren, ist Validität keine feststehende Eigenschaft eines Tests – sie ist die Qualität der Evidenz für bestimmte Interpretationen und Entscheidungen auf Basis von Testwerten.

Das bedeutet praktisch: Eine Skalenanalyse ist kein einmaliges Berechnen von Cronbachs Alpha. Sie ist ein mehrstufiger Prozess, der Konstruktdefinition, Itemprüfung, Faktorenstruktur, Reliabilitätsschätzung und Validitätsevidenz umfasst.

Phase 1: Konstrukt und Iteminhalte klären

Der erste und häufig unterschätzte Schritt einer Skalenanalyse ist nicht statistischer Natur: Bevor Sie auch nur eine Zeile in SPSS oder R öffnen, müssen Sie das zu messende Konstrukt präzise definieren.

Konstruktdefinition als Grundlage

Welches psychologische Merkmal soll die Skala erfassen? Wie grenzt es sich von verwandten Konstrukten ab? Richtet sich das Instrument an eine spezifische Zielpopulation? Diese Fragen sind keine Formalität – sie bestimmen, welche Items überhaupt in den Itempool gehören und welche Validitätsevidenz später erwartet werden kann.

In der Praxis empfiehlt sich folgendes Vorgehen:

• Vorhandene Definitionen des Konstrukts aus der Literatur sichten
• Domänen oder Facetten des Konstrukts identifizieren (z. B. kognitive, affektive, behaviorale Anteile)
• Entscheiden, ob die Skala unidimensional oder multidimensional angelegt sein soll
• Prüfen, ob bereits validierte Instrumente existieren, die adaptiert werden können

Iteminhalt und Antwortformat prüfen

Bei bestehenden Skalen bewerten Sie in dieser Phase, ob die Itemformulierungen noch zur Zielpopulation passen und ob das Antwortformat – etwa eine 4-stufige vs. 7-stufige Likert-Skala – für die intendierte Messung angemessen ist.

Bei neu entwickelten Skalen gehört hier eine Expertenbeurteilung der Items dazu. Bewährte Best Practices in der Skalenentwicklung sehen vor, den Itempool zunächst durch Fachexperten auf inhaltliche Repräsentativität und durch Mitglieder der Zielgruppe auf Verständlichkeit prüfen zu lassen – bevor statistische Analysen überhaupt beginnen.

Phase 2: Faktorenstruktur untersuchen

Sobald die Itemqualität inhaltlich gesichert ist, geht es an die Analyse der Dimensionalität: Wie viele latente Faktoren liegen der Skala zugrunde, und laden die Items so auf diese Faktoren, wie es theoretisch zu erwarten wäre?

Explorative vs. konfirmatorische Faktorenanalyse

Je nach Erkenntnisstand wählen Sie unterschiedliche Verfahren:

Eine ausführliche Gegenüberstellung beider Ansätze finden Sie im Beitrag zum Unterschied zwischen explorativer und konfirmatorischer Faktorenanalyse.

Wichtige Kennwerte bei der EFA

Wenn Sie eine explorative Faktorenanalyse durchführen, achten Sie auf folgende Aspekte:

• KMO-Wert und Bartlett-Test: Prüfen Sie vor der EFA, ob die Interkorrelationen der Items überhaupt für eine Faktorenanalyse geeignet sind. KMO > .60 gilt als Mindestvoraussetzung, Werte > .80 sind wünschenswert.
• Anzahl der Faktoren: Scree-Plot, Parallelanalyse und inhaltliche Überlegungen gemeinsam nutzen – nicht allein auf den Eigenwert > 1 verlassen.
• Faktorladungen: Items mit Ladungen unter .40 auf dem Hauptfaktor oder hohen Querladungen auf mehreren Faktoren sind kritisch zu prüfen.
• Rotationsmethode: Oblique Rotation (z. B. Promax) wenn Faktoren inhaltlich zusammenhängen; orthogonale Rotation (Varimax) wenn Unabhängigkeit theoretisch begründbar ist.

Kennwerte bei der CFA

Bei der konfirmatorischen Faktorenanalyse beurteilen Sie den Modell-Fit anhand mehrerer Indizes, da kein einzelner Wert ausreicht:

Diese Richtwerte gelten in der Psychologie als Orientierung für einen akzeptablen Modell-Fit. Sie sind keine absoluten Grenzen, sondern müssen im Kontext der Stichprobengröße und Modellkomplexität beurteilt werden.

Phase 3: Reliabilität schätzen – mehr als nur Cronbachs Alpha

Reliabilität beschreibt, wie konsistent und stabil eine Skala misst. In den meisten Abschlussarbeiten erscheint hier reflexartig Cronbachs Alpha – und damit beginnt das Problem.

Cronbachs Alpha: Was es kann und was nicht

Alpha ist das am weitesten verbreitete Maß interner Konsistenz in der psychologischen Forschung. Seine Berechnung beruht jedoch auf mehreren Annahmen, die in der Praxis oft ungeprüft bleiben:

• Tau-Äquivalenz: Alle Items tragen gleichgewichtig zum Faktor bei.
• Unkorrelierte Messfehler: Die Fehleranteile der Items hängen nicht zusammen.
• Unidimensionalität: Die Skala erfasst genau ein latentes Konstrukt.

Sind diese Annahmen verletzt – und das ist bei psychologischen Skalen häufig der Fall – kann Alpha die tatsächliche Reliabilität systematisch unterschätzen oder überschätzen. Besonders kritisch: Ein hoher Alpha-Wert beweist nicht, dass eine Skala unidimensional ist. Auch multidimensionale Skalen können hohe Alpha-Werte erzeugen, wenn die Subfaktoren eng miteinander korrelieren.

Alternativen zu Cronbachs Alpha

Die Methodenliteratur empfiehlt, Reliabilität nicht ausschließlich über Alpha zu beurteilen. Folgende Alternativen sind je nach Datenlage sinnvoll:

• McDonalds Omega (ω): Berücksichtigt unterschiedliche Faktorladungen der Items und gilt bei heterogenen Ladungsmustern als präzisere Schätzung als Alpha. Empfohlen für die meisten psychologischen Skalen.
• Omega hierarchisch (ω_h): Bei bifaktoriellen Strukturen sinnvoll – schätzt den Anteil der Varianz, der auf den Generalfaktor zurückgeht.
• Test-Retest-Reliabilität: Misst zeitliche Stabilität über zwei Messzeitpunkte. Besonders relevant bei der Erfassung stabiler Persönlichkeitsmerkmale.
• Interrater-Reliabilität (ICC, Cohen’s κ): Bei beobachtungsbasierten oder kategorisierten Daten.

Einen detaillierten Leitfaden zur Berechnung von Cronbachs Alpha und seinen Grenzen finden Sie im Beitrag Wie berechnet man Cronbachs Alpha für einen Fragebogen?

Richtwerte für interne Konsistenz

Item-Analyse als ergänzende Methode

Neben globalen Reliabilitätskennwerten liefert die Item-Analyse wichtige Detailinformationen über einzelne Items:

• Itemschwierigkeit (p_i): Anteil der Personen, die ein Item in der erwarteten Richtung beantwortet haben. Extreme Werte (< .20 oder > .80) weisen auf Items hin, die kaum differenzieren.
• Trennschärfe (r_it): Korrelation des Items mit dem Gesamtscore der Skala (korrigiert um das Item selbst). Werte unter .30 sind kritisch.
• Alpha-wenn-Item-gelöscht: Zeigt, ob die Entfernung eines Items die Reliabilität der Skala verbessern würde.

Items mit sehr niedrigen Trennschärfen sollten inhaltlich geprüft werden: Ist das Item möglicherweise missverständlich formuliert? Erfasst es ein anderes Konstrukt als die übrigen Items?

Phase 4: Validitätsevidenz zusammenstellen

Reliabilität ist eine notwendige, aber keine hinreichende Bedingung für die Güte eines psychologischen Tests. Eine reliable Skala kann trotzdem das Falsche messen. Deshalb ist der Nachweis von Validität der methodisch anspruchsvollste Teil einer Skalenanalyse.

Arten der Validitätsevidenz

In der modernen Testtheorie wird Validität nicht in voneinander unabhängige „Validitätsarten“ unterteilt, sondern als ein Gesamturteil auf Basis verschiedener Evidenzquellen verstanden. Folgende Validitätsaspekte sind für psychologische Skalen besonders relevant:

• Inhaltsvalidität: Decken die Items den konzeptuellen Bereich des Konstrukts repräsentativ ab? Wird durch Expertenbeurteilung oder Content Validity Index (CVI) bewertet.
• Konstruktvalidität: Verhält sich die Skala so, wie es die Theorie vorhersagt? Umfasst konvergente und diskriminante Validität.
• Konvergente Validität: Korreliert die Skala positiv mit Maßen ähnlicher Konstrukte?
• Diskriminante Validität: Unterscheidet sich die Skala ausreichend von Maßen konzeptuell verschiedener Konstrukte?
• Kriteriumsvalidität: Sagt die Skala ein relevantes Außenkriterium vorher (prädiktiv) oder hängt sie mit ihm zusammen (konkurrent)?

Multitrait-Multimethod-Ansatz

Ein besonders robuster Nachweis konvergenter und diskriminanter Validität gelingt mit dem MTMM-Ansatz: Mehrere Konstrukte werden über mehrere Methoden gemessen, und die Korrelationsmuster werden analysiert. Für Bachelorarbeiten ist dieser Aufwand in der Regel nicht erforderlich – eine Korrelation mit einem etablierten Maß des gleichen Konstrukts und einem konzeptuell unabhängigen Maß ist meistens ausreichend.

Kennwerte korrekt berichten

Eine Skalenanalyse ist nur dann wissenschaftlich verwertbar, wenn alle Entscheidungen und Kennwerte transparent dokumentiert sind. Das klingt selbstverständlich, wird in der Praxis aber oft vernachlässigt.

Was ins Methodenteil gehört

Folgende Elemente sollten in der Beschreibung Ihrer Skalenanalyse nicht fehlen:

Wichtig: Skalenkennwerte sollten nicht isoliert berichtet werden. Geben Sie immer an, für welche Stichprobe und zu welchem Messzweck die Werte gelten. Gütekriterien, die an einer Studierendenprobe ermittelt wurden, lassen sich nicht ohne Weiteres auf klinische Populationen übertragen.

Wie Ergebnisse dann APA-konform in den Text eingebettet werden, zeigt der Beitrag Wie berichtet man Ergebnisse APA-konform in der Psychologie?

Skalenanalyse in der Praxis: Software und Umsetzung

Für die praktische Durchführung einer Skalenanalyse stehen mehrere Softwarelösungen zur Verfügung. Welche Sie wählen, hängt von Ihren Vorkenntnissen und den Anforderungen Ihrer Hochschule ab. Eine Übersicht der gängigen Tools im Psychologiestudium bietet der Beitrag Welche Software nutzt man für Statistik im Psychologiestudium?

SPSS: Item-Analyse und Reliabilität

In SPSS führen Sie eine Reliabilitätsanalyse über Analysieren → Skalierung → Reliabilitätsanalyse durch. Wählen Sie dort das Modell „Alpha“ und aktivieren Sie unter „Statistiken“ die Ausgabe von Trennschärfen, Inter-Item-Korrelationen und „Alpha, wenn Item gelöscht“. Für die EFA navigieren Sie zu Analysieren → Dimensionsreduktion → Faktorenanalyse.

R: Vollständige Skalenanalyse mit dem psych-Paket

In R ermöglicht das psych-Paket eine vollständige Skalenanalyse in wenigen Schritten:

# Pakete laden
library(psych)
library(lavaan)

# Beispieldaten: Fragebogen mit 8 Items (df_items)
# Item-Analyse und Alpha
alpha_ergebnis <- alpha(df_items)
print(alpha_ergebnis)

# McDonalds Omega
omega_ergebnis <- omega(df_items, nfactors = 1)
print(omega_ergebnis)

# Explorative Faktorenanalyse (1 Faktor, oblique Rotation)
efa_ergebnis <- fa(df_items, nfactors = 1, rotate = "oblimin", fm = "ml")
print(efa_ergebnis$loadings, cutoff = 0.3)

# Konfirmatorische Faktorenanalyse (Einzeilenmodell)
modell_cfa <- '
  faktor1 =~ item1 + item2 + item3 + item4 + item5 + item6 + item7 + item8
'
cfa_ergebnis <- cfa(modell_cfa, data = df_items)
summary(cfa_ergebnis, fit.measures = TRUE, standardized = TRUE)

Die Ausgabe von alpha() enthält neben dem globalen Alpha-Wert auch die Trennschärfen (item.total) und den Alpha-Wert nach Item-Ausschluss – alles, was Sie für eine vollständige Item-Analyse benötigen.

Jamovi: Grafisch unterstützte Skalenanalyse

In Jamovi ist die Reliabilitätsanalyse unter Factor → Scale Analysis → Reliability Analysis zugänglich. Für die EFA navigieren Sie zu Factor → Exploratory Factor Analysis. Jamovi eignet sich besonders für den Einstieg, da die Ausgabe übersichtlich formatiert und direkt exportierbar ist.

Häufige Fehler und wie Sie sie vermeiden

In der Praxis zeigen sich bei Skalenanalysen in Abschlussarbeiten immer wieder dieselben Schwachstellen. Die folgenden Punkte helfen Ihnen, diese zu umgehen.

Fehler 1: Reliabilität vor Dimensionalität

Der klassische Fehler: Alpha wird berichtet, ohne dass zuvor geprüft wurde, ob die Skala überhaupt unidimensional ist. Alpha setzt Unidimensionalität voraus – führen Sie also immer zuerst eine Faktorenanalyse durch.

Fehler 2: Einzelne Kennwerte ohne Kontext

α = .82 ist für sich genommen wenig aussagekräftig. Berichten Sie immer, für welche Stichprobe und unter welchen Bedingungen der Wert berechnet wurde. Gütekriterien sind stichprobenabhängig.

Fehler 3: Automatisches Item-Löschen zur Alpha-Optimierung

SPSS und R zeigen automatisch, ob Alpha steigt, wenn ein Item entfernt wird. Das verführt dazu, Items rein statistisch zu löschen – ohne inhaltliche Begründung. Löschen Sie Items nur, wenn sowohl statistische als auch inhaltliche Gründe dafür sprechen. Begründen Sie Ihre Entscheidung im Methodenteil.

Fehler 4: Validität ignorieren

Manche Arbeiten beschränken sich auf Reliabilitätskennwerte und nennen die Analyse dann vollständig. Ohne Validitätsevidenz fehlt jedoch der Nachweis, dass die Skala tatsächlich das intendierte Konstrukt erfasst. Mindestens eine Form der Validitätsevidenz sollte berichtet werden – auch in einer Bachelorarbeit.

Fehler 5: Fehlende Stichprobenplanung

Faktorenanalysen und Reliabilitätsschätzungen sind stichprobenabhängig. Für eine EFA werden in der Regel mindestens 5 bis 10 Fälle pro Item empfohlen, als absolutes Minimum gelten etwa 100–200 Personen. Wer die Stichprobengröße nicht vorab plant, riskiert instabile Ergebnisse. Der Beitrag Wie bestimmt man die optimale Stichprobengröße in der Psychologie? gibt dazu eine fundierte Orientierung.

Wenn Sie sich bei der Planung oder Auswertung Ihrer Skalenanalyse unsicher sind, bietet unsere spezialisierte Statistik-Beratung für die Psychologie individuelle methodische Unterstützung – von der Konstruktdefinition bis zur APA-konformen Ergebnisdarstellung.