Wie prüft man die Augenscheinvalidität eines Fragebogens?

Was ist Augenscheinvalidität?

Augenscheinvalidität – im Englischen face validity – bezeichnet das Urteil darüber, ob ein Messinstrument auf den ersten Blick tatsächlich das misst, was es messen soll. Die Kernfrage lautet: Wirkt dieser Fragebogen so, als würde er das intendierte Konstrukt erfassen – und nicht irgendetwas anderes?

Konkret bedeutet das: Sieht eine Skala zur Messung politischen Vertrauens auch wirklich wie eine Messung politischen Vertrauens aus? Augenscheinvalidität basiert meist auf qualitativen Urteilen der Forschenden oder auf Einschätzungen von Personen ohne Fachexpertise – also genau jener Zielgruppe, die den Fragebogen später ausfüllen soll.

Wichtig ist die Abgrenzung zur Inhaltsvalidität: Während Inhaltsvalidität systematisch prüft, ob alle relevanten Facetten eines Konstrukts abgedeckt sind, ist Augenscheinvalidität ein erster, eher intuitiver Plausibilitätscheck. Sie ist kein Beweis für Messqualität, aber ein notwendiger erster Schritt.

Wie prüft man Augenscheinvalidität konkret?

Die Prüfung der Augenscheinvalidität läuft in der Forschungspraxis über zwei komplementäre Wege: den Expert Review und die Befragung von Zielpersonen. Beide lassen sich gut kombinieren und sind auch im Rahmen von Abschlussarbeiten mit vertretbarem Aufwand umsetzbar.

Weg 1: Expert Review

Beim Expert Review beurteilt eine Gruppe von Fachkundigen – typischerweise 3 bis 10 Personen – jeden einzelnen Item des Fragebogens systematisch. Solche Expertengruppen können aus Survey-Methodologinnen, Fragebogendesign-Expertinnen, Fachexpertinnen und gegebenenfalls Datenverarbeitungsexpertinnen zusammengesetzt werden.

Das Review kann auf zwei Arten ablaufen:

• Strukturiert: Jede prüfende Person bewertet Items anhand eines standardisierten Codierschemas – mit festgelegten Kategorien und Ratingskalen.
• Weniger formal: Die Gruppe diskutiert jeden Item gemeinsam und hält Probleme und Empfehlungen frei fest.

Für Bachelorarbeiten und Masterarbeiten empfiehlt sich in vielen Fällen eine Kombination: Eine strukturierte Beurteilung mit kurzer Dokumentation ist methodisch sauberer als ein rein mündlicher Austausch.

Weg 2: Einschätzungen durch Zielpersonen

Neben Fachexpertinnen und Fachexperten ist die Perspektive der tatsächlichen Befragten zentral. Eine einfache, aber wirkungsvolle Methode: Man zeigt ausgewählten Personen aus der Zielgruppe einzelne Items und fragt sie direkt: „Was glauben Sie, was dieses Item misst?“

Diese Frage deckt Missverständnisse auf, die Expertinnen und Experten oft nicht bemerken – weil sie zu nah am Konstrukt sind. Stimmt die Antwort der befragten Person nicht mit der intendierten Konstruktdimension überein, ist das ein klares Signal, den Item zu überarbeiten.

Den Face Validity Index berechnen

Wer die Augenscheinvalidität nicht nur anekdotisch, sondern quantifizierbar dokumentieren möchte, kann einen Face Validity Index (FVI) berechnen. Dieses Verfahren überführt qualitative Bewertungen in eine nachvollziehbare Kennzahl.

Augenscheinvalidität lässt sich als evidenzbasierter Schritt systematisch dokumentieren, bei dem Beurteilende Items nach Verständlichkeit und Klarheit bewerten – und diese Bewertungen in Indizes überführt werden, die als Entscheidungsgrundlage für Itemüberarbeitung oder Itembeibehaltung dienen.

Vorgehen Schritt für Schritt

1. Beurteilende auswählen: Mindestens 5, besser 8–10 Personen aus der Zielgruppe oder mit Fachkenntnis.
2. Bewertungsskala festlegen: Jede Person bewertet jeden Item auf einer dichotomen Skala (z. B. „relevant“ vs. „nicht relevant“) oder einer Likert-Skala (z. B. 1–4: „nicht klar“ bis „sehr klar“).
3. FVI berechnen: Der Item-Level Face Validity Index (I-FVI) ergibt sich als Anteil der Beurteilenden, die den Item als verständlich oder passend eingestuft haben.
4. Cut-off anwenden: Ein gängiger Schwellenwert ist I-FVI ≥ 0,80 – Items unterhalb dieser Grenze werden überarbeitet oder gestrichen.

Der Scale-Level FVI (S-FVI) aggregiert alle Item-Werte zu einem Gesamtindex für den gesamten Fragebogen – entweder als Durchschnitt aller I-FVI-Werte oder als Anteil der Items, die den Cut-off-Wert erreichen. Für Abschlussarbeiten reicht in den meisten Fällen die Berechnung auf Itemebene aus.

Welche Kriterien werden bei der Prüfung bewertet?

Ob Expert Review oder Zielgruppenprüfung – die Beurteilenden brauchen klare Kriterien. Folgende Aspekte haben sich in der Fragebogenforschung als besonders relevant erwiesen:

Diese Kriterien lassen sich direkt in ein strukturiertes Bewertungsformular überführen, das Sie den prüfenden Personen vorlegen. Das macht den Prozess reproduzierbar und gut dokumentierbar – was in empirischen Abschlussarbeiten ein klarer Vorteil ist.

Für eine vertiefte Auseinandersetzung mit dem Fragebogen als wissenschaftlichem Erhebungsinstrument lohnt sich auch der Blick auf den Artikel zur Funktion des Fragebogens als Erhebungsinstrument.

Grenzen der Augenscheinvalidität

Eine positive Augenscheinbewertung ist kein Beweis dafür, dass ein Fragebogen das zugrundeliegende Konstrukt tatsächlich vollständig und korrekt erfasst. Das ist der wichtigste Vorbehalt gegenüber diesem Verfahren.

Augenscheinvalidität sagt aus, dass ein Instrument plausibel wirkt – nicht, dass es valide misst. Expertinnen und Experten können sich einig sein, dass ein Item gut klingt, obwohl er empirisch nicht mit dem Konstrukt korreliert. Ebenso können Laien-Rückmeldungen oberflächliche Sprachprobleme aufdecken, aber tiefergehende Messfehler übersehen.

Auch Expertenurteile ersetzen nicht die Perspektive der Befragten: Ein Instrument kann für Fachleute vollständig klar wirken, in der Praxis aber zu Verständnisschwierigkeiten führen. Deshalb empfiehlt die Fragebogenforschung, auf den Expert Review weitere Pretestverfahren folgen zu lassen – insbesondere kognitive Interviews oder Pilottestungen.

Wer verstehen möchte, wie ein Fragebogen insgesamt als Forschungsmethode einzuordnen ist, findet dazu einen weiterführenden Überblick im Artikel zur Forschungsmethode Fragebogen.

Augenscheinvalidität in der Abschlussarbeit dokumentieren

In Bachelorarbeiten und Masterarbeiten wird die Augenscheinvalidität üblicherweise im Methodenteil beschrieben – dort, wo Sie Ihr Erhebungsinstrument vorstellen. Eine gute Dokumentation beantwortet drei Fragen:

• Wer hat bewertet? Anzahl, Zusammensetzung und kurze Charakterisierung der Beurteilenden (Fachexpertise, Zugehörigkeit zur Zielgruppe).
• Wie wurde bewertet? Verwendete Kriterien, Format des Reviews (strukturiert oder offen), eingesetzte Skala.
• Was hat die Prüfung ergeben? Zusammenfassung der Rückmeldungen, vorgenommene Itemüberarbeitungen, berechnete Indexwerte falls vorhanden.

Auch wenn der Aufwand überschaubar ist: Viele Studierende unterschätzen diesen Schritt und führen die Prüfung erst nach der Datenerhebung durch – dann ist eine Überarbeitung des Instruments nicht mehr möglich. Planen Sie die Augenscheinprüfung daher zwingend vor dem eigentlichen Feldstart ein.

Wenn Sie unsicher sind, wie Sie Ihren Fragebogen methodisch aufsetzen und validieren sollen, bietet QuantExpert auf der Seite zur SPSS-Hilfe bei der Fragebogenauswertung für empirische Abschlussarbeiten eine ganzheitliche methodische Begleitung an – von der Konstruktdefinition über die Itemformulierung bis zur Validierungsstrategie.

Nach der Erhebung stellt sich dann die nächste methodische Frage: Wie validiert man das Instrument auf Basis der gesammelten Daten weiter? Dazu gibt es einen eigenen Beitrag zur Validierung von Umfragetools, der statistische Verfahren wie Faktorenanalyse und Reliabilitätstests behandelt.

Und wenn die Daten vorliegen, geht es an die Auswertung: Einen strukturierten Überblick, welche statistischen Verfahren für Fragebogendaten in Frage kommen, bietet der Artikel zu den statistischen Analysemethoden für Fragebögen.