Standardisierte Skalenvorgaben im NEPS

Für Longitudinal Large Scale Surveys wie das Nationale Bildungspanel in seiner Konsortialstruktur stellt die Sicherstellung von Konsistenz und Kohärenz der Erhebungsinstrumente eine entscheidende und besonders fordernde Komponente der Qualitätssicherung dar. Ohne Konsistenz und Kohärenz der (Antwort-)Skalen ist der Erfolg des Unterfangens aus drei Richtungen bedroht:

Die modulare Struktur der Erhebungsinstrumente mit darüber hinaus Item-Zulieferungen aus unterschiedlichen Säulen und Etappen lässt sich nur aufrechterhalten, wenn eben diese Zulieferung homogen in ein Erhebungsinstrument integriert werden können.

Durch diese Homogenität wird die Akzeptanz und Verständlichkeit der Befragung bei den Zielpersonen und damit auch die Validität der gesamten Erhebung erhöht. Im Umkehrschluss gilt: Inkonsistente Instrumente (über)fordern unsere Zielpersonen, führen zu erhöhter panel-attrition und bedrohen durch Verständnisprobleme (wie waren nochmal die Antwortvorgaben…) die angestrebte Validität.

Auf Konstrukt-Ebene mag die Vorgabe der im Folgenden kanonisierten Standard-Antwortskalen unter Umständen prima facie die Sinn-Adäquanz in Hinsicht auf die lebensweltliche Ankerung von Extremwerten, Mittelkategorien oder die notwendige Abstufung der Antwortvorgaben bedrohen. Andererseits aber bedroht aber eben eine Vielzahl von unterschiedlichen Antwortvorgaben die Validität auch schon des einzelnen Konstrukts durch Verständnisprobleme, Ermüdungsprozesse und die letztlich nicht ausräumbare Unsicherheit, welche Antwortskala von den Zielpersonen bei der Antwort imaginiert wurde

Weiterhin lässt sich das gesamte Analysepotenzial des Multikohorten-Sequenzdesigns nur dann wirklich ausloten, wenn wir sicherstellen, dass ein Höchstmaß an Konsistenz der Erhebungsinstrumente auch zwischen Etappen/Kohorten gewährleitstet ist. Nur so lassen sich vertikale und horizontale, synchrone und diachrone Vergleiche durchführen; nur so kann gewährleistet werden, dass jenseits der Längsschnittperspektive auf Individualebene auch strukturelle Effekte kausalanalytisch bearbeitet werden können.

Unter anderen auch aus den hier genannten Gründen hat NEPS es sich zur Aufgabe gemacht, die Verwendung von Skalen im NEPS zu standardisieren und zu vereinheitlichen. Auf Grundlage grundsätzlicher Regeln und Bestimmungen zur Formulierung von Skalen, sowie der bisher veröffentlichten SUF‘s¹ (SC2, SC3, SC4, SC6) wurden somit Skalenvorgaben fixiert, auf die bei der Entwicklung von Items und Fragebögen zurückgegriffen werden muss.

Die vorliegenden Skalenvorgaben folgen auf einer Farbsystematik, die den meisten aus dem Straßenverkehr geläufig sein dürfte. Im Folgenden wird die Systematik trotzdem kurz erläutert. Die Farbmetrik sieht hierbei neben dem Ampelfarben (grün, gelb und rot) auch weiß hinterlegte als auch grau-weiß gestreifte Skalen vor. Auf den ersten Blick wird so den Entwicklerinnen und Entwicklern von Instrumenten deutlich, wie noch in der Entwicklung befindliche Items und Skalen zu gestalten sind.

Die Erhebungsinstrumente im NEPS bestehen zum einen aus gewachsenen Instrumenten, zum anderen wurden und werden in diese Instrumente Neuentwicklungen integriert. Diese Neuentwicklungen müssen sich an den hier dokumentierten Skalenvorgaben orientieren. Der Längsschnittcharakter von Panelstudien kann allerdings bei den gewachsenen Bestandteilen dieser Erhebungsinstrumente folgendes erforderlich machen: Skalierungen die nicht diesen Vorgaben entsprechen sind in der längsschnittlichen Vergleichbarkeit der Haupterhebung weiterhin einzusetzen. Bei Skalen, die sich bereits im Feld bewähren mussten, aber nicht in der Auflistung enthalten sind, bittet die Abteilung für interne Standardisierung/Skalenprüfung im Skalenprüfungsverfahren um entsprechende Markierung mit Referenz.

Weiterhin sind im NEPS einige standardisierte Listen gebräuchlich, zum Beispiel wenn es um die Staatsangehörigkeit von Befragten und ihren Verwandten geht oder wenn das Bundesland erhoben werden soll. Diese standardisierten Listen finden sich auf dem Bamberger Server. Ferner gibt es eine Vielzahl festgelegter Missing Values, welche im Wiki eingesehen werden können.

Farbensystematik

Wert MDE-ID 889 1 Note 1 (13-15 Punkte) 2 Note 2 (10-12 Punkte) 3 Note 3 (7-9 Punkte) 4 Note 4 (4-6 Punkte) 5 Note 5 (1-3 Punkte) Skalen die weiß hinterlegt sind, beschreiben mehr oder weniger selbstevidente Skalen in ihren „natürlichen“ Ausprägungen. Sie umfassen beispielsweise Noten, Jahreszeiten, Berufsfelder oder Berufsfachrichtungen und dienen in erster Linie als spezifische Vorgabehilfen für die einzelnen Ausprägungen und Codierungsschemata. Sie können ohne weiteres in einem Fragebogen genutzt werden. Wert MDE-ID 168/280 1 0 2 1 bis 2 3 3 bis 9 4 10 und mehr Schwieriger gestaltet sich die Nutzung der anderen Skalen, da bei diesen Skalenvorgaben einige Aspekte zu beachten sind. Beginnen wir mit den grau-weiß hinterlegten Skalen und somit dem eher geringsten standardisierenden Eingriff der Skalenprüfung. Grundsätzlich sind gestreifte Skalen auch in hohem Maße selbstevident, allerdings fehlt ihnen die Komponente alltäglich-institutioneller Normierung. Die gestreiften Skalen bilden in diesem Kosmos der Möglichkeiten die NEPS-Präferenz, das sie am ehesten den Grundgedanken der NEPS Standardisierung entsprechen, in Praxis verwendet werden und offensichtlich nicht nur bei NEPS, sondern auch in anderen, relevanten Studien präferiert zum Einsatz kommen. Mit den folgenden Farbmarkierungen steigt der Grad des standardisierenden Eingriffs in die Instrumentenentwicklung abermals. Auch diese Auswahl erfolgte weder arbiträr noch willkürlich, cum grano salis gelten die bereits knapp eingeführten und oben bereits angerissenen Kriterien: Verwendung in der Praxis, Kompatibilität in vielfältigen Sinnkosmen und Einsatzbereichen, Anschlussfähigkeit zu relevanten Studien außerhalb von NEPS. Wert MDE-ID 463 1 sehr schlecht 2 eher schlecht 3 teils/teils 4 eher gut 5 sehr gut Den einfachsten Fall bilden hierbei „grüne“ Skalen. Diese werden als Standardskalen bezeichnet und besitzen immer fünf Ausprägungen, die von 1 bis 5 codiert sind. Sie beginnen mit dem „kleinsten“ Wert und enden mit dem „größten“ Wert. Weiterhin existiert hier eine Mittelkategorie (z.B. „teils/teils“). Grüne Skalen entsprechen vollkommen dem NEPS Standard und sollen bevorzugt verwendet werden. Bei der Nutzung grüner Skalen gibt es daher (wenn nicht anders vermerkt) keine Beschränkungen. Diese fünfteiligen Skalen sind zu präferieren, da in Praxi beim Fehlen der Mittelkategorie diese von den Zielpersonen häufig nachgefragt wird. Forced choice Antwortskalen sind aus diesem Grund lediglich gelb. Wert MDE-ID 158 1 sehr schlecht 2 eher schlecht 3 eher gut 4 sehr gut Gelbe Skalen besitzen immer vier Ausprägungen und sind von 1 bis 4 codiert. Innerhalb der Vorgaben werden sie als „sonstige Skalen“ bezeichnet. Analog zu grünen Skalen, beginnen gelbe Skalen ebenfalls bei dem „kleinsten“ Wert und enden mit dem „größten“ Wert. Auf eine Mittelkategorie wird hier jedoch verzichtet. Gelbe Skalen dürfen, soweit nicht anders verwiesen, nur dann benutzt werden, wenn auf eine Mittelkategorie bewusst verzichtet wird, d.h. die Verwendung einer Standardskala aus wichtigen Gründen (wie zum Beispiel der Anschlussfähigkeit an andere Studien) nicht realisiert werden kann. Wert MDE-ID 1346 1 sehr gut 2 gut 3 mittelmäßig 4 schlecht 5 sehr schlecht Unter den Antwortskalenvorgaben befinden sich zudem auch rote Skalen. Rote Skalen sind gesondert zu betrachten. Sie dürfen nur im Ausnahmefall, der jeweils in der Beschreibung dieser Skalen spezifiziert wird, verwendet werden. Unter ihnen finden sich beispielsweise Skalen, die mehr als vier oder fünf Ausprägungen besitzen oder die nicht beim „kleinsten“ Wert beginnen und beim „größten“ Wert enden. Rote Skalen entsprechen nicht dem NEPS Standard und dürfen nicht ohne weiteres verwendet werden. Grundsätzlich gilt es grüne (oder gelbe) Skalen bevorzugt zu nutzen. Soll dennoch eine „rote Skala“ jenseits der Ausnahmespezifikationen verwendet werden, kann dies nur in Absprache mit der Abteilung Interne Standardisierung (AP0) erfolgen.

Die Standardisierung von Skalen stellt einen fortlaufenden Prozess dar. Die hier dokumentierten Skalenvorgaben erheben daher keinen Anspruch auf Vollständigkeit. Durch die vielfältigen Prozesse im NEPS kann es durchaus vorkommen, dass unter den bisher aufgeführten Skalen eine Skala in Verwendung nicht dokumentiert ist. Eine Aufnahme fehlender Skalen ist daher durchaus möglich und wird nach Rücksprache mit Vertreterinnen und Vertretern der Abteilung Interne Standardisierung (AP0) vorgenommen.

¹ Die Skalen aus den Zusatzstudien Thüringen und Baden-Württemberg wurden wegen ihres Querschnittscharakters aufgrund der Regionalstruktur und einer Fokussierung auf landesspezifische Verwaltungsreformen im NEPS nicht beachtet, da keine anschlussfähigen Konzepte abgeleitet werden können.