Neue Validierungsstudie zu DNLA
„Evaluation des ESK Verfahrens unter Berücksichtigung der Gütekriterien psychometrischer Messungen“, von Prof. Dr. René Lehmann
Im Lauf der letzten Monate wurde eine neue empirische Studie* zur Qualität von DNLA ESK erstellt. Durchgeführt wurde sie von Prof. Dr. René Lehmann. Er ist Professor für Wirtschaftsmathematik und Statistik an der FOM Hochschule für Ökonomie und Management in Essen und Mitglied des Instituts für Empirie und Statistik (ifes) und des Instituts für Wirtschaftspsychologie (iwp). Die Ergebnisse stellen wir hier vor.
*An authorised English version of the study will also be available shortly.
Insgesamt bescheinigt der Bericht dem ESK-Verfahren eine sehr hohe Qualität. Zusammenfassend heißt es am Ende des Berichts: „Die interne Konsistenz ist überwiegend als gut bis sehr gut zu bewerten. Die Korrelationen der Konstrukte untereinander sowie die Ergebnisse der Validitätsprüfungen anhand der Außenkriterien deuten auf eine hohe Verlässlichkeit des ESK Verfahrens hin. Aufgrund des hohen Grades an Automatisierung und Standardisierung ist insbesondere die Objektivität positiv hervorzuheben. Insgesamt sind die Gütekriterien in hohem Maße als erfüllt zu bewerten.“
Auch bei sogenannten Nebengütekriterien wie Ökonomie (zeitlicher Aufwand im Verhältnis zum Nutzen und Erkenntnisgewinn), Testfairness (Nicht-Vorliegen von systematische Bevor- oder Benachteiligung bestimmter Personen oder von Diskriminierungen im Hinblick auf die soziokulturelle, ethnische oder geschlechtsspezifische Zugehörigkeit einer Person), Akzeptanz (Akzeptanz der Vorgehensweise, Identifikation mit dem Ergebnis oder Ablehnung der Vorgehensweise), Nützlichkeit (praktische Relevanz; hier also: Messung von Soft Skills und Potenzialen; Impulse für die persönliche Weiterentwicklung und Unterstützung bei der Beratung), Unverfälschbarkeit (Schutz vor gezielter Manipulation des Testergebnisses), Transparenz (nachvollziehbarer Ablauf und verständliche Anweisungen für die Teilnehmer*innen) und Normierung (Vorhandensein und Qualität der Referenzstichproben (Eichstichproben)) schneidet DNLA ESK sehr gut ab.
Aber natürlich zeigt jede ernstzunehmende wissenschaftliche Untersuchung durch fachkundige und unabhängige Dritte auch noch Punkte auf, in denen ein Verfahren noch weiter verbessert werden kann. So heißt es auch hier am Ende des Berichts: Geringfügige Verbesserungspotenziale existieren und sollten zur weiteren Optimierung des ESK Verfahrens berücksichtigt werden.
Hier gibt es schon konkrete Überlegungen, wie die Werte für zwei Faktoren, die noch unter dem Durchschnitt der anderen Faktoren liegen, verbessert werden können. Dank der vorliegenden Analysen haben wir bereits konkrete Ansatzpunkte, wie wir die relevanten Werte entscheidend verbessern können.
Im Fall des Faktors „Agilität“ war übrigens fast zu erwarten, dass hier noch Verfeinerungen und Anpassungen nötig sein würden, da dieser verglichen mit den anderen Faktoren ja noch neu ins Verfahren aufgenommen wurde. Nach der ursprünglichen Konzeptionierung des Faktors liegen jetzt genügend Daten aus der Praxis vor, um den Faktor noch entscheidend zu optimieren und das „Entwicklungsstadium“ für diesen Indikator erfolgreich abzuschließen.
Wir arbeiten als weiter daran, die Qualität der DNLA-Verfahren auf sehr hohem Niveau zu halten und sie weiter zu verbessern. damit es auch bei der nächsten Studie zur Qualität eines DNLA-Verfahrens mindestens heißt: „Insgesamt sind die Gütekriterien in hohem Maße als erfüllt zu bewerten.“
Hier können Sie den vollständigen Bericht herunterladen und ansehen:
Zum Werdegang des Autors
René Lehmann studierte Wirtschaftsmathematik an der Otto-von-Guericke Universität Magdeburg (Deutschland). Als Wissenschaftler war er in verschiedenen Bereichen praktisch tätig, unter anderem als Statistiker im Automotive Bereich und in der Umweltqualitätsbewertung. Er promovierte an der Rheinisch-Westfälisch-Technischen Hochschule (RWTH) in Aachen (Deutschland) im Bereich der angewandten Statistik. Im Jahr 2016 folgte René Lehmann dem Ruf zum Professor für Wirtschaftsmathematik und Statistik an die FOM Hochschule für Oekonomie und Management (Essen, Deutschland). Er ist Mitglied des Instituts für Empirie und Statistik (ifes) und des Instituts für Wirtschaftspsychologie (iwp). Seine Forschungsfelder umfassen neben der psychologischen Statistik auch die quantitativen Methoden der Ökotoxikologie und des Qualitätsmanagements.
