Einführung
Das Office of Federal Contract Compliance Programs (OFCCP) veröffentlichte am 23. Juli 2019 mehrere FAQs, um Bundesauftragnehmern weitere Leitlinien für das Verständnis und die Einhaltung von Antidiskriminierungsvorschriften an die Hand zu geben. „Practical Significance in EEO Analysis” (Praktische Bedeutung in der EEO-Analyse) versucht Klarheit darüber zu schaffen, wann eine statistisch signifikante Diskrepanz praktisch bedeutsam und somit klagbar ist und wann nicht. Die FAQs weisen zwar darauf hin, dass der Inhalt für Beschäftigungsergebnisse im Allgemeinen gilt, doch scheint der Schwerpunkt auf der Auswahl von Beschäftigten zu liegen. Die gleichen Grundsätze gelten jedoch auch für andere Beschäftigungsergebnisse wie beispielsweise Vergütungsunterschiede. Die Diskussion über praktische versus statistische Signifikanz ist zwar nicht neu, doch hat das Thema an Bedeutung gewonnen, da Unternehmen Zugang zu immer größeren Bewerberpools haben, aus denen sie ihre Einstellungsentscheidungen treffen können. Mit zunehmender Größe des Pools steigt auch die Wahrscheinlichkeit, dass kleine Unterschiede in den Auswahlquoten (oder Testergebnissen) statistisch signifikant sind und daher rechtlich angefochten werden können. Der folgende Artikel definiert praktische und statistische Signifikanz, erläutert die in den FAQs der OFCCP beschriebenen praktischen Signifikanz-„Tests” und gibt Empfehlungen für Arbeitgeber.
Bedeutung statistischer Signifikanztests in der EEO-Analyse
Die Einheitlichen Richtlinien für Einstellungsverfahren (UGESP, 1978) enthalten Informationen zur Untersuchung der nachteiligen Auswirkungen von Einstellungsverfahren. Die UGESP beschreiben die 4/5- oder 80-Prozent-Regel, wonach eine Auswahlquote für die benachteiligte Gruppe, die weniger als 80 Prozent der Auswahlquote der begünstigten Gruppe beträgt, als Nachweis für eine nachteilige Auswirkung gilt. Die 4/5-Regel bietet Arbeitgebern eine relativ einfache Methode zur Bewertung der negativen Auswirkungen ihrer Auswahlverfahren. Die UGESP räumt jedoch ein, dass die 4/5-Regel kein statistischer Test ist. Seitdem hat die Verbreitung von Technologie und Software die Berechnung der statistischen Signifikanz von Unterschieden in den Auswahlquoten erleichtert. Da Arbeitgeber über mehrere Jahre hinweg große Bewerber-Datensätze verfolgen und pflegen und die OFCCP dazu übergegangen ist, Daten aus mehreren Jahren anzufordern und zu analysieren, ist die Wahrscheinlichkeit gestiegen, dass mindestens ein statistischer Indikator vorliegt.
Statistische und praktische Bedeutung definiert
Statistical significance indicates that some measured outcome (e.g., differences in selection rates between males and females) did not occur by chance. If the difference in selection rates between males and females, for example, is too large to attribute to chance, the difference is statistically significant and an indication that the difference can be attributed to gender or something related to gender. In terms of tests or assessments, either the difference in test scores or the difference in pass rates is too large to attribute to chance. Common thresholds for statistical significance include a two (or three) standard deviation difference or a p-value (i.e. probability value) less than .05. While a statistically significant difference seems like a reasonable indicator for further investigation of a selection procedure, statistical significance depends not only on the size of the difference but also on the size of the group under consideration. That is, smaller groups require larger differences to trigger the 2 s.d. or p<.05 threshold, and larger groups require smaller differences to yield a statistically significant result. For example, for pools of 1,000 applicants, selection rate differences of as little as 7.9% will be statistically significant and for pools of 5,000 applicants, selection rate differences of as little as 2.1% will be statistically significant1.
Die praktische Bedeutung untersucht die Aussagekraft eines beobachteten Unterschieds. Ist ein Unterschied von 5 % bei den Auswahlquoten aussagekräftig? Ist ein Unterschied zwischen der erwarteten Anzahl der Personen, die einen Test bestanden haben, und der tatsächlichen Anzahl der Personen, die den Test bestanden haben (d. h. die Differenz), von 10 von 10.000 Personen, die den Test bestanden haben, aussagekräftig? Die FAQs der OFCCP nennen konkret mehrere Maße für die praktische Signifikanz, die offenbar alle auf Präzedenzfällen, der UGESP oder Veröffentlichungen zu diesem Thema basieren. Insbesondere werden in den FAQs die Impact Ratio, die Odds Ratio, die Flip-Flop-Regel, das Apsley-v.-Boeing-Verhältnis und Cohens h als Beispielmaße genannt.
Maßnahmen von praktischer Bedeutung
Die Auswirkungsquote bezieht sich auf das Verhältnis zwischen der Quote der benachteiligten Gruppe und der Quote der begünstigten Gruppe. 80 % ist der Standard zur Bewertung der Auswirkungsquote. Wenn beispielsweise 90 % der Weißen einen Test bestehen und 85 % der Hispanics einen Test bestehen, beträgt die Auswirkungsquote 94,4 % (d. h. 85 % geteilt durch 90 %). Selbst wenn die Differenz in den Auswahlquoten 2 Standardabweichungen überschreitet, deutet ein Impact Ratio von mehr als 80 % darauf hin, dass diese Differenz praktisch nicht signifikant ist. Während die 4/5-Regel das Verhältnis der Auswahlquoten untersucht, bewerten andere praktische signifikante Maße, auf die die OFCCP in ihren FAQs Bezug nimmt, dieselben Quoten mit alternativen Methoden. Cohens H berechnet beispielsweise die Differenz zwischen den Auswahlquoten für die bevorzugten und benachteiligten Gruppen nach Durchführung einer statistischen Transformation, die eine Bewertung der standardisierten Differenz ermöglicht. Cohens h-Werte von mehr als 0,80 gelten als groß.2. Geht man noch einen Schritt weiter, ähnelt das Odds Ratio dem Impact Ratio, berücksichtigt jedoch sowohl die Auswahl- als auch die Ablehnungsquoten der betreffenden Gruppen.
Gemäß der UGESP untersucht die Flip-Flop-Regel das Ergebnis der Auswahl eines zusätzlichen benachteiligten Gruppenmitglieds (und der Ablehnung eines zusätzlichen begünstigten Gruppenmitglieds). Nehmen wir für das obige Beispiel an, dass die Auswahl eines zusätzlichen hispanischen Bewerbers und eines weniger weißen Bewerbers dazu führt, dass 90 % der Hispanics und 85 % der Weißen ausgewählt werden. Hispanics werden nun begünstigt, und die Flip-Flop-Regel legt nahe, dass der ursprüngliche Unterschied praktisch nicht signifikant war. Während die UGESP die Flip-Flop-Regel speziell im Zusammenhang mit einer Veränderung der bevorzugten Gruppe beschreibt, haben Gerichte dieses Konzept erweitert, indem sie die tatsächliche Anzahl benachteiligter Gruppenmitglieder berücksichtigen, die erforderlich wäre, damit die Differenz unter die Schwelle für statistische Signifikanz fällt. Gerichte haben entschieden, dass erhebliche Ungleichheiten praktisch nicht signifikant waren, wenn die Auswahl einer kleinen Anzahl (die je nach Entscheidung variiert) benachteiligter Gruppenmitglieder zu einer Differenz führt, die statistisch nicht signifikant ist.3.
Das Apsley-v-Boeing-Verhältnis bezieht sich auf eine bestimmte praktische Signifikanzmessung aus einem bestimmten Gerichtsurteil. In dieser Angelegenheit ging es um eine Klage wegen Altersdiskriminierung bei der Auswahl von Mitarbeitern für eine Wiederbeschäftigung durch Spirit Airlines. Spirit Airlines erwarb mehrere Boeing-Standorte, entließ alle Boeing-Mitarbeiter und wählte dann aus den entlassenen Mitarbeitern diejenigen aus, die die Stellen an den erworbenen Standorten besetzen sollten. Obwohl die Unterrepräsentation (d. h. die Differenz zwischen der tatsächlichen Anzahl der ausgewählten älteren Arbeitnehmer und der erwarteten Anzahl der Auswahlen angesichts der Zusammensetzung des Auswahlpools) statistisch signifikant war, war die Gesamtauswahlquote älterer Arbeitnehmer mit 99 % extrem hoch. Das heißt, obwohl der Arbeitgeber deutlich weniger Mitglieder der geschützten Gruppe (in diesem Fall ältere Arbeitnehmer) ausgewählt hatte, als in einem neutralen Auswahlverfahren zu erwarten gewesen wäre, berücksichtigte das Gericht die hohe Gesamtauswahlquote von 99 % der erwarteten Anzahl von Mitgliedern der geschützten Gruppe und entschied, dass die Diskrepanz praktisch nicht signifikant war.
Empfehlungen
Angesichts der aktuellen FAQ der OFCCP, der Empfehlungen aus den Sozialwissenschaften und der Gerichtsentscheidungen, die alle die Bedeutung der Messung sowohl der statistischen als auch der praktischen Signifikanz anerkennen, sollten Arbeitgeber genau das tun. Auch wenn einige der praktischen Maßnahmen den Arbeitgebern möglicherweise unbekannt sind, sollten sie die Maßnahmen in Betracht ziehen, die am einfachsten zu berechnen und zu interpretieren sind, nämlich die 4/5-Regel, die tatsächliche Unterrepräsentation und die Anzahl der zusätzlichen Auswahlen aus der benachteiligten Gruppe, die erforderlich sind, damit die Differenz unter die Schwellenwerte für die statistische Signifikanz fällt. Wenn sowohl praktische als auch statistische Messungen der nachteiligen Auswirkungen auf bedeutende und statistisch signifikante Unterschiede hindeuten, haben die OFCCP, andere Vollzugsbehörden oder die Anwälte der Kläger viel stärkere Argumente für die Behauptung einer Diskriminierung am Arbeitsplatz. Wenn praktische und statistische Messungen voneinander abweichen, sollte der Arbeitgeber erwägen, nach anekdotischen Beweisen für Diskriminierung zu suchen und die fragliche Beschäftigungspraxis weiterhin genau zu beobachten.
1. Jacobs, R., Murphy, K. und Silva, J. (2012). Unbeabsichtigte Folgen von Maßnahmen zur Durchsetzung der Gleichstellung am Arbeitsplatz: Groß zu sein ist schlimmer als schlecht zu sein. Journal of Business Psychology. Online-Veröffentlichung.
2. Cohen, J. (1988). Statistische Leistungsanalyse für die Verhaltenswissenschaften. Lawrence Erlbaum Associates. New York.
3. U.S. v. Commonwealth of Virginia (1978) 620 F.2d 1018; Waisome v. Port Authority of New York & New Jersey (1991) 948 F.2d 1370.
Anmerkung der Redaktion: Dieser Beitrag wurde ursprünglich auf Circaworks.com veröffentlicht. Im April 2023 übernahm Mitratech Circa, einen führenden Anbieter von Software für integratives Recruiting und OFCCP-Compliance. Der Inhalt wurde seitdem aktualisiert, um unser erweitertes Produktangebot, die sich entwickelnden Compliance-Vorschriften für die Talentakquise und Best Practices im Personalmanagement zu berücksichtigen.
