Den meta-analys som Sackett et al. (2023) fick publicerad förra året visar att den tidigare korrelationen mellan begåvning och arbetsprestation som tidigare estimerats till .51 nu sjunkit till .22. Detta är förstås en anmärkningsvärd sänkning av validiteten som ger upphov till många frågor. Resultaten har kritiserats hårt, dels för att relevanta korrigeringar har genomförts (se tidigare blogginlägg), men även för att det mått på arbetsprestation som använts inte utgör ett tillförlitligt kriterie och vi ska titta lite närmare på det nu. Det är nämligen metodologiskt viktigt att prediktorer (i detta fall resultat från begåvningstest) och kriterier (i detta fall arbetsprestation) är ”likvärdiga”.
I meta-analysen av Sackett et al. (2023) bygger kriteriet arbetsprestation på en övergripande bedömning (skattning) gjord av närmaste chef. Ett problem med kopplingen mellan begåvningstestning och den här typen av bedömning är att begåvningstest mäter maximal prestation, dvs medarbetaren ska prestera så bra hen kan, medan en bedömning gjord av närmste chef snarare utgör en sammanlagd bedömning som sammanfattar medarbetarens typiska, en slags medelprestation alltså.
För att undersöka sambandet mellan begåvning och arbetsprestation utifrån ett mer lämpligt kriterie har Cucina et al. (2024) i en helt färsk meta-analys istället använt arbetsprov som kriterie. I denna meta-analys ingår bara kriteriedata som bygger på maximal prestation, dvs arbetsprov som fokuserar på att den anställde ska göra så bra som möjligt när det gäller kärnuppgiften som hen är anställd för att utföra. Arbetsprovet, som är anpassat för den speciella rollen, bedöms sedan enligt en skala som ser ut så här:
- Visar inte de kunskaper och färdigheter som behövs för att korrekt utföra sina arbetsuppgifter.
- Visar ibland tillräckliga kunskaper om hur man utför uppgifter och tilldelningar; arbetets kvalitet är inkonsekvent.
- Visar god kunskap/färdighet i de flesta aspekter av jobbet; kan korrekt slutföra majoriteten av uppgifterna. Visar avsevärd kunskap och färdighet för att korrekt slutföra uppdrag och uppgifter.
- Visar exceptionell kunskap/färdighet för att konsekvent korrekt slutföra uppdrag och uppgifter; kräver liten eller ingen övervakning; slutför uppgifter på minimal tid.
Den nya meta-analysen bygger på data från militära organisationer i USA, men där vissa ”mer” civila yrken ingår, tex personaladministratör, medicinsk personal och chaufförer.
Det begåvningstest som använts är olika versioner av det amerikanska begåvningstestet ASVAB (Armed Forces Vocational Aptitude Battery). ASVAB består av mellan 5 och 12 deltest beroende på i vilken situation AVSAB används. Resultatet visar avsevärt starkare samband mellan begåvning och arbetsprestation jämförelse med Sackett et al.’s (2023) studie som använde övergripande skattning av närmaste chefen som kriteriedata. Den övergripande validiteten uppskattas till .55. I tillägg ska nämnas att när endast objektiva kunskapstest används som kriterie (med rätt och fel svar) så ligger validiteten ännu högre, närmare bestämt på .63.
En slutsats att lägga på minnet är alltså att hur vi mäter arbetsprestation är avgörande för sambandet med begåvning. Vi kanske inte ska förvänta oss korrelationer på .50 om arbetsprestation bedöms av närmaste chef, som snarare mäter medelprestation över en viss tidsperiod. Bedömer vi istället prestation med ett prov på de aktuella kunskaper och färdigheter som krävs för jobbet, med experter som övervakar prestationen, så är validiteten sannolikt högre.
Framöver är det alltså klokt att inte stirra sig blind på en validitetskoefficient utan vara noga med att differentiera mellan (och värdera) forskningsresultat som bygger chefsskattningar (som bedömer medelprestation) respektive arbetsprov (som kräver maximal prestation).
Referenser
Cucina, J.M., Burtnick, S.K., De la Flor, M.E., Walmsley, P.T., & Wilson, K.J. (2023). Meta-Analytic Validity of Cognitive Ability for Hands-On Military Job Proficiency. Intelligence, 104, 1-14.
Sackett, P. R., Demeke, S., Bazian, I. M., Griebie, A. M., Priest, R., & Kuncel, N. R. (2023). A contemporary look at the relationship between general cognitive ability and job performance. Journal of Applied Psychology. Advance online publication. https://doi.org/10.1037/apl0001159
.svg)
.png)
