Bortom Big Five Göteborg 1 oktober 2008

En presentation över ämnet: "Bortom Big Five Göteborg 1 oktober 2008"— Presentationens avskrift:

1 Bortom Big Five Göteborg 1 oktober 2008
Lennart Sjöberg Psykologisk Metod L Sjöberg AB

2 Femfaktormodellen (FFM)
Egenskapspsykologin är på kraftig frammarsch inom personlighetsforskningen FFM dominerar modern utveckling och tillämpning av personlighetstester De 5 faktorerna har kunnat replikeras i Nordamerika och Västeuropa De är Utåtvändhet Emotionell stabilitet Vänlighet Noggrannhet Öppenhet Forskningen visar att särskilt utåtvändhet och noggrannhet är ganska effektiva prognosfaktorer Lennart Sjöberg Psykologisk Metod AB

3 Lennart Sjöberg Psykologisk Metod AB
För och emot FFM Mycket kraftig förenkling gentemot tidigare faktoranalytiskt baserade system som 16 pf – det fanns 100-tals faktorer föreslagna FFM har replikerats i många studier, åtminstone i västerländsk miljö Tanken är att det finns ord för de dimensioner som under lång tid visat sig viktiga att tala om och tänka på Blocks bekanta kritik (1995) skjuter in sig på att förenklingen gått för långt och att FFM är alltför beroende av faktoranalys som metodik Goldberg & Saucier (1995) visar emellertid att han saknar trovärdigt alternativ och att FFM åtminstone tills vidare fungerar som bästa system för egenskapspsykologin I dag, 13 år senare, är intresset för FFM:s mycket stort: 312 arbeten år 2006 enligt PsychINFO Lennart Sjöberg Psykologisk Metod AB

4 Lennart Sjöberg Psykologisk Metod AB
FFM har blivit en bas… Modellen är väl empiriskt underbyggd Den är därför och genom sin enkelhet mycket attraktiv för forskare inom personlighetspsykologin med inriktning på egenskaper (traits) Härifrån har det varit naturligt att ta steget till att utveckla tester för användning inom olika delar av den tillämpade psykologin Vissa äldre tester som OPQ kan till en del inordnas i FFM-systemet, men bara till en del Det handlar genomgående om tester som bygger på självrapporter Lennart Sjöberg Psykologisk Metod AB

5 Befintliga svenskspråkiga test
HPI och Neo-Pi-R är översatta från engelska Ca 200 item som mäter de fem dimensionerna i FFM Ingen korrektion för skönmålning De fem grundläggande dimensionerna kan mätas mera ekonomiskt vilket ger utrymme för nytänkande Lennart Sjöberg Psykologisk Metod AB

6 Lennart Sjöberg Psykologisk Metod AB
Vad kan förbättras? Självrapporter påverkas av skönmålning (social önskvärdhet) – hur kan man hantera det problemet? Finns dimensioner som ökar validiteten utöver den som uppnås med FFM? Med testet Big Five Plus försöker vi lösa dessa problem Lennart Sjöberg Psykologisk Metod AB

7 Lennart Sjöberg Psykologisk Metod AB
Vår målsättning Att konstruera ett svenskt test som mäter FFM och andra viktiga dimensioner samt tillåter korrektion för skönmålning Inom ramen för ca 200 item, minuter Men med möjlighet att använda endast delar genom en modulstruktur Att skapa narrativa (beskrivande) verbala rapporter förutom kvantitativa profiler Lennart Sjöberg Psykologisk Metod AB

8 Lennart Sjöberg Psykologisk Metod AB
Forskning Omfattande forskningsprogram (empiriskt och teoretiskt) påbörjades hösten 2005 och är nu i slutvarvet 13 studier har genomförts med totalt ca testade personer Samtliga delskalor är stabila och har god reliabilitet Begreppsvalideringar har genomgående gett goda resultat Relation till arbetslivsdimensioner är en ytterligare form av validering som använts genomgående Lennart Sjöberg Psykologisk Metod AB

9 Lennart Sjöberg Psykologisk Metod AB
Studerade grupper Ca 1500 personer som tagit testet på Internet 4 studerandegrupper i Uppsala, Växjö och Västerås, varav 100 tog testet 2 gånger med sex veckors mellanrum 2 grupper med befolkningsurval, ca 200 i varje 1 grupp mellanchefer vid ett stort finansbolag Säljare vid ett telekomföretag Slutnormering med 612 testade på Internet (kompletta test) av 823 som gjort delar av testet Lennart Sjöberg Psykologisk Metod AB

10 Lennart Sjöberg Psykologisk Metod AB
Skönmålning Det dominerande sättet att hantera detta problem tycks vara att använda ipsativa (jämförande) svarsformat Dessa leder emellertid till stora och olösta statistiska och psykometriska problem med analys av strukturen i testuppgifterna och bestämning av reliabilitet (Meade, 2004) Empirisk forskning visar också att de INTE effektivt motverkar tendensen till skönmålning (Martin et al., 2002) Ett annat sätt är att utveckla särskilda skalor för att mäta tendensen att svara socialt önskvärt med start i Crowne och Marlowe (1960) Både overta och koverta (kan inte genomskådas) sådana skalor har prövats med gott resultat – jfr. debatten om overta och koverta integritetstest (Mumford et al., 2001) Ytterligare en metod är att mäta prestation i stället för självbeskrivning – detta finns det exempel på inom området emotionell intelligens som behandlas senare Lennart Sjöberg Psykologisk Metod AB

11 Koverta och overta mått på skönmålning
Det klassiska måttet på att svara I enlighet med social önskvärdhet (Crowne-Marlowe 1960) bygger på förnekande av “triviala normbrott” Dessa uppgifter kan verka lite främmande i sammanhanget och kan kanske genomskådas av sofistikerade personer eller av dem som läst in sig på testmetodik Vi har konstruerat en egen sådan skala men också en som inte kan genomskådas – en kovert mätning av skönmålning Den koverta skalan innehåller bygger på ett urval av frågor i en stor grupp av frågor som visade sig samvariera starkt med en overt skala på skönmålning Korrektion med enbart den koverta skala gav resultat som samvarierade 0,95 – 0,99 med korrektion med både overt och kovert skala. Korrelationen mellan de tvp korrigerade testpoängen låg I intervallet 0,88 – 0,98. Slutsats: den koverta skalan enbart ger resultat som är mycket lika resultaten med den overta skalan – det finns därför stöd att enbart använda den koverta Lennart Sjöberg Psykologisk Metod AB

12 Lennart Sjöberg Psykologisk Metod AB

13 Lennart Sjöberg Psykologisk Metod AB
Resultat av korrigering för skönmålning Experimentell studie Lennart Sjöberg Psykologisk Metod AB

14 Lennart Sjöberg Psykologisk Metod AB
Figur 1. Effekten av korrektion, jämförelse mellan testning i skarpt läge och under anonymitet. Skala 1-9, Medelvärde=5, Standardavvikelse=2. Lennart Sjöberg Psykologisk Metod AB

15 Lennart Sjöberg Psykologisk Metod AB
Figur 2. Könsskillnader i emotionell stabilitet före och efter korrektion. Skala 1-9, Medelvärde=5, Standardavvikelse=2. Lennart Sjöberg Psykologisk Metod AB

16 Men påverkas verkligen validiteten av denna typ av korrektion?
Nja, forskningen som svarar nej på rubrikens fråga bygger nästan enbart på experimentella studier, inte urval i skapt läge (Ones & Viswesvaran, 1998) Mina resultat från testning i skarp läge visar mycket tydligt att korrektionen är effektiv (Engelberg & Sjöberg, 2005) På individnivå kan effekterna av korrigering för skönmålning bli enormt stora – somliga ljuger! Vissa personer och grupper som tenderar att svara ärligt kommer inte till sin rätt i okorrigerade data Vem vill anställa personer som inte svarar ärligt? Lennart Sjöberg Psykologisk Metod AB

17 Lennart Sjöberg Psykologisk Metod AB
10-tusenkronorsfrågan Kan/bör man lägga till dimensioner utöver FFM och leder det till ett mera effektivt test? Lennart Sjöberg Psykologisk Metod AB

18 Lennart Sjöberg Psykologisk Metod AB
Utöver FFM mäter vi… Emotionell intelligens Social förmåga Positiv grundattityd Kreativitet Självförtroende Passiv aggression (bristande samarbetsvilja) Kompulsiv noggrannhet Uthållighet Lennart Sjöberg Psykologisk Metod AB

19 Lennart Sjöberg Psykologisk Metod AB
Vi kommer att visa att… Betydande vinster kan göras i form av ökad prognosförmåga om vissa nya variabler inkluderas i testet FFM-modellen är visserligen mer eller mindre uttömmande på en övergripande nivå men den tar inte hänsyn till det praktiska värdet av ”smalare” testvariabler Lennart Sjöberg Psykologisk Metod AB

20 Lennart Sjöberg Psykologisk Metod AB
Tillkommande personlighetsdimensioner i Big 5 Plus – förklaras de av FFM-dimensionerna? Resultat: förklarad varians vid multipel korrelation mot FFM-dimensionerna (N=328, internet-testningar) Emotionell intelligens: 0,199 Passiv aggression: 0,207 Positiv grundattityd: 0,107 Uthållighet: 0,284 Social förmåga: 0,565 Självförtroende: 0,309 Genomsnitt för 6 variabler: 0,279 Slutsats: i nästan samtliga fall betydande variansandel som inte förklaras av FFM. (Reliabiliteterna ligger på ) Lennart Sjöberg Psykologisk Metod AB

21 Emotionell intelligens – kommit för att stanna eller modefluga?
Jfr. med att forskning om FFM-modellen producerade 312 arbeten under 2006 Lennart Sjöberg Psykologisk Metod AB

22 Lennart Sjöberg Psykologisk Metod AB
Emotionell intelligens mäts bl a som prestation när det gäller att identifiera emotioner Lennart Sjöberg Psykologisk Metod AB

23 Exempel på ansiktsuttryck i vårt test
Avsky och ilska ? Lennart Sjöberg Psykologisk Metod AB

24 Lennart Sjöberg Psykologisk Metod AB
Bedömningsskalor Glädje Ilska Nedstämdhet Skam Skuld Förakt Förvåning Fruktan Lennart Sjöberg Psykologisk Metod AB

25 Lennart Sjöberg Psykologisk Metod AB
Vad är rätt svar? Definieras som det vanligaste svaret i en normgrupp Andra möjligheter har prövats i forskningen men detta tycks vara bäst och enklast Lite svårt att acceptera? Jämföra ”Massans vishet” (Surowiecki, 2004). I situationer där alla har en del av ”sanningen” blir gruppmedelvärdet ännu sannare! Lennart Sjöberg Psykologisk Metod AB

26 Lennart Sjöberg Psykologisk Metod AB
Exempel på ”dark side”, sällan undersökt men potentiellt intressant i arbetslivet: Passiv aggression Bara ett fåtal tidigare försök att mäta denna dimension – med begränsad framgång Ett 30-tal uppgifter prövades, de flesta nyskrivna Faktoranalys gav 4 faktorer, korrelerade Social dysfunktion (12 uppgifter, α = 0,84) Avvisande av auktoriteter (4 uppgifter, α =0,65) Döljande av emotioner (4 uppgifter, α = 0,65) Avvisande av socialt stöd (4 uppgifter, α=0,67) Kärnan i passiv aggression är social dysfunktion och bristande samarbetsvilja. Jag kallar därför denna dimension för samarbetsvilja. Lennart Sjöberg Psykologisk Metod AB

27 Lennart Sjöberg Psykologisk Metod AB
Noggrannhet Denna faktor är negativ när den är alltför utpräglad Därför ingår en särskild skala för att mäta perfektionism Lennart Sjöberg Psykologisk Metod AB

28 En g-faktor: Jagstyrka
Testvariablerna visar en endimensionell struktur, även efter korrektion för skönmålning Detta kan tolkas som att de mäter den övergripande dimensionen Jagstyrka Jagstyrka är förmågan att se sig själv och verkligheten sådan den är, och att styra sitt eget beteende Detta kan sägas vara personlighetens g-faktor, och mäts genom en summering av alla deltesten (utom noggrannhet och perfektionism) Detta är en mycket bredare ansats till jagstyrka än de få tidigare försöken att mäta detta eller besläktade begrepp som ”resilience” Lennart Sjöberg Psykologisk Metod AB

29 Lennart Sjöberg Psykologisk Metod AB
Data från tidigare version av testet, varuhuschefer bedömda av koncernledningen Lennart Sjöberg Psykologisk Metod AB

30 Lennart Sjöberg Psykologisk Metod AB
Stabilitet över 6 veckor Lennart Sjöberg Psykologisk Metod AB

31 Lennart Sjöberg Psykologisk Metod AB
Begreppsvalideringar mot etablerade mått på olika dimensioner. Samband efter korrektion för skönmålning (overt och kovert) Exempel: Passiv aggression – ensamhet 0,49 Social förmåga – ensamhet -0,30 Emotionell intelligens – ensamhet -0,28 Positiv grundattityd – positiva emotioner på jobbet 0,46 Förändringsvilja – positiv till förändringar 0,37 Resultatorientering – prestationsmotivation 0,56 Självförtroende – Rosenbergs skala för samma variabel 0,51 Jagstyrka - härdighet (resilience) 0,65 Jagstyrka – föregripande inställning (proactivity) 0,52 Lennart Sjöberg Psykologisk Metod AB

32 Arbetsrelaterade dimensioner
Arbetsvilja och arbetstillfredsställelse Arbetsintresse Förändringsvilja Resultatorientering Balans arbete – övrigt liv Lennart Sjöberg Psykologisk Metod AB

33 Lennart Sjöberg Psykologisk Metod AB
Validering mot ”proximala” dimensioner Arbetsvilja och arbetsintresse Arbetsresultat Personlighet Resultatorientering Förändringsvilja Lennart Sjöberg Psykologisk Metod AB

34 Lennart Sjöberg Psykologisk Metod AB
Arbetsvilja Lennart Sjöberg Psykologisk Metod AB

35 Lennart Sjöberg Psykologisk Metod AB
Resultatorientering Lennart Sjöberg Psykologisk Metod AB

36 Lennart Sjöberg Psykologisk Metod AB
Förändringsvilja Lennart Sjöberg Psykologisk Metod AB

37 Lennart Sjöberg Psykologisk Metod AB
I genomsnitt 25 %-enheters ökning av förklarad varians Märk att arbetsmotivation är orelaterat till FFM Lennart Sjöberg Psykologisk Metod AB

38 Lennart Sjöberg Psykologisk Metod AB
Tillkommande variabler mot 3 från FFM-modellen (extraversion, emotionell stabilitet och noggrannhet), N=403. Alla värden korrigerade för skönmålning. Ökning av förklarad varians enligt multipel regression: från till skillnad Förändringsvilja 0,209 – 0, ,064 Resultatorientering 0,251 – 0, ,055 Arbetsvilja 0,031 – 0, ,358 Arbetstillfredsställelse 0,010 – 0, ,473 Ensamhet 0,182 – 0, ,159 Balans 0,031 – 0, ,071 Genomsnitt: 0, , ,197 Alla tillskott högt signifikanta. 0,316 motsvarar en validitet på 0,56 Lennart Sjöberg Psykologisk Metod AB

39 Lennart Sjöberg Psykologisk Metod AB
Slutsatser Det är alltså tydligt att testet förklarar en betydligt större del av de arbetsrelaterade attityderna än vad femfaktormodellen gör. De delar av testet som främst svarade för detta resultat är självförtroende och positivt grundattityd. Ökningen i förklarad varians var dramatisk. Nivån på validiteten är mycket hög, 0,51 – 0,67, i genomsnitt 0,59. Observera att detta är värden som korrigerats för taktiksvar både hos testvariablerna och kriterierna. För okorrigerade värden 10%-enheter högre förklarad varians Arbetsvilja kunde inte nämnvärt förklaras med FFM-dimensionerna, vilket också är viktigt att notera. Arbetsvilja har befunnits vara en viktig faktor bakom arbetsresultat Det går alltså att hitta viktiga dimensioner utöver FFM – och dessa ger en kraftig ökning av validiteten mot arbetsmotivation och arbetsrelaterade attityder Lennart Sjöberg Psykologisk Metod AB

40 Lennart Sjöberg Psykologisk Metod AB
Varför blir det så mycket bättre validitet än med FFM? Se 5 typiska FFM-påståenden nedan: I don't mind being the center of attention I am relaxed most of the time I leave my belongings around I am not interested in abstract ideas I feel little concern for others Lennart Sjöberg Psykologisk Metod AB

41 Lennart Sjöberg Psykologisk Metod AB
Problemet med FFM-dimensioner – eller varför man kan konstruera ett test med betydligt högre validitet FFM-dimensionerna mäts med generella och abstrakta påståenden om ”hurdan man är” oavsett situation. Men det finns omfattande forskning som visar att situationsangivelse ökar validiteten. FFM-dimensionerna förutsätter att man har attityden ”utifrån och in”, dvs. man står utanför sig själv och beskriver sig själv De i testet Big 5 Plus tillkommande variablerna bygger till stor del på motsatsen, dvs. man beskriver sig själv ”inifrån”, talar om hur man reagerar emotionellt De ökade validiteterna kan därför ses som ett specialfall av en princip som får stöd inom alltfler områden: det som styr beteendet är främst våra emotionella reaktioner, i mindre grad våra kognitiva föreställningar om världen eller för den delen om oss själva Lennart Sjöberg Psykologisk Metod AB

42 Två sorters testuppgifter
”Så här är jag” ”Så här känner jag mig” Lennart Sjöberg Psykologisk Metod AB

43 Lennart Sjöberg Psykologisk Metod AB
Alltså Personlighetstest är mest effektiva när de mäter våra emotionella reaktioner Men hela den dominerande traditionen bygger på kognitivt orienterade självbeskrivningar Dessa är mindre starkt relaterade till relevanta beteenden än vad emotionella reaktioner är Lennart Sjöberg Psykologisk Metod AB

44 Det nya testet Big Five Plus – fyra moduler
Hela testet: Totalt 233 frågor och påståenden, tar normalt minuter på Internet Moduler Enbart Big Five Arbetsfunktioner (screeningtest) Emotionell intelligens och social kompetens Arbetsrelaterade attityder och motivation Testtid minuter hela testet, minuter modulerna. Korrektion för skönmålning även i modulerna Normdata för hela testet och modulerna 612 testade på Internetplattformen Lennart Sjöberg Psykologisk Metod AB

45 Lennart Sjöberg Psykologisk Metod AB
Arbetsfunktioner Dessa skalor är de som bäst predicerar arbetsresultat Uthållighet Positiv attityd Samarbetsförmåga Samarbetsvilja Självförtroende Lennart Sjöberg Psykologisk Metod AB

46 Emotionell intelligens
Mäts med: Självrapportskala Prestationsskala (ansiktsuttryck) Totalt 45 item Båda dessa ansatser förekommer i forskningen på området Lennart Sjöberg Psykologisk Metod AB

47 Arbetsrelaterade attityder och motivation
Arbetsvilja Arbetsintresse Förändringsvilja Resultatorientering Balans Lennart Sjöberg Psykologisk Metod AB

48 Målsättning för narrativ rapport
Att sammanfatta svaren på testet Att tolka testresultaten med hjälp av vad forskningen funnit om olika personlighetsegenskaper Att skapa en begriplig bild av den testades personlighet, som kan användas i praktiskt arbete, t ex vid urval och rådgivning Lennart Sjöberg Psykologisk Metod AB

49 Narrativ rapport (forts.)
Basen är testpoängen i form av normaliserade s.k. staninepoäng. Medelvärdet är 5 och standardavvikelsen 2. Märk att denna fördelning enbart gäller i normgruppen. Om den testade gruppen t ex består av mycket kreativa personer får troligen dessa alla stanine > 5 i kreativitet. I utlåtandet görs distinktioner mellan dem som har Stanine > 4. Tre grupper urskiljs bland dem: 5-6, 6-7 och 8-9. På så sätt uppnås målet att utlåtandet ger tydliga skillnader i den andel av de testade i varje skala som ligger på eller över medelvärdet. Det finns inte samma intresse av att göra åtskillnader inom gruppen som har Stanine under medelvärdet. (Eftersom en profil med testpoäng också finns i rapporten kan denna användas om den informationen behövs). Lennart Sjöberg Psykologisk Metod AB

50 Narrativ rapport (forts.)
Jämfört med ett manuellt utlåtande har det datorgenererade den fördelen att all information tas med. Det kan lätt bli en ojämn täckning när testtolkaren ska skriva hela texten. Hans eller hennes speciella idéer kan färga av sig på texten. Den s.k. haloeffekten påverkar ofta, dvs. ett globalt positivt eller negativt intryck av en person, kanske efter en intervju, slätar ut nyanserna och tillrättalägger utlåtandet. Uppgiften att skapa många utlåtanden är tröttande och risken för förenklade och stereotypa formuleringar är uppenbar. Bilden av en person är sällan helt konsistent om man ser till testvärdena, och motsägelser är vanliga hos människor. Det är viktigt att utlåtandet återger också denna grundläggande aspekt på människors fungerande. Lennart Sjöberg Psykologisk Metod AB

51 Pris för testning (Internet)
I priset ingår verbalt utlåtande och kvantitativ resultatprofil samt utförlig information om testet och 1 timmes telefonsupport – även gratis tillgång till manual och forskningsrapporter Vid uppdrag på upp till 3 testningar: 7500 per testad person Vid 4 eller fler testningar: 15% lägre pris fr o m 4: testningen Var och en av modulerna med enbart kvantitativ resultatprofil: 20% av ovanstående Utbildning: pris och uppläggning diskuteras gärna Lennart Sjöberg Psykologisk Metod AB

52 Personalekonomisk analys vid urvalstestning
Mervärdet för slutkundens företag har beräknats för månadslön på och förväntad anställningstid om 5 år Uppskattningen är ca per testad person Vinsten ökar om flera testas och urvalskvoten därigenom minskar Lennart Sjöberg Psykologisk Metod AB

53 Lennart Sjöberg Psykologisk Metod AB
Teststrategier Alla test fungerar bäst vid små urvalskvoter En testning tidigt i processen garanterar, vid liten urvalskvot, att man får en ”tätgrupp” som består av sökande med god prognos Om test inte används tidigt finns risken att man missar bra sökande som inte har starka formella meriter Vill man testa många rekommenderas screeningtestet för att spara tid och pengar i ett tidigt skede Lennart Sjöberg Psykologisk Metod AB

54 Lennart Sjöberg Psykologisk Metod AB
Några erfarenheter Formella meriter? Om de personliga förutsättningarna f ö är de rätta kan erfarenhet och utbildning snabbt kompenseras – kanske inte alltid men ofta nog! Missa bra personer? Förhandsgranskning av meriter – vid många sökande – kan vara en övermäktig uppgift och leda till att man fattar schablonbeslut Lennart Sjöberg Psykologisk Metod AB

55 Slutsatser om Big Five Plus
Har dramatiskt högre prognosförmåga än den som finns hos enbart Big Five-test Gör det möjligt att kraftfullt och effektivt rensa bort effekter av skönmålning med hjälp av avancerad psykometrisk metodik – det går inte att lura testet Har hög tillförlitlighet -reliabilitet och validitet -dokumenterad i omfattande forskning Skapar narrativa testrapporter Finns som fullständigt test eller i moduler för särskilda syften Bygger på ett omfattande normeringsarbete Finns i en tillförlitlig Internetplattform Ger betydande mervärde till slutkundens företag; forskningsdokumentation och manual kan laddas ner gratis Lennart Sjöberg Psykologisk Metod AB