2013-10-07 Mattias Wickberg Nya högskoleprovet Nu vet vi mer.

En presentation över ämnet: "2013-10-07 Mattias Wickberg Nya högskoleprovet Nu vet vi mer."— Presentationens avskrift:

1 Mattias Wickberg Nya högskoleprovet Nu vet vi mer

2 Vad är högskoleprovet? Mäter allmän studiefärdighet
Används för att rangordna behöriga sökande Finns inga restriktioner i vem som får göra provet eller hur många gånger man får göra det Det är ett allmänt studiefärdighetsprov och ska mäta några slags mer allmänna förmågor som anses ha betydelse för studier inom högre utbildning. Det är en skillnad mot prov som i allmänhet används i andra länder – de är mer utformade för att mäta domänspecifika kunskaper. Används för att rangordna de sökande som är behöriga om ett urval måste göras. De ska rangordnas med avseende på förväntad studieframgång och det är ju därför man pratar om urvalsinstrument förmåga att förutsäga detta (prognosförmåga). Provet används inom alla utbildningsområden utom de som leder till konstnärlig examen. Man måste inte vara sökande till högskolan för att göra provet. Mer och mer vanligt att man gör det under gymnasietiden. Finns inga åldersgränser och inte heller någon gräns för hur många gånger man får göra provet. Provet introducerades 1977 som ett prov för personer som inte hade betyg att konkurrera med i antagningen. Det blev ett sätt för de s.k. 25:4-orna att konkurrera släpptes provet fritt för alla. En anledning var att man ville slippa den stora betygshetsen på gymnasieskolan.

3 Högskoleprovets roll Provurvalet (minst en tredjedel av platserna)
Särskiljande i betygsurvalet Det första steget i det alternativa urvalet Sedan dess har det fått en allt större roll i systemet då urval måste göras: i provurvalet ska minst en tredjedel av platserna till en utbildning fördelas på grundval av högskoleprovsresultat lärosätena har också möjlighet att använda prov eller intervju för att särskilja sökande med lika meriter. Det ffa i betygsurvalet och här har en del utbildningar valt att använda högskoleprovsresultat. Mer vanligt efter att möjlighet att använda underrepresenterat kön togs bort. Det är smidigt och kräver inga extra insatser av lärosätena. Här vet vi att läkarutbildningarna använder högskoleprovet, vi vet också att en del lärosätena använder hp för alla sina utbildningar då ett skiljekriterium behövs. en del utbildningar använder också högskoleprovet i det alternativa urvalet, även fast regeringens intentioner var att ”något annat än betyg och hp” skulle användas. Det är främst utbildningar med många sökande så att ett relativt stort urval måste göras i det första steget. På samma sätt här är det ett smidigt sätt som inte kräver någon extra insats av lärosätena. Det gäller främst de läkarutbildningar som har alternativt urval. en reflektion innan jag går över till provets innehåll är att provet har fått en större roll än vad som kanske kunde förutses. Många tror också att man måste göra provet, vilket bara är fallet ibland. Man kan också konstatera att provet åtnjuter ett stort förtroende bland allmänheten. UHR kommer att knyta experter till sig för att föra en diskussion om provet och dess roll – är det rimligt att det har den stora roll det har? Hur gör man i andra länder? Etc. Det är vårt ansvar att föra sådana kritiskt granskade diskussioner.

4 Det gamla provet ORD (40 uppg.) LÄS (20 uppg.) ELF (20 uppg.)
NOG (22 uppg.) DTK (20 uppg.) Totalpoäng ( ) Nu om provets innehåll: Som en utgångspunkt visar jag här hur det gamla provet var uppbyggt. Det bestod av sammanlagt 122 uppgifter, varav 80 var verbala och alltså 42 stycken kvantitativa. Det bestod av fem olika delprov, där ORD dominerade i antal uppgifter och därmed poäng. Högskoleprovet utvärderades vid några tillfällen under 2000-talet av både nationella och internationella experter påbörjades ett utvecklingsarbete. Utvärdering nya HP

5 Varför ett nytt prov? Mindre bra prognosförmåga inom främst teknik och naturvetenskap Obalans mellan verbala och kvantitativa uppgifter Kritik mot bl.a. dåligt utnyttjade texter och figurer Provet, med den sammansättning det hade har kritiserats bl.a. för sin dåliga prognosförmåga, dvs. förmåga att prognostisera studieframgång. Det gällde främst för utbildningar inom teknik och naturvetenskap, men även för övriga utbildningar. Betyg är ju det urvalsinstrument som har den bästa prognosförmågan. Det fanns en stor obalans mellan verbala och kvantitativa uppgifter, med en stor tyngd mot de verbala. Även uppgifterna i sig har kritiserats, bl.a. att det i LÄS-delen fanns långa texter med relativt få uppgifter kopplade till resp. text. Detsamma gällde för de uppgifter som fanns inom DTK. ORD-delen har också kritiserats, många uppgifter/poäng på relativt kort tid. 40 av 122 uppgifter på 15 minuter (ORD-provet) Sådant som har kommit fram i de utvärderingar som har gjorts av provet, både av internationella och nationella experter inom provområdet. Utifrån deras synpunkter som provet kom att utvecklas. Provet har också kritiserats för att ”missgynna” provtagare med annat modersmål än svenska pga. den verbala tyngden i provet. Kritik har också framförts att det ”gynnar” svenska män med hög social status. Det är väl mer en kritik som handlar om regelverket än själva provets innehåll. Provet får skrivas hur många gånger som helst och resultatet förbättras med antal gånger man gör provet och den möjligheten utnyttjas främst av den gruppen.

6 Resultatet av utvecklingsarbetet blev
160 uppgifter: Tre nya delprov; ett verbalt (MEK) och två kvantitativa (KVA och XYZ) Förutsättningar att använda provresultatet mer flexibelt finns Nu 160 poäng på ungefär samma tid: 80 som avser att mäta matematisk och logisk förmåga och 80 som avser att mäta språklig och analytisk förmåga Nu ett nytt verbalt och två nya kvantitativa, dvs. fyra delprov inom respektive del. Utnyttja texter och figurer mer genom fler uppgifter samt minskning av ORD (halveras), som tidigare hade flest poäng på kortast tid. MEK = meningskomplettering mäter både ordkunskap och läsförståelse KVA = Kvantitativa jämförelser = analytisk komponent bra som komplement till NOG och DTK XYZ = Matematisk problemlösningsförmåga (Ma 1b /Ma A) Nu två distinkta delar, vilket gör det möjligt att använda provpoängen på olika sätt för olika utbildningar. Men måste till en ändring i högskoleförordningen. Bättre effektivitet  +31 procent uppgifter och +10 procent provtid (påverkar tre av de gamla delproven)

7 Det nya provet ORD (20 uppg.) LÄS (20 uppg.) XYZ (24 uppg.)
KVA (20 uppg.) MEK (20 uppg.) ELF (20 uppg.) NOG (12 uppg.) DTK (24 uppg.) Verbal poäng ( ) Kvant. poäng ( ) Från och med hösten 2011 ser provet ut på detta sätt: Så här är de 160 uppgifterna fördelade på de olika delproven. Separat normering. ORD = 20 färre NOG = 10 färre DTK = 4 till Totalpoäng ( ) Utvärdering nya HP

8 Förväntningar på det nya högskoleprovet
Att provets prognosförmåga ökar Att provet blir mer effektivt och mer mätsäkert Att provet blir mer rättvist Förväntningarna på provet. Att prognosförmågan ökar genom utökat antal kvantitativa uppgifter, men också om den möjlighet som finns med olika viktning av delarna kan utnyttjas framöver. Men innan den möjlighet kan användas krävs en ändring i högskoleförordningen. Mer effektivt och mätsäkert genom fler uppgifter. Att det blir mer rättvist, genom att framför allt personer med utländsk bakgrund förväntas kunna prestera bättre än tidigare genom fler uppgifter som inte är så verbalt tunga och att yngre ska kunna prestera bättre än tidigare. Prestationerna på ORD och LÄS har ju ett tydligt samband med ålder. Hur har det nya provet då fungerat? Umeå universitet har på UHRs uppdrag analyserat lite djupare och titta på bakgrundsfaktorer, såsom svensk/utländsk bakgrund, föräldrars utbildningsbakgrund, betyg från gymnasie- och grundskolan, resultat på nationella prov etc.

9 Resultatet av valideringsstudierna
Förväntat: Att provets prognosförmåga ökar Resultat : ? Förväntat: Att provet blir mer effektivt och mer mätsäkert Resultat : √ Förväntat: Att provet blir mer rättvist

10 Gruppskillnader -kön M = poängmedelvärde
Medelvärdet verbal del våren 12 är genomgående lägre (4 uppgifter fick räknas bort) 16 ord istället för 20 total 76 verbala frågor. Vad säger tabellen: Män skriver bättre på högskoleprovet – så har det varit och är så även på det nya provet. Störst skillnad på de kvantitativa delarna (7,10 hösten 11, 6,7 våren 12) men även den verbala delen ELF som svarar för mer än hälften av könskillanden i den verbala delen. ORD, LÄS, MEK i stort lika mellan könen. Alltså : Större skillnader än tidigare prov – könskillnader större i den kvantitativa delen i kombination med att kvantitativa delen är större. MEN

11 Gruppskillnader -kön Skillnader i förkunskaper Kursbetyg
Nationella prov Samma riktning för högskoleprovet som nationella prov Det finns förklaring: Bland provtagarna har männen högre kursbetyg och resultat på de nationella proven, ma och engelska. Ett inte orimligt antagande är att prestationen är ett relevant mått på provtagarnas förkunskaper. Jämförelsetalet är lägre bland männen, men betyg och prov ska ju inte mäta exakt samma sak. Betygen har ju X-faktorn..

12 Gruppskillnader - ålder
Skillnader mellan olika åldersgrupper, men de skillnaderna har minskat i det nya provet, ffa för att den verbala delen inte är lika dominant längre i provet. Den yngsta åldersgruppen har bäst resultat på den kvantitativa delen, näst bäst är de äldsta. En rimligt förklaring till kvantitativa - yngre, kopplingen till ma a/1b fräscht i minnet. åringarna verkar ha svårast för de kvantitativa delarna. Verbala delen har ett starkt samband mellan ålder och resultat. Skillnaden yngst – äldst är ungefär 15 råpoäng men Skillnaderna har minskat (ungefär 2 råpoäng): 20 ord har ersatts med 20 meningskomplettering (MEK)- indikerar att ungdomar har lättare att avgöra betydelsen av ord i ett sammanhang. Framgår inte i tabellen: Även om vi skulle bryta ner åldern per år för år (85 % av de skrivande) så finns sambandet kvar, skillnaden 17 – 24 är ungefär 5 råpoäng

13 Gruppskillnader – föräldrars utbildningsbakgrund
Starkt samband mellan föräldrars utbildningsbakgrund för både verbal och kvantitativ del. Skillnaden mellan den grupp med föräldrar med gymnasial utb. 2 årrespektive eftergymnasial 5 år eller längre är 11B (10,5 verbal, 13,4 kvant) något lägre våren 12.(9 resp 11,4) Framgår ej i tabell; starkast samband för de matematiska XYZ, KVA och NOG. Även ELF i den verbala visar ett starkt samband.

14 Gruppskillnader – skrivandes utbildningsbakgrund
Klart samband mellan gymnasieutbildningens innehåll och resultatet Provet ska ju mäta allmän studiefärdighet, så det är ju kanske inte så förvånande att det är så. Även utbildningens innehåll har ett klart samband med resultatet. Resultatet från när provet introducerades 1977 kvarstår: de med naturvetenskaplig gymnasieutbildning presterar bäst. Det gäller för båda provdelarna. Skillnaderna mellan lägst (barn och fritid) och natur är ungefär 18 råpoäng för den kvantitativa delen resp. 12 råpoäng verbal. Störst skillnad XYZ och KVA.

15 Gruppskillnader – svensk/utländsk bakgrund
Inrikes födda har högst resultat, kvantitativ del likväl som verbal. Större skillnader verbal ungefär 10 råpoäng än kvantitativ 5 råpoäng mellan helt utlandsfödda och inrikes födda MEN skillnaden i råpoäng kvantitativa delen har inte ökat när frågorna blev fler., fortfarande 5 råpoäng. Provet ges ju på svenska och baseras till stora delar på språkliga kunskaper så att det påvisas ett samband var väntat. För delprov ELF så presterar grupp 3 och 4 bättre än grupp 5. För de kvantitativa delarna så presterar grupp 3 bäst på alla delar. 1 Utrikes födda med två utrikesfödda föräldrar 2 Inrikes födda med två utrikes föräldrar 3 Utrikes födda med minst en utrikes född förälder (0,5 % av provtagarna) 4 Inrikes född med en inrikes och en utrikes född förälder 5 Inrikes född med två inrikes födda föräldrar (75 % av provtagarna)

16 Sammanfattning Bland provtagarna så presterar män bättre än kvinnor på både högskoleprovet och de nationella proven (En del av) skillnaden mellan män och kvinnor beror på skillnader i förkunskaper Gruppskillnader som förväntat Könsskillnader som på gamla HP Åldersskillnader som på gamla HP (men yngre rankas relativt högre genom ökat inslag av kvantitativa uppgifter) ”Socialgruppsskillnader” som på gamla HP Provdeltagare med utländsk bakgrund rankas relativt högre på det nya provet, framförallt i och med införandet av kvantitativa uppgifter som kräver mindre läsning

17 Framtiden Det finns inga skäl att ”gå tillbaka till det gamla”
Önskvärt att nyttja möjligheten att ”vikta” de olika delarna (den fria tredjedelen?) Försöksverksamheten fortsätter Prognosförmågan – nyckeln till fortsättningen Viktning – var ju ett av syftena, kan inte följas upp förrän ändring i förordningen.

18 Tack för att ni lyssnat, frågor?

19