Kontroversen kring översikter av utbildningsvetenskaplig kunskap Ingemar Bohlin Institutionen för sociologi och arbetsvetenskap Göteborgs universitet

2 Denna presentation Två teman Kumulativitet och generaliserbarhet Jag kommer att inta en polemisk ståndpunkt Vilken grad av formalisering är önskvärd?

3 Min egen bakgrund Vetenskapsteori och vetenskapssociologi Produktion och användning av vetenskaplig kunskap Empirisk orientering: fallstudier Distans till aktörerna Relevanta projekt Medicin Utbildningsvetenskap Klimatforskning

4 Kumulativitet och generaliserbarhet Behovet av en kumulativ kunskapsutveckling är ett av huvudargumenten för formella metoder för syntes av forskningsresultat - som utgör en förutsättning för hela konceptet evidensbaserad praktik (och policy) Om existerande forskning inte sammanfattas på ett systematiskt sätt kommer relevanta resultat att förbises, vilket leder till Lägre vetenskaplig kvalitet Reducerad användbarhet Duplicering av studier, dvs slöseri med forskningsmedel

5 Kumulativitet och generaliserbarhet Enkla föreställningar om kumulativitet och generaliserbarhet intar en central plats i traditionell vetenskapsfilosofi Och försvaras fortfarande av många naturvetare och kvantitativt orienterade samhällsvetare Inom den kvalitativa traditionen intas ett spektrum av hållningar i dessa frågor En radikalt avvisande hållning är vanlig Windelbands begreppspar nomotetisk/idiografisk kunskap har ofta använts till stöd för denna hållning

6 Kumulativitet och generaliserbarhet I Storbritannien och Sverige dominerar den kvalitativa traditionen inom utbildnings- vetenskap, och motståndet mot evidensbaserad praktik är starkt Vad gäller Sverige är det knappast någon överdrift att säga att motståndet är massivt De argument som förs fram bygger i hög grad på samma enkla dikotomi “Den medicinska modellen fungerar inte inom utbildningsområdet”

7 Kumulativitet och generaliserbarhet Den enkla dikotomin är grovt missvisande Tvärt emot föreställningen om idiografisk kunskap sammanfattar kvalitativa forskare ständigt egna och andras resultat, precis som forskare inom den kvantitativa traditionen gör Olika former av översikter av tidigare forskning har vuxit fram organiskt inom alla discipliner Annual reviews, artiklar i vanliga tidskrifter, inledande avsnitt i snart sagt varje artikel, läroböcker, kallelser till konferenser Avhandlingar, projektansökningar

8 Kumulativitet och generaliserbarhet Frågan är alltså inte huruvida existerande forskning bör sammanfattas, utan hur det lämpligast sker i olika sammanhang En utveckling av metoder för syntes av kvalitativa forskningsresultat har länge pågått inom vårdforskning och utbildningsvetenskap Termen metasyntes Denna utveckling förtjänar kvalitativa utbildningsforskares uppmärksamhet Men skyttegravskriget fortsätter, och i Sverige betraktas Bohlin som en överlöpare

9 Tema 2: Beslutsstöd Systematiska översikter utgör ett exempel bland många på den växande betydelse beslutsstöd har fått inom hela samhället Drivkrafterna bakom denna utveckling är framför allt en strävan efter Kvalitetssäkring Granskningssamhället Tillsyn och ansvarsutkrävande Likformighet Kontra godtycke (“the postcode lottery”) Jfr. rättssäkerhet

10 Formalisering av procedurer Övergripande syfte: att begränsa utrymmet för individuella, subjektiva bedömningar Därför står användningen av beslutsstöd alltid i ett spänningsförhållande till utövandet av professionellt omdöme Detta är det grundläggande skälet till att evidensbaserad praktik, överallt där konceptet införs, ger upphov till kontroverser Systematiska översikter är inget undantag Beslutsstöd på två nivåer

11 Den centrala frågan En intressant teoretisk fråga som metodologin för systematiska översikter aktualiserar: Hur långt är det möjligt och rimligt att driva formaliseringen av de procedurer som ingår i synteser av forskningsresultat?

12 Kritik inom hälsosektorn Inom bl a vårdforskning har kritik riktats mot metodologin för systematiska översikter Två påståenden: Många systematiska översikter har en formelartad karaktär, är överdrivet formaliserade Trots hänvisningarna till formella metoder är det tydligt att informella bedömningar har haft stor betydelse i processen Slutsats: Form är sekundärt, funktion primärt För vissa uppgifter är narrativa, informella översikter att föredra framför systematiska

13 Kritik inom utbildningsvetenskap Systematiska översikter introducerades inom utbildningsområdet för drygt 10 år sedan Utvecklingen leds av EPPI-Centre vid University of London, som år 2000 fick ett departementsuppdrag att initiera ett program för systematiska översikter De flesta översikter inom detta program genomfördes av externa forskare

14 Kritik inom utbildningsvetenskap Hur programmet organiserades Forskare från brittiska universitet inbjöds att ansöka om ekonomiskt stöd från EPPI  I de grupper som valdes ut ingick forskare som var ledande inom sina fält Grupperna gavs möjlighet att utbilda sig i den metodologi som skulle tillämpas Detaljerade protokoll och instruktioner distribuerades Hela processen följdes av personal vid EPPI

15 Kritik inom utbildningsvetenskap Programmet utlöste en storm av kritik De två mest välformulerade kritikerna, Martyn Hammersley och Maggie MacLure, hävdade båda att det finns en gräns för vad som är meningsfullt att formalisera vid synteser Även här gjordes två påståenden Metodologin utgör en tvångströja, och leder till förvrängning av de resultat som syntetiseras  Titeln på Maclures artikel: “Clarity bordering on stupidity” Formatet döljer de tolkningar som utgör en förutsättning för denna form av praktik  Mindre transparens, inte mer

16 Vad följer av denna kritik? Hammersleys och MacLures argumentering är övertygande, men vilken slutsats bör vi dra? Att formalisering bör undvikas över huvud taget? Den slutsatsen stämmer väl överens med Windelbands dikotomi

17 Men antingen-eller-tänkandet leder vilse Som Martyn Hammersley har påpekat, “We are not faced with an exclusive choice between external regulation via explicit methodological rules, on the one hand, and complete individual autonomy, on the other.” Detta gäller inte bara produktion av översikter, det gäller vetenskaplig metodologi i allmänhet Se t ex på läroböcker i etnografisk metod Valet gäller inte formalisering eller ej Frågan gäller vilken art och grad av formalisering som är lämplig för olika uppgifter

18 En viktig variabel Formalisering kan åläggas aktörer från centralt håll, men kan också växa fram bland aktörerna själva Metoder för syntes av resultat av kvalitativa studier tycks vara ett exempel på det senare Vårdforskning Utbildningsvetenskap  Dwight & Hare 1988 Socialt arbete

19 En allmän rekommendation Inga enkla svar kan ges Men ju större medvetenheten är om formaliserade metoders styrka och begränsningar, desto klokare beslut kan fattas