Hur utvärderas biblioteken i praktiken? Angela Zetterlund, Fil Dr, BHS Forskardagen, Svensk Biblioteksförening. 2009.

En presentation över ämnet: "Hur utvärderas biblioteken i praktiken? Angela Zetterlund, Fil Dr, BHS Forskardagen, Svensk Biblioteksförening. 2009."— Presentationens avskrift:

1 Hur utvärderas biblioteken i praktiken? Angela Zetterlund, Fil Dr, BHS Forskardagen, Svensk Biblioteksförening. 2009

2 Bakgrund - Utvärderingsböljan under 90-talet - Förhoppningar knutna till utvärdering - Men, fungerar det i praktiken?

3 Forskningsfokus  - Vad är det för typ av studier som genomförs i samband med utvärdering av folkbibliotekens förnyelseinriktade program?  - Vilken kunskap eftersöks i dessa studier och vilka metoder tillämpas?  - Gentemot vilka kriterier bedöms resultaten av programmen när dessa utvärderas och på vilket sätt går bedömningsarbetet till i praktiken?  - Hur bemannas och organiseras utvärderingsarbetet i dessa program?  - I vilken form dokumenteras utvärderingsresultaten och på vilket sätt sprids de vidare för att komma till användning ?

4 Mina fall LovisaReginaNatalie VarEnskilt bibliotek Bibliotek i en region Bibliotek i flera regioner Antal lokala projekt 1113 När1993-19991986-19891990-1997 AmbitionBättre ungdoms- verksamhet Bättre bestånds- hantering Bättre service (ny roll) FinansierasStaten + kommun Stat + län+ kommun Utvärderings- studier 51321

5 Intervjuer  Beslutsfattare och finansiärer - De personer som fattat formella beslut om och givit ekonomiskt stöd till de tre programmen, det vill säga personer i den politiska och administrativa ledningen. I mitt urval finns handläggare på statliga myndigheter, lokala och regionala förvaltningschefer samt kommunpolitiker.  Implementerare - De personer som varit program- och projektledare och de som deltagit på olika nivåer i genomförandeprocessen. Det rör sig i programmen om lokala enhetschefer, bibliotekarier, assistenter och i något fall även en del biblioteksanvändare som varit tillfälligt knutna till programmen. Till denna grupp hör även personer, bibliotekarier främst som arbetat i biblioteken under programmets gång, men inte deltagit direkt i programverksamheten.  Utvärderarna - De personer som ansvarat för och aktivt medverkat i utvärderingsstudierna inom programmet. I programmet är denna grupp den som är mest disparat och omfattar aktörer från flera olika institutioner såväl offentliga som privata samt personer inom programmet som haft denna uppgift. I mitt urval finns bland annat högskolelärare, doktorander och uppsatsstudenter, privata konsulter, tillfälligt anställda bibliotekarier och informatörer, bibliotekarien med förtroendeuppdrag, tjänstemän från ett större mediaföretag och metodexperten från ett statistiskt institut.

6 Dokument  Privat, internt arbetsmaterial – Opublicerat material som exempelvis personalens arbetsdagböcker, mötesanteckningar och minnesanteckningar från enskilda individer eller arbetsgrupper.  Offentligt material – Handlingar och protokoll hos berörda myndigheter och förvaltningar, projektansökningar, beslut och redovisningsrapporter med anknytning till programmen, formell korrespondens, informationsmaterial om exempelvis kurser, mässor och konferenser. Uppgifterna finns i regel arkiverade i offentliga register eller är publicerade inom programmet för offentlig spridning.  Internt utvärderingsmaterial – Opublicerade utvärderingsrapporter och annat underlag som enkätformulär, summerande datasammanställningar, statistiskt material, manus och utkast till utvärderingsavsnitt.  Publicerade utvärderings- och projektrapporter- Publicerade rapporter skapade av och inom programmen i form av utredningar, projektdokumentation, utvärderingar, monografier och delavsnitt i monografier.  Övriga skrifter – Uppsatser, artiklar skrifter med relevans för programmen eller dess olika lokala projekt, men som inte producerats inom programmens ram. Det rör sig här exempelvis om artiklar i dagspress, branschpress, fristående uppsatser från universitet och högskolor o dyl.

7 Resultat – tre strategier Strategi/ Aspekt Deltagar- inriktad Administrativ- rationell Pragmatisk-politisk Prioritera de studier Lokala användarstudier SlututvärderingSakinriktad utvärdering Vem genomför Interna + externa externa Vad granskas Lokala aktörer Relationer, möten, subjektiv Effekter på kort sikt. Produktvitet Fakta, bevis Sammanhanget, Kritiska händelser, Vetenskaplig metod Bra eller dåligt Brukarnas + förmedlarnas krav. Organisatoriska krav + ekonomi Intressenters krav Dokumen -teras + sprids Enkla sammanställning ar. Via nätverk Förvaltningsrappo rt. Hierarkisk Publiceras, via offentliga media

8 Bedömningskriterier  Brukarpreferenser  Mål  Effektivitet  Professionella/institutionella normer  Intressenters krav  Övriga (teorier t.ex) ---undviker samlad bedömning----

9 Vad vill biblioteken veta?  Programmets kontext  Tolkningar av mål och intentioner  Implementeringsprocessen  Problem och svårigheter i processen  Bibliotekens inre verksamhet  användarna

10 Vad uppnås?  Prestationer och effekter på kort sikt  Goda möten och relationer  Förbättrad samordning och samverkan  Ökad kunskap ---- inget intresse för effektivitet-------

11 Vad räknas som utvärdering?  Slututvärdering  Lokala användarstudier  Sakinriktade utvärderingar ---- olika studier/olika roller----

12 Dokumenteras resultaten?  Enkla sammanställningar  Förvaltningsrapporter  Publicerade monografier, artiklar  Nej, det mesta sprids muntligt ----- resultaten gallras hårt-----

13 Vem utvärderar?  Interna  Externa  Kombination av interna och externa ------- Lojalitet/kompetens-------

14 Hur sprids de vidare?  Horisontellt – via olika yrkesnätverk  Hierarkiskt - via formella kanaler  Ad-hoc – via debatter, förlag + medier

15 Viktiga slutsatser  Utvärderingar av bibliotekens förändringsarbete - inga neutrala tekniska verktyg  Utvärdering är inte samma sak som att mäta  Många undersökningar - Flera parallella strategier

16 Slutsatser  Det finns en ovilja till kritisk granskning av effektiviteten  Kompetensen är otillräcklig både hos interna och externa

17 Slutsatser - användarna  Användarnas erfarenheter viktiga – men bara ibland  Användarnas behov är dåligt klargjorda

18 Slutsatser  Målen sätts i efterhand  Statistik saknar relevans – används som dekoration  Utvärderingar ingår i sociala och ”politiska” spel

19 Slutsatser – utvärderingens bidrag  Både positiva och negativa följder  Stöttar och vägleder processen  Ökar prestationen på kort sikt  Samlar ihop och rundar av satsningen  Efterkonstruerar och rationaliserar  Legitimerar utvecklingens riktning  Symboliserar framsteg, utveckling och effektivitet

20 Slutsatser  Stjäl resurser från ”verksamheten”  Hotar och skrämmer  Skärper konflikter (gamla)  Dämpar kreativitet och förändringsvilja  Ökar osäkerheten och kunskapsbehov  Missförhållanden tonas ned

21 Råd inför egen utvärdering  Vad finns det för behov av utvärdering?  Vad finns det för behov av förnyelse?  Vad står på spel? Makt, intressen, resurser  Det finns alltid problem och konflikter, även om detta inte erkänns  Vad skall ni göra med resultaten?  Resurser till just utvärderingen

22 Råd inför egen utvärdering  Kan man gå ihop och utvärdera, ansvarsfrågan viktig  Vem skall utvärdera Närhet – distans Lojalitet-oberoende  Finns det accepterad metod/teknologi?  Löpande uppföljning representerar det kända och accepterade, inte alltid det bästa.

23 Råd inför egen utvärdeing  Kolla upp vad andra gjort, det finns många utvärderingar i hyllorna (det kallas inte alltid så)  Utvärderingar lever längre än man tror. Ibland är det det enda som finns kvar av en satsning

24 Råd inför utvärdering  Var kortsiktigt pragmatisk  Var långsiktigt kritisk  Involvera många i processen  Men var tydlig över ansvaret