Lärande utvärdering

mars 2011

Om man kombinerar tankarna kring lärande organisationer med utvärdering får man en intressant infallsvinkel: lärande utvärdering. Synen på utvärdering har förändrats genom åren och gått från ett kontrollerande perspektiv till lärande. Under senare år har utvärderarrollen alltmer utvecklas mot att vara dialogpart, kritisk granskare och utbildare. Utvärderaren vid en lärande utvärdering har en stor kommunikativ uppgift och är alltså inte i första hand en kontrollant, utan en resurs.

Lärande organisation: göra saker rätt eller göra rätt saker?!

Det finns många olika sätt att beskriva och definiera lärande. Intressant är Nationalencyklopedins definition av lärande organisation: organisation som kontinuerligt lär av sina erfarenheter i syfte att lösa sina uppgifter på ett bättre sätt. Enskilda medarbetares lärande är visserligen nödvändigt, men inte tillräckligt för organisatoriskt lärande. Gör ni saker rätt på er arbetsplats eller gör ni rätt saker?

I en begränsande inlärningsmiljö har man fokus på sin egen arbetssituation och få gemensamma möten för planering och organisering av arbetet. En utvecklande inlärningsmiljö består istället av ett dynamiskt samspel mellan krav, arbetets innehåll, medarbetarnas utbildningsbakgrund, uppgiftsorientering, ledningsstöd och beredskap för lärande. Då utvecklas en god cirkel, där olika faktorer förstärker varandra positivt.

Lärande utvärdering

Om man kombinerar tankarna kring lärande organisationer med utvärdering får man en intressant infallsvinkel: lärande utvärdering.

Synen på utvärdering har förändrats genom åren och gått från ett kontrollerande perspektiv till lärande.

Lärande utvärdering innebär bland annat:

– att utveckla hållbar kunskap om det projekt som utvärderas

– att ge underlag för förbättringsåtgärder

– att bidra till individuellt lärande i form av nya kunskaper, begrepp, perspektiv etc. hos dem som direkt berörs, samt till ett organisatoriskt lärande, t ex i form av förbättrade rutiner för verksamhetsutveckling

Vid en lärande utvärdering sker utvärderingen fortlöpande under projekttiden och kallas därför formativ. Syftet är att dokumentera processen och att ge underlag för återkommande förbättringsinsatser.

Utvärderingen utformas och genomförs i samverkan, men med en tydlig arbetsfördelning mellan, utvärderare och de som berörs av utvärderingen. Aktiviteter för insamling och analys av data varvas med gemensamma aktiviteter med fokus på bl. a. feedback, tolkning av resultat samt diskussion och planering av åtgärder.

Tiotusenkronorsfrågan att ställa sig före utvärderingen är alltså: vem är det som ska lära sig och vad ska läras? Detta behöver diskuteras både inledningsvis under utvärderingsprocessen och under särskilda reflektionstillfällen om man ska kunna få till de förändringar man önskar med projektet.

Rollen som lärande utvärderare

Under senare år har utvärderarrollen alltmer utvecklas mot att vara dialogpart, kritisk granskare och utbildare. Utvärderaren vid en lärande utvärdering har en stor kommunikativ uppgift. En lärande utvärderare:

– Pendlar mellan närhet och distans, kommunikation och kritik

– Arbetar analytiskt och systematiskt och har social förmåga att bygga relationer och kommunicera

– Stödjer utveckling bl.a. genom att skapa forum för reflektion

– Agerar coach/bollplank, ställer frågor och ger råd

– Gör intressenterna delaktiga i utvärderingen

Utvärderaren vid en lärande utvärdering är alltså en resurs, inte i första hand en kontrollant.

Organisera för lärande och skapa farthinder!

Man behöver skapa forum för återkoppling och gemensam analys där utvärderare och de berörda av utvärderingen kan mötas. Lämpliga former är dialoginriktade gruppaktiviteter såsom t ex workshops eller reflektionsmöten/seminarier. Utrymme för dessa aktiviteter måste skapas vid sidan av det dagliga arbetet i projektet.

En workshop en bit in i projektet för att jämföra med hur projektplanen funkat i verkligheten är till exempel lämpligt. Under mellantiden kan man med fördel inhämta annan kunskap från det pågående projektet genom t.ex. observationer och intervjuer. Därefter kan man värdera resultaten. Denna planerade reflektion kan man kalla för naturliga farthinder.

Projektägarens och styrgruppens engagemang är avgörande

Projektägaren, det vill säga den som juridiskt är ägare av projektet, gör utvärderaren delaktig i projektet och intressenterna i utvärderingen. Projektägaren ska dessutom ta ställning till och agera på utvärderarens frågor och ansvara för användning och kommunikation av utvärderingen i relevanta sammanhang. I praktiken betyder det: omsätta lärandet från projektet i ordinarie verksamhet!

Utvärderaren ansvarar för utvärderingens process och projektledaren i samverkan med ägare och styrgrupp ansvarar för att driva själva projektets process. Fokus i lägesrapporterna bör ligga på kritisk granskning av resultat och långsiktiga effekter och kopplingar till de övergripande målen. Det är mycket viktigt för ett projekt i allmänhet och en lärande utvärdering i synnerhet att projektägare och styrgrupp aktivt engagerar sig i utvärderingsprocessen och avsätter den tid som krävs för detta.

En lärande utvärdering ställer mycket högre krav på delaktighet hos intressenterna än vad en summativ utvärdering, som endast mäter resultat och effekter, gör. Den lärande utvärderingen har samtidigt en mycket större potential att identifiera och ta tillvara utvecklingsmöjligheter än vad en ”gammaldags” summativ utvärdering har.

Det är ensamt och tufft att vara projektledare

När statistik och intervjuer sammanställts och analyserats, har utvärderaren skapat sig en uppfattning om nu-läget för projektet och hur man kan arbeta vidare.

Denna bild bör diskuteras tillsammans med projektets intressenter, för att skapa samsyn kring projektet och även få nya infallsvinklar som kan göra att nya sätt att arbeta uppstår. Två centrala funktioner i projektet är projektledaren och styrgruppen.

Det är ett ensamt och utmanande jobb att vara projektledare och ansvara för att driva utvecklingsprojekt. En del i den lärande utvärderingen kan därför bestå av en bollplanksfunktion för projektledaren. Insatsen som bollplank kan gärna vara regelbunden under projektperioden.

Det strategiska arbete som styrgruppen ska fokusera på, kan också behöva stödjas. Här kan utvärderaren vara en resurs vid behov. Utvärderingen kan bistå med stöd i form av dialog, fackkunskaper och bedömningar.

Utvärderingsrapporter

En viktig del i utvärderingen är skriftlig rapportering, både för att dokumentera projektet och för att tydliggöra och reflektera kring projektets fortskridande. Korta rapporter kan med fördel skrivas av utvärderaren före reflektionsmöten/seminarier. Detta som ett sätt att sammanfatta, kritiskt granska, dra slutsatser och vara ett underlag för vidare förändringsarbete.

Men det är inte självklart att utvärderingen endast ska resultera i en omfattande slutrapport. Det kan vara lämpligt med flera olika återkopplingsformer, för att säkerställa att utvärderingens resultat används i berörda organisationer. Mottagarna av en utvärdering kan ju bestå av flera olika grupperingar med olika behov och det som är meningsfullt för en individ eller grupp måste inte nödvändigtvis vara det för en annan.

Tidsplan och upplägg för en lärande utvärderingsprocess

Utvärderingens upplägg skulle alltså kunna se ut så här:

Mars 2011: inledande 2-dagars workshop

Mars-sept 2011: informationsinsamling

Sept 2011: kort rapport, reflektionsseminarium

Okt 2011-april 2012: informationsinsamling

April 2012: kort rapport, reflektionsseminarium

Maj 2012-okt 2012: informationsinsamling

Okt 2012: slutrapport reflektionsseminarium

Nov-dec 2012: alternativa återkopplingsformer

Under hela projektperioden:

– Bollplank till projektledaren

– Resurs för styrgruppen

– Alternativa återkopplingsformer kan bli aktuella även före slutrapporten

– Utvärderaren finns tillgänglig för diskussioner om erfarenhetsspridning och ev. aktiviteter kring projektets bidrag till systempåverkan och den offentliga debatten

Upphandling av utvärdering

Det kan också vara bra att öppna för förändring även när det gäller utvärderingen. Man kan med fördel utgå från en totalsumma, ha en planering för de olika delarna, men en flexibilitet för omfördelningar.

Det blir allt vanligare att lärande utvärderingar upphandlas genom att anbudsgivarna får tillgång till projektbeskrivningen och en totalsumma för vad utvärderingen får kosta. En lärande utvärdering bör lämpligen motsvara 5-10 % av projektbudgeten. Sedan får de olika anbudsgivarna komma in med förslag på hur de vill lägga upp utvärderingen.