Utvärdering
mars 2011
Vad innebär egentligen en utvärdering? Ja, den frågan är verkligen viktig att ställa sig i dagens halvhysteriska projektvärld, där det händer att projektledare ”utvärderar” sina egna projekt. En professionell projektledare går sällan med på att göra något sådant. Däremot är det av största vikt att som projektledare följa upp hur projektet fungerar. Utvärderar projektet gör lämpligast en utvärderare. Här kommer ett försök att reda ut begreppen.
Utvärdering betyder att man gör en värdering och uttalar ett omdöme om något. För att kunna göra det, behöver man arbeta systematiskt och skaffa sig ett bra underlag. Men det finns ingen entydig definition av utvärdering. Utvärderingen kan vara en rationell process där resultatet kan uttryckas i siffror men det kan även handla om att försöka fånga och beskriva mer otydliga fenomen.
Granskningen kan avse både pågående och avslutade aktiviteter och den eller de som gör värderingen kan vara andra personer än de som samlar in och presenterar data.
Till exempel kan projektmedarbetarna göra uppföljningar och presentera resultaten för en extern utvärderare som värderar dem. Målen är bara en av flera aspekter som utvärderingen bör ta ställning till. Lika viktigt är att förklara orsaker och förstå sammanhang.
Uppföljningen beskriver vad som hänt – utvärderingen förklarar varför
Det är viktigt att förtydliga skillnaden mellan utvärdering och den enklare uppföljningen. Uppföljning är en fortlöpande insamling av data för att kontrollera hur en verksamhet genomförs. Den stora skillnaden jämfört med utvärdering är att den insamlade informationen varken relateras till några värdekriterier eller försöker fastställa orsakssamband.
Det rör sig istället ofta om kvantitativa basdata som till exempel kan inhämtas via de administrativa systemens informationsflöden. Olika datainsamlingsmetoder kan gärna kombineras med varandra. Uppföljningen beskriver vad som har hänt, utvärderingen förklarar varför.
Syftet med en utvärdering är att den ska bli användbar och göra nytta i den utvärderade verksamheten. God utvärdering är därför att förse beställare och andra med informationsmaterial om hur verksamheten fungerar. Därför bör utvärderingen inte bara omfatta utvärderingsresultat utan även utvärderingsprocess. Det är här vi börjar närma oss svaret på varför utvärderaren inte bör vara samma person som projektledaren. I alla fall inte om man vill att verksamheten/projektet ska utvärderas förhållandevis objektivt .
Problem med utvärderingar
Ett stort problem som finns beskrivet på många olika ställen i utvärderingslitteraturen, är den bristande användningen av utvärderingars resultat. Det är därför viktigt att presentera alternativ till den skrivna rapporten som återkopplingsform. Det kan betyda resultatpresentation via olika medier såsom videopresentationer, rollspel, teater eller pedagogiskt drama. Mottagarna av en utvärdering kan ju bestå av flera olika grupperingar med olika behov.
Många problem med utvärderingar orsakas redan i planeringsfasen. Man glömmer att ställa sig frågor som: Vilket är syftet med utvärderingen? Vilka är utvärderingen till för? Vad ska de ha den till? Varför? Genom att engagera olika intressenter under en utvärderingsprocess kan man skapa en ökad medvetenhet och förståelse för utvärderingen.
Därför bör utvärderingens tänkta användning diskuteras redan vid planeringen av utvärderingen och gärna kompletteras med en så kallad intressentanalys. Den innebär att identifiera dem som har någon form av beroende av eller påverkan på det som utvärderas. Man gör en kartläggning av tänkbara intressenter och försöker förutse vilka krav de kan ha på utvärderingsresultatet och i vilken grad de ska involveras i utvärderingsprocessen.
Programlogik
Flera forskare och författare rekommenderar att som första steg i en utvärderingsprocess ta reda på hur projektet eller verksamheten egentligen är tänkt att fungera. Det kan låta självklart, men att fånga samband är ofta lättare sagt än gjort.
Ibland kommer utvärderaren in så sent i utvärderingsprocessen att det finns behov av att rekonstruera hela tankekedjan bakom projektet och ställa frågor som: hur tänkte man från början? Vilka aktiviteter skulle genomföras och vilka resultat skulle projektet leda till? I utvärderingslitteraturen kallas detta för programlogik.
De inledande frågeställningarna man behöver ställa sig handlar om att identifiera problem och målgrupp samt vilka resultat och effekter man önskar sig och vilka aktiviteter som ska leda dit. Slutligen bör man fråga sig vilka resurser som behövs. Man genomför lämpligen en workshop med intressenterna för att arbeta med dessa frågor. Framtagandet av verksamhetslogiken bör vara ett lagarbete. Det är viktigt både för att skapa delaktighet och en gemensam uppfattning och för att minska risken för att viktiga antaganden förbises eller beskrivs på ett felaktigt sätt.
SMART:a mål
Utvärderingens frågor styr vilka metoder som bör användas. Det är därför viktigt att uppdragsgivare och utvärderare är överens om vad det är som ska utvärderas och vilka frågor som ska ställas. För att säkerställa att man ställer rätt frågor, kan man använda programlogik. Det är dessutom en utmaning att skapa mål och målformuleringar. Målen behöver vara SMARTa: Specifika, Mätbara, Accepterade, Realistiska och Tidsbestämda.
Veta mer?
Artiklar
Projektstrategier för 2000-talet
Högskoleuppsats
Webbplats
SPeL, Europeiska Socialfondens (ESF) processtöd för lärande och strategisk påverkan – har publicerat en verktygslåda med många enkla hjälpredor och exempel som kan tjäna som uppslag för den som planerar eller genomför projekt.
Bok
Att äga, styra och utvärdera stora projekt
Lycka till!
Margareta Ivarsson
mars 2011