Outcome Harvesting – fra praktikernes perspektiv (del 2 af 2)

Af Martin Welzel

Outcome Harvesting er den nye, smukke rose i evalueringsfagets mangfoldige have. Men har den også sine torne?

I vores seneste blogindlæg introducerede vi overordnet til Outcome Harvesting og metodens meritter. Har du endnu ikke læst dette indlæg, vil vi foreslå, at du starter der. Men hvordan er det i praksis at gennemføre Outcome Harvesting? Dette spørgsmål har vi stillet videre til nogle af de få danske organisationer, der foreløbig har erfaring med metoden, nemlig Mellemfolkeligt Samvirke og Danske Handicaporganisationer. De har givet deres bud på metodens styrker og svagheder i praksis, som de velvilligt deler med os her.

Hvorfor arbejde med Outcome Harvesting?

Outcome Harvesting har hidtil primært fundet anvendelse i monitorering og evaluering af indsatser i udviklingslande.

Dette er også tilfældet for Danske Handicaporganisationers anvendelse af metoden, som organisationen første gang anvendte i forbindelse med, at Danske Handicaporganisationer trak sine aktiviteter ud af Uganda efter 20 år i 2018. Ønsket var at samle op på alle forandringer og forskelle, som det mangeårige engagement med lokale handicaporganisationer havde medført, og metoden gav stor værdi. Hos både Danske Handicaporganisationer og Mellemfolkeligt Samvirke har fokus været at samle op på positive erfaringer inden for ’social change’, altså adfærdsændringer i praksis – også de, der ikke nødvendigvis var opstillet målsætninger for på forhånd. Der var ikke behov for at ’tjekke af’, om man havde nået alle sine mål eller som sådan fælde en værdidom. Ønsket var nærmere at afsøge indsatsens faktiske betydning med åbent sind.

”Jeg tror, vi begyndte at kigge mod Outcome Harvesting på grund af en frustration med de gængse metoder og traditioner”

– Gitte Robinson

De to organisationer oplever også, Outcome Harvesting-tilgangen i højere grad end andre evalueringsmetoder formår at involvere partnere og udnytte disses viden og indsigter i værdiskabelse og forandringer ’on the ground’. Processen medvirkede til at skabe større ejerskab for både indsatsens resultater og for evalueringen. Det skete ved, at partnerne selv blev involveret i at gennemgå deres materiale, identificere og formulere outcomes og kortlægge sociale aktører

Denne anledning til fælles refleksion blandt projektets partnere og nøgleinteressenter over, hvilke forandringer i målgruppen, i organisationer eller endda i samfundet, er i sig selv værdifuld. Værdien i Outcome Harvesting ligger altså ikke kun i de indsigter, som evalueringen bidrager med. Den ligger også i det fælles sprog og fælles ejerskab, engagement og måske endda fælles narrativ, som evalueringsprocessen giver anledning til.

Hvilke benspænd ligger i Outcome Harvesting?

Positivt bias? De danske organisationers erfaring er, at Outcome Harvesting har en tendens til at fokusere primært på positive outcomes. Eventuelle negative outcomes fylder i praksis ofte ikke så meget i en outcome-høst. Dog ligger der i evalueringsmetoden en interessant mulighed for at afdække på den ene side forventede outcomes, der ikke materialiserer sig, og på den anden side indsatser, der ikke bidrager nævneværdigt til outcomes, hvis man sammenholder de identificerede outcomes med projektets oprindelige plan (forandringsteori).

”I litteraturen om Outcome Harvesting er der også fokus på negative outcomes. Men det kan i praksis være svært at identificere dem.”  

– Helene Bach

I Mellemfolkeligt Samvirke har man netop gjort sig erfaringer med at sammenholde en ”outcome-høst” med projektets oprindelige forandringsteori. På den måde kunne man afdække, hvor stor overensstemmelder der var mellem observerede outcomes og de prædefinerede målsætninger. Dette er også en praksis, man finder anvendt i store udviklingsorganisationer som USAID og CARE International i forbindelse med komplekse evalueringer. Her er der ofte både et ønske om nysgerrigt at undersøge resultaterne af en indsats og samtidigt vurdere indsatsernes effektivitet i forhold til at bidrage til organisationernes målsætninger.

Tid. Den omfattende og intensive involvering af projektets nøgleaktører til at identificere outcomes og validere analysen er tidskrævende. ”Det er vigtigt, at man bruger god tid på design, facilitering og at man får skabt ejerskab hos de personer, man inddrager” fortæller Helene Bach om Mellemfolkeligt Samvirkes erfaringer. Men hun tilføjer også, at al god monitorering og evaluering jo er tidskrævende”. Og så skal man huske, at det også er partnerne, der skal afsætte tid til deltagelse i processen. Det er derfor vigtigt at forventningsafstemme og sikre, at alle deltagere har forståelse for processens omfang. Den kan vare lige fra en håndfuld timer til flere arbejdsdage afhængigt af projektets omfang.

Erfaring og kompetence. Selvom Outcome Harvesting som metode er teoretisk velbeskrevet, er evalueringsprocessen alligevel så kompleks, at ekstern støtte kan være afgørende. Både Gitte Robinson og Helene Bach har derfor indledningsvis søgt støtte hos internationale eksperter på området, der medvirkede i deres første Outcome Harvesting-processer. Derigennem fik de danske organisationer erfaringer med metoden, der har gjort dem i stand til efterfølgende selv at gennemføre Outcome Harvesting af deres organisationers egne projekter.

I modsætning til klassiske evalueringsprocesser, hvor projektets interessenter bidrager ved at lade sig interviewe af en evaluator, spiller disse en langt mere aktiv rolle i Outcome Harvesting. Foruden indsigt i selve projektet, skal informanterne så vidt muligt have en forståelse for metodens formål og kriterier for at bidrage hertil i evalueringsprocessen. På den måde adskiller Outcome Harvesting-metoden sig i virkeligheden ved at være mere decentralt forankret hos de enkelte bidragsydere. De involverede bidragsydere behøver ikke nødvendigvis at kende til de seks trin i Outcome Harvesting, fortæller Helene Bach. Men de skal kunne identificere og beskrive et outcome, da dette er metodens omdrejningspunkt.

Outcome Harvesting er meget nyt i evalueringen af danske projekter. I Pluss har vi sat os for at introducere og udbrede metoden til danske projekter, hvor læring er vigtigere end kontrol.

Dansk Institut for Menneskerettigheder har lavet denne fine lille info-video om nogle af fordelene ved Outcome Harvesting.

Blogindlæggets forfattere: