Af Martin Welzel

Skal din evaluering primært følge op på de målsætninger, der blev defineret før projektets start? Eller skal den mere fordomsfrit ’høste’ indsigter i de centrale forandringer, som projektet faktisk medvirker til?

Spørgsmålet er centralt at stille sig selv for at skabe klarhed om evalueringens hovedformål. Hvis du hælder til den sidstnævnte mulighed, kan Outcome Harvesting være en nyttig og værdifuld evalueringstilgang. Med dette blogindlæg får du en kort introduktion til tilgangen.

Indlægget er det første af to indlæg om Outcome Harvesting. I del 2 af vores miniserie kan du læse om nogle af de foreløbige, danske erfaringer med Outcome Harvesting – det vender vi tilbage til sidst i indlægget.

Hvad er Outcome Harvesting?

I modsætning til klassisk evaluering handler Outcome Harvesting – i sin reneste form – ikke om at måle eller vurdere fremdriften mod klart operationaliserede mål, der på forhånd er fastsat. Det handler derimod om at afdække forandringer eller resultater (outcome) og derfra arbejde baglæns for at fastlægge, hvordan og i hvilket omfang disse forandringer kan tilskrives den konkrete indsats. Afdækningen af forandringer er altså ikke styret (og dermed begrænset) af en indsats’ konkrete forandringsteori, men forholder sig med et åbent sind til alle outcomes, som systematisk afdækkes for at skabe indsigt i, hvorfor og hvordan de opstod. 

Outcome Harvesting har som metode været under udvikling og anvendelse de seneste par årtier, særligt inden for udviklingsbistand. Men først i 2019 blev den første bog udgivet om tilgangen forfattet af Ricardo Wilson-Grau, der også står fader til evalueringstilgangen (du kan finde link til bogen under blogindlægget).

Nysgerrighed frem for kontrol 

Nysgerrighed på at forstå, hvordan en indsats påvirker sin målgruppe eller omgivelser, er det primære motiv bag igangsættelse af en evaluering med afsæt i Outcome Harvesting-metoden. Dette står i kontrast til klassisk evaluering, der indeholder et element af kontrol i forhold til fastsatte mål, eller i hvert fald en vurdering i forhold til på forhånd fastlagte kriterier.

Billedligt kan man sige, at en klassisk evaluering har det med at rette lyskeglen fra evaluators lommelygte mod de områder, man på forhånd har besluttet, at man vil finde noget – hvorimod man med Outcome Harvesting forsøger at belyse et størst muligt område for at være åben for, at de meste interessante indsigter kan ligge steder, hvor man ikke selv tænkte på at lede fra start. Med Outcome Harvesting vil man – med henblik på at lære og skabe indsigt – være åben for at lede efter både

• direkte og indirekte outcomes;
• positive og negative outcomes; samt
• tilsigtede og utilsigtede outcomes.

Centrale grundprincipper i Outcome Harvesting

De hidtidige erfaringer med Outcome Harvesting har givet Wilson-Grau anledning til at formulere ti principper i forhold til proces og indhold. Vi vil for overblikkets skyld nøjes med at fremhæve et sammenkog af dem:

• Outcomes skal forstås som ændringer i adfærd (social change). Når man gennemfører Outcome Harvesting, er det ikke alt, der kan eller bør medregnes som ’outcome’. Man skal kritisk forholde sig til, om de berørte aktører synligt ændrer karakteren af deres adfærd. Det betyder, at det ikke kan betragtes som et outcome blot at stille en ny service til rådighed for målgruppen – det er først et ’outcome’, når man i næste trin med denne service eller aktivitet påvirker aktørerne til i praksis at ændre deres adfærd. Det betyder også, at vi som udgangspunkt ikke medregner f.eks. øget viden, ændrede holdninger eller nye færdigheder som outcome. Disse kunne vi kalde ’output’, men vi høster altså først et outcome, når det kan observeres som ændringer i adfærd.

• Fokus skal være på evalueringens anvendelse. Outcome Harvesting står på skuldrene af den anvendelsesorienterede evalueringstilgang (utilization-focused evalutation). Det betyder kort sagt, at før man designer evalueringen, skal evalueringens primære brugere være identificeret ret præcist. Og på samme måde skal selve anvendelsen af evalueringen stå helt klart. De valg, der træffes vedrørende evalueringsdesignet – og løbende om selve evalueringsprocessen, skal være guidet af denne anvendelsesbeskrivelse og så vidt muligt hele tiden inddrage de tiltænkte brugere i beslutningerne. Ophavsmanden bag denne tilgang er Michael Quinn Patton, og du kan læse hans stadig relevante og glimrende tjekliste fra 2002 (opdateret i 2013) for anvendelsesorienteret evaluering.

• Målgruppen skal inddrages tæt. Kvaliteten af en Outcome Harvesting afhænger i høj grad af, at man lykkes med inddragelse af målgruppen i evalueringen. Så vidt muligt inddrages målgruppen aktivt i både at indsamle og analysere data. Dette kræver dog, at evaluator ikke blot selv fungerer som dataindsamler og -analytiker, men også påtager sig rollen som ’coach’ for målgruppen (eller repræsentanter for den). Evaluator coacher dog her alene ift. evalueringens gennemførsel – og ikke som i Kritisk Ven-tilgangen i forhold til projektets gennemførsel. Opgaven er at sætte personer fra målgruppen i stand til at forstå konceptet ’outcome’, så de også er i stand til at lede efter dem. Målgruppens repræsentanter fungerer derfor ikke som informanter, der blot besvarer spørgsmål i interviews, men trænes i selv at identificere og formulere ‘outcomes’​.

• Hold det simpelt. Når en evalueringstilgang indeholder mulighed for at afsøge alt fra direkte til indirekte, og tilsigtede til utilsigtede outomes osv. samtidig med, at det i processen er vigtigt at sikre tæt involvering af både evalueringens brugere og indsatsens målgruppe, så giver det næsten sig selv, at evalueringen kan blive uoverskuelig og kompleks. Derfor er det et helt centralt princip i Outcome Harvesting, at man skal fokusere og foretage en række fravalg. Ellers kan evalueringen blive meget ressourcetung og blive uoverskueligt kompleks.

Er det sliddet værd at outcome-høste?

Er det så overhovedet besværet og pengene værd at gennemføre Outcome Harvesting-evalueringer?

Det spørgsmål må afhænge af en afvejning af spørgsmålene på den ene side: Hvad kræver det af din organisation (økonomisk, ressourcemæssigt og kompetencemæssigt) at gennemføre Outcome Harvesting? og på den anden side: Hvilken værdi giver det at udføre denne type evaluering? Disse spørgsmål har vi derfor stillet videre til nogle af de danske organisationer, der har arbejdet med evalueringstilgangen. Og deres erfaringer kan du læse om i næste indlæg her på bloggen.

Ser du et potentiale i Outcome Harvesting som evalueringstilgang til jeres indsatser? Har du erfaringer med tilgangen? Er du skeptisk?

Skriv din kommentar nedenfor for at dele dine tanker – eller skriv til os, hvis du bare har lyst til en tomandspingpong.

Og husk at skrive dig op i boksen til højre her på siden for at modtage notifikationer om nye blogindlæg, så du også får anden del af vores miniserie om Outcome Harvesting med.

Læs mere om Outcome Harvesting her

• Outcome Harvesting af Ricardo Wilson-Grau (2018) via Saxo
• Outcome Harvesting – et brief af Ricardo Wilson-Grau og Heather Britt (2012), der på 20 sider introducerer til håndværket i tilgangen.
• ‘Ny evalueringsmetode: Outcome harvesting stiller skarpt på effekten af udførte projekter‘ – artikel i Altinget fra 2017.

Blogindlæggets forfattere: