Af Merete Watt Boolsen

Corona-pandemien har ikke kun udfordret den måde, vi gennemfører indsatser på. Den usikkerhed og mangel på viden, som karakteriserer krisen, udfordrer også – og kan inspirere – den måde, vi tilgår evaluering af nye tiltag. Med hyppige, løbende evalueringer af coronavirussen, og de mange tiltag i kølvandet af den , stilles evalueringer over for en række betingelser, der udfordrer den traditionelle test-af-modeller-evaluering.

Traditionelle evalueringer bliver mindre relevante…

Det er god praksis i samfundsvidenskaberne at arbejde med problemer, modeller/teorier, data og analyser. Samfundsforskeren samler data ind efter bestemte modeller og teorier. Mange af problemerne er forholdsvist enkle, modellerne er simple, data er ukomplicerede, og vi anvender derfor ofte traditionelle ‘test-af-modeller’-evaluering.

Traditionelle evalueringer er typisk kendetegnet ved, at:

• formålet er at formulere generaliseringer, der gælder uafhængigt af tid og sted. Fokus er på kontrol-aspektet og identifikation af fiasko.

• evaluator kommer udefra for at sikre uafhængighed og objektivitet; evaluator kontrollerer evalueringsdesignet, og selve evalueringsdesignet tager udgangspunkt i lineære årsags-virknings logiske modeller.

• evaluator gennemfører en på forhånd defineret dataindsamling og måler succes af et tiltag op mod på forhånd definerede målsætninger og giver vurderinger i form af succes eller fiasko.

Konsekvensen er blandt andet, at evalueringen kan blive/bliver et styringsinstrument, der hos de evaluerede medfører en frygt for fiasko.

… mens relevansen af ’udviklingsevaluering’ styrkes

Under den aktuelle corona-pandemi synliggøres imidlertid det tilsyneladende paradoks mellem vores høje innovationsniveau og udvikling og vores manglende viden i traditionel evalueringsforstand. Det ser vi f.eks. i diskussionerne af om og hvor hurtigt, vi kan udvikle en vaccine.

Udviklingen er dynamisk og foregår med stor hast. Der sker systemforandringer, når f.eks. det sundhedsfaglige prioriteres over det samfundsøkonomiske i forbindelse med løsning af problemerne – og omvendt. Eller når noget i de omgivende systemer viser sig at være anderledes end først antaget. Den traditionelle samfundsvidenskabelige forskningsmetodik lader sig vanskeligt anvende: billedet er komplekst og situationen kalder derfor på kompleksitetsteorier og resiliens (dvs. modstandsdygtighed).

Kompleksitets- og udviklingsfunderede evalueringer bør anvendes, når:

• opdragsgiver med sit projekt ønsker eller har et behov for, at evalueringen, evaluator og andre vurderer flere elementer i sammenhæng og prioriterer væsentligheden af dem (f.eks. flere forskellige politikker og/eller teorier, flere forskellige perspektiver, flere forskellige systemforandringer, vejer risici op mod hinanden, tager stilling til mål og formål). Det kræver såvel strategisk som taktisk forståelse.

• formålet er at formulere kontekstafhængige forståelser, som fødes ind i de innovationer, der løbende finder sted. Evalueringsdesignet søger at integrere systemdynamikker, gensidige afhængighedsforhold i den løbende interaktion. Evalueringen skal understøtte ønsket om mere løbende viden (Patton, 2007), der kan gøre projekter og processer mere resiliente over for forandringer.

• fokus flytter sig fra de almindelige faser i en forskningsproces (f.eks. opstilling af undersøgelsesdesign, dataindsamling, dataanalyse, konklusion) til mellemmenneskelige processer og interaktion i projektet. Opmærksomheden koncentrerer sig om evaluators rolle: Evaluator giver feedback, indhenter erfaringer, understøtter en given retning eller afkræfter særlige forandringer i en given retning, udvikler nye mål og monitoreringsmekanismer efterhånden som mål viser sig og udvikles.
  
• evaluator arbejder måske indefra – enten som en Kritisk Ven (se Stefan Brenstrups blogindlæg om denne tilgang her) eller som medarbejder i organisationen, hvor han/hun deltager i team(s), udfører handlinger og fortolker fortløbende processer.

• evalueringen og evaluator er ansvarlig over for de værdier og det fundament, som medarbejderne og organisationen har. Fokus er på at kunne arbejde uden kontrol og samtidig opfange, hvad der sker og derigennem reagere strategisk

Et sted at søge inspiration til gennemførslen af evalueringer, der konstruktivt arbejder med kompleksitet som præmis, og søger at skabe resilience projekter og processer, er i Pattons univers af modeller for udviklingsevaluering.

Hvor kan du finde inspiration til evaluering i en foranderlig tid?

Udviklingsevalueringens fader, amerikanske Michael Quinn Patton, har udviklet en række modeller for forskellige udviklingsevaluering. En af dem retter sig mod store og pludselige forandringer, hvilket netop karakteriserer denne aktuelle pandemi. Udviklingsevalueringsmodellen hedder Store og pludselige forandringer

Modellen arbejder med et design, hvor planlægning/design af projektet, dets gennemførelse/evaluering og dets udvikling/tilbageførsel af viden sker samtidigt. Eksisterende programmer eller initiativer er ikke effektive, når der sker store og pludselige forandringer i fx ressourcer, politik, sygdomsbillede, forurening, naturkatastrofer m.m. Du skal som nævnt betragte det samlede komplekse billede. Evalueringen kan anvendes til at 

• Støtte udvikling af nye initiativer, der kan forebygge opståede behov og kriser
• Støtte kreativt samarbejde på i forskellige sammenhænge og organisatoriske niveauer
• Udvist rettidig omhu og give feedback på reaktioner og resultater tidligt i processen
• Støtte til kriseramte i deres forsøg på at tilpasse sig virkningerne af situationen (som indeholder pludselige og store forandringer).

Implikationen af denne udviklingsevalueringstankegang er: (1) En indsats eller projekt skal i sit design have samtidigheden i planlægning/design, evaluering og tilbageførsel/udvikling for øje. (2) Til disse faser kræves data. Det vil sige: dokumentér, dokumentér, dokumentér.

Hvis du er nysgerrig på Pattons tænkning om udviklingsevaluering under ’store og pludselige forandringer’ og vil vide mere om udviklingsevaluering, kan du læse mere her:

• Weissert, N. og Boolsen (red.) (under udgivelse). Evaluering – udvikling i teori og praksis. København: Hans Reitzels Forlag.
• Boolsen, M.W. (2017). Kvalitative analyser. At finde årsager og sammenhænge. København: Hans Reitzels Forlag.
• https://www.clearhorizon.com.au/
• Patton, M. (2007) Evaluation for the Way We Work. Artikel i The Nonprofit Quarterly, Spring 2007, Vol. 13 (1): 28-33.
• Patton, M. (2011) Developmental Evaluation. New York: Guild Press

Blogindlæggets forfatter:

Merete er lektor emeritus i sociologi og metode på Institut for Statskundskab ved Københavns Universitet. Merete har forsket i evaluerings- og udviklingsevalueringsteknikker, herunder udvikling det metodiske krydsfelt mellem kvalitative og kvantitative metoder. Merete står bag udgivelser om kvalitative metoder, videnskabsteori, spørgeskemaundersøgelser, og senest til bogen ‘Evaluering – udvikling i teori og praksis’ i samarbejde med Nicolai Weissert, der er under udgivelse ved Hans Reitzels Forlag.