Sæt brugerne i centrum for udviklings- og evalueringsarbejdet
Flere foreninger og organisationer involverer brugerne i udvikling og evaluering af frivillige sociale indsatser. Det giver nemlig værdifuld viden om, hvorvidt hjælpen og indsatsen virker set fra brugerens synsvinkel. Men når brugerne skal svare på spørgsmål, der går tæt på deres egen fortid, situation og udfordringer, kan nogle foreninger blive bekymret for, om brugerne bliver belastet af at skulle fortælle så meget om sig selv. I denne artikel får I anbefalinger til, hvordan I inddrager og dokumenterer brugernes egne erfaringer i udvikling af nye aktiviteter og i evaluering af eksisterende indsatser, så dilemmaet mellem hensyntagen til brugerne og ønsket om grundig dokumentation er indarbejdet fra begyndelsen af evalueringen.
Unge i Ligeværd afprøver og tester læringsspillet 'Stop identitetstyven'. Foto: Ligeværd
Der er flere grunde til at dokumentation og evaluering, er vigtigt for mange foreninger. For det første efterspørger offentlige og private donorer dokumenteret viden om de indsatser, de støtter økonomisk. For det andet - og vigtigere - er de fleste foreninger optaget af at lære og udvikle sig på baggrund af dokumenteret viden om deres sociale arbejde.
På frivillighed.dk har vi samlet seks guider og værktøjer i et fagligt tema om vidensarbejde i små og mellemstore foreninger og organisationer på det frivillige socialområde.
I en ny afdækning, som CFSA og Socialstyrelsen har gennemført som en del af projektet ’Styrket viden om frivillige sociale indsatser og aktiviteter’, har vi undersøgt en række frivillige sociale foreningers udfordringer og behov, når de indsamler viden om deres aktiviteter, indsats og målgruppe.
Undersøgelsen og CFSA’s erfaringer fra praksis viser, at foreningernes motivation for at dokumentere og evaluere deres indsats og aktiviteter har forandret sig i de senere år. Hvor foreningerne tidligere primært har fokuseret på at leve op til bevillingsgivernes krav, er de i dag optaget af læring og af at involvere brugerne i dokumentations- og evalueringsarbejdet. Ikke kun som informanter, der skal svare på spørgsmål i en evaluering, men som reelle eksperter i eget liv og ikke mindst, hvad der motiverer netop dem til at være en del af den indsats eller aktivitet, som foreningen tilbyder.
Når brugerne involveres i udvikling og evaluering og skal svare på spørgsmål, der går tæt på deres egen fortid, situation og udfordringer, kan nogle foreninger imidlertid blive bekymret for, om brugerne bliver for belastet af for meget bureaukrati.
Foreningerne står dermed i et dilemma mellem ønsket om at involvere og lytte til brugerne og sikre dem mod overbelastning og unødigt dokumentationsbureaukrati.
Ligeværd evaluerer sammen med de unge
Foreningsfællesskabet Ligeværd, hvis målgruppe er unge med varige kognitive og mentale handicap kombineret med fx angst, OCD, spiseforstyrrelser og lav social livsmestring, har i de senere år konsekvent sat målgruppen i centrum for al udviklings- og evalueringsarbejde. Ligeværd ønsker at skabe en stærk kultur for inddragelse af målgruppen og brugerne. Formålet er dels at forbedre kvaliteten af data, som indgår i evalueringsarbejdet, dels at styrke kvaliteten og relevansen af foreningens indsatser og aktiviteter.
Fællesskabet Ligeværd arbejder for at forbedre og skabe ligeværdige livsvilkår for børn, unge og voksne med særlige behov og deres familier. Det sker gennem socialfaglig rådgivning og aktiviteter, der omfatter klubaktiviteter, kurser og konferencer.
Foreningsfællesskabet består af de tre medlemsforeninger:
- Unge for Ligeværd (UFL)
- Ligeværd, Forældre Netværk (LFN)
- Ligeværd, Fagligt Forum (LFF).
Efter flere forsøg og eksperimenter har Ligeværd udviklet en metode til at involvere unge i arbejdet med at udvikle og evaluere aktiviteterne.
- Metoden bygger på en række principper, som tager afsæt i de unge selv. Vi siger til dem: Det er jer, der er eksperterne på jeres liv, og vi har brug for jeres input, fortæller Lena Donkjær Andreasen, der er vicedirektør i Ligeværd.
Hun fremhæver særligt, hvordan det taktile og konkrete hjælper udviklingen på vej for de unge.
- Noget af det vigtigste er, at de unge lærer ved at gøre noget. Derfor arbejder vi med at præsentere prototyper, når vi fx udvikler læringsspil. Det kan fx være ved at give dem spillebrikkerne i hånden og vise dem kortene, så de kan forholde sig til sproget og det visuelle udtryk.
Et andet centralt princip i metoden er at involvere de unge på steder, hvor de føler sig trygge. Fx i Unge for Ligeværd-klubberne eller på skoler og uddannelsessteder, hvor de unge går.
De unge i Ligeværd har et stort behov for tillid og tryghed. Derfor har de unge en tæt relation til og kender de personer, som faciliterer og involverer dem i udviklings- og evalueringsarbejdet. For uanset om det er eksterne evaluatorer, en ansat eller frivillig i Ligeværd, der skal facilitere og involvere de unge, har vedkommende altid mødt og besøgt de unge flere gange inden arbejdet sættes i gang.
Fremmed eller kendt evaluator
CFSA hører fra flere foreninger, at den tætte relation mellem bruger og evaluator kan give anledning til et nyt dilemma. Når brugerne på forhånd kender og har en nær relation til evaluator, der jo fx kan være en frivillig fra foreningen, kommer brugerne nemt til at blande rollerne sammen. For hvem er det, brugeren møder i det uvildige evalueringsarbejde? Er det evaluator eller den frivillige fra aktiviteten?
Konsekvensen kan være, at de brugere, som involveres i evalueringsarbejdet, fx 'pynter' på deres historie for at sikre den gode relation med den frivillige, som de også skal møde og se i øjnene igen i næste uge. Ligeværds erfaring er dog, at pålideligheden af de unges input er højere, hvis de befinder sig i trygge rammer, og de har derfor valgt at prioritere en god relation mellem brugeren og evaluator.
- Vi kan se, at risikoen ved at have en helt fremmed til stede, er, at de unge ikke vil tale åbent og ærligt om deres erfaringer, og dermed mister vi værdifuld viden til at evaluere og udvikle vores indsats, fortæller Lena Donkjær Andreasen fra Ligeværd.
Hun fortæller også, at de fonde, som støtter Ligeværds indsatser, i stigende grad bakker om organisationes tilgange og metoder til vidensindsamling.
- Fondene er efterhånden med på, at vi kun indsamler den viden, som vi har brug for i forhold til at blive klogere på problemstilling og løsning, også selvom det kan gøre processen længere, siger Lena Donkjær Andreasen.
I Ligeværd er udvikling af spil i tæt samarbejde mellem unge og foreningens fagprofessionelle medarbejdere et både succesfuldt og brugbart værktøj. Fx er Ligeværds spil om ensomhed ikke kun populært inden for Ligeværds målgruppe. Også andre organisationer har henvendt sig for at få lov til at bruge spillet i arbejdet for deres målgrupper.
Metoden skaber læring i Ligeværd
Ligeværds metode til udvikling af spil består af en udviklings- og kvalitetssikringsfase og af en evaluerings- og erfaringsindsamlingsfase. Metoden er en cirkulær læringsproces, hvor man arbejder med udgangspunkt i en idé, undren eller et problem hos målgruppen frem mod et brætspil, der kan spilles af de unge i klubber, på skoler og i andre organisationer uden for Ligeværd. Ofte er det i den afsluttende evalueringsfase, at der opstår en ny idé eller et behov, som fører til en ny udviklingsfase.
Metodens første fase: Udvikling og kvalitetssikring
Idéerne til et nyt spil tager udgangspunkt i et dilemma, et problem eller noget de frivillige eller fagprofessionelle har observeret eller som de unge i Ligeværd oplever. Så allerede i starten af udviklingsfasen inddrages de unges viden. Udviklingsfasen varer i gennemsnit 14 måneder og består af udviklingsmøder, flere testrunder og ikke mindst kvalitetssikring med unge i Ligeværds unge-klubber. Undervejs er der flere drøftelser og afprøvninger mellem møderne, hvor fx underviserne tager dele af spillet med ud til de unge på skoler og uddannelsessteder for at teste og blive klogere på, hvordan det virker. De unge får det fysiske spil i hænderne, og ud fra dette udvikles og justeres der på, hvordan det skal udformes. I hele processen betragtes de unge som eksperter på deres eget liv. Det kommer fx til udtryk ved, at det team, som skal kvalitetssikre spillet, består af unge fra Ligeværd, som bidrager med deres input og vurderinger af spillets anvendelighed, indhold, sprog mv.
Metodens anden fase: Evaluering og erfaringsindsamling
Metodens anden fase gennemføres både undervejs, når spillet rulles ud på skoler, institutioner og i Unge-klubberne og efterfølgende, når spillene er implementeret. Her indhentes kvantitativ viden som fx antallet af gange, spillet er blevet spillet, hvor mange unge, der har deltaget osv. Men i Ligeværd er man lige så meget optaget af de unges udbytte af spillet. Ændrer samtalerne sig med og blandt de unge, hvad oplever de unge selv, og hvad ser de frivillige og fagprofessionelle? De løbende observationer og refleksioner som fx finder sted, mens de unge spiller spillet, bruges både til at understøtte den enkelte unge, som deler noget, der kræver handling og til at tænke i nye aktiviteter, som kan støtte de unge med deres udfordringer.
Ligeværds vicedirektør Lena Donkjær Andreasen nævner et eksempel på en observation, hvor - det viste sig, at identitetstyveri var et større problem hos flere unge, end vi troede på forhånd.
Denne utilsigtede og derfor også uventede erkendelse er ikke positiv i sig selv. Men den er et første skridt til, at Ligeværd kan gøre noget ved problemet sammen med de unge og iværksætte en forebyggende indsats med støtte til at håndtere kriser og udfordringer.
I den afsluttende fase, afholder Ligeværd ofte fokusgrupper med de unge i klubberne, på skolerne og uddannelsesstederne.
- Spørgeskema giver ikke mening for vores målgruppe. Fokusgrupperne giver os mulighed for at forstå, hvordan tingene virker for de unge, mens frivillige og fagprofessionelle er til stede. Det er dem, som skal gøre noget efterfølgende med det vi lærer fra de unge, præciserer Lena Donkjær Andreasen.
Selvom Ligeværd ikke kan måle en effekt af deres indsatser, er Lena Donkjær Andreasen sikker på, at deres arbejde gør en forskel. Simpelthen fordi de unge selv siger det.
- Vi er meget bevidste om vores valg af metoder i Ligeværd, fordi vi kan se, at det gør en stor forskel for de unges trivsel og udvikling, når de inddrages i alle faser. Det er grund nok for os.
3 råd til at få brugerne med i evalueringer
CFSA’s erfaringer er, at det kræver grundige overvejelser, metodisk viden og en seriøs indsats fra alle, når organisationer med udsatte brugere skal finde metoder, der både tilgodeser krav til dokumentationsarbejdet og involverer brugerne, så deres stemme kommer tydeligt frem.
Vi har derfor samlet tre gode råd til involvering af udsatte brugere i evalueringer af aktiviteter i frivillige sociale organisationer:
-
Justér jeres ambitioner: Vær tro mod målgruppen og foreningens værdier og sørg for at jeres ambitioner giver mening. Er I optaget af at involvere jeres brugere eller interesseret i viden, som handler om andet end effekt, er der ingen grund til at forfølge standarden for fx effektstudier, som kan være en meget dyr og krævende proces for både ansatte, frivillige og målgruppen.
-
Brug metoder, der matcher målgruppens behov, evner og interesse: Brug fx prototyper, fokusgrupper eller forandringsfortællinger, hvor brugerne fortæller, hvorfor og hvordan forandring har betydning for dem selv. Det kan fx være en hjælp for de brugere, som har svært ved at sætte ord på deres egne oplevelser og erfaringer.
-
Afstem jeres metoder med jeres bevillingsgivere: Mange fonde vil med stor sandsynlighed bakke op om jeres metodevalg. Gå så tidligt som muligt i dialog med jeres bevillingsgiver om, hvorfor og hvordan I indsamler viden om indsatsen ved at involvere målgruppen. Når de kender jeres bevæggrunde, vil de også være mere villige til at støtte jeres valg. Særligt hvis I uddyber, hvorfor netop denne type viden har værdi for projektet, foreningen og ikke mindst målgruppen.
