Most Significant Change - evaluering gennem historier

‘Most significant change’ er en evalueringsmetode udviklet til at overvåge og evaluere programmer inden for udviklingsverden, hvor formålet er at skabe sociale ændringer.

Most Significant Change er både en tilgang og en metode. MSC defineres generelt som en participatorisk, systematisk indsamling og fortolkning af historier om betydningsfulde forandringer.

Som monitoreringstilgang eller form er MSC kendetegnet ved, at der ikke bruges kvantitative indikatorer, men alene er en kvalitativ tilgang til monitorering. Igennem processer med mere subjektive vurderinger kan MSC bidrage til læring i projektforløbet såvel som til evaluering, hvor den ofte kombineres med andre mere objektive, målbare metoder.

Som metode er MSC baseret på dialog og historiefortælling. Formålet er at facilitere forbedringer af et projekt eller en kapacitetsudviklingsproces ved at dreje arbejdet i en eksplicit værdibaseret retning (subjektiv, kvalitativ) i stedet for en log-frame-baseret retning, hvor vægten lægges på det objektive og kvantitative. Fortællingen er altså central og søger at indkredse svar på centrale spørgsmål om forandring: hvem gjorde hvad, hvornår og hvorfor – inkl. hvorfor det hændte opleves som betydningsfuldt?

Hvad er Most Significant Change-metoden?

Most Significant Change-metoden er en kvalitativ tilgang til at evaluere effekten af udviklingsprojekter. Metoden er er udviklet af Rick Davies og Jess Dart.

På feltniveauet samles en række forskellige betydningsfulde historier efter forudbestemt skabelon. Udvalgte interessenter i projektet udvælger systematisk blandt disse historier, hvilken historie der er mest betydningsfuld gennem dybtgående diskussioner og argumenter. De udvalgte historier bringes videre til næste niveau, hvor samme proces gentages, indtil projektet har den mest betydningsfulde historie.

Projektets impact findes således på baggrund af historierne - og ikke på baggrund af foruddefinerede indikatorer. Metoden kan illustreres med følgende grafik:

Illustration af Most Significant Change-metoden

Metoden er frit tilgængelig for alle, og man behøver ikke sætte sig ind i teorien bag metoden for at kunne bruge den i praksis (Davies et al 2005). Jeg vil derfor nøjes med at beskrive fremgangsmåden bag metoden.

I denne Youtube-video kan du se Jess Dart forklare metoden.

MSC - trin for trin

En fuld implementering af MSC kan gennemløbe disse faser. De tre faser markeret med (*) er helt centrale i processen og kan aldrig udelades, mens de resterende faser kommer mere an på projektet. Du kan kigge på de enkelte faser og vurdere dem i forhold til dit reelle projekt.

1. Skabe interesse

For at få nogle ordentlige svar skal både elever og lærere være med på, at metoden er god.

2. Definere domæner

Domænerne skal være bredt defineret, som fx ændringer i dit liv, noget du ikke havde tænkt på før. Domænerne skal netop ikke være stringente indikatorer, fordi selve historieopbygningen gerne skulle bringe uventede perspektiver.

3. Definere perioden

I en højskolesammenhæng vil det ofte følge et højskolehold. På Vejle Idrætshøjskole har vi imidlertid fire start-datoer på et år, og man kan slutte sit ophold tre gange. I dette projekt har vi valgt at bruge MSC som en evalueringsmetode med elever, der har været elever på efterårsholdet 2014. Nogle af eleverne stopper til jul og andre fortsætter ind i det nye år.

4. Samle Significant Change (SC) historier (*)

Der skal være en god struktur på, hvordan historierne samles, så det ikke bliver en for styr byrde, men i stedet bliver set som noget væsentligt for skolernes udvikling. Vi vil både forsøge, at lærere på vores teams samler historier, men også at eleverne samler historier om hinanden.

5. Vælge de mest signifikante historier (*)

Historierne bliver analyseret og filtreret op gennem organisationen. Hvert led i organisationen vælger ud fra de historier leddet under har sendt videre. Udvælgelsesprocessen må helst ikke være styret på forhånd. Diskussionen om historierne skal helst bære hvordan de bliver udvalgt. Det er væsentligt at diskussionerne og argumenterne føres hen i næste udvælgelsesproces også.

6. Feedback på udvælgelsesprocessen (*)

De mest signifikante historier sendes videre op i systemet med argumenterne vedhæftet. Udvægelsen af historierne skal være transparent. Diskussionerne og argumenterne skal være det drivende i processen.

7. Dokumentering

Der laves et dokument med historierne og begrundelserne for valget af historierne. Dette dokument får de andre led i processen lov til at læse og kommentere på.

8. Verificering af historierne

I udviklingssammenhænge kan det være nødvendigt at verificere historierne.

9. Kvantificering af historierne

Kan man med spørgsmålene eller antallet af historier, der omhandler det samme lave en eller anden form for kvantificering?

10. Sekundær analyse og meta-overvågning

11. Revidering af systemet

Det er hele tiden nødvendigt at tilpasse processen, indtil man finder noget alle kan være med til.

Hvorfor bruge metoden Most Significant Change?

Rick Davies og Jess Dart beskriver følgende grunde til, at Most Significant Change-metoden kan være et godt valg til at arbejde med projektmonitoriering og evaluering.

1. It is a good means of identifying unexpected changes.
2. It is a good way to clearly identify the values that prevail in an organisation and to have a practical discussion about which of those values are the most important. This happens when people think through and discuss which of the SCs is the most significant. This can happen at all levels of the organisation.
3. It is a participatory form of monitoring that requires no special professional skills. Compared to other monitoring approaches, it is easy to communicate across cultures. There is no need to explain what an indicator is. Everyone can tell stories about events they think were important.
4. It encourages analysis as well as data collection because people have to explain why they believe one change is more important than another.
5. It can build staff capacity in analysing data and conceptualising impact.
6. It can deliver a rich picture of what is happening, rather than an overly simplified picture where organisational, social and economic developments are reduced to a single number.
7. It can be used to monitor and evaluate bottom-up initiatives that do not have predefined outcomes against which to evaluate.

Hvordan kan man bruge Most Significant Change-metoden?

MSC består i sin fulde version af 10 trin, som er skitseret ovenfor. Du kan også vælge at anvende MSC som metode til monitorering på udvalgte stadier i eksempelvis en kapacitetsudviklingsproces – altså uden at gøre MSC til overordnede tilgang til monitorering i kapacitetsudviklingsinitiativet.

En light-version af MSC vil typisk bestå af følgende trin:

1. Definition af ”forandrings-domænet”, altså indkredsning af det område man ønsker at undersøge forandring;
2. Formulering af spørgsmål, som skal afdække forandringens karakteristika;
3. Beskrivelse af hvad der skete, og hvorfor forandringen er betydningsfuld.

Vi har valgt at bruge evalueringsmetoden på Vejle Idrætshøjskole, hvor det er en god måde at få eleverne til at dele de ting, som de har lagt særligt mærke til. Hvis du er interesseret i at læse mere om Most Significant Change, så kan du se hvordan vi har brugt metoden på højskolen i denne rapport.

Konklusion

Som metode er MSC baseret på dialog og historiefortælling. Formålet er at facilitere forbedringer af et projekt eller en kapacitetsudviklingsproces ved at dreje arbejdet i en eksplicit værdibaseret retning (subjektiv, kvalitativ). Forandringsfortællingen er central og søger at indkredse svar på centrale spørgsmål om forandring: hvem gjorde hvad, hvornår og hvorfor – inkl. hvorfor det hændte/forandringen opleves som betydningsfuldt.

MSC består i sin fulde version af 10 trin, men man kan også vælge at anvende MSC som metode til monitorering på udvalgte stadier i eksempelvis en kapacitetsudviklingsproces. En light-version af MSC vil typisk bestå af følgende trin:

1. Definition af ”forandrings-domænet”, altså indkredsning af det område man ønsker at undersøge forandring;
2. Formulering af spørgsmål, som skal afdække forandringens karakteristika;
3. Beskrivelse af hvad der skete, og hvorfor forandringen er betydningsfuld.