Relevant uddannelse og stringent evaluering

Af Kåre Moberg, Seniorforsker ved Fonden for Entreprenørskab


Er det muligt at vurdere effekten af entreprenørskabsundervisning? Nogle vil sige, at det er ret simpelt, mens andre opfatter det som nærmest umuligt. De fleste forskere lægger sig et sted imellem disse to standpunkter.

Uden at hænge nogen ud må jeg indrømme, at jeg er ret skeptisk overfor den måde, hvorpå mange evalueringsstudier udføres i dag. Samtidig synes jeg afgjort, at det er vigtigt, at vi øger vores fokus på denne aktivitet. Sagen er den, at vi står overfor utallige problemer, når vi forsøger at udføre evalueringsstudier, og at det er nærmest umuligt at tage dem alle i betragtning, fordi det, som vi som evaluatorer af undervisning forsøger at undersøge, har at gøre med menneskelige handlinger, som griber ind i komplekse sociale kontekster, og som er påvirket af en myriade af interne og eksterne faktorer. Det er vanskeligt at argumentere for, at vi kan bruge simple årsag-virkning sammenhænge her.

Artiklens forfatter Kåre Moberg
Artiklens forfatter Kåre Moberg

Så hvad kan vi i realiteten undersøge, vurdere og evaluere? Dette er en vedvarende diskussion indenfor forskningsmiljøet og refereres ofte til som ”relevans versus stringens”-diskussionen. På den ene side står de forskere, som argumenterer for, at den højeste standard indenfor videnskabeligt stringente evalueringsstudier er randomiserede kontrollerede forsøg (randomized controlled trials (RCT)). Og på den anden side står de forskere, som hævder, at den strenge nøjagtighed af RTC-metoden gør den ubrugelig til at undersøge noget som helst af relevans. I randomiserede kontrollerede forsøg udvælger man vilkårligt de deltagere, der skal modtage den specifikke undervisning, og matcher dem med en kontrolgruppe (en udførlig beskrivelse af metoden kan findes her og her). Kritikere af RCT-metoden siger, at det er nærmest umuligt at kontrollere for alle de faktorer, der påvirker undervisningsresultaterne. De argumenterer derfor ofte for, at man burde anvende en anderledes stikprøvemetode. Deres argument er, at man i stedet for at få en lille mængde information fra et stort antal respondenter burde fokusere sin undersøgelse på et mindre antal respondenter, fordi man ved at afsætte mere tid med hver enkelt respondent vil kunne opnå mere relevant viden. De deltagere, som ville blive udvalgt til en sådan undersøgelse, vil typisk være de deltagere, på hvem undervisningen har haft den største indvirkning – en såkaldt ekstrem stikprøvemetode (interessante perspektiver på dette kan findes her og her).

Vigtigheden af randomisering

Skønt jeg er enig i, at sidstnævnte tilgang kan frembringe relevant og værdifuld viden om den indvirkning, som specifikke undervisningstiltag har på deltagerne, kan jeg ikke se, hvordan denne type undersøgelser skulle kunne påvise effektiviteten af flere forskellige former for undervisning. Så længe den undervisning, som man ønsker at undersøge, ikke fordeles vilkårligt på deltagere, vil der ofte være et problem med selvselektionsbias, som så udvikler sig til et problem med overlevelsesbias, via den ekstreme stikprøvemetode, som anvendes. Det bliver derfor umuligt at sammenligne effektiviteten af forskellige former for undervisning.

Selv hvis et kursus eller undervisningsprogram er obligatorisk og ikke valgfrit, er det meget vanskeligt at vurdere dets effekt og indvirkning på deltagerne. Dette har at gøre med det faktum, at det nærmest er umuligt at kontrollere for alle de faktorer, som har indflydelse på undervisningsresultater (ja, jeg er nødt til at nævne det igen), og at det gælder, uanset om data er blevet indsamlet via korte spørgeskemaer eller via lange og omfattende kvalitative interviews. Den eneste måde at omgås problemet på er at anvende randomisering, altså vilkårlig udvælgelse. Hvis udsnittet er stort nok, og chancen for at modtage den specifikke undervisning er lige sandsynlig, så vil alle andre faktorer, som påvirker undervisningsresultatet, også være vilkårligt fordelt. Dermed vil det være lige sandsynligt, at faktorer, som påvirker undervisningsresultatet, forekommer i begge grupper (eksperimentgruppen og den matchede kontrolgruppe). Begivenheder, der påvirker f.eks. entreprenørielle intentioner, holdninger og tillid til egen formåen såsom venner eller familie, der starter egen virksomhed eller oplever at gå konkurs, vil med lige stor sandsynlighed forekomme for deltagere, som modtager denne undervisning (eksperimentgruppen), og deltagere, der ikke modtager undervisningen (kontrolgruppen).

Hvordan kan udfordringerne tackles?

Der findes i dag masser af evalueringsværktøjer, som både evaluatorer og undervisere kan bruge (en oversigt over eksempler kan findes her). Ved at kombinere disse værktøjer er det muligt at besvare en bred palet af forskellige forskningsspørgsmål. Det er altså ikke længere et spørgsmål om, hvordan vi måler resultaterne, men snarere hvordan vi skaber overblik over og mening med samlingen af data.

Naturligvis bør den anvendte metode afspejle de spørgsmål, som undersøgelsen søger at besvare, og normalt vil en blandet metodetilgang frembringe den mest interessante viden. Men når det kommer til at evaluere effektiviteten og brugbarheden af forskellige undervisningtiltag, er det i mine øjne nødvendigt at følge de grundlæggende principper i RCT-metoden, uanset hvor vanskeligt dette måtte være. Som evaluatorer er vi nødt til at være kreative, når vi udformer vores evalueringer af undervisningsprogrammer. En måde at bruge randomisering, samtidig med at man sikrer, at alle deltagere belønnes ligeligt, er at anvende en “in-phase” randomiseringsmetode. Det vil sige, at man udvælger vilkårligt, hvem der først modtager undervisningen, og hvem der efterfølgende modtager den. Hvis randomiseringen udføres på det institutionsniveau, vil det også være muligt at følge deltagerne over længere tid, da det vil være et nyt sæt deltagere, der fungerer som hhv. eksperiment- og kontrolgrupper.

Er det umagen værd?

Men er det virkelig så nødvendigt, at vi udfører stringente og relevante evalueringsstudier af undervisning? Ja, ifølge de næsten 10 mio. deltagende respondenter i en FN-undersøgelse påbegyndt i 2015, er uddannelse det vigtigste ud af 16 mulige områder, som spænder fra adgang til rent vand, jobs og sundhedsvæsen til demokrati og klimaspørgsmål. Som jeg ser det, er vi således forpligtede til at udføre videnskabeligt stringente evalueringer, som frembringer relevant viden. Det bliver ikke nemt, men for at fremme vores forståelse for, hvordan undervisning bedst udformes og gives, er det vigtigt, at vi løfter opgaven.