Evaluaties

Voldoet het opgestelde plan van aanpak voor de interventie aan de randvoorwaarden? Om die vraag te beantwoorden, wordt een check uitgevoerd: de planevaluatie. Start de planevaluatie wanneer een uitgewerkt concept van het plan van aanpak gereed is. Dat kan ook wanneer een interventie-aanbieder dit plan neerlegt bij de opdrachtgever. De planevaluatie biedt handvatten om het plan van aanpak voor de interventie aan te scherpen en beter te kunnen verantwoorden. 

Doel van de planevaluatie 

Het doel van een planevaluatie is om meer inzicht te krijgen in: 

• de mate waarin het plan een oplossing biedt voor het aangedragen probleem en dit aannemelijk kan worden gemaakt; 
• de mate waarin het plan is onderbouwd; 
• de mate waarin bestaande kennis en context in het plan zijn meegenomen; 
• de mate waarin is nagedacht over de opzet en uitvoering van een proces- en/of effectevaluatie van de interventie. 

Randvoorwaarden 

1. Plan van aanpak. Er ligt een plan van aanpak voor de uitvoering van de interventie; 
2. Aanleiding. Het is duidelijk voor de betrokkenen waarom de check op het plan van aanpak (planevaluatie) nut en noodzaak heeft. 
3. Draagvlak. Betrek relevante stakeholders, zoals politieke, ambtelijke en financiële opdrachtgevers, medeopstellers van het plan en de uitvoerders van de interventie. Of uitvoerders van de interventie betrokken kunnen worden, is afhankelijk van:
   • of het al duidelijk is wie de uitvoerder gaat worden;
   • of in deze fase al een grotere groep professionals van de plannen op de hoogte mag zijn; 
   • of de uitvoerders bij de planvorming betrokken zijn geweest of zelf de aandragers van het plan zijn. 
4. Tijd en middelen. Reserveer voldoende tijd en middelen in het planningsproces om een toetsing van je plan uit te voeren.   
5. Objectiviteit. Voorkom tunnelvisie of groepsdenken. Voer de planevaluatie met minimaal twee personen uit. En vraag een collega die niet op hetzelfde dossier werkt om het plan van aanpak mede te beoordelen. 

Een procesevaluatie is gericht op de uitvoering van een interventie. Wat gaat goed en wat kan beter? De procesevaluatie zorgt voor een scherpe tussentijdse check op de uitvoering en het verloop van de interventie. Een procesevaluatie wordt uitgevoerd om na te gaan of de uitvoering van de interventie of een onderdeel daarvan verloopt zoals gepland. Ook geeft het inzicht in tussentijdse geleerde lessen en kan op basis daarvan bijgestuurd worden. Start de procesevaluatie als de interventie al enige tijd wordt uitgevoerd.  

Doel van de procesevaluatie

Het doel van een procesevaluatie is: 

• het beoordelen of de inzet en uitvoering van de interventie gaat zoals gepland (monitoren) én helpt om de inzet en uitvoering van de interventie te optimaliseren (aanpassen);
• het in kaart brengen van de geleerde lessen: wat werkt goed en wat minder goed? Zo krijg je informatie om de implementatie van de interventie bij te kunnen sturen, de interventie door te ontwikkelen of, indien nodig, stop te zetten. 

De procesevaluatie heeft meerwaarde wanneer de interventie al enige tijd wordt uitgevoerd. 

Randvoorwaarden 

1. Plan van aanpak. Een uitgewerkt plan van aanpak waarin minimaal de probleemstelling, doel, activiteiten, werkwijze, verwachte opbrengsten en resultaten zijn beschreven. 
2. Evaluatie als startpunt, niet als eindpunt. Idealiter wordt de implementatie van de sleutelfigurenaanpak al tijdens het ontwerpen, werven en uitvoeren van de interventie gemonitord. Dit levert meer relevante data voor de procesevaluatie, dan wanneer op één moment alle data worden verzameld. Denk voor de start van een evaluatie al na over welke data beschikbaar moet zijn voor het uitvoeren van de evaluatie.   
3. Draagvlak voor evaluatie bij alle stakeholders. Denk aan bestuurlijk draagvlak om de resultaten van de evaluatie daadwerkelijk te kunnen borgen. En aan draagvlak onder de uitvoerders van de sleutelfigurenaanpak. Hun volledige medewerking is nodig voor een succesvolle uitvoering van de evaluatie.   
4. Voldoende tijd en middelen. Maak vroegtijdig inzichtelijk welke inspanningen van wie worden gevraagd en maak daar heldere afspraken over. De benodigde tijd en middelen verschillen per evaluatie. Een algemene richtlijn is dat evaluatie 10% uitmaakt van het totale budget voor een interventie. 
5. Objectiviteit. Voorkom tunnelvisie of groepsdenken. Voer de procesevaluatie met minimaal twee personen uit. En vraag bij voorkeur een buitenstaander (bijv. een collega met een ander dossier) om mee te kijken met de uitvoering en opbrengsten van de evaluatie. 

Een effectevaluatie meet de opbrengsten van een interventie. Bij een effectevaluatie staan twee vragen centraal: wat is de opbrengst? En in hoeverre kan deze opbrengst worden toegeschreven aan de interventie/het programma (causaliteit)? De effectevaluatie heeft de grootste meerwaarde wanneer al vroegtijdig (vóór het implementeren van de interventie) een evaluatieontwerp wordt gemaakt waarin wordt bepaald wat en wanneer er gemeten wordt.  

Doel van de effectevaluatie 

Het doel van een effectevaluatie is om inzicht te krijgen in: 

• wat de interventie heeft opgeleverd; 
• de mate waarin de opbrengst van de interventie overeenkomt met de doelstellingen op interventie-niveau; 
• de mate waarin de opbrengst bijdraagt aan effecten op maatschappelijk niveau die niet voorzien waren in de doelstellingen (ook negatieve/ongewenste effecten); 
• verbeterpunten bij de inzet van de interventie om de gewenste opbrengsten te realiseren. 

Gewicht van een effectevaluatie 

Het gewicht van de resultaten van een effectevaluatie hangt af van verschillende factoren. Belangrijk hierin is de keuze voor een evaluatieontwerp en de daarbij behorende onderzoeksmethoden. De volgende factoren zijn van invloed op de zwaarte van een effectevaluatie: 

• De hoeveelheid en kwaliteit van de verzamelde data: wanneer er meer kwantitatieve en kwalitatieve data zijn verzameld voor de evaluatie van een interventie, vergroot dit de bewijskracht van de uitkomsten. 

• De aanwezigheid van een voor- en nameting: als deze heeft plaatsgevonden dan is er meer bewijs of de interventie/het programma (mede) heeft bijgedragen aan de veranderingen bij de doelgroep. 

• De aanwezigheid van een controlegroep: de bewijskracht is groter als er een evaluatie plaatsvond bij een (vergelijkbare) groep die geen gebruik maakte van de interventie versus een evaluatie van de doelgroep die wel gebruik maakte van de interventie. De vergelijking tussen deze twee groepen levert sterker bewijs op of de interventie/het programma (mede) een bijdrage heeft geleverd aan veranderingen bij de doelgroep. 

• Het aantal keer dat de evaluatie is uitgevoerd onder verschillende omstandigheden: wanneer een gelijksoortige interventie/ programma ook is geëvalueerd onder andere omstandigheden (bijvoorbeeld een andere geografische context, in een andere tijdsperiode, bij een andere uitvoerende organisatie) en hier gelijksoortige uitkomsten zijn, dan vergroot dit het bewijs voor bepaalde werkzame elementen in een interventie. 

Randvoorwaarden 

1. Plan van aanpak. Een uitgewerkt plan van aanpak waarin minimaal de probleemstelling, doel, activiteiten, werkwijze, verwachte opbrengsten en resultaten zijn beschreven. 
2. Evaluatie als startpunt, niet als eindpunt. Idealiter wordt de sleutelfigurenaanpak al tijdens het ontwerpen, werven en uitvoeren van de interventie gemonitord. Denk voor de start van een evaluatie al na over welke data beschikbaar zouden moeten zijn om als bewijs te dienen dat de interventie effectief is. 
3. Benodigde data zijn beschikbaar. Er moet in ieder geval een basis hoeveelheid aan data beschikbaar zijn van de situatie voorafgaand aan de implementatie van de sleutelfigurenaanpak en het verloop daarvan. Deze data is belangrijk om een succesvolle effectevaluatie uit te voeren met bruikbare resultaten. 
4. Draagvlak voor evaluatie bij alle stakeholders. Denk aan bestuurlijk draagvlak om de resultaten van de evaluatie daadwerkelijk te borgen. En aan draagvlak onder de uitvoerders van de sleutelfigurenaanpak. Hun volledige medewerking is nodig voor een succesvolle uitvoering van de evaluatie.   
5. Voldoende tijd en middelen. Maak vroegtijdig inzichtelijk welke inspanningen van wie worden gevraagd en maak daar heldere afspraken over. De benodigde tijd en middelen verschillen per evaluatie. Een algemene richtlijn is dat evaluatie 10% uitmaakt van het totale budget voor een interventie. 
6. Kwaliteit en objectiviteit. Vraag een externe onderzoeker of onderzoeksbureau om de effectevaluatie uit te voeren.