Evaluatiemethoden en technieken

Bij het ontwerpen van een evaluatie maak je keuzes over hoe de evaluatie wordt uitgevoerd. In het bijzonder over hoe de benodigde data worden verzameld en welke bronnen daarvoor worden gebruikt. Hieronder staat een aantal begrippen en overwegingen die van belang zijn bij het maken van deze keuzes. 

Evaluatieontwerp


Het evaluatieontwerp bevat de overkoepelende opzet of logica van de uitvoering van het onderzoek; de zogenaamde onderzoeksstrategie. Daarin worden de volgende keuzes gemaakt:

  1. Hoe wordt het onderzoek uitgevoerd? Welke methoden en technieken worden ingezet voor de dataverzameling en hoe worden de data geanalyseerd?
  2. Wie of wat worden er onderzocht?
  3. Wanneer vindt het onderzoek plaats? Op één tijdstip of op meerdere momenten en in welke periode?

De invulling van deze keuzes is afhankelijk van de evaluatievragen, de gewenste bewijskracht van de resultaten en de data die beschikbaar zijn.


Methoden & Technieken


Voor het verzamelen en analyseren van de benodigde informatie (data) kunnen meerdere methoden worden gekozen. Interviews, enquêtes en observaties zijn voorbeelden van methoden. Technieken zijn specifieke varianten van een methode. Een interview kan bijvoorbeeld open, semi-gestructureerd of gestructureerd afgenomen worden. In het algemeen geldt dat de waarde van de verzamelde gegevens toeneemt naarmate meer verschillende methoden van dataverzameling zijn ingezet. Klik hier voor een overzicht van de meest gebruikte onderzoeksmethoden- en technieken bij evaluaties.


Kwantitatief en kwalitatief onderzoek


Kwantitatief onderzoek betekent dat methoden worden ingezet waarmee numerieke gegevens (gegevens uitgedrukt in getallen) worden verzameld. Er wordt gebruik gemaakt van voor gestructureerde methoden, zoals een enquête. Hierin zijn de formulering en volgorde van de vragen en de antwoordcategorieën van tevoren vastgesteld. Binnen kwalitatief onderzoek worden niet-numerieke data verzameld, bijvoorbeeld uitspraken van personen, teksten en beelden. Flexibele methoden, zoals interviews en focusgroepen zijn hierbij veelgebruikte methoden.
Het onderscheid tussen kwantitatief en kwalitatief onderzoek is vooral belangrijk voor de analyse van data. Bij kwantitatieve data gaat het vaak om numerieke scores die zijn gekoppeld aan een bepaalde antwoordcategorie (bijvoorbeeld 1 = zeer mee oneens en 5 = zeer mee eens). Deze scores worden geanalyseerd aan de hand van statistische technieken. Bij kwalitatieve data brengt de onderzoeker zelf structuur aan in de data. Hij/zij interpreteert de data en geeft daarbij veelal de data een code (een label), zodat een indeling ontstaat en data met elkaar kunnen worden vergeleken. Dit proces heet coderen. Klik hier voor tips over de analyse van kwantitatieve en kwalitatieve data.


Selectie van respondenten en representativiteit


Vaak is het niet mogelijk alle betrokkenen bij een interventie te onderzoeken. Daarom moet een selectie worden gemaakt van personen en andere bronnen (onderzoekseenheden). Dit noemen we een steekproef. Alleen de geselecteerde onderzoekseenheden worden in de evaluatie betrokken, maar de resultaten worden gebruikt om uitspraken te doen over de gehele interventie. De selectie van de onderzoekseenheden is belangrijk voor de representativiteit van het onderzoek: kunnen op basis van deze selectie uitspraken gedaan worden over de gehele interventie? De selectie van onderzoekseenheden kan op twee manieren plaatsvinden: select en aselect. Een selecte steekproef houdt in dat personen en andere bronnen op basis van een aantal selectiecriteria worden gekozen. Er kan bijvoorbeeld gekozen worden voor zoveel of zo weinig mogelijk variatie tussen de respondenten op basis van hun geslacht, leeftijd, culturele achtergrond, etc. Bij een aselecte steekproef worden onderzoekseenheden op basis van toeval gekozen. In het algemeen geldt: hoe meer onderzoekseenheden, hoe beter. Een vuistregel bij kwantitatief onderzoek is dat een steekproef moet bestaan uit minimaal 20% van de groep die wordt onderzocht (bijv. van de deelnemers aan een interventie). Bij kwalitatief onderzoek streeft men naar ‘dataverzadiging’. Dit treedt op wanneer nieuwe onderzoekseenheden geen nieuwe informatie of inzichten meer opleveren.


Bewijskracht evaluaties


Met bewijskracht wordt bedoeld: hoe overtuigend zijn de resultaten van de evaluatie? De keuze voor een bepaald evaluatieontwerp heeft gevolgen voor de bewijskracht van de resultaten. Deze keuze is afhankelijk van de gewenste bewijskracht en de hiervoor beschikbare middelen (tijd, budget, expertise en omvang doelgroep). Over het algemeen geldt dat de bewijskracht sterker is als:

  • Verschillende methoden zijn ingezet, bij voorkeur zowel kwantitatieve als kwalitatieve methoden;  
  • Verschillende bronnen zijn geraadpleegd, zoals betrokken personen, literatuur, documenten;
  • Voldoende bronnen zijn geraadpleegd (representativiteit);
  • De evaluatie betrouwbaar en valide is uitgevoerd.     

Bewijskracht effectevaluaties


Het vaststellen van de bewijskracht voor effectevaluaties is anders dan voor procesevaluaties. Bij effectevaluaties gaat het immers om het vaststellen van een daadwerkelijke verandering (effect). De bewijskracht van effectevaluaties is sterker als naast de eerder genoemde punten:

  • Een voor- en nameting heeft plaatsgevonden. Als deze heeft plaatsgevonden dan is meer bewijs of de interventie/ het programma (mede) heeft bijgedragen aan de veranderingen bij de doelgroep.
  • Er gebruik is gemaakt van een controlegroep. De bewijskracht is groter als er een evaluatie heeft plaatsgevonden bij twee groepen. Een groep die geen gebruik heeft gemaakt van de interventie/ deel heeft uitgemaakt van het programma versus de doelgroep die wel gebruik heeft gemaakt van de interventie/ deel heeft uitgemaakt van het programma. De vergelijking tussen deze twee groepen levert sterker bewijs op of de interventie/ het programma (mede) een bijdrage heeft geleverd aan veranderingen bij de doelgroep.
  • De evaluatie is uitgevoerd onder verschillende omstandigheden. Wanneer een gelijksoortige interventie/ programma ook is geëvalueerd onder andere omstandigheden (bijvoorbeeld een andere geografische context, in een andere tijdsperiode, bij een andere uitvoerende organisatie) en deze evaluatie gelijksoortige uitkomsten heeft opgeleverd, vergroot dit het bewijs voor bepaalde werkzame elementen in een interventie.

Onderstaand figuur geeft het verschil in lichte en zwaardere bewijskracht voor effectevaluaties weer.

Effect

Betrouwbaarheid & validiteit  


Betrouwbaarheid heeft betrekking op de reproduceerbaarheid van evaluatieonderzoek: kan iemand anders deze evaluatie op dezelfde manier nog een keer uitvoeren en komt er dan nagenoeg hetzelfde uit?  Daarvoor is het nodig dat dataverzameling en -analyse nauwkeurig en consistent gebeuren. Zo wordt voorkomen dat de resultaten op toevalligheden berusten. Het is belangrijk vast te leggen hoe het onderzoek is uitgevoerd, zodat het onderzoek op dezelfde wijze kan worden herhaald.
Validiteit heeft betrekking op de geldigheid van (de uitkomsten van) het onderzoek: zijn de indicatoren zo opgesteld dat ze daadwerkelijk iets zeggen over het resultaat van een interventie? En gelden de gevonden resultaten ook voor de personen die deelnemen aan de interventie, maar niet hebben deelgenomen aan het onderzoek? Meetinstrumenten (bv. vragenlijsten) dienen zo nauwkeurig mogelijk te worden opgesteld, zodat ze daadwerkelijk meten wat men beoogt.