Veelgestelde vragen

Na een aantal jaar van ontwikkeling en uitvoering van interventies op het terrein van preventie van radicalisering is nu de fase aangebroken om meer zicht te krijgen op de effectiviteit en werkzame elementen van deze interventies én de opgedane kennis hierover te delen en te gebruiken voor de (door)ontwikkeling van de (lokale) aanpak en in te zetten interventies. Deze wens bestaat bij het Rijk en bij gemeenten. Ook in het regeerakkoord is gesteld dat voor preventie en deradicalisering moet worden bezien welke aanpak het meest effectief is en hoe "best practices" kunnen worden gedeeld en uitgevoerd.  

De beleidsprioriteit van de NCTV en het ministerie van SZW is om het lerend en adaptief vermogen van gemeenten te verhogen en gemeenten beter toe te rusten om hun lokale preventieve aanpak radicalisering vorm te geven onder andere door het uitvoeren van evaluaties. Om gemeenten en andere uitvoerders en ontwikkelaars van interventies hierbij te ondersteunen is de Evidence Based Werken Toolkit bij de Preventie van Radicalisering ontwikkeld. 

Onder interventie wordt in deze toolkit het volgende verstaan: een verzameling specifieke activiteiten en methoden (bijvoorbeeld een training), gericht op een specifieke doelgroep (bijvoorbeeld voor onderwijspersoneel) met een specifiek doel (bijvoorbeeld vergroten van kennis en handelingskader rondom signaleren van radicalisering). 

Onder programma wordt in deze toolkit het volgende verstaan: een programma wordt gekarakteriseerd door een samenhangend geheel van een visie, strategie en beleid gericht op het voorkomen en tegengaan van radicalisering. Binnen dit geheel zijn concrete interventies opgenomen die bijdragen aan de bredere doelstelling. 

Onder radicalisering verstaan we het proces waarbij een persoon of groep in toenemende mate bereid is de consequenties te aanvaarden van de strijd voor een samenleving die niet strookt met onze democratische rechtsorde. 

Evalueren is het systematisch verzamelen, interpreteren en presenteren van informatie, met als doel een waardering te kunnen geven van een proces of resultaat. 

Deze toolkit is ontwikkeld in 2018 en 2019 door Radar Advies, Verwey-Jonker Instituut en A.G. Advies, in opdracht van de Nationaal Coördinator Terrorismebestrijding en Veiligheid (NCTV) en het Ministerie van Sociale Zaken en Werkgelegenheid (SZW). 

De ontwikkeling van de toolkit is in meerdere fases verlopen:

• In de eerste fase (juli – september 2018) is verkennend onderzoek gedaan naar de uitdagingen en behoeften van gemeenten rondom evaluatie op het terrein van preventie van radicalisering. Er zijn 16 gemeenten en 10 experts op het terrein van preventie radicalisering en evaluatie geraadpleegd en er is (wetenschappelijk) literatuuronderzoek gedaan. 
• Op basis van de verkenning is de inhoudelijke toolkit ontwikkeld en gelijktijdig daaraan ook de online versie vormgegeven (oktober 2018 – maart 2019). 
• De proefversie van de toolkit is in april 2019 getest door betrokken ambtenaren van gemeenten en Rijksoverheid.  
• De toolkit is op 26 augustus 2019 in Delft door de Ministers van Sociale Zaken en Werkgelegenheid en Justitie en Veiligheid gelanceerd. 

Tijdens de verkenning en ontwikkeling van de toolkit is er een begeleidingscommissie betrokken geweest bestaande uit vertegenwoordigers van de gemeenten Amsterdam en Zeist, TNO, Universiteit Leiden, het ministerie van Justitie en Veiligheid en het ministerie van Sociale Zaken en Werkgelegenheid. 

De toolkit geeft in de te downloaden formats een voorzet voor afspraken die omtrent communicatie moeten worden gemaakt, bijvoorbeeld met betrokken stakeholders of bij het inzetten van een externe partij. De toolkit bevat (nog) geen uitgebreide informatie over een communicatieplan. 

Met de toolkit wordt beoogd de preventie van radicalisering (nog) effectiever en professioneler aan te pakken, door gebruikers te faciliteren om interventies te evalueren, door te ontwikkelen en te leren van elkaar ervaringen en inzichten. Om anderen te kunnen overtuigen van het gebruik ervan is het belangrijk eerst te vragen wat iemand tegenhoudt: een gebrek aan geld, tijd, kennis of expertise, het idee dat de preventieve aanpak 'al goed genoeg is', of nog iets anders? Wanneer je weet waar iemands 'pijnpunt' zit kan gericht naar bepaalde onderdelen van de toolkit worden verwezen. Ook de video over de toolkit kan helpen. Daarnaast is een goede manier om iemand te overtuigen laten zien wat evalueren kan opleveren, verwijs naar eerder evaluaties (ook bij andere gemeenten) en wat deze hebben opgeleverd. Vind je het lastig om dit te doen? Vraag informatie bij een gemeente die ervaring heeft met het doen van evaluaties of neem contact op met de lokale adviseurs van de NCTV en ESS. 

De eerste stap is om te bepalen waarom je een evaluatie wilt doen en in welke informatie je bent geïnteresseerd. Maak hiervoor gebruik van de uitleg over planevaluatie, procesvaluatie en effectevaluatie. Wanneer duidelijk is welk type evaluatie je wilt doen, bepaal je in hoeverre je aan de randvoorwaarden van die evaluatie kunt voldoen. Als je niet aan alle randvoorwaarden kunt voldoen, bedenk dan een alternatieve oplossing voor de betreffende randvoorwaarde. Zo kan een ontbrekend plan van aanpak alsnog worden opgesteld, of kan, wanneer er onvoldoende data zijn, alsnog worden gestart met dataverzameling (kijk hiervoor bij de vragen onder het kopje ‘Dataverzameling’). Voor elk type evaluatie bevat deze toolkit een stappenplan dat je vervolgens kunt volgen. 

Ja dat kan. Zolang dan wel een duidelijke doelstelling wordt geformuleerd voor de evaluatie. Op welk deel van de interventie is de evaluatie gericht en wat wil je weten? 

Ja dat kan. Ga naar het format van het plan aanpak van de desbetreffende interventie of het algemene format (+ voorbeeld). Vul dit alsnog in. Maak daarbij gebruik van oude projectvoorstellen, mails over de opzet en/of beleidsdocumenten als die er zijn. 

Ja dat kan. De plan- en procesevaluatie zijn op andere informatie gericht dan een effectevaluatie. Planevaluatie is gericht op het nagaan of je een solide plan van aanpak hebt. De procesevaluatie gaat over de uitvoering van de interventie. De effectevaluatie is gericht op het resultaat van de interventie en daar kan het proces van uitvoering in worden meegenomen maar dit hoeft niet per se. In deze toolkit staan middelen om je te begeleiden in het doen of uitvragen van een effectevaluatie en ook hoe ‘zwaar’ deze kan zijn afhankelijk van de beschikbare data en informatie. 

Nee. De toolkit bevat geen lijst van externe partijen die direct kunnen worden gecontacteerd. Op de pagina 'Wie voert de evaluatie uit?' kun je wel informatie vinden over wat voor soort interne of externe partijen een evaluatie kunnen uitvoeren. 

Op de pagina 'Wie voert de evaluatie uit?' staat omschreven welke personen en partijen een evaluatie kunnen uitvoeren. Enige kennis van en ervaring met onderzoek is van belang. Ook ervaring met het dossier preventie van radicalisering is een pré. Pas ervoor op dat degene die zelf het beleid heeft gemaakt en/of uitvoert niet ook (als enige) de evaluaties uitvoert. Dit om onafhankelijkheid te waarborgen. 

Wanneer de middelen voor een evaluatie beperkt zijn, is het des te belangrijker om een goed evaluatie ontwerp te maken. Dit ontwerp helpt om het doel van de evaluaties en type evaluatie scherp te krijgen en te bepalen wat de belangrijkste elementen zijn om op te focussen. Dit verkleint het risico dat de evaluatie te groot (en kostbaar) wordt ingericht.  

Een effectevaluatie is bijvoorbeeld vaak uitgebreider en complexer dan een procesevaluatie. Indien de middelen beperkt zijn, kan de keuze voor een procesevaluatie helpen om waardevolle informatie op te halen en verwachtingen te managen. De evaluatie laten uitvoeren door iemand binnen de gemeente kan ook kosten besparen ten opzichte van een externe partij. Deze aanpak past beter bij een procesevaluatie met als doel de uitvoering van de interventie te verbeteren. Bij een effectevaluatie is het van belang dat expertise en onafhankelijkheid gewaarborgd zijn, om een zo objectief mogelijk beeld te geven van de opbrengt en impact van de evaluatie. 

Er is geen standaard kostenplaatje voor een evaluatie. Dit hangt af van de grootte en complexiteit van de interventie / het programma, het type evaluatie en of er gebruik wordt gemaakt van een externe partij. Als vuistregel in deze toolkit wordt voor het budget van een evaluatie 10% van de totaalkosten van de interventie gehanteerd. 

Er is geen standaard indicatie hoeveel tijd het kost om een evaluatie te doen. Idealiter begint de evaluatie al voordat met de interventie begonnen wordt. Zie hiervoor ook de ideale tijdlijn van evaluaties. Door een goed evaluatie ontwerp, waarin duidelijk de benodigde data worden gespecificeerd, kan de dataverzameling al in de uitvoering (of daaraan voorafgaand) van de interventie worden meegenomen zonder dat dit veel extra tijd of moeite kost. Al tijdens de meetmomenten kan de verzamelde data geanalyseerd worden. Door in het evaluatie ontwerp helder het doel van de evaluatie te benoemen, zal het minder tijd kosten om uit de analyse van de data de benodigde conclusies te trekken. 

Dit stappenplan is gericht op het inhuren van een externe partij om een procesevaluatie uit te voeren.  

1. Breng de belangrijkste stakeholders op de hoogte van de procesevaluatie, vraag naar welke informatie zij interesse hebben en vraag om hun medewerking. 
2. Bepaal het doel van je procesevaluatie. Wil je een algemeen beeld krijgen van de voortgang van de interventie of heb je een specifiekere vraag? Bijvoorbeeld waarom het niet goed lukt sleutelfiguren te werven? 
3. Stel een uitvraag op voor de procesevaluatie. Kijk voor inspiratie naar het format externe uitvraag procesevaluatie algemeen en het voorbeeld. Je kunt ook één van de formats specifiek voor sleutelfiguren (+ voorbeeld), weerbaar opvoeden (+ voorbeeld), theater (+ voorbeeld) of het multidisciplinair casusoverleg (+ voorbeeld) gebruiken.   
4. Bepaal aan welke kwalificaties de externe partij moet voldoen en op welke manier de uitvraag kan worden uitgezet (enkelvoudige onderhandse aanbesteding, meervoudige onderhandse aanbesteding, open aanbesteding, via een fonds et cetera). 
5. Zodra voorstellen van externe partij(en) binnen zijn, dienen ze te worden beoordeeld. Gebruik het format voor de uitvraag hierbij als checklist. Hebben de partijen naar behoren op alle vragen antwoord gegeven? Wat is de kwaliteit die ze laten zien op de verschillende onderdelen?   
6. Organiseer een gezamenlijke kick-off zodra de keuze voor een externe partij is gemaakt. Hierin kunnen onder andere afspraken over de samenwerking worden gemaakt. Spreek af op welke manier je als opdrachtgever de voortgang wilt monitoren. Wie is het vaste aanspreekpunt? Op welke momenten zit je weer samen om tafel? 
7. Plan een tussentijdse bespreking van de eerste bevindingen. Dit geeft alvast een eerste beeld en creëert de gelegenheid om eventueel missende data of informatie alsnog beschikbaar te stellen of het verkrijgen daarvan te plannen. 
8. Presenteer de resultaten van de evaluatie aan de relevante stakeholders. Bepaal samen de benodigde vervolgstappen en communiceer deze wederom naar de benodigde partijen. Maak SMART (Specifiek, Meetbaar, Acceptabel, Realistisch, Tijdsgebonden) afspraken over wanneer welke vervolgstappen worden gezet en wie verantwoordelijk is voor welke actie. 

Ja. Nieuwe en/of experimentele interventies kunnen ook worden vormgegeven en worden geëvalueerd met behulp van de informatie in de toolkit. Gebruik hiervoor de informatie en documentatie gerelateerd aan 'Andere interventies' uit de matrix op de startpagina.

Een plan van aanpak begint allereerst met een onderbouwde probleemanalyse: Wat is het probleem dat je aan wilt pakken? Vervolgens ga je in op de aanpak van dit probleem door een doelstelling te bepalen, een onderbouwde keuze voor een interventie te maken en verder in te gaan op onder andere uitvoering, opbrengst en planning. In deze toolkit zijn van elke (uitgewerkte) interventie lege voorbeeld formats voor een plan van aanpak te vinden. 

Deze toolkit vormt zelf een eerste bron van informatie over de preventie van radicalisering, mede door de doorlinks naar andere informatiebronnen. Zie hiervoor ook de website van de NCTV. 

Ja dat kan. Het feit dat er geen nulmeting is gedaan betekent niet dat effectevaluatie onmogelijk is. Het beïnvloedt wel de bewijskracht van de evaluatie omdat het zonder nulmeting moeilijk is om aan te tonen dat de interventie het geëvalueerde resultaat heeft veroorzaakt (causaliteit). Een tussenweg is om de ‘ervaren effectiviteit’ te meten. Hierbij wordt expliciet aan de doelgroep die deelneemt in de evaluatie gevraagd of zij zelf een verandering in kennis, houding of gedrag merken en dit toeschrijven aan de interventie.

Ja dat kan. Er kunnen ook in een later stadium alsnog data worden verzameld. Er moet in het evaluatie-ontwerp worden omschreven welke data nodig zijn, welke beschikbaar zijn en welke dan nog verzameld moeten worden. Hierbij moet worden aangegeven wanneer bepaalde data wel wenselijk zijn maar niet meer teruggehaald kunnen worden.  

Als het bijvoorbeeld belangrijk is hoeveel mensen een bepaalde bijeenkomst hebben bijgewoond en dit niet is bijgehouden, wordt het lastig om deze data alsnog te verzamelen. Dan moet een afweging worden gemaakt of deze informatie op een andere manier kan worden verkregen of dat er andere bronnen van data moeten worden gebruikt om een resultaat inzichtelijk te maken (in dit geval bijvoorbeeld een enquête in de wijk over wie weleens zo’n bijeenkomst heeft meegemaakt of zou willen meemaken).