Ministerie van Buitenlandse Zaken
Kamerbrief inzake de evaluatie over Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) over het Xplore-programma
24-11-2008
Bij deze bied ik u de evaluatie aan van het stage- en uitwisselingsproject
Xplore die de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) in
mijn opdracht heeft uitgevoerd. Het betreft een evaluatie naar de doelmatigheid,
doeltreffendheid en relevantie van het programma.
Het Xplore-programma loopt van mei 2005 tot december 2008 en heeft in totaal
een bedrag van ¤ 20 miljoen beschikbaar. Het programma wordt uitgevvoerd door de
afdeling Internationaal van het Nederlands Jeugdinstituut (NJi). Doelstelling
van het programma is de versterking van het draagvlak voor
ontwikkelingssamenwerking in de Nederlandse samenleving, in het bijzonder onder
Nederlandse jongeren. Daartoe subsidieert het programma stage- en
uitwisselingsprojecten in en met ontwikkelingslanden voor jongeren van 12 tot en
met 30 jaar. Een essentiële voorwaarde voor de financiële ondersteuning is dat
deze jongeren de ervaringen die zij tijdens hun verblijf in het
ontwikkelingsland opdoen, inzetten voor de organisatie en uitvoering van
zogenoemde uitstralingsactiviteiten. Het doel van de activiteiten is om
versterking van het maatschappelijk draagvlak tot stand te brengen.
Aanleiding en opzet van de evaluatie
De aanleiding voor dit onderzoek was de (naar later bleek onterechte)
negatieve berichtgeving in een aantal dagbladen in maart 2007 over twee door het
Xplore-programma gesubsidieerde groepsstages van jongeren in Marokko. In reactie
op deze publiciteit en de naar aanleiding ervan gestelde Kamervragen, gaf ik
opdracht aan IOB om zo spoedig mogelijk te onderzoeken of de subsidieregeling
volgens de regels werd uitgevoerd (procesevaluatie). Daarna zou een verdergaande
evaluatie uitgevoerd worden die de ontwikkelingsrelevantie van het programma
beoordeelt (productevaluatie).
In april 2007 is de procesevaluatie uitgevoerd van de hantering van de
subsidievoorwaarden en criteria door de instanties die voor de uittvoering van
het programma verantwoordelijk zijn: de Directie Sociale en Institutionele
Ontwikkeling (DSI) van het ministerie van Buitenlandse Zaken als
budgethouder/opdrachtgever en het Nederlands Jeugdinstituut als
programma-uitvoerder. Op de eerste vraag (of de subsidieregeling volgens de
regels werd uitgevoerd) werd in dit kortlopende onderzoek van de IOB binnen
enkele weken antwoord gegeven: bij de uitvoering van het Xplore-programma bleek
strak de hand te worden gehouden aan de voorwaarden en criteria voor de
toekenning, uitbetaling en verantwoording van de financiële steun. Er viel
Xplore op dit punt niets te verwijten.
De beantwoording van de tweede vraag (over de relevantie van het programma
voor het draagvlak in Nederland) had meer tijd nodig. Pas in de tweede helft van
2007 was het aantal afgesloten projecten groot genoeg om uitspraken te kunnen
doen over de relevantie ervan en een evaluatie uit te kunnen voeren. Het
onderzoeksobject bestond uit éénderde (43) van alle 127 in 2006 goedgekeurde en
gesubsidieerde stage en uitwisselingsprojecten. De resultaten van die projecten
zijn getoetst aan de gangbare evaluatiecriteria, doelmatigheid, doeltreffendheid
en relevantie. Hieronder worden de belangrijkste resultaten van dit tweede deel
van de evaluatie toegelicht.
Belangrijkste conclusies evaluatie
Doelmatigheid
De doelmatigheid van de programma-uitvoering is hoog. Dankzij het strakke
beheer en de trefzekere implementatie van het Xplore-beleid is de werkelijke
verhouding tussen programma-input en -output aanmerkelijk gunstiger dan was
voorzien in de opdracht die in 2005 aan het uitbestedingsbesluit ten grondslag
lag. De output (in termen van aantallen gesubsidieerde jongeren) was tweederde
hoger dan gepland en gemiddelde programmakosten per deelnemer ruim een kwart
lager.
Doeltreffendheid
Het programma realiseert ruimschoots zijn directe doelstellingen (outcome):
bevordering van de betrokkenheid bij ontwikkelingssamenwerking van jongeren uit
alle lagen van de samenleving en mobilisatie van die jongeren om hun stage- en
uitwisselingservaringen breed uit te dragen. Dit gebeurt via zogenaamde
uitstralings of draagvlakversterkende activiteiten.
De opgave om ten minste tweevijfde van de uitgezonden jongeren te bereiken
uit de qua opleidingsniveau en affiniteit met internationale sameenwerking
minder bevoorrechte segmenten van de samenleving, is in de onderzochte
steekproef met 57% royaal overtroffen ten opzichte van de directe
doelstellingen.
Relevantie
Wat betreft de verwezenlijking van de uiteindelijke programmadoelstelling
(impact): versterking van het maatschappelijke draagvlak voor
ontwikkelingssamenwerking, vertonen de onderzoeksuitkomsten een minder duidelijk
beeld.
Het lijdt geen twijfel dat de deelname aan het programma op de meeste
deelnemers diepe indruk maakt. Dit manifesteert zich niet alleen in een sterkere
betrokkenheid bij ontwikkelingssamenwerking, maar ook en vooral in hun
persoonlijke ontwikkeling. Tussen deze effecten en de uitvoering van
draagvlakversterkende activiteiten bestaat een wisselwerking in de zin dat ze
elkaar wederzijds stimuleren. Op het draagvlak voor ontwikkelingssamenwerking
onder jongeren heeft het programma hiermee een onmiskenbaar positief effect. Dit
effect werkt waarschijnlijk sterker door in de verdieping van reeds bestaand
draagvlak dan in de creatie van nieuw draagvlak.
In persoonlijk contact met de uiteindelijke doelgroep, 'de Nederlandse
samenleving' in brede zin, bereikten de deelnemers ieder gemiddeld 227 personen.
Met dit directe bereik overtroffen zij met meer dan de helft de minimum
doelstelling van 150, zoals geformuleerd in het Plan van Aanpak.
Hoewel het aannemelijk is dat het Xplore-programma via dit bereik een zekere
impact heeft op het maatschappelijke draagvlak voor ontwikkelingssamenwerking,
is het niet mogelijk met gebruikmaking van praktisch hanteerbare en betaalbare
onderzoeksmethoden zekerheid te verkrijgen over het optreden van dit effect,
laat staan over de omvang ervan. Dit is enerzijds een gevolg van forse
methodologische obstakels. Anderzijds kàn de omvang van eventuele
draagvlakeffecten, gezien het vaak kleinschalige en eenmalige karakter van de
draagvlakactiviteiten moeilijk anders dan bescheiden zijn.
De slotsom hiervan is dat het Xplore-programma in zijn opzet voorr wat
betreft de versterking van het OS-draagvlak binnen de Nederlandse samenleving in
het algemeen belast is met een ambitieniveau waarvan in de praktiijk niet is
eenvoudig vast te stellen of het, en zo ja in welke mate, wordt gerealiseerd.
Commentaar
Ondanks het feit dat het procedure-onderzoek concludeerde dat dit geen
aanleiding vormde tot aanpassingen van het programma heeft Xplore toch een
aantal criteria verscherpt. In 2007 zijn de programmacriteria en richtlijnen op
mijn verzoek aangescherpt om meer nadruk te leggen op de ontwikkelingsrelevantie
van projecten.
Het IOB rapport geeft aan dat het sleutelbegrip draagvlak, hoewel het te pas
en te onpas wordt gehanteerd, geen helder gedefinieerde en algemeen aanvaarde
inhoud heeft. Het concept draagvlak is (mede) als gevolg hiervan niet makkelijk
in meetbare termen te operationaliseren. In het rapport wordt een helder
overzicht gegeven van het 'draagvlakbegrip' en 'draagvlakmeting' in actuele
literatuur en de wijze waarop deze worden toegepast in de praktijk.
IOB concludeert dat het aannemelijk is dat het Xplore programma een zekere
impact heeft op het maatschappelijk draagvlak voor OS, al is het moeilijk de
omvang ervan vaststellen. Voor de betrokken jongeren (en hun directe omgeving)
is het effect echter buitengewoon groot. De doelgroep van Xplore staat aan het
beginpunt van hun carrière, meedoen met een Xplore project kan de interesse,
studiekeuze en vrijwilligerswerk van de jongeren beïnvloeden. De IOB evaluatie
stipt dit aan, en ook uit de evaluatieformulieren van de jongeren blijkt dat zij
na afloop van hun project nog vaak betrokken blijven bij
ontwikkelingssamenwerking. Daarmee heeft het programma in elk geval een positief
effect op draagvlak voor ontwikkelingssamenwerking onder jongeren. Het effect
van uitstralingactiviteiten van deze jongeren op het publiek dat ze bereiken kan
zonder aanvullend, kostbaar onderzoek niet worden vastgesteld. Hiertoe zie ik
naar aanleiding van de evaluatie op dit moment geen aanleiding.
Het IOB rapport stelt dat een tijdige besluitvorming over de eventuele
voortzetting van het Xplore-programma, waarbij rekening wordt gehouden met in
het verleden behaalde resultaten, de vaststelling van die resultaten vereist op
een moment dat dit nog niet of nauwelijks mogelijk is. Door de looptijd van de
subsidieperiode te beperken tot vier jaar wordt een 'kortademigheid' in de
beleidscyclus geïntroduceerd die een weloverwogen besluitvorming over
programmaverlenging onder zware druk zet en dus bemoeilijkt.
De vragen die de evaluatie stelt ten aanzien van het effect van draagvlak
versterkende activiteiten onderstrepen echter het belang van de stappen die ik
tijdens het afgelopen Algemeen Overleg met de Tweede Kamer over de ZBO-status
van de NCDO heb aangekondigd. De resultaten van deze evaluatie neem ik mee in de
inventarisatie van draagvlakactiviteiten die met overheidsmiddelen worden
uitgevoerd, alsook de toekomstige beleidsvorming op het gebied van draagvlak. De
beslissing over de continuering van het stage- en uitwisselingsprogramma zal in
het licht van deze bredere overweging worden genomen. Het Xplore programma zal
in afwachting van deze besluitvorming met tien maanden worden verlengd tot eind
oktober 2009.
De minister voor Ontwikkelingssamenwerking,
Bert Koenders
---
Ministerie van Buitenlandse Zaken