charset="iso-8859-1"
http://www.minbuza.nl/content.asp?Key=415711
Internationale activiteiten van de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie
Aan de Voorzitter van de Vaste Commissie voor Buitenlandse Zaken van de Tweede Kamer der Staten-Generaal Binnenhof 4 Den Haag Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie Bezuidenhoutseweg 67 2594 AC Den Haag Nederland
Datum 15 mei 2001 Auteur Drs. R.D. van den Berg
Kenmerk IOB-293/01 Telefoon 070 - 348 5890
Blad /1 Fax 070 - 3486336
Bijlage(n) 1 E-mail rd-vanden.berg@minbuza.nl
Betreft Notitie Internationale activiteiten van IOB
Zeer geachte Voorzitter,
Tijdens het Algemeen Overleg van 29 maart jongstleden over multilateraal
hulpbeleid heb ik uw commissie toegezegd de Inspectie
Ontwikkelings-samenwerking en Beleidsevaluatie (IOB) te zullen verzoeken een
notitie op te stellen over de internationale activiteiten van IOB. Het is
mij een genoegen u hierbij deze notitie aan te bieden.
De notitie gaat in op alle internationale activiteiten van IOB. De inzet van
IOB is gericht op toename van gezamenlijke evaluaties (in lijn met de
toename in ontwikkelingssamenwerking van gezamenlijke financieringen) en
(vaktechnische/methodologische) ondersteuning van evaluatiecapaciteitsopbouw
in ontwikkelingslanden. Voorts biedt IOB vaktechnisch advies bij mijn
streven om de onafhankelijkheid en kwaliteit van de evaluatiediensten van
hulpverlenende organisaties te verbeteren
De Minister voor Ontwikkelingssamenwerking,
Eveline Herfkens
Internationale activiteiten van de Inspectie Ontwikkelingssamenwerking en
Beleidsevaluatie
IOB, 10 mei 2001
De zorg over de kwaliteit van de activiteiten van internationale organisaties is wijdverbreid, niet in het minst in die organisaties zelf. In veel organisaties wordt gesproken over resultaatgericht beheer en over kwaliteitsbewaking via systemen van monitoring en waardering van activiteiten. Het ministerie van Buitenlandse Zaken is via deelname aan beheersraden en besturen van internationale organisaties betrokken bij die zorg, en tracht die waar mogelijk te ondersteunen en te bevorderen. De Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) speelt daarbij een speciale rol. IOB is de onafhankelijke dienst voor het evalueren van beleidsterreinen van de Homogene Groep Internationale Samenwerking (HGIS), en daarmee ook in principe de evaluatiedienst voor de multilaterale programma's. Het gaat daarbij onder meer om het Europees Ontwikkelingsfonds, de bijdragen aan IMF en de deelnemingen in de multilaterale banken, het Ontwikkelingsprogramma van de VN (UNDP) en speciale multilaterale activiteiten. Tevens worden veel activiteiten gefinancierd uit de bilaterale samenwerking uitgevoerd via internationale organisaties.
en evalueert co-financiering, Evaluatie van de Nederlandse financiering
van activiteiten van internationale organisaties via trust funds,
co-financiering of multi-bi financiering valt binnen het mandaat van IOB. In
het recente verleden is het co-financieringsprogramma met de Wereldbank
onderzocht. Het eindrapport van deze evaluatie is aangeboden aan het
parlement op 24 juni 1999. De beleidsreactie van de minister voor
Ontwikkelingssamenwerking verscheen op 22 mei 2000. In de komende maanden
zal de evaluatie van de Nederlandse multi-bi financieringen met de FAO
aanvangen.
maar verricht geen dubbel werk en evalueert bij voorkeur samen. Hoewel IOB
in principe de Nederlandse bijdrage aan internationale organisaties kan
evalueren, zijn daarbij over het geheel genomen enige beperkingen van
kracht. Ten eerste beschikken vrijwel alle internationale organisaties over
eigen evaluatiediensten. Het ligt voor de hand geen dubbel werk te
verrichten. Waar de kwaliteit van die diensten van het vereiste niveau lijkt
te zijn, hoeft IOB niet zelf te evalueren. Dit geldt bijvoorbeeld voor de
evaluaties die de Operations Evaluation Department (OED) van de Wereldbank
verricht van het beleid en de activiteiten van de Wereldbank. Voor veel
evaluatiediensten geldt dat onduidelijkheden bestaan over de kwaliteit van
hun werk of de mate van onafhankelijkheid waarmee zij opereren. Nederland is
in de betrokken internationale organisaties één van de leden, en geeft er de
voorkeur aan eventuele kwaliteitsproblemen samen met anderen aan de orde te
stellen. Dit gebeurt ook op evaluatiegebied. In de afgelopen tien jaar is
een voorzichtige traditie ontstaan om internationale organisaties en
-programma's te evalueren in gezamenlijk verband. De evaluatiediensten van
een (redelijk) aantal donoren evalueren de beleidsuitvoering dan bij
voorkeur gezamenlijk met de evaluatiedienst van de organisatie in kwestie.
Deze benadering heeft tot voordeel dat een beter zicht wordt verkregen op
zowel de resultaten van de beleidsuitvoering, als het functioneren van de
organisatie als op de rol en positie van de evaluatiedienst van die
organisatie.
DAC speelt leidende rol, Wat betreft de evaluatie van
ontwikkelingssamenwerking speelt internationaal de Development Assistance
Committee (DAC) van de OESO een stimulerende rol. De DAC Working Party on
Aid Evaluation, waarin de evaluatiediensten van alle bilaterale donoren, de
Wereldbank en UNDP zijn vertegenwoordigd, functioneert reeds sinds de jaren
tachtig als internationale focus voor de discussie over richtlijnen, best
practices, en gezamenlijke aanpak van de evaluatie van
ontwikkelingssamenwerking. In 1991 werd door de DAC de "principles of
evaluation of development assistance" aanvaard, die sindsdien gelden als de
algemeen erkende richtlijnen voor evaluaties. IOV, de voorganger van IOB,
was sinds de oprichting lid van de werkgroep en heeft enige tijd een zeer
actieve rol vervult, eerst als vice-voorzitter en later als voorzitter. IOB
heeft de actieve betrokkenheid van IOV voortgezet. Veel activiteiten van de
werkgroep worden door IOB ondersteund.
maar banken en VN hebben eigen coördinatieorganen. De multilaterale
banken werken samen in een speciaal daarvoor opgezet coördinatiecomité,
waarvan het voorzitterschap rouleert. Waar mogelijk confirmeren zij zich
zoveel mogelijk aan de DAC-richtlijnen. Met uitzondering van de Wereldbank
lijkt de onafhankelijke positie van de evaluatiediensten niet bij elke bank
gegarandeerd. Het blijft een aandachtspunt voor de Boards van de banken.
Daarnaast speelt soms dat evaluatierapporten vertrouwelijk dienen te blijven
omdat zij financieel gevoelige informatie bevatten, bijvoorbeeld over de
kredietwaardigheid van bedrijven. De kwalitatief sterkste en meest
onafhankelijke evaluatiedienst van de banken is de Operations Evaluation
Department (OED) van de Wereldbank, die in de jaren zeventig mede tot
voorbeeld heeft gediend voor de instelling van IOV. Samen met de
evaluatiediensten van MIGA en IFC wordt de OED geleid door de
Directeur-Generaal Evaluatie van de Wereldbank, die door de Board wordt
benoemd. Het IMF had tot voor kort geen evaluatiedienst, maar is thans
doende een interne onafhankelijke evaluatiedienst op te zetten. Voor de
ontwikkelingsactiviteiten van de instellingen van de Verenigde Naties gelden
de UNDP-richtlijnen voor evaluaties, die zijn afgeleid van de DAC principles
of aid evaluation. Ook de VN kennen een overlegorgaan voor
evaluatiediensten, de "Inter Agency Working Group on Evaluation", die in
principe jaarlijks bijeenkomt onder voorzitterschap van de evaluatiedienst
van UNDP. Binnen het VN-systeem tracht de evaluatiedienst van UNDP een
coördinerende rol te vervullen. De evaluatiediensten van de verschillende
VN-instellingen en gespecialiseerde organisaties verschillen in rol en
positionering. Niet altijd zijn zij onafhankelijk, maar ingeschakeld in de
projectcyclus en een instrument voor het management om te streven naar een
"lerende organisatie". Veel VN-instellingen kennen een kleine kerndienst in
het hoofdkwartier, die in feite ondersteunend optreedt tegenover de door de
veldkantoren ondernomen evaluaties. Op zich hebben dergelijke modellen
voordelen, onder meer bij de bevordering van de kwaliteit in de uitvoering,
maar er dient voor gezorgd te worden dat de centrale evaluatiediensten
voldoende ruimte krijgen voor uitvoering van een minimaal eigen
onafhankelijk evaluatieprogramma. De zorg voor de kwaliteit van de
uitvoering van de multilaterale hulp leidt tot een roep om betere systemen
van verantwoording. Dat heeft onder meer geleid tot de introductie van een
systeem van "Results Based Management" bij UNDP. Ook andere VN-instellingen
zijn met een dergelijke veranderingen bezig. De overgang naar meer
resultaatgericht werken leidt tot grotere nadruk om systemen van monitoring
en waardering van activiteiten. Dat leidt tot een herpositionering van de
evaluatiefunctie. In de nieuwe systemen kan evaluatie de rol vervullen van
een toetsing van de realiteit en validiteit van de informatie die uit
monitoringssystemen voortkomt. Daarnaast is evaluatie naast wetenschappelijk
onderzoek het enige instrument om de plausibiliteit of zelfs causaliteit van
verband tussen de inzet van hulpmiddelen en de effecten aan te tonen. Bij
instellingen die overgaan op "Results Based Management" vindt echter ook
vaak een vermindering van het aantal evaluaties plaats, mede omdat de
evaluatiedienst wordt ingezet om monitoringssystemen en waarderingssystemen
op te zetten en de kwaliteit van het systeem te bewaken. Vaak wordt de
verminderde capaciteit voor evaluaties tegemoet gekomen door te streven naar
meer gezamenlijke evaluaties.
De trend is naar meer gezamenlijke evaluaties, Sedert het eind van de jaren
tachtig heeft de Inspectie in toenemende mate geparticipeerd in zogeheten
multidonor evaluaties. Deze betroffen doorgaans multilaterale hulp. De
meeste studies waarin IOB participeerde waren gericht op het bepalen van de
effectiviteit en efficiency van de beleidsuitvoering van VN-instanties
(INSTRAW, WFP, UNCDF - zie bijlage) en van de Europese Commissie (programma
voedselhulp, de regionale programma's ACS, MED en ALA (zie bijlage), en
humanitaire hulp). Daarnaast was IOB betrokken bij de grootschalige
multi-agency evaluatie van de humanitaire hulp verleend in het kader van de
complexe noodsituatie in Rwanda in 1994. Het merendeel van deze studies had
betrekking op multi-sectorale structurele hulp gericht op een grote
diversiteit aan doelgroepen. Uitzonderingen waren de evaluaties van
humanitaire hulp, de studie van de programma voedselhulp en het onderzoek
naar het United Nations International Research and Training Institute for
the Advancement of Women (INSTRAW).
ook in de bilaterale hulp, Ook ontwikkelingen binnen de bilaterale
ontwikkelingssamenwerking spelen een rol bij de toename van internationale
activiteiten van IOB. In de afgelopen jaren wordt steeds meer gesproken over
de verschuiving van projecthulp naar programmahulp en budgetsteun. Daarbij
zijn "ownership" en coördinatie van ontwikkelingsinspanningen steeds meer
leidende principes. Waar in toenemende mate de Nederlandse gulden niet meer
exact valt te traceren, omdat die gulden in een grotere pot van bijdragen en
overheidsgelden wordt gestort, zal in de toekomst in toenemende mate
gezamenlijk moeten worden geëvalueerd. Onlangs is de eerste van dergelijke
gezamenlijke evaluaties verschenen. De subsector transport in Ghana is in
2000 geëvalueerd door de evaluatiedienst van het ministerie van verkeer in
Ghana in samenwerking met de evaluatiedienst van Denemarken en met IOB.
Daarnaast waren alle donoren in de subsector transport bij de evaluatie
betrokken door lidmaatschap van de stuurgroep. Het rapport werd op 23
februari 2001 door de minister voor Ontwikkelingssamenwerking aan het
parlement aangeboden. Samen met 11 andere donoren internationale
organisaties waaronder UNICEF, UNESCO en de Wereld Bank is IOB betrokken bij
het opzetten en uitvoeren van een evaluatie van internationale hulp aan
basisonderwijs in ontwikkelingslanden. Deze evaluatie waarbij case studies
voorzien zijn in vijf ontwikkelingslanden zal in de loop van 2001 aanvangen.
De evaluatie zal worden begeleid door een stuurgroep bestaande uit de
evaluatiediensten van de betrokken donoren, internationale organisaties en
de vijf partnerlanden. Evenals dit in toenemende mate het geval is geweest
bij de multidonor evaluaties en het bilaterale evaluatieonderzoek van IOB,
wordt evaluatie expertise uit het Zuiden betrokken bij de uitvoering van de
evaluatie van basisonderwijs. Voorts neemt IOB deel aan de voorbereidingen
van een breed opgezette evaluatie van het Comprehensive Development
Framework (CDF), waaraan onder meer twaalf donoren en zes ontvangende landen
deelnemen.
met grotere inschakeling van lokale capaciteit, Bij de formatie van de
Inspectie is rekening gehouden met de mogelijkheid externe deskundigen in te
schakelen bij de uitvoering van onderzoek. In de beginperiode werden hiertoe
vrijwel uitsluitend Nederlandse deskundigen ingehuurd. Veruit de meeste
evaluaties worden tegenwoordig ondernomen door teams van evaluatoren uit
Nederland en ontwikkelingslanden. Vanaf het midden van de jaren tachtig is
de Inspectie tevens gebruik gaan maken van referentiegroepen. Deze zijn
samengesteld uit onafhankelijke deskundigen en medewerkers van het
ministerie van Buitenlandse Zaken. Zij hebben een klankbordfunctie en dienen
ter versterking van het externe karakter van de evaluatie. Een recente
ontwikkeling is het inschakelen van referentiegroepen in het ontvangende
land. Dit betrof onder meer de landenstudies Egypte, Bolivia en Mali alsmede
het onderzoek naar het MATRA-programma. Tegenwoordig worden in principe alle
conceptrapporten voorgelegd aan direct betrokkenen in het ontvangende land.
Besprekingen vinden vaak plaats in de vorm van een seminar.
leidende tot "recipient-led evaluations". Het principe van "ownership" leidt tot de erkenning dat de ontvangende landen uiteindelijk zelf een oordeel zullen moeten hebben over hun eigen proces van ontwikkeling en de bijdragen van donoren daaraan. Dat zou leiden tot zogeheten "recipient-led evaluations", die een eigen evaluatiecapaciteit vereisen die tevens de ruimte zou krijgen om tot onafhankelijke evaluaties te komen die het vereiste kwaliteitsniveau bereiken. Op dit moment doet zich vrijwel nergens in de wereld de juiste combinatie van politieke wil, administratieve ruimte en adequate evaluatiecapaciteit voor. Een programma voor het opbouwen van evaluatiecapaciteit in brede zin is daarvoor nodig. Het gaat dan niet alleen om vaardigheden, maar ook om het inzetten van die capaciteit in evaluaties op geloofwaardige wijze en kwalitatief hoogstaand niveau.
Samenwerking vindt plaats in Utstein-verband, Voor het bevorderen van dergelijke gezamenlijke evaluaties en opbouw van evaluatiecapaciteit speelt allereerst de DAC Working Party on Aid Evaluation een belangrijke rol. De Working Party wordt echter gedomineerd door bilaterale evaluatiediensten en kent daarbij consensus-besluitvorming, hetgeen betekent dat de zwakste link in de schakel soms voor onnodige vertragingen kan zorgen, en dat innovatieve benaderingen soms (nog) geen kans maken. Mede om die reden is binnen de bilaterale evaluatiediensten een intensief samenwerkingsverband aangegaan met de Utstein-partners. De evaluatiediensten van Duitsland, Nederland, Noorwegen en het Verenigd Koninkrijk wisselen informatie uit en consulteren elkaar actief over mogelijkheden tot samenwerking.
in EU-verband, Binnen de EU vindt regelmatig overleg plaats tussen de
Hoofden van Evaluatiediensten van de lidstaten en de Commissie. In de
afgelopen jaren heeft dit onder meer geleid tot de uitvoering van
gezamenlijke evaluaties naar de uitvoering van de ALA-, MED- en
ACP-programma's, alsmede het EU-programma voor humanitaire noodhulp. Op dit
moment wordt bekeken of het mogelijk is tot een gezamenlijke evaluatie te
komen van de drie c's van het Europese hulpbeleid: coördinatie,
complementariteit en coherentie. De rol en positie van de evaluatiediensten
van de Commissie en de lidstaten verschillen soms aanzienlijk. IOB heeft de
minister voor Ontwikkelingssamenwerking actief gesteund bij haar streven de
onafhankelijkheid van de evaluatiedienst van de Commissie te versterken,
hetgeen in belangrijke mate is gelukt. Voor de lidstaten geldt dat vooral de
landen zonder majeure hulpprogramma's vaak geen sterke of onafhankelijke
evaluatiediensten kennen.
De hierboven geschetste samenwerkingsverbanden dekken niet het geheel van
benodigde activiteiten af. De DAC Working Party on Aid Evaluation, de
Utstein-partners en het EU-overleg worden gedomineerd door of betreffen
zelfs exclusief bilaterale evaluatiediensten. Zowel het netwerk van de
multilaterale banken als het netwerk van de VN-evaluatiediensten zijn
ondervertegenwoordigd. Mede hierom is IOB in juli 2000 en in maart 2001
samenwerkingsverbanden aangegaan met respectievelijk de Operations
Evaluation Department van de Wereldbank en de Evaluation Office van UNDP.
Via deze twee diensten is het netwerk waartoe IOB toegang heeft uitgebreid
tot de multilaterale banken en de VN-instellingen.
met de OED, De samenwerkingsovereenkomst met de OED behelst enerzijds algemene afspraken, gericht op het ondernemen van gezamenlijke evaluaties, informatie-uitwisseling, mogelijkheden voor gezamenlijke training en opleiding, anderzijds een reeks activiteiten gericht op bevordering van de evaluatiecapaciteit in het Zuiden en ondersteuning van een "recipient-led evaluation". De activiteiten gericht op opbouw van evaluatiecapaciteit worden uitgevoerd via het "Evaluation Partnership Program for Monitoring and Evaluation Capacity Development". Dit programma van OED en IOB beoogt onder meer door diagnostische studies, opleidingsprogramma's en institutionele ontwikkelingsactiviteiten evaluatiecapaciteit in het Zuiden op te bouwen. Het programma wordt gefinancierd uit het Nederlandse partnership fonds bij de Wereldbank. Het budget bedraagt US $ 1,5 miljoen voor een periode van drie jaar. Het is gericht op de 17+4 landen, en dan met name op de PRSP-landen daarbinnen. Om het partnershipprogramma van start te laten gaan, werd gezamenlijk een internationale workshop georganiseerd op 26-28 maart 2001 te Den Haag, over het opbouwen van monitoring en evaluatiecapaciteit voor de Poverty Reduction Strategy Papers (PRSP's). Hierbij waren delegaties van zeven PRSP-landen aanwezig. Het zou niet in lijn met de "ownership" gedachte zijn als de ontwikkelingslanden wél zelf verantwoordelijkheid zouden dragen voor de uitvoering van hun PRSP's, maar de evaluatie van de uitvoering zouden overlaten aan de donoren. Dat gevaar is niet denkbeeldig, gezien de geringe evaluatiecapaciteit in ontwikkelingslanden. Met de landendelegaties werd gesproken over de stand van zaken bij de voorbereiding van hun PRSP, en de monitoring en evaluatie die zij daarbij voorzien hebben. De uitwisseling van informatie tussen de betrokken landen onderling was naar het oordeel van de betrokken delegaties nuttig. Over het geheel genomen bleek dat de nu voorgenomen maatregelen vrijwel allemaal op monitoring gericht zijn, en dat evaluatie weinig aandacht heeft gekregen.
en met UNDP.
Beoordelingsysteem kwaliteit VN-instellingen wordt opgezet De Directie
Verenigde Naties en Internationale Financiële Instellingen (DVF) van het
ministerie van Buitenlandse Zaken is bezig met het opzetten van een systeem
van beoordeling van de kwaliteit van de uitvoering van VN-instellingen. Dit
betreft een vervolg op de notitie "De kwaliteit van de VN als kanaal voor
ontwikkelingssamenwerking", die leidde tot de vraag van de Tweede Kamer om
meer inzicht in de kwaliteit van de uitvoering. Bij het opzetten van het
beoordelingssysteem is IOB als adviseur betrokken. Getracht zal worden bij
het beoordelen van VN-instellingen samen te werken in Utstein-verband (en
breder indien mogelijk).
Bijlage
: overzicht van multi-donor evaluaties IOB 1988-2000
Bijlage
Multi-donor evaluaties met participatie van IOB 1988 - 2000
Jaar Naam Omschrijving
1988 Development of Rural Small Industrial Enterprise, Lessons from
Experience Evaluatie in opdracht van UNDP, Nederland, ILO en UNIDO
1991 Evaluation of the United Nations International Research and Training
Institute for the Advancement of Women (INSTRAW) Evaluatie in
opdracht van Nederland, Finland en Noorwegen
1994 Evaluation of the World Food Programme (WFP) Evaluatie in
opdracht van Noorwegen, Nederland en Canada
1996 Joint Evaluation of European Union Programme Food Aid Evaluatie in
opdracht van de evaluatiediensten van de EU-lidstaten en de Europese
Commissie
1996 Joint Evaluation of Emergency Assistance to Rwanda: The
International Response to Conflict and Genocide: Lessons from the Rwanda
Experience Evaluatie ondernomen onder auspiciën van Denemarken en
begeleid door een Stuurgroep van 19 bilaterale donoren, het DAC
Secretariaat, 9 multilaterale organisaties en VN-eenheden, ICRC, IFRC en 5
internationale NGO's
1998 Evaluation of European Union Aid to African Caribbean and Pacific
Countries Managed by the Commission Evaluatie in opdracht van de
evaluatiediensten van de EU-lidstaten en de Europese Commissie
1999 EU Development Aid to the Mediterranean Region (MED) Idem
1999 Evaluation of European Union Development Aid to Asian and Latin
American States Idem
1999 Evaluation of Humanitarian Aid Funded by the European Commission
between 1/1/1991 and 30/6/1996 Idem
1999 Development and Humanitarian Assistance of the European Union. An
Evaluation of Instruments and Programmes Managed by the Commission Idem
1999 Evaluation of the United Nations Capital Development Fund (UNCDF)
Evaluatie in opdracht van Nederland, België, Japan, Denemarken, Zweden,
Noorwegen, Frankrijk, Zwitserland
===