Kamerbrief over de beperkte beleidsdoorlichting over het
Medefinancieringsstelsel (MFS)
11-05-2009 | Kamerstuk | Nederlands Ministerie van Buitenlandse Zaken
Hierbij bied ik u de beperkte beleidsdoorlichting over het
Medefinancieringsstelsel (MFS) aan, `Maatgesneden Monitoring, het
verhaal achter de cijfers'. Het gaat daarbij specifiek over de
kwaliteit van de gegevens verkregen via de zogenaamde Maatgesneden
Monitoring. Zoals toegezegd wordt deze doorlichting u toegezonden in
aanvulling op het BZ jaarverslag 2008, als onderdeel van het
experiment "Verbetering verantwoording en begroting". Naast twee
eerdere evaluaties over het voorbereidings- en het beoordelingstraject
MFS die u eerder zijn toegezonden, is dit het derde onderzoek dat zal
worden meegenomen in de voorbereiding van het nieuwe MFS. Deze
beleidsdoorlichting zal daarom bij het Algemeen Overleg over de rol
van maatschappelijke organisaties bij ontwikkelingssamenwerking
behandeld kunnen worden.
Halverwege de huidige MFS-looptijd is het nog niet mogelijk om de
effecten van het MFS te meten. Dat is dan ook niet het doel van deze
beperkte beleidsdoorlichting. Doel is wel om van een onderdeel van het
huidige MFS-stelsel, namelijk de Maatgesneden Monitoring, vast te
stellen of het in de toekomst een bijdrage kan leveren aan het meten
van de maatschappelijke effecten van de MFS-subsidies. Hierbij is
gekeken naar de kwaliteit en de bruikbaarheid van de informatie die
via Maatgesneden Monitoring wordt verkregen ten behoeve van het
MFS-verantwoordingssysteem en de bijdrage die Maatgesneden Monitoring
kan leveren aan de verantwoording over doelmatigheid, doeltreffendheid
en relevantie van het MFS en van de MFS-programma's.
Maatgesneden Monitoring is een systeem van monitoring waarbij de
gesubsidieerde organisaties aan de hand van een monitoringsprotocol
zelf hun monitoring kunnen inrichten en daarover aan het ministerie
zullen rapporteren. Hiervoor is voor aanvang van de subsidieverlening
een monitoringsprotocol ingediend. Omdat het huidige MFS stelsel in
werking trad per 2007 heeft deze beleidsdoorlichting voornamelijk
betrekking op het introductiejaar van Maatgesneden Monitoring.
De algemene conclusies ten aanzien van het MFS zijn -hoewel nog zeer
voorlopig- bemoedigend. Herkend wordt dat Nederland zich
internationaal koploper toont met een resultaatsgerichte wijze van
inrichting en aansturing van de samenwerking met niet-gouvernementele
organisaties. Het is ook zondermeer positief dat geconcludeerd wordt
dat Maatgesneden Monitoring heeft geleid tot het beter zichtbaar maken
van beoogde resultaten en dat Maatgesneden Monitoring het ministerie
in staat stelt beter de resultaatsbereiking te volgen aan de hand van
meetbare indicatoren.
Terughoudend zijn de bevindingen over de kwaliteit van de verzamelde
informatie. De kwaliteit van gegevens zou goed kunnen zijn, maar is
nog onvoldoende te achterhalen omdat de kwaliteit van de bronnen niet
altijd kan worden vastgesteld. Ook wordt geconcludeerd dat de
monitoringsgegevens nog niet goed geduid kunnen worden, omdat daarvoor
noodzakelijke evaluaties nog niet zijn verricht. Hier speelt een rol
dat al zo vroeg in de looptijd van MFS deze beperkte
beleidsdoorlichting wordt uitgevoerd. Niettemin is de constatering van
onmiddellijk belang, omdat nog te verrichten evaluaties nadrukkelijk
kunnen worden ingezet om tot betere duiding van de monitoringsgegevens
te komen.
Maatgesneden Monitoring blijkt in de praktijk niet voor monitoring te
worden gebruikt, noch door de MFS-organisaties, noch door het
ministerie. Wel wordt het systeem gebruikt voor verantwoording. Dit is
een belangwekkende constatering, omdat monitoring gegevens als zodanig
te weinig verantwoordingswaarde hebben als zij niet zijn gevalideerd
door evaluaties. Dit komt naar voren in de conclusie van IOB dat het
monitoringssysteem slechts een beperkte rol speelt in het lerend
vermogen van MFS-organisaties en het ministerie.
Deze indringende conclusies krijgen meer zeggingskracht in combinatie
met de constateringen van IOB dat door gebrek aan richtlijnen de
invloed van Maatgesneden Monitoring op de structuur en inhoud van de
beleidsgesprekken tussen MFS-partners en het ministerie -die wel als
open en constructief worden beschouwd door beide partijen- tot nu toe
beperkt is geweest. De capaciteit op het ministerie voor het beheer
van het MFS met Maatgesneden Monitoring om de monitoring bij MFS
partners beter te laten functioneren en het gebruik van
monitoringsgegevens te stimuleren, wordt onvoldoende geacht. De
beperkte beleidsdoorlichting van IOB is daarmee uiterst relevant en
goed getimed. Er resteert voldoende tijd om niet alleen in een volgend
MFS-programma, maar nu al, tot verbeteringen te komen.
Zoals ik de conclusies van IOB relevant acht, zo geldt ook dat ik de
aanbevelingen van IOB zeer welkom vind. Het is belangrijk om de
potentiële meerwaarde van Maatgesneden Monitoring beter te benutten.
Hiervoor is het belangrijk scherper te formuleren wat precies doel en
functie van monitoring is. Het gaat hierbij vooral om sturing en
bijsturing. Monitoring kan het proces van leren stimuleren, onder
andere door helder te maken waar behoefte is aan nadere informatie
door veldbezoeken, overleg of evaluaties. Monitoring voedt daarmee de
verantwoording, maar kan nooit afdoende zijn voor verantwoording. Het
is noodzakelijk om de betekenis van monitoringsgegevens goed te kunnen
duiden alvorens sterke conclusies te trekken. In die zin zijn
evaluaties een kernwaarde in de verantwoording. IOB beveelt aan meer
aandacht te schenken aan evaluaties en daar ben ik groot voorstander
van. Niet per se meer evaluaties, maar wel gerichter op de leervragen
en op onderbouwing van de kwaliteit van beschikbare informatie. Ook
ben ik het eens met de aanbeveling om duidelijker richtlijnen voor
Maatgesneden Monitoring op te stellen, waarbij overigens vermeden moet
worden dat Maatgesneden Monitoring een keurslijf wordt. Maar een goede
samenhang tussen monitoring, verantwoording en dialoog is wenselijk
voor alle betrokkenen. Naarmate conclusies in een dialoog scherper
getrokken kunnen worden, is ook de investering in onderbouwing van
conclusies meer de moeite waard. Dit geldt niet alleen voor de relatie
tussen ministerie en MFS-partner, maar ook voor de te leren lessen
tussen partners onderling en samen met andere spelers zoals
kennisinstellingen of niet onder het MFS opererende organisaties.
Juist voor het delen van dergelijke lessen is adequate bestaffing op
het departement nodig. Ik neem daarmee alle aanbevelingen van IOB
volledig over.
De aanbevelingen op langere termijn voor zover niet in het verlengde
van wat hierboven al is aangeduid, hebben betrekking op een
explicieter inzicht van de 'theories of changes' van MFS-partners, het
instellen van jaarlijkse rapportages over afwijkingen in de realisatie
van outputs ten opzichte van planning en tweejaarlijks als het gaat om
zgn. outcomes of maatschappelijke effecten. Hierop ben ik al in gegaan
in de beleidsnotitie `Samenwerken, Maatwerk, Meerwaarde^1.
Een eerste belangrijke verschuiving die ik heb aangekondigd is die van
monitoren op kwantiteit naar monitoren op kwaliteit. De zichtbaarheid
van resultaten heeft in het systeem van Maatgesneden Monitoring de
meeste aandacht gekregen. Het is echter van even groot belang om
inzichtelijk te maken hoe deze resultaten zijn behaald. Door te werken
met een methodiek die de verschillende veronderstelde stappen in het
veranderingsproces weergeeft en meetbaar maakt, kunnen aannames goed
worden getoetst en tijdig bijstellingen worden doorgevoerd. Niet
zozeer de vraag of resultaten worden gehaald, maar hoe die moeten
worden behaald dringt zich dan op. Dit haalt de meer kwalitatieve
vragen naar voren.
Een tweede belangrijke verschuiving in het volgende MFS is het
verleggen van de focus op verantwoording naar een focus op leren. In
het huidige systeem ligt de focus onbedoeld sterk op verantwoording.
Dit is ontstaan door de nadruk op een jaarlijkse monitoring van
resultaten. Resultaten zijn enorm belangrijk in termen van
verantwoording, maar op zich zelf biedt de vraag hoe die resultaten al
dan niet tot stand komen veel meer inzicht, die ook in andere
situaties en bij andere programma's van belang kunnen zijn. Evaluaties
zijn een goed middel om leren te bevorderen. Ook andere en soms
goedkopere vormen van leren zoals veldbezoek of dialoog kunnen worden
toegepast. Welke leervorm het meest geschikt is hangt deels af van de
vragen die worden gesteld. Maatgesneden Monitoring kan en moet helpen
om die vragen te stellen en daarvoor de juiste vorm te vinden.
IOB beveelt nog aan om niet zozeer op stelselniveau evaluaties te
verrichten, maar veeleer op programmaniveau. Het diverse karakter van
MFS-programma's leent zich niet of nauwelijks voor stelselevaluaties.
Niettemin acht ik het van belang dat zicht wordt verkregen op de
centrale vraag achter MFS-subsidieverleningen, nl. of de investering
in maatschappelijke organisaties daadwerkelijk de verwachte
toegevoegde waarde weet te realiseren. Door goede combinaties van
programma-evaluaties die inzoomen op de verschillende rollen die
organisaties in onderscheiden landen kunnen spelen, kan dat totaal
overzicht worden opgebouwd. Ik beschouw een dergelijk totaal overzicht
als een wezenlijk onderdeel van de verantwoording over investeringen
met publieke middelen.
De Minister voor Ontwikkelingssamenwerking,
Bert Koenders
1: Toegezonden aan Tweede Kamer op 14 april jl.
* Ministerie van Buitenlandse Zaken
* Bezuidenhoutseweg 67
* Postbus 20061
* 2500 EB Den Haag
* Tel.: 070-3 486 486
* Fax: 070-3 484 848
* Internet: www.minbuza.nl
Bijlagen
* Bijlage: Beperkte beleidsdoorlichting MFS | PDF, 665 Kb
Ministerie van Buitenlandse Zaken