Kamerbrief over de beperkte beleidsdoorlichting over het Medefinancieringsstelsel (MFS)
Hierbij bied ik u de beperkte beleidsdoorlichting over het Medefinancieringsstelsel (MFS) aan, ‘Maatgesneden Monitoring, het verhaal achter de cijfers’. Het gaat daarbij specifiek over de kwaliteit van de gegevens verkregen via de zogenaamde Maatgesneden Monitoring. Zoals toegezegd wordt deze doorlichting u toegezonden in aanvulling op het BZ jaarverslag 2008, als onderdeel van het experiment “Verbetering verantwoording en begroting”. Naast twee eerdere evaluaties over het voorbereidings- en het beoordelingstraject MFS die u eerder zijn toegezonden, is dit het derde onderzoek dat zal worden meegenomen in de voorbereiding van het nieuwe MFS. Deze beleidsdoorlichting zal daarom bij het Algemeen Overleg over de rol van maatschappelijke organisaties bij ontwikkelingssamenwerking behandeld kunnen worden.
Halverwege de huidige MFS-looptijd is het nog niet mogelijk om de effecten van het MFS te meten. Dat is dan ook niet het doel van deze beperkte beleidsdoorlichting. Doel is wel om van een onderdeel van het huidige MFS-stelsel, namelijk de Maatgesneden Monitoring, vast te stellen of het in de toekomst een bijdrage kan leveren aan het meten van de maatschappelijke effecten van de MFS-subsidies. Hierbij is gekeken naar de kwaliteit en de bruikbaarheid van de informatie die via Maatgesneden Monitoring wordt verkregen ten behoeve van het MFS-verantwoordingssysteem en de bijdrage die Maatgesneden Monitoring kan leveren aan de verantwoording over doelmatigheid, doeltreffendheid en relevantie van het MFS en van de MFS-programma’s.
Maatgesneden Monitoring is een systeem van monitoring waarbij de gesubsidieerde organisaties aan de hand van een monitoringsprotocol zelf hun monitoring kunnen inrichten en daarover aan het ministerie zullen rapporteren. Hiervoor is voor aanvang van de subsidieverlening een monitoringsprotocol ingediend. Omdat het huidige MFS stelsel in werking trad per 2007 heeft deze beleidsdoorlichting voornamelijk betrekking op het introductiejaar van Maatgesneden Monitoring.
De algemene conclusies ten aanzien van het MFS zijn –hoewel nog zeer voorlopig- bemoedigend. Herkend wordt dat Nederland zich internationaal koploper toont met een resultaatsgerichte wijze van inrichting en aansturing van de samenwerking met niet-gouvernementele organisaties. Het is ook zondermeer positief dat geconcludeerd wordt dat Maatgesneden Monitoring heeft geleid tot het beter zichtbaar maken van beoogde resultaten en dat Maatgesneden Monitoring het ministerie in staat stelt beter de resultaatsbereiking te volgen aan de hand van meetbare indicatoren.
Terughoudend zijn de bevindingen over de kwaliteit van de verzamelde informatie. De kwaliteit van gegevens zou goed kunnen zijn, maar is nog onvoldoende te achterhalen omdat de kwaliteit van de bronnen niet altijd kan worden vastgesteld. Ook wordt geconcludeerd dat de monitoringsgegevens nog niet goed geduid kunnen worden, omdat daarvoor noodzakelijke evaluaties nog niet zijn verricht. Hier speelt een rol dat al zo vroeg in de looptijd van MFS deze beperkte beleidsdoorlichting wordt uitgevoerd. Niettemin is de constatering van onmiddellijk belang, omdat nog te verrichten evaluaties nadrukkelijk kunnen worden ingezet om tot betere duiding van de monitoringsgegevens te komen.
Maatgesneden Monitoring blijkt in de praktijk niet voor monitoring te worden gebruikt, noch door de MFS-organisaties, noch door het ministerie. Wel wordt het systeem gebruikt voor verantwoording. Dit is een belangwekkende constatering, omdat monitoring gegevens als zodanig te weinig verantwoordingswaarde hebben als zij niet zijn gevalideerd door evaluaties. Dit komt naar voren in de conclusie van IOB dat het monitoringssysteem slechts een beperkte rol speelt in het lerend vermogen van MFS-organisaties en het ministerie.
Deze indringende conclusies krijgen meer zeggingskracht in combinatie met de constateringen van IOB dat door gebrek aan richtlijnen de invloed van Maatgesneden Monitoring op de structuur en inhoud van de beleidsgesprekken tussen MFS-partners en het ministerie -die wel als open en constructief worden beschouwd door beide partijen- tot nu toe beperkt is geweest. De capaciteit op het ministerie voor het beheer van het MFS met Maatgesneden Monitoring om de monitoring bij MFS partners beter te laten functioneren en het gebruik van monitoringsgegevens te stimuleren, wordt onvoldoende geacht. De beperkte beleidsdoorlichting van IOB is daarmee uiterst relevant en goed getimed. Er resteert voldoende tijd om niet alleen in een volgend MFS-programma, maar nu al, tot verbeteringen te komen.
Zoals ik de conclusies van IOB relevant acht, zo geldt ook dat ik de aanbevelingen van IOB zeer welkom vind. Het is belangrijk om de potentiële meerwaarde van Maatgesneden Monitoring beter te benutten. Hiervoor is het belangrijk scherper te formuleren wat precies doel en functie van monitoring is. Het gaat hierbij vooral om sturing en bijsturing. Monitoring kan het proces van leren stimuleren, onder andere door helder te maken waar behoefte is aan nadere informatie door veldbezoeken, overleg of evaluaties. Monitoring voedt daarmee de verantwoording, maar kan nooit afdoende zijn voor verantwoording. Het is noodzakelijk om de betekenis van monitoringsgegevens goed te kunnen duiden alvorens sterke conclusies te trekken. In die zin zijn evaluaties een kernwaarde in de verantwoording. IOB beveelt aan meer aandacht te schenken aan evaluaties en daar ben ik groot voorstander van. Niet per se meer evaluaties, maar wel gerichter op de leervragen en op onderbouwing van de kwaliteit van beschikbare informatie. Ook ben ik het eens met de aanbeveling om duidelijker richtlijnen voor Maatgesneden Monitoring op te stellen, waarbij overigens vermeden moet worden dat Maatgesneden Monitoring een keurslijf wordt. Maar een goede samenhang tussen monitoring, verantwoording en dialoog is wenselijk voor alle betrokkenen. Naarmate conclusies in een dialoog scherper getrokken kunnen worden, is ook de investering in onderbouwing van conclusies meer de moeite waard. Dit geldt niet alleen voor de relatie tussen ministerie en MFS-partner, maar ook voor de te leren lessen tussen partners onderling en samen met andere spelers zoals kennisinstellingen of niet onder het MFS opererende organisaties. Juist voor het delen van dergelijke lessen is adequate bestaffing op het departement nodig. Ik neem daarmee alle aanbevelingen van IOB volledig over.
De aanbevelingen op langere termijn voor zover niet in het verlengde van wat hierboven al is aangeduid, hebben betrekking op een explicieter inzicht van de ’theories of changes’ van MFS-partners, het instellen van jaarlijkse rapportages over afwijkingen in de realisatie van outputs ten opzichte van planning en tweejaarlijks als het gaat om zgn. outcomes of maatschappelijke effecten. Hierop ben ik al in gegaan in de beleidsnotitie ‘Samenwerken, Maatwerk, Meerwaarde1.
Een eerste belangrijke verschuiving die ik heb aangekondigd is die van monitoren op kwantiteit naar monitoren op kwaliteit. De zichtbaarheid van resultaten heeft in het systeem van Maatgesneden Monitoring de meeste aandacht gekregen. Het is echter van even groot belang om inzichtelijk te maken hoe deze resultaten zijn behaald. Door te werken met een methodiek die de verschillende veronderstelde stappen in het veranderingsproces weergeeft en meetbaar maakt, kunnen aannames goed worden getoetst en tijdig bijstellingen worden doorgevoerd. Niet zozeer de vraag of resultaten worden gehaald, maar hoe die moeten worden behaald dringt zich dan op. Dit haalt de meer kwalitatieve vragen naar voren.
Een tweede belangrijke verschuiving in het volgende MFS is het verleggen van de focus op verantwoording naar een focus op leren. In het huidige systeem ligt de focus onbedoeld sterk op verantwoording. Dit is ontstaan door de nadruk op een jaarlijkse monitoring van resultaten. Resultaten zijn enorm belangrijk in termen van verantwoording, maar op zich zelf biedt de vraag hoe die resultaten al dan niet tot stand komen veel meer inzicht, die ook in andere situaties en bij andere programma’s van belang kunnen zijn. Evaluaties zijn een goed middel om leren te bevorderen. Ook andere en soms goedkopere vormen van leren zoals veldbezoek of dialoog kunnen worden toegepast. Welke leervorm het meest geschikt is hangt deels af van de vragen die worden gesteld. Maatgesneden Monitoring kan en moet helpen om die vragen te stellen en daarvoor de juiste vorm te vinden.
IOB beveelt nog aan om niet zozeer op stelselniveau evaluaties te verrichten, maar veeleer op programmaniveau. Het diverse karakter van MFS-programma’s leent zich niet of nauwelijks voor stelselevaluaties. Niettemin acht ik het van belang dat zicht wordt verkregen op de centrale vraag achter MFS-subsidieverleningen, nl. of de investering in maatschappelijke organisaties daadwerkelijk de verwachte toegevoegde waarde weet te realiseren. Door goede combinaties van programma-evaluaties die inzoomen op de verschillende rollen die organisaties in onderscheiden landen kunnen spelen, kan dat totaal overzicht worden opgebouwd. Ik beschouw een dergelijk totaal overzicht als een wezenlijk onderdeel van de verantwoording over investeringen met publieke middelen.
De Minister voor Ontwikkelingssamenwerking,
Bert Koenders
1: Toegezonden aan Tweede Kamer op 14 april jl.