Kamerbrief tussenevaluatie beleidsdoorlichtingen

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal
Postbus 20018
2500 EA 'S-GRAVENHAGE

Ons kenmerk: IRF 2008-1583 U

Betreft: Tussenevaluatie beleidsdoorlichtingen

Aanleiding

Op 14 juni 2007 heeft de voorzitter van de commissie voor de Rijksuitgaven van de Tweede Kamer (CRU) de minister van Financiën een brief gestuurd over beleidsdoorlichtingen.[1] De commissie liet weten positief te staan tegenover beleidsdoorlichtingen, maar signaleert (op basis van de eerste vier beleidsdoorlichtingen) wel een aantal risico's voor de bruikbaarheid door de Kamer. Zo vindt de CRU het zorgelijk dat grote verschillen bestaan tussen beleidsdoorlichtingen, zowel in inhoud als in diepgang. De commissie dringt daarom aan op meer stroomlijning door een sterkere regie van de minister van Financiën die de inhoud en diepgang van de beleidsdoorlichtingen dwingender voorschrijft dan wel erop toeziet dat deze wordt bereikt. Ook vindt de commissie dat de regelgeving met betrekking tot de betrokkenheid van onafhankelijken bij beleidsdoorlichtingen tekort schiet. De minimumeis die de Regeling periodiek evaluatieonderzoek en beleidsinformatie 2006 (RPE 2006[2]) aan onafhankelijken stelt (anderen dan de betreffende beleidsambtenaren) is volgens de commissie weinig substantieel. Beleidsdoorlichtingen dienen volgens de commissie te worden uitgevoerd door onafhankelijke derden, bij voorkeur buiten de rijksoverheid. Ook de planbureaus en bijvoorbeeld Rijksinstituten zouden hierbij een rol kunnen spelen.

Op 7 december 2007 heb ik de Kamer laten weten dat het anderhalf jaar na inwerkingtreding van de nieuwe regeling (RPE 2006), nog te vroeg is om te concluderen dat meer regie van de minister van Financiën in de vorm van het aanscherpen van de RPE 2006 noodzakelijk is . Mijn voornemen was om, als een substantieel aantal beleidsdoorlichtingen beschikbaar waren, te bezien of aanscherping van de RPE 2006 alsnog noodzakelijk is[3]. Nadat een substantieel aantal beleidsdoorlichtingen was afgerond heb ik het onderzoeksbureau APE verzocht een tussenevaluatie uit te voeren, waarbij zowel proces rond en inhoud van beleidsdoorlichtingen wordt beoordeeld.

In het vervolg van deze brief vindt u voorafgaand aan de conclusies van APE en mijn reactie daarop eerst een uiteenzetting van de uitgangspunten voor taken, rollen en verantwoordelijkheden van departementen met betrekking tot evaluaties zoals die in de CW zijn neergelegd. Dit zijn de kaders die relevant zijn bij de beoordeling van de beleidsdoorlichtingen en die ook de ruimte bepalen waarbinnen verbetermogelijkheden kunnen worden gezocht.

Uitgangspunten bij de vormgeving van evaluatieonderzoek

Een belangrijk uitgangspunt voor de RPE 2006 (en de introductie van beleidsdoorlichtingen) is dat vakministers verantwoordelijk zijn voor de doeltreffendheid en de doelmatigheid van het beleid dat aan hun begroting ten grondslag ligt. Dit is vastgelegd in artikel 20 van de Comptabiliteitswet (CW). Om te kunnen bepalen of het al dan niet bereiken van de gestelde doelstellingen toe te schrijven is aan het gevoerde beleid - de doeltreffendheid van het beleid - is evaluatieonderzoek noodzakelijk (zie toelichting bij artikel 5 van de CW).

Een tweede belangrijk uitgangspunt is dat vakministers ook verantwoordelijk zijn voor het periodiek evalueren van de doeltreffendheid en de doelmatigheid van het beleid, dit is vastgelegd in artikel 20, tweede lid van de CW. Met deze evaluaties dienen vakministers zich tegenover het parlement te verantwoorden over het gevoerde beleid.

Binnen vakdepartementen draagt de directeur FEZ (op grond van het Besluit Taak FEZ, 2002) zorg voor het bevorderen en zonodig coördineren van het onderzoek naar de doelmatigheid van het beleid dat ten grondslag ligt aan de begroting, zowel tijdens de voorbereiding als periodiek tijdens de uitvoering van dit beleid. Ook dient de directeur FEZ tekortkomingen in beleidsevaluatieonderzoek te signaleren en de minister te adviseren over de wijze waarop deze tekortkomingen kunnen worden opgeheven.

Uit het bovenstaande blijkt dat de vakminister in alle gevallen eindverantwoordelijk is voor de opzet en uitvoering van genoemde periodieke evaluatieonderzoeken. Dit uitgangspunt kan het risico met zich meebrengen dat een situatie ontstaat waarin 'de slager zijn eigen vlees keurt'. Waarborgen zijn daarom gewenst om dit risico tegen te gaan. Het ter wille van de onafhankelijkheid weghalen van deze eindverantwoordelijkheid bij de vakministers om deze bijvoorbeeld neer te leggen bij de minister van Financiën, Tweede Kamer of een andere partij past echter niet bij de uitgangspunten voor verantwoordelijkheid voor de doelmatigheid van het beleid zoals opgenomen in artikel 20 van de CW, en de ministeriële verantwoordelijkheid in den brede. Wel kunnen vakministers evaluatieonderzoeken zelf (in eigen beheer) uitvoeren of de opdracht geven tot uitvoering daarvan door derden zonder de eindverantwoordelijkheid te verliezen.

De minister van Financiën heeft als penningmeester van het kabinet belang bij ex ante als ex post evaluatieonderzoek dat een zo goed mogelijk beeld geeft van de doelmatigheid van beleid. Daartoe kan de minister van Financiën regels stellen ten aanzien van het evaluatieonderzoek zoals die zijn te vinden in de RPE 2006. Hierin is ten aanzien van het ex ante evaluatieonderzoek vastgelegd dat hiervan bij de beleidsonderbouwing zoveel mogelijk gebruik wordt gemaakt. Ten aanzien van ex post evaluatieonderzoek is voorgeschreven dat het beleid gericht op de realisatie van de algemene of operationele beleidsdoelstellingen aansluitend bij de beleidscyclus, periodiek wordt geëvalueerd in een beleidsdoorlichting.

Behalve via de regels voor evaluatieonderzoek kan de minister van Financiën de doelmatigheid van beleid ook bevorderen door het initiatief te nemen tot een IBO (Interdepartementaal Beleidsonderzoek). Kenmerkend voor een IBO is de gerichtheid op het ontwikkelen van alternatieven voor bestaand beleid: in een IBO wordt dus primair vooruit gekeken in plaats van achteruit. Dat kan betekenen dat wordt gewerkt aan: beleidsopties gericht op een grotere doelmatigheid (hetzelfde beleidseffect voor minder geld); beleidsopties gericht op een grotere effectiviteit (meer beleidseffect voor hetzelfde geld); beleidsopties gericht op besparingen (minder beleidseffect voor minder geld); en beleidsopties gericht op het doelmatig vorm geven van beleidsintensiveringen. In een IBO wordt een ontkokerde aanpak gevolgd waarbij kennis en ervaring binnen en buiten de ministeries worden benut en is sprake van ontkoppeling van de ontwikkeling van beleidsopties en het politieke oordeel daarover in het kabinetsstandpunt.

Bij de verantwoording aan het parlement speelt het onafhankelijke oordeel van de Algemene Rekenkamer een belangrijke rol. Dat geldt ook voor de doelmatigheid van het beleid. De Algemene Rekenkamer heeft de uitdrukkelijke opdracht de doeltreffendheid en de doelmatigheid van het gevoerde beleid te onderzoeken (art. 85 CW). Ten tijde van Verantwoordingsdag rapporteert de Algemene Rekenkamer hierover aan de Kamer in de jaarlijkse Staat van de Beleidsinformatie, maar ook in de loop van het jaar in rapportages over doelmatigheidsonderzoeken van beleidsonderdelen. Hier is een raakvlak met de beleidsdoorlichtingen waarmee de vakministers zich verantwoorden over de doeltreffendheid en de doelmatigheid van het beleid dat aan hun begroting ten grondslag ligt.

Waarom introductie van beleidsdoorlichtingen?

Bij de in 2004 uitgevoerde VBTB-evaluatie bleek dat departementen in de praktijk wel veel evaluaties en andere vormen van beleidsonderzoek (laten) uitvoeren, maar daarmee nauwelijks invulling gaven aan de verantwoordelijkheid voor het periodiek onderzoeken (evalueren) van de doeltreffendheid van hun beleid. Nagenoeg geen enkele studie bracht de effecten in beeld. Meestal was sprake van een evaluatie van (een deel van) het proces of van een vorm van monitoring. Voor de meeste beleidsdoelstellingen ontbrak een instrumentoverstijgend en samenhangend overzicht van de belangrijkste bevindingen met betrekking tot ontwikkelingen in input, proces, output en effecten van beleid. Daar kwam nog bij dat de bij de VBTB-evaluatie betrokken externe deskundigen grote vraagtekens zetten bij de waarborgen voor de onafhankelijkheid van deze evaluatieonderzoeken.

De invoering van beleidsdoorlichtingen in de RPE 2006 beoogde voor bovengenoemde problemen een oplossing te bieden. Dit binnen de eerdere geformuleerde uitgangspunten: de vakminister dient zich naar de Kamer te verantwoorden met periodiek onderzoek naar doeltreffendheid en doelmatigheid van zijn of haar beleid. Drie kenmerkende eigenschappen van een beleidsdoorlichting als vorm van evaluatie zijn:

a) beleidsdoorlichtingen zijn evaluaties op het niveau van beleidsterreinen en niet op instrumentniveau, een beleidsdoorlichting heeft hierdoor het karakter van een synthese;
b) in een beleidsdoorlichting staan simpele doch fundamentele vragen centraal naar de nut en noodzaak van beleid en naar de effectiviteit van beleid.
c) bij de uitvoering worden onafhankelijken betrokken. Met onafhankelijken worden deskundigen bedoeld die geen verantwoordelijkheid dragen voor het te onderzoeken beleid en waarvan een onafhankelijk oordeel mag worden verwacht.

Beleidsdoorlichtingen zijn bedoeld om te verantwoorden over het gevoerde beleid en om te leren voor de toekomst. Daarom dient in beleidsdoorlichtingen de nadruk te liggen op de onderdelen die relevantie hebben voor huidig en voorgenomen be1eid

Conclusies APE in tussenevaluatie

APE maakt na ruim twee jaar beleidsdoorlichtingen de volgende tussenbalans op over de vooruitgang die is geboekt met het oplossen van de in de VBTB-evaluatie gesignaleerde problematiek, en komt tot de volgende conclusie:

1. Zowel departementen als onafhankelijken geven aan dat de beleidsdoorlichting een geschikt instrument is om het beleid in zijn geheel objectief te bekijken vanuit een ruim perspectief waardoor de samenhang beter zichtbaar is en gefundeerde conclusies mogelijk zijn over het gehele beleidsartikel.
2. Beleidsdoorlichtingen zijn meer (dan overige evaluaties) doelgericht omdat zij alle zijn uitgevoerd op het niveau van algemene of operationele doelen uit de begroting.
3. Er sprake van een stapeling van evaluaties, beleidsonderzoeken, beleidsdoorlichtingen et cetera. Van synergie is geen sprake.
4. Veel beleidsdoorlichtingen schieten tekort in de informatieverschaffing over de netto- effecten. Het moge zo zijn dat in veel gevallen de netto effectiviteit niet exact is te meten, maar ook de plausibiliteit en een beschrijving van de beleidstheorie blijven vaak achterwege.
5. Een positief neveneffect is dat departementen door de beleidsdoorlichtingen zich meer bewust zijn geworden van de noodzaak bij de beleidsontwikkeling rekening te houden met de meetbaarheid van de netto-effecten.
6. Ten aanzien van de inschakeling van onafhankelijken zijn verbeteringen zichtbaar. In bijna alle beleidsdoorlichtingen wordt beschreven of en op welke wijze onafhankelijken zijn betrokken. Wel hebben diverse partijen aangegeven dat behoefte bestaat aan een verduidelijking van de rol van de onafhankelijke.
   

Samenvattend komt APE tot de slotsom dat twee jaar na invoering van de RPE 2006 niet verwacht mag worden dat alle tekortkomingen uit de VBTB- evaluatie zijn opgelost. Het draagvlak voor beleidsdoorlichtingen is bij directies FEZ geleidelijke groeiende en bij de beleidsdirecties broos. Bovendien blijkt dat nog niet alle departementen ervaring hebben met beleidsdoorlichtingen. Afgezien hiervan constateert APE dat de komst van het instrument beleidsdoorlichting nog niet heeft geleid tot substantiële verbeteringen van de kwaliteit van de evaluatieonderzoeken. De leereffecten zijn relatief gering, zeker in vergelijking tot de geleverde inspanningen, hoewel er zeker ook voorbeelden te noemen zijn van beleidsdoorlichtingen waarvan beleidsdirecties aangeven veel van beleidsdoorlichtingen te hebben geleerd.
De conclusie is dat het instrument beleidsdoorlichting de mogelijkheid biedt om te leren, maar dat dit nog onvoldoende gebeurt. Het instrument beleidsdoorlichting kan volgens APE nog aan meerwaarde winnen door ondermeer:

I. Technische aanpassingen

a. Een strakkere interpretatie van het criterium 'ex post'
b. Een heldere inleiding (toelichting) op de doorlichtingsvragen
c. Een verplichte beschrijving van de beleidstheorie: de samenhang tussen probleemanalyse, rol van de overheid, instrumenten en effecten
d. Meer helderheid/inzicht geven over de wijze waarop effecten van beleid vastgesteld kunnen worden.
e. Aanscherping selectie van onafhankelijke deskundigen: alleen deskundigen van buiten de rijksdienst almede de planbureaus en onafhankelijke instituten zoals WODC en IOB .
f. Verplichte publicatie van het commentaar van de onafhankelijk deskundige in de beleidsdoorlichting

II. Procedurele aanpassingen

a. Investeren in beleidsvorming en voorbereiding van beleid (beleidsdoorlichtingsvragen ook stellen voordat het beleid start)
b. Vergroting van de betrokkenheid van de Tweede Kamer door een meer vraaggestuurde programmering waarbij de Kamer expliciet de onderwerpen van de beleidsdoorlichtingen vaststelt.

Beleidsreactie op de conclusies en aanbevelingen van APE

Ik onderschrijf de conclusies van APE in de tussenevaluatie. De uitkomsten van de tussenevaluatie zijn voor mij geen aanleiding om de regelgeving (RBV/RPE) op majeure punten aan te passen. De regelgeving (RBV/RPE) is in de visie van de departementen en onafhankelijke deskundigen helder, dwingend, nuttig en zinvol. De systematiek van beleidsdoorlichtingen wordt gesteund door Kamer, departementen en Rekenkamer. Ook ben ik niet ontevreden over de verbeteringen in de evaluatiefunctie die met de introductie van beleidsdoorlichtingen zijn geïntroduceerd. Bij bijna alle beleidsdoorlichtingen zijn onafhankelijken betrokken en in bijna tweederde van beleidsdoorlichtingen is, waar dat mogelijk was, aandacht besteed aan effecten van beleid. Wel is het zo dat alle partijen moeten wennen aan het nieuwe evaluatie instrument beleidsdoorlichting. Dit gaat gepaard met de nodige aanloopproblemen.

Zo moet ik constateren dat slechts de helft van de voor het begrotingsjaar geplande beleidsdoorlichtingen daadwerkelijk wordt uitgevoerd. Een basisvoorwaarde voor een succesvolle beleidsdoorlichting is een zorgvuldige timing van start en afronding van het onderzoek, een programmering die kan rekenen op expliciete instemming van alle (ambtelijk en politieke) betrokkenen binnen het departement (van hoog tot laag), die past bij de beleidscyclus en dus rekening houdt met andere reeds geplande evaluatie- en adviestrajecten. APE constateert echter een stapeling van allerlei vormen van evaluaties en monitors en dat van synergie geen sprake is. Naar mijn mening kan de door Kamer en departementen ervaren stapeling (en overlap) van evaluaties alleen worden teruggebracht en/of voorkomen door een integrale evaluatieprogrammering. Dit betekent dat alle geplande en toegezegde evaluaties in samenhang worden bezien. Daarbij kan de planning van beleidsdoorlichtingen als kompas voor programmering van overige evaluaties fungeren. De vakdepartementen zullen samen met mijn ministerie tot actie overgaan om verbetering in de evaluatieprogrammering te brengen. Daarbij kan gebruik worden gemaakt van de ervaringen van enkele departementen, die reeds met een integrale evaluatieplanning aan de slag zijn gegaan. Ik verwacht dat daarmee de verantwoordingslast wordt beperkt en ruimte ontstaat om in evaluaties meer aandacht te besteden aan effecten van beleid, waarmee het leereffect voor Kamer en departementen wordt vergroot.

De hiervoor beschreven technische aanpassingsvoorstellen van APE neem ik over, hoewel voor de meeste daarvan (I, a t/m d) geen aanpassing van de regelgeving noodzakelijk is. In de brief aan uw Kamer van 7 december 2007 heb ik reeds invulling gegeven aan de aanbeveling van wens van de CRU om ex-post-criterium strikter te hanteren. Voorlichting en uitwisseling van goede voorbeelden (en ervaringen) zijn in mijn ogen een noodzakelijke voorwaarde om de kennis over beleidsdoorlichtingen te vergroten het draagvlak te verstevigen. Mijn ministerie zal hierbij een ondersteunende rol spelen.

In mijn antwoord op de brief van de CRU over beleidsdoorlichtingen heb ik aangegeven het belangrijk te vinden dat de Kamer een helder beeld krijgt van de rol die onafhankelijken hebben gespeeld bij de totstandkoming van het rapport en van het eindoordeel van deze onafhankelijken over de finale versie van het rapport. Inmiddels is dit in toenemende mate het geval. Het lijkt me een goede zaak als dit altijd gebeurt. Daarom zal in de regelgeving worden bepaald dat bij elke beleidsdoorlichting tenminste één onafhankelijke deskundige wordt betrokken die een toelichting geeft op zijn of haar betrokkenheid en inbreng bij de totstandkoming van de beleidsdoorlichting. Deze toelichting zal met de beleidsdoorlichting worden meegestuurd naar de Kamer. Daarmee wordt tegemoet gekomen aan de wens van de CRU dat een beleidsdoorlichting moet getuigen van onafhankelijkheid (Algemeen overleg d.d. 28 februari 2008[4]). Tevens wordt meer gewicht gegeven aan en helderheid gegeven over de rol van onafhankelijken, die voor veel betrokkenen diffuus is.

Dit brengt ook met zich mee dat het wenselijk is de selectie van onafhankelijke deskundigen te beperken tot diegenen die, zonder afbreuk te doen aan de eenheid regeringsbeleid, in de positie zijn een dergelijke toelichting naar de Kamer te sturen: onafhankelijke derden van buiten de rijksdienst, maar ook vertegenwoordigers inspectiediensten alsmede departementale onderzoeksinstellingen met een onafhankelijke status (bijvoorbeeld Planbureaus, WODC, IOB, LEI). Gezien de belangrijke rol die de onafhankelijke dient te spelen bij beleidsdoorlichtingen als countervailing power ("voorkomen dat de slager zijn eigen vlees keurt") is extra borging middels codificatie van deze reeds gangbare praktijk aanvullend op al bestaande checks and balances in mijn ogen gerechtvaardigd. Daarmee wordt ook tegemoet gekomen aan de zorg van de Kamer dat de huidige minimum eis uit de RPE2006 voor onafhankelijken ("anderen dan de betreffende beleidsambtenaren") weinig substantieel is.

Ik ben het eens met de constatering van APE dat er veel kan worden gewonnen door een goede beleidsvoorbereiding. Wanneer van te voren wordt nagedacht over de samenhang tussen knelpunten, oplossingen en beoogde effecten kan achteraf beter worden nagegaan of en hoe de beoogde effecten behaald zijn.

Een belangrijke aanbeveling van APE is een meer vraaggestuurde programmering waarbij de Kamer expliciet de onderwerpen van de beleidsdoorlichting vaststelt. Deze aanbeveling is ook genoemd door leden van de CRU die in het kader van de tussenevaluatie zijn geïnterviewd, Het voorstel sluit eveneens aan bij de vraag van de CRU (Algemeen Overleg van 28 februari 2008) naar de mogelijkheid om aanvullende prioriteiten te benoemen waar het gaat om de onderwerpkeuze voor beleidsdoorlichtingen. Op dit moment stelt de Kamer de programmering van beleidsdoorlichtingen vast door goedkeuring van de begroting, waarin aan het slot van elk beleidsartikel een meerjarenprogrammering is opgenomen. Met APE ben ik van oordeel dat een meer vraaggerichte programmering, de belangstelling van de Kamer voor beleidsdoorlichtingen zal vergroten, commitment zal creëren bij de politieke en ambtelijke leiding en ertoe zal bijdragen dat de uitvoering meer prioriteit zal krijgen. Daarmee neemt de kans aanzienlijk toe dat beleidsdoorlichtingen onderwerp van debat in de Kamer zullen worden. Dit wel onder de randvoorwaarde dat de planning blijft aansluiten bij de beleidscyclus. Een mogelijkheid is om in de begroting de programmering beter zichtbaar te maken en te onderbouwen. Over de wijze waarop de Kamer aan meer vraaggerichte programmering invulling wil geven, wil ik graag met u in overleg treden.

In dit verband wijs ik er op dat de betrokkenheid van de Kamer voor de uitkomsten van beleidsdoorlichtingen tevens wordt vergroot door het experiment Verbetering verantwoording en begroting. Als onderdeel van het experiment hebben de departementen LNV, BUZA, VWS, VROM en WWI in de begroting 2009 toegezegd dat in aanvulling op het jaarverslag een beleidsdoorlichting naar de Kamer wordt verzonden. De verwachting is dat in het Algemeen Overleg over het jaarverslag met een vakminister de conclusies van deze beleidsdoorlichting aan de orde zullen komen.

Tot slot ben ik met APE van oordeel dat de noodzakelijke verbeteringen ambitieus zijn, maar zeker haalbaar. Zoals APE aangeeft, is - naast betrokkenheid van de Kamer - belangrijk dat departementen bereid zijn kritisch en met afstand naar hun eigen beleid te kijken. De praktijk van een aantal succesvolle beleidsdoorlichtingen in de afgelopen periode, met name op het terrein van Sociale Zaken, bewijst dat dit mogelijk is.

W.J. Bos
Minister van Financiën

[1] Ter inzage gelegd bij het Centraal Informatiepunt van de Tweede kamer (vra2007ru-22)
[2] Staatscourant 28 april 2006, nr. 83 / pag. 14. De RBV2006 is vanaf 2008 opgenomen in de Rijksbegrotingsvoorschriften.
[3] Tweede Kamer, vergaderjaar 2007-2008, 31 308, nr. 1
[4] Tweede Kamer, vergaderjaar 2007-2008, 29949, 31 308, nr. 3