Ministerie van Verkeer en Waterstaat

Evaluatie van het
Kennisinstituut Mobiliteitsbeleid (KiM)

Eindrapport
Eindrapport

2 december 2009





1 Evaluatie van het KiM


1.1 Aanleiding

In september 2006 is het Kennisinstituut voor Mobiliteitsbeleid (KiM) van start gegaan. Aangekondigd is dat het KiM drie jaar na oprichting wordt geëvalueerd1. Doel van de evaluatie is een onafhankelijk oordeel te verkrijgen over de toegevoegde waarde van de producten, de werkwijze, het functioneren en de positionering van het KiM. Uit de eva- luatie kunnen aanbevelingen voortkomen over wijzigingen in het type producten, de werkwijze, het functioneren en de positionering van de eenheid. Op basis van deze eva- luatie kunnen indien gewenst wijzigingen worden doorgevoerd.


1.2 Evaluatiecommissie

Ten behoeve van de evaluatie is een onafhankelijke externe evaluatiecommissie inge- steld onder voorzitterschap van prof.dr. Wim Derksen (Chief scientist van VROM).

Overige leden van de commissie zijn:

· drs. Bob Demoet (afdelingshoofd van V&W)
· ir. Ben Geurts (directeur strategie van VROM)
· drs. Duco Stadig (oud-wethouder Amsterdam)
· Jacqueline Tammenoms Bakker MA (bestuurlijk kwartiermaker RLi i.o)
· prof. dr. Eddy van de Voorde (hoogleraar te Antwerpen)

Als onafhankelijk secretaris van de commissie treedt drs. Jan Nekkers op.


1.3 Werkzaamheden

De evaluatiecommissie is haar werkzaamheden begonnen met een vergadering op 22 oktober 2009 en een hoorzitting op 23 oktober 2009. In een vergadering op 1 december heeft zij haar bevindingen in de vorm van dit eindrapport vastgesteld.

Ten behoeve van haar oordeelsvorming heeft de commissie kennisgenomen van rele- vante beleidsnota's met betrekking tot het KiM en de relevante producten van het KiM.


1 Brief aan de Tweede Kamer (DAB 2005/2273)

2




Tijdens de hoorzitting is gesproken met het huidige MT van het KiM, een delegatie uit de Programmaraad en een afvaardiging van de medewerkers van het KiM.

Voorzitter en secretaris hebben gesprekken gevoerd met:
· prof.dr. Carl Koopmans (voormalig directeur KiM)
· drs. Arjen 't Hoen (waarnemend directeur KiM)


· drs.Mark Dierikx (DG LM van V&W)

· ir. Jeroen Fukken (directeur Luchthavens V&W)
· ir. Hans Leeflang (directeur SKI van V&W)
· drs. Siebe Riedstra (DG mobiliteit V&W)


· ir. Harry Baaijen (directeur Deltares)

· prof.dr. Maarten Hajer (directeur PBL)

· prof. dr. Frans Leeuw (directeur WODC)

· prof.dr. Piet Rietveld (hoogleraar VU)


1.4 Werkwijze

Het KiM is opgericht om de kennisbasis van het mobiliteitsbeleid van V&W te verster- ken. De evaluatiecommissie heeft het functioneren van het KiM met name beoordeeld op de toegevoegde waarde voor het beleid van V&W.
Daarbij is gekeken naar de:

· producten van het KiM
o bekendheid
o bruikbaarheid
o wetenschappelijke kwaliteit
o productenaanbod

· werkwijze van het KiM:
o contacten relaties met het KiM in het algemeen o timing van het KiM in relatie tot beleidsproces o kennis en kunde van het KiM
o samenwerking van het KiM met andere kennisinstellingen
· profilering en communicatie van het KiM
· positionering van het KiM
De evaluatiecommissie heeft op basis van bovenstaande aandachtspunten een alge- mene beoordeling van het functioneren van het KiM vastgesteld.


3






1.5 Eindrapport

Het eindrapport is aangeboden aan de SG van het ministerie van V&W als opdrachtge- ver van de evaluatie.


4





2. Bevindingen en aanbevelingen


2.1 Drie jaar KiM

Het KiM is opgericht om de kennisbasis van het mobiliteitsbeleid van V&W te versterken en te verbreden. De (aangescherpte) missie van het KiM luidt: Het KiM maakt analyses van mobiliteit die doorwerken in beleid.2

Het KiM doet dat door:

· het ontwikkelen van strategische kennisproducten
· het ontsluiten van bestaande kennis

· het inbrengen van kennis in het departement van V&W
· het laten horen van een kritisch tegengeluid.

Het KiM richt zich niet op het zelfstandig ontwikkelen van kennisproducten door weten- schappelijk onderzoek, maar ontwikkelt kennisproducten door de interpretatie en syn- these van bestaande kennis. Het KiM laat een kritisch tegengeluid horen door het stel- len van vragen naar het waarom van bepaalde aannames en keuzes en door het bieden van nieuwe invalshoeken en inzichten.

Op het moment van evaluatie bestaat het KiM drie jaar. Alleen al het opzetten van een onderzoeksinstituut in termen van menskracht, behuizing en organisatie vraagt tijd die met een periode van drie jaar krap bemeten is. Het opbouwen van reputatie en vertrou- wen heeft tijd nodig. Dat alles vraagt om terughoudendheid bij het geven van een eind- oordeel bij de evaluatie.

Aanleiding voor de oprichting van het KiM was de constatering binnen V&W dat de (economische/wetenschappelijke) onderbouwing van het mobiliteitsbeleid van V&W minder dan wenselijk was. Omstreeks diezelfde tijd uitte de Tijdelijke Commissie Infra- structuurprojecten (TCI ofwel commissie-Duivesteijn) kritiek op het gebrek aan transpa- rantie in de informatievoorziening en de gebrekkige kennisonderbouwing van het beleid van V&W bij grote infrastructurele werken als de Betuweroute en de HSL.

Conform de aanbevelingen van de commissie-Nijkamp is het KiM volgens het `WOCD- model' als onafhankelijke kenniseenheid binnen V&W gepositioneerd. Het KiM levert wetenschappelijk gevalideerde, onafhankelijke kennisproducten ten behoeve van het verkeer- en vervoerbeleid. Het KiM is `op warme afstand' van de beleidsdirecties van V&W gepositioneerd. Het KiM heeft een onafhankelijke positie binnen V&W, zonder be- leidsmatige of politieke sturing van de inhoud van de producten, maar met voldoende


2 De kracht van het KiM, 19 mei 2008.

5




functionele nabijheid bij de beleidsdirecties om een directe interactie mogelijk te maken. De beleidsdirecties fungeren in die zin als opdrachtgever van het KiM.

Voorwaarde voor het welslagen van het KiM was volgens de commissie-Nijkamp dat de oprichting van de nieuwe kenniseenheid werd ingebed in een proces van cultuurveran- dering binnen V&W waarvan versterking van de kennisbasis van het beleid en transpa- rantie over welke kennis gebruikt is voor de beleidsvorming belangrijke onderdelen vormen.

Het KiM heeft in 2006 een voortvarende start gemaakt. Met prof.dr. Carl Koopmans werd een gezaghebbend directeur aangesteld onder wiens leiding de organisatie is ge- start.

In 2008 was er een tussenevaluatie van het KiM, gebaseerd op interviews met stake- holders binnen en buiten V&W. Belangrijkste conclusie: het KiM is op de goede weg. Het KiM werd door de opdrachtgevers ervaren als een positieve organisatie. De con- structieve inbreng van `facts and figures' door het KiM wordt positief gewaardeerd door V&W met name op de werkvloer.

Helaas is het laatste jaar de sfeer rond het KiM veranderd. Er was irritatie bij de leiding van V&W over het KiM naar aanleiding van een interview met de directeur van het KiM en passages in persberichten van het KiM. Er was `gedoe' over de publicatiedata van rapporten en passage in rapporten van het KiM. De directeur van het KiM heeft afscheid genomen. Zijn positie wordt waargenomen door de plaatsvervangend directeur.

`Irritatie en gedoe' staan vanzelfsprekend niet los van de positie van het KiM als onaf- hankelijk kennisinstituut binnen de muren van het departement. De vraag is of zij gevolg zijn van een ontwerpfout of dat zij te beschouwen zijn als de groeistuipen van een orga- nisatie die nog tot volwassenheid moet komen. Naar het oordeel van de evaluatiecom- missie is dit laatste het geval.

2.2 Bevindingen en aanbevelingen.

De algemene conclusies van de evaluatiecommissie luiden als volgt:

Het onderzoek van het KiM is van voldoende wetenschappelijk gehalte om de beleids- vorming een adequate kennisbasis te verschaffen.

Het onderzoek van het KiM heeft de kwaliteit `ontnuchterend' te werken binnen het de- partement, met name bij de onderbouwing van beleidsplannen..

De commissie heeft geconstateerd dat verschillende onderzoeken van het KiM een di- recte dan wel indirecte doorwerking hebben gehad in het beleid. Het onderzoek van het
6




KiM heeft ook de Tweede Kamer daadwerkelijk bereikt.

Positionering

Naar de mening van de evaluatiecommissie is de positionering van het KiM als onaf- hankelijk kennisinstituut binnen de muren van V&W een goede keuze geweest.

Binnen het departement hebben zich in de afgelopen drie jaar geen ontwikkelingen voorgedaan die een andere positionering van het KiM rechtvaardigen.

Het veranderingsproces binnen V&W naar een versterkte kennisoriëntatie bij de be- leidskern ­ cruciale succesfactor voor het welslagen van het KiM ­ begint op gang te komen. De argumenten die drie jaar geleden golden voor een onafhankelijk KiM binnen de muren van het departement gelden nog steeds onveranderd.

De positionering als onafhankelijk kennisinstituut binnen de muren van V&W is een zaak van nauwgezet balanceren tussen een ontwikkeling dichter naar het beleid toe of juist met meer afstand tot het beleid. Uit de gevoerde gesprekken blijkt dat daarover verschillende denkbeelden heersen.

Sommigen leggen de nadruk op de dienstbaarheid van het KiM aan de beleidsvorming en zijn daarbij vooral positief over de directe contacten tussen medewerkers van het KiM en de beleidskern (het zogenaamde `grijze werk'). Zij zien in het KiM een gespecia- liseerde afdeling die zich richt op de middellange en langetermijnstudie en nauw ver- bonden is met de wetenschappelijke wereld.

Anderen hechten juist veel belang aan de onafhankelijkheid van het KiM. Zij zien de on- afhankelijkheid tot uiting komen in de openbaarheid van de rapporten en de bijdrage die het KiM levert aan het publieke debat over mobiliteit. Zij leggen de nadruk op het laten horen van een kritisch tegengeluid en beleidsevaluaties ex-ante. In hun visie is het KiM `op de weg naar een Planbureau'.

De commissie is van oordeel dat het KiM er primair is om de kwaliteit van de beleids- vorming binnen VenW te verbeteren door het aanleveren van relevante kennis. Daarbij past onafhankelijkheid bij de uitvoering van het onderzoek.

Daarbij past niet de gedachte van een KiM als planbureau in statu nascendi. Het is be- ter om het woord `planbureau' in dit verband niet meer te bezigen.

De commissie is positief over het `grijze werk' dat binnen het departement door de me- dewerkers van het KiM wordt geleverd Het KiM doet er zelfs goed aan om nog meer dan al geschiedt in de informele sfeer de beleidsmakers van VenW te ondersteunen. De kracht van het KiM ligt niet alleen in het doen van onderzoek dat in rapporten uitmondt,
7




maar evenzeer in het informeel aanleveren van relevante kennis in de soms moeizame ontwikkeling van nieuwe beleid.

Om het `grijze werk' ook op het hoogste niveau te laten plaatsvinden is het zinvol om de directeur van het KiM een goedgeregelde ruimhartige toegang tot de (leden van de) ambtelijke top te verlenen en de directeur van het KiM goed op de hoogte te houden van hun agenda.

Organisatie van vraagsturing en kwaliteitsbewaking

Deze evaluatie is een goed moment om het evenwicht tussen beleidsnabijheid en onaf- hankelijkheid nader te preciseren. Naar de opvatting van de evaluatiecommissie moeten vormen gevonden worden waardoor de doorwerking van kennis in het beleid versterkt wordt zonder daarbij de wetenschappelijke onafhankelijkheid van het KiM aan te tasten. De organisatie van een goede onderzoeksprogrammering door dialoogsturing is daarbij cruciale succesfactor.

Het KiM werkt vraaggestuurd. Het KiM werkt voornamelijk aan onderzoeksvragen die door V&W gesteld zijn. Valkuilen daarbij zijn enerzijds dat de vragen te zeer door me- dewerkers van het KiM zelf zijn `ingestoken', anderzijds dat het KiM geen invloed op de vraagstelling uitoefent en in een situatie van `u vraagt, wij draaien' belandt.

In de dialoog over de onderzoeksprogrammering mag van het KiM een krachtige opstel- ling worden verwacht. Het KiM moet V&W behoeden voor het stellen van vragen die vooral `nice to know' zijn. Elk project hoort het predicaat `need to know' te verdienen. Ook moet het KiM V&W behoeden voor het stellen van vragen waarvan het antwoord gewoon op de plank ligt.

Voorwaarde voor een goede dialoogsturing is dat het departement meer werk maakt van het ontwikkelen van een concrete kennisagenda. Er is bijvoorbeeld momenteel geen mechanisme waardoor de onderzoeksvragen van DGMo en DGLM op elkaar wor- den aangesloten. Van V&W mag ook verwacht worden dat het onderzoeksvragen stelt die gericht zijn op het verkennen van toekomstige ontwikkelingen die het mobiliteitsbe- leid regarderen. Dergelijk onderzoek kan `ontnuchterend' werken en de blik van be- leidsmakers verruimen. Het KiM zou op dit punt in de onderzoeksprogrammering stu- render kunnen optreden en V&W op dergelijke lacunes in de onderzoeksvragen kunnen wijzen.

Tegelijkertijd moet het ook voor (de onderzoekers van) het KiM duidelijk zijn dat `weten- schappelijke onafhankelijkheid' gaat over het uitvoeren van het onderzoek en in principe niets van doen heeft met de programmering van het onderzoek.

De organisatie van de vraagsturing kan naar het gevoel van de evaluatiecommissie ver- sterkt worden door het onderscheid tussen vraagsturing en kwaliteitsbewaking scherper
8




te trekken. De Programmaraad is dan uitsluitend het gremium voor de vraagsturing, de adviesraad het gremium voor de kwaliteitsbewaking.

Programmaraad

In de Programmaraad van het KiM vinden tot op heden te weinig scherpe discussies plaats over de onderzoeksprogrammering. Blijkbaar komen te weinig `need to know' vragen van de zijde van V&W dan dat een scherpe prioritering van onderzoeksvragen noodzakelijk is.

De Programmaraad van het KiM kan worden omgevormd tot een echt `vraagsturings- college' door naast de DGMo en DGLM ook beleidsdirecteuren van de genoemde DG's en andere relevante `kleingebruikers' op te nemen.

In deze constructie hebben in de Programmaraad geen niet-gebruikers zitting. Het vast- stellen van het onderzoeksprogramma door de bestuursraad van V&W is niet een ge- schikte optie omdat in de bestuursraad ook niet-gebruikers van het KiM zitting hebben.

Het voorzitterschap van de Programmaraad wordt momenteel vervuld door de DGMo. Deze constructie kan gehandhaafd worden.

Raad van Toezicht

In het kader van een striktere scheiding tussen vraagsturing en kwaliteitsbewaking kan de Raad van Advies worden omgevormd tot een Raad van Toezicht.

De Raad van Toezicht dient voor de borging van de wetenschappelijke en beleidson- derbouwende kwaliteit van het KiM. Ter meerdere borging kunnen onder verantwoordelijkheid van de Raad van Toezicht ook visitatie-achtige constructies worden toegepast.

Bij omvorming tot Raad van Toezicht kan de samenstelling van de Raad worden uitge- breid door naast leden met ruime wetenschappelijke ervaring ook leden met een be- leidsmatige achtergrond op te nemen. Deze laatste leden zijn bij voorkeur van andere departementen dan V&W afkomstig.

Openbaarheid van de rapporten

Naar de mening van de evaluatiecommissie staat de doorwerking van wetenschappelijk gevalideerde kennis in het beleid primair bij het KiM en is het leveren van een bijdrage aan het publieke debat een afgeleide, secundaire functie van het KiM.

Uitgangspunt van wetenschappelijk gevalideerde kennis is dat een onderzoeker zich voor zijn onderzoek verantwoordt door dit via publicatie openbaar te maken. Daarnaast
9




wordt de wetenschappelijkheid van kennisproducten gegarandeerd door te voldoen aan de vereisten van de wetenschappelijke methodologie. In dat licht is openbaarheid geen noodzakelijke voorwaarde voor wetenschappelijkheid. Het is vanzelfsprekend dat rap- porten op de website van het KiM worden gepubliceerd en worden verzonden aan de belangrijkste stakeholders van het mobiliteitsbeleid. Er is echter geen reden om de pu- blicatie van de rapporten van het KiM met een persbericht te begeleiden.

In bijzondere gevallen kan worden besloten tot een intern KiM-project dat niet tot open- bare rapportage leidt.. De impact van bepaalde kennis op het beleid is immers in som- mige gevallen groter als die kennis intern op het departement ingezet wordt dan wan- neer die kennis ingebracht wordt in het publieke debat..Het besluit een dergelijk intern project uit te voeren wordt vooraf door de directeur van het KiM en de SG van V&W ge- zamenlijk genomen.

Het KiM heeft in een nota voorstellen voor een meer proactieve benadering van het pu- blicatiebeleid van KiM-rapporten gedaan3. Kern van de nota is dat publicatie van KiM- rapporten eerder en hoger in de lijn bij het departement aangekondigd wordt. De evalu- atiecommissie beveelt aan deze beleidslijn te handhaven.

Bij publicatie van rapporten is de timing van publicatie een zaak van goed overleg tus- sen de directeur van het KiM en de SG van V&W.

Hoe goed de formele procedures ter bescherming van de onafhankelijkheid van het KiM ook zijn geregeld, het goede gesprek tussen de directeur van het KiM en de opdracht- gevers van V&W is cruciaal om te voorkomen dat `gedoe' over publicaties ontstaat. Van de zijde van V&W mag in dat kader worden verwacht dat het KiM in bescherming wordt genomen tegenover de onmiskenbaar grote belangen van de politiek en tegen het grote gewicht van de beleidsdirecties, indien dat nodig is. De SG en de Bestuursraad behoren hierop aanspreekbaar te zijn.

Directeur KiM

De leiding van het KiM wordt momenteel waargenomen door een plaatsvervangend di- recteur. De ontwikkeling van het KiM als organisatie staat stil. Zeker voor een organisa- tie in de beginfase van haar ontwikkeling is dat een situatie die zo kort mogelijk moet duren.

Het verdient daarom aanbeveling snel de procedure voor de werving van een nieuwe di- recteur in gang te zetten.


3 Nota. Voorstel ten aanzien van KiM-rapporten, dd. 17 juni 2009.
10





Bij de keuze van een nieuwe directeur moet gekeken worden naar een persoon van we- tenschappelijk gezag, die tevens politiek gevoel paart aan het vermogen om dienstbaar te zijn aan het beleid. Het management van het KiM kan grotendeels in handen worden gelegd van een (plaatsvervangend) directeur. De wetenschappelijk directeur is het boegbeeld van de organisatie. De zakelijk directeur is verantwoordelijk voor de interne organisatie, het netwerk met andere kennisinstituten en de dagelijkse contacten met V&W.

Omvang van het KiM

De omvang van het KiM is medebepalend voor de kwaliteit.

Met de huidige 30 fte heeft het KiM naar de mening van de evaluatiecommissie een evidente ondergrens bereikt. In deze formatieomvang is reeds een taakstelling verdis- conteerd. Daarom mag het KiM niet door nieuwe taakstellingen getroffen worden.

Formele plaatsbepaling

Formeel valt het KiM rechtstreeks onder de SG van V&W. Deze constructie moet ge- handhaafd blijven.


11