Ministerie van Verkeer en Waterstaat

Toezicht Tellen
Over het meten van de effectiviteit van toezicht
door de Inspectie Verkeer en Waterstaat
Kennisinstituut voor Mobiliteitsbeleid
Pieter Wouters
Harry Derriks
Han van der Loop
September 2009

Kennisinstituut voor Mobiliteitsbeleid

Het Kennisinstituut voor Mobiliteitsbeleid (KiM) maakt analyses
van mobiliteit die doorwerken in het beleid. Als zelfstandig instituut
binnen het Ministerie van Verkeer en Waterstaat (VenW) maakt het KiM
strategische verkenningen en beleidsanalyses.

De inhoud van de publicaties van het KiM behoeft niet het standpunt van
de minister van VenW weer te geven.

Voorwoord

In de huidige samenleving ervaren mensen effectiviteit, transparantie en
het geven van rekenschap als steeds belangrijker. Effectmeting draagt
daaraan bij, maar het meten van effecten van toezicht is geen gemakkelijke
zaak.

In dit rapport bespreken wij verschillende manieren van effectmeting voor
de Inspectie Verkeer en Waterstaat (IVW). We kijken naar de mogelijkheden
(en beperkingen) vanuit het theoretisch kader van het evaluatiebeleid en
naar de praktische mogelijkheden voor de IVW om effecten van toezicht te
meten.

Dank gaat uit naar Frans Leeuw (WODC en Vide) en Peter van der Knaap (AR)
voor hun kritische maar opbouwende opmerkingen, die ons stimuleerden
ideeën en methoden verder uit te werken. Onze dank gaat ook uit naar
Haiko van der Voort (TU Delft) voor zijn scherpe commentaar op het finale
concept en naar alle deskundigen bij de IVW voor hun constructieve
bijdrage aan dit onderzoek.

Wij hopen dat dit onderzoek de IVW verder helpt op de uitdagende weg naar
effectmeting.

Carl Koopmans

Directeur KiM

Toezicht Tellen - KiM |

| Ministerie van Verkeer en Waterstaat

Inhoudsopgave

Voorwoord3

Samenvatting7

1 Inleiding 11

2 Hettheoretischkadervaneffectmeting13

2.1 De plaats van effectmeting in het beleidsproces 13
2.2 De effectketen 14

2.3 Verschillende methoden voor effectmeting 15
2.4 Indicatoren brengen de doelen in beeld 18

2.5 De complexiteit van effectmeting 20

3 Kwantitatieveeffectmetingindepraktijk23

3.1 Modellering in het wegvervoer 23

3.2 Toepassing voor het personenvervoer, de zeevaart en het luchtruim 25

4 Conclusies29

Summary31

Bijlage:bestaandeennieuweindicatorenIVW35

Bronnen39

Toezicht Tellen - KiM |

| Ministerie van Verkeer en Waterstaat

Samenvatting

`In 2004 zijn door inspecties 107 dodelijke ongevallen en 1.889 gewonden voorkomen.'
Deze informatie komt uit een verslag van de Inspectie voor
Transportveiligheid van het Amerikaanse ministerie van Vervoer. In
Nederland is het vooralsnog niet mogelijk om de effecten van toezicht op
deze manier te laten zien. Het onderzoek Toezicht Tellen, dat het
Kennisinstituut voor Mobiliteitsbeleid (KiM) heeft uitgevoerd voor de
Inspectie Verkeer en Waterstaat (IVW), laat zien dat er mogelijkheden zijn
om de effecten van toezicht te meten. Een uitspraak als de Amerikaanse
hierboven, komt daarmee ook voor Nederland een stap dichterbij.
IVWenveiligheid

De IVW houdt toezicht op het wegtransport, de spoorwegen, de binnen
vaart, de zeevaart, de luchtvaart en het waterbeheer. Om verantwoording te
kunnen afleggen over inspecties, inspecties te plannen en het toezicht te
verbeteren, is het voor de IVW essentieel om de effecten van toezicht te
kunnen meten.

De bijdrage van de IVW aan de veiligheid in het transport, wordt nu nog
vaak uitgedrukt in activiteiten, zoals aantallen inspecties of aantallen
verleende vergunningen. Om effecten van toezicht te kunnen meten, is het
belangrijk om doelstellingen scherp te formuleren. Het kan dan gaan om
hoofddoelen, zoals de vermindering van het aantal verkeersongevallen, of
om zogenoemde tussendoelen, zoals meer gordelgebruik of minder
alcoholmisbruik. Om effecten van toezicht compleet en evenwichtig in
beeld te brengen, is het aan te bevelen verschillende indicatoren naast
elkaar te gebruiken. Zo is het zinvol om bij het aantal verkeersongevallen in
het wegverkeer onderscheid te maken tussen het aantal doden, het aantal
gewonden en materiële schade.

Methodenvaneffectmeting

Er bestaan kwantitatieve en kwalitatieve methoden om effecten in beeld te
brengen. Beide soorten vullen elkaar aan. De ene methode kan dienen als
een reality-check voor de andere en andersom, waardoor meer robuuste
uitspraken over effecten van toezicht gedaan kunnen worden.
Toezicht Tellen - KiM |

In deze studie is het KiM op zoek gegaan naar best practices in het buitenland.
Daarbij is vooral gekeken naar kwantitatieve methoden van effectmeting,
omdat die in de wereld van het toezicht nog niet gebruikelijk zijn. Op basis
van de meest belovende kwantitatieve methode die uit deze internationale
vergelijking naar voren is gekomen, heeft het KiM een model voor effect
meting in het wegvervoer gebouwd. Daarmee zijn proefberekeningen
uitgevoerd. Het model vergelijkt de betrokkenheid bij ongevallen van
vervoersbedrijven waar toezicht is gehouden, met die van vervoersbedrijven
waar geen toezicht is gehouden. Uit de eerste rekenexercities blijkt dat
bedrijven waar inspecties hebben plaatsgevonden, na deze inspecties
minder vaak betrokken zijn bij ongevallen dan bedrijven die niet zijn
geïnspecteerd.
Mogelijkhedenpersector
Het KiM heeft de praktische toepassing van deze methode verkend voor het
toezicht op het personenvervoer (bus en taxi), de zeevaart en het luchtruim
(luchtverkeersleiding, voorlichting voor piloten en vliegclubs). Of de
methode kan worden toegepast, is sterk afhankelijk van de beschikbaarheid
van voldoende basisgegevens, zoals informatie over ongevallen per
transportbedrijf, inspecties per bedrijf en bedrijfskenmerken. Voor het bus
en taxivervoer zijn er duidelijk mogelijkheden voor effectmeting op
hoofddoelen. Voor het toezicht op de zeevaart is dat aannemelijk. Voor het
toezicht op het luchtruim lijken de mogelijkheden zich te beperken tot
tussendoelen. Het KiM heeft een aantal indicatoren benoemd om effecten
van toezicht in deze sectoren te meten.
Dekansopeenongevalvoorspellen
Het KiM heeft verder gekeken naar de mogelijkheden om effectmeting te
gebruiken voor de planning van toezichtactiviteiten. Het gaat er dan om in
hoeverre de IVW vooraf een inschatting kan maken van de kans op
ongevallen bij bedrijven. Uit onderzoek in de VS en in Nederland blijkt dat
de veiligheid samenhangt met het aantal malen dat een bedrijf in het
verleden betrokken was bij ongevallen, met overtredingen van de regel
geving en met het veiligheidsbeleid in een bedrijf. Op basis van deze
gegevens kan aan een bedrijf een bedrijfsveiligheidscore worden toege
kend, waarmee de kans op een ongeval kan worden voorspeld. Dat maakt
het voor de IVW mogelijk om zich vooral te richten op bedrijven met een
hoge ongevalskans. Dit instrument kan voor de IVW een goede aanvulling
zijn op de huidige manier van werken met risicoanalyses.
In theorie is het haalbaar om een planningsinstrument te ontwikkelen dat
voortbouwt op de bedrijfsveiligheidscore. Het ontwerp daarvan moet nog
verder worden uitgewerkt.
| Ministerie van Verkeer en Waterstaat

Lerendeevaluatiesingescheidenomgevingen

Effectmeting is complex en is dan ook niet van vandaag op morgen te
realiseren. Daarom is effectmeting het beste te benaderen als een ontwik
kelproces, als een proces van lerende evaluaties. Effectmeting met het doel te
experimenteren, moet los staan van effectmeting met het doel verantwoor
ding af te leggen. In een ontwikkelomgeving moeten fouten zichtbaar
kunnen worden. Dan is het mogelijk te leren van de methodiek, de
informatiehuishouding op orde te krijgen en goede afspraken te maken
over het gebruik van de uitkomsten. Dit staat op gespannen voet met het
afleggen van verantwoording in de planning & controlcyclus. Met
gescheiden omgevingen vermindert deze spanning.

Toezicht Tellen - KiM |

10 | Ministerie van Verkeer en Waterstaat

1 Inleiding

Achtergrond

De Inspectie Verkeer en Waterstaat (IVW) opereert als toezichthouder op het
werkterrein van het Ministerie van Verkeer en Waterstaat (VenW). Toezicht is
een van de instrumenten die moeten bijdragen aan de veiligheid en
duurzaamheid in het transport.

Voor de IVW is het essentieel om effecten van toezicht meetbaar te kunnen
maken; enerzijds om rekenschap te geven en te verantwoorden, anderzijds
om te leren en het toezicht te verbeteren.

Doelvanhetonderzoek

Er wordt al langer gestudeerd op methoden voor effectmeting, maar tot op
heden beschikt de IVW niet over een operationeel model. Daarom heeft de
IVW het Kennisinstituut voor Mobiliteitsbeleid (KiM) gevraagd onderzoek te
doen naar de mogelijkheden voor effectmeting.

DeonderzoeksvraagvoorhetKiMis:

Hoe kunnen de effecten van toezicht beter dan tot nu toe in beeld
worden gebracht? Welke indicatoren kunnen daarbij gebruikt
worden?

Met name kwantitatieve methoden van effectmeting vormen het onderwerp
van deze KiMstudie, omdat de toepassing hiervan nog niet gebruikelijk is
in de wereld van het toezicht.

Toezicht Tellen - KiM | 11

Werkwijze
Eerst is een literatuurstudie uitgevoerd naar best practices in het buitenland.
Op basis van een Amerikaans voorbeeld is een model voor effectmeting in
het wegvervoer gebouwd, waarmee eerste berekeningen zijn uitgevoerd.
Daarna hebben enkele interviews plaatsgevonden met experts binnen de
IVW. Tussentijds zijn ideeën getoetst in gesprekken met Frans Leeuw
(directeur Wetenschappelijk Onderzoek en Documentatiecentrum van het
Ministerie van Justitie en voorzitter van Vide; beroepsvereniging van
professionals in het veld van toezicht, inspectie, handhaving en evaluatie)
en Peter van der Knaap (directeur Onderzoeksdirectie II van de Algemene
Rekenkamer). Haiko van der Voort (TU Delft, faculteit Techniek, Bestuur en
Management, sectie Beleid, Organisatie, Recht & Gaming) heeft het
eindconcept van commentaar voorzien.
Leeswijzer
In hoofdstuk 2 worden verschillende manieren van effectmeting besproken.
Daarbij komen ook de uitkomsten van de internationale vergelijking aan de
orde. De nadruk ligt op kwantitatieve modellen. In hoofdstuk 3 worden de
toepassingsmogelijkheden besproken voor de IVW. In hoofdstuk 4 staan de
conclusies. In de bijlage staan indicatoren voor drie domeinen van toezicht
die passen bij het meten van effecten.
Bij dit rapport zijn nog twee aparte bijlagen opgesteld:

1 De effecten van toezicht op de transportveiligheid; deel 1: internationale best practices
(mei 2008).

2 De effecten van toezicht op de transportveiligheid; deel 2: toelichting bij Toezicht Tellen
(september 2009).
A De bestuurlijke context van effectmeting
B Kwantitatief model voor effectmeting IVW met proefberekening
C Toepassing model effectmeting per domein
D Begrippenlijst en bronnenoverzicht
De bijlagen 1 en 2 zijn te downloaden via de KiMwebsite: www.kimnet.nl.
12 | Ministerie van Verkeer en Waterstaat

2 Het theoretisch kader van

effectmeting

In dit hoofdstuk wordt de effectmeting van toezicht geanalyseerd vanuit de
beleidsevaluatie en managementtheorie. Er komen verschillende begrip
pen en methoden aan bod. Ten slotte gaat aandacht uit naar de complexe
omgeving waarin effectmeting plaatsvindt.

2.1

De plaats van effectmeting in het beleidsproces

Effectmeting heeft verschillende doeleinden. In het beleidsproces dient
effectmeting zowel de verantwoording als de planning en sturing van
toezichtactiviteiten. Bij effectmeting achteraf, bijvoorbeeld ten behoeve van
verantwoording, wordt gesproken van ex post evaluatie. Bij schattingen van
effecten vooraf, bijvoorbeeld ten behoeve van planning en sturing, wordt
gesproken van ex ante evaluatie.

Er zijn hoofddoelen (final outcomes) en tussendoelen (intermediate outcomes) te
onderscheiden. Een voorbeeld van final outcome is verkeersveiligheid
gemeten in het aantal verkeersongevallen. De mate van gordelgebruik of
alcoholmisbruik is daarbij een voorbeeld van intermediate outcome. Scherp
geformuleerde doelen zijn zeer bevorderlijk om effecten te kunnen meten.
Toezicht Tellen - KiM | 1

Figuur 2.1

Effectmeting in het beleidsproces 1 Vaststellen van inspectiedoelen
(bv.: 2% ongevallen in 2010)

4 Evaluatievan 2 Planning inspecties
e ecten inspecties E ectmeting (per jaar tot 2010)
op doelen

3 Uitvoeringvan inspecties
Als het gaat om effectmeting, heeft de IVW het probleem dat de hoofd
doelstellingen van VenW niet altijd zijn vertaald in doelstellingen per
domein van toezicht. Een bijkomend probleem is dat de IVWbijdrage aan
het beleid meestal in outputtermen wordt gedefinieerd in plaats van
intermediate of final outcome.

2.2

De effectketen
De relatie tussen input, output, intermediate outcome en final outcome,
kan worden weergegeven in een zogenoemde effectketen. Het uitschrijven
van een effectketen is nuttig om de achterliggende toezichtstrategie in een
bepaald domein zichtbaar te maken. De uitkomsten van toezicht en
onderlinge relaties van effecten komen in een effectketen expliciet in beeld.
Bovendien helpt een dergelijk schema om indicatoren te benoemen die
passen bij de toezichtstrategie. Een effectketen dient ook als uitgangspunt
om te zoeken naar verklaringen voor de effecten van toezicht.
Het KiM heeft de onderstaande effectketen afgeleid van het resultaatgericht
sturingsmodel Van Beleidsbegroting Tot Beleidsverantwoording (VBTB)
dat door de rijksoverheid wordt gehanteerd (Ministerie van Financiën 2003
en 2006) en deze vertaald naar de praktijk van de IVW.

1 | Ministerie van Verkeer en Waterstaat

Figuur 2.2 markt
Effectketen van toezicht externe
factoren

intermediate nal
input output outcome outcome
neven-
e ecten
Voorbeeld effectketen: de inzet van mensen en middelen (input) levert bepaalde producten, zoals
vergunningverlening of inspecties (output), die leiden tot bepaalde gedragsveranderingen in de
markt. Dit komt tot uiting in een bepaald naleefgedrag (intermediate outcome), dat bijdraagt aan
de veiligheid (final outcome). Technologische vooruitgang (externe factor) draagt ook bij aan de
veiligheid. Naast een effect op veiligheid, heeft het toezicht ook invloed op eerlijke concurrentie-
voorwaarden binnen een sector (neveneffect).
Een deel van de complexiteit van effectmeting wordt duidelijk door de
effectketen in figuur 2.2 in te vullen. Zo richt het VenWbeleid zich vaak op
meerdere doelstellingen tegelijk, bijvoorbeeld veiligheid, een duurzame
omgeving en gezonde economie. Het beleid steunt bovendien op meerdere
instrumenten dan alleen het toezicht. Vaak zijn er ook meerdere toezicht
houders actief. De markt bestaat uit verschillende partijen bedrijven en
personen die in de eerste plaats zelf verantwoordelijk zijn voor hun gedrag
en de uitkomsten op veiligheid. De verantwoordelijkheid van een toezicht
houder is per definitie een afgeleide hiervan (zie verder digitale bijlage 2
deel A).

2.3

Verschillende methoden voor effectmeting
Evaluaties kunnen betrekking hebben op verschillende aspecten.
In figuur 2.3 staat afgebeeld wat er zoal gemeten kan worden. De keuze voor
een bepaald type evaluatie of effectmeting hangt af van het evaluatiedoel
dat centraal staat.

Toezicht Tellen - KiM | 1

Figuur 2.3

Verschillende aspecten waarop doelmatigheid van het toezicht
effectmeting betrekking kan hebben

Bron: Van der Knaap en Schilder,

2004 doeltre endheid van het toezicht

intermediate nal
input output outcome outcome
doelmatigheid van doelbereiking:
de bedrijfsvoering bijvoorbeeld nalevingsmeting
Bij het meten van doelmatigheid en doeltreffendheid, wordt een relatie
gelegd tussen input respectievelijk output en outcome (intermediate of
final outcome). Bij het meten van doelbereiking wordt alleen naar een
bepaalde outcome gekeken. Het meten van de doelmatigheid van de
bedrijfsvoering valt buiten dit KiMonderzoek.
De beleidsevaluatietheorie maakt onderscheid tussen zogenoemde
kwantitatieve en kwalitatieve methoden van effectmeting. Hieronder gaan we
op dat onderscheid in.
Kwantitatievemethoden
Kwantitatieve methoden van effectmeting richten zich voornamelijk op de
berekening van de uitkomsten (outcomes) in de effectketen. In kwantitatief
onderzoek wordt gebruikgemaakt van statistische technieken, waarbij
effecten worden gekwantificeerd en wordt nagegaan in hoeverre de gevonden
effecten statistisch generaliseerbaar zijn. Het mogelijke gebrek aan goede data is
een belangrijk nadeel van kwantitatief onderzoek (Van der Knaap en
Schilder, 2004).
Het KiM heeft in het buitenland gezocht naar best practices van kwantitatieve
effectmeting van toezicht in het transport (zie ook digitale bijlage 1). Bij vier
buitenlandse toezichthouders zijn voorbeelden gevonden. Daarbij kunnen
drie verschillende typen kwantitatieve methoden onderscheiden worden:

1 meten: longitudinaal onderzoek, puntmetingen door de tijd heen;

2 schatten: schattingsmethode, gebaseerd op expertopinions;

3 modelleren: (quasi)experimenteel onderzoek, modelleren met
controlegroep.

1 | Ministerie van Verkeer en Waterstaat

Meten

Voor toezichthouders is nalevingsmeting een bekende meetmethode. Bij
nalevingsmeting wordt een intermediate outcome in beeld gebracht. Hier is
wereldwijd al enige ervaring mee opgedaan. Het meten kan ook betrekking
hebben op de final outcome, bijvoorbeeld het jaarlijks aantal dodelijke
ongevallen. Als alleen de outcomes worden gemeten, blijft de relatie tussen
toezichtinspanningen en veranderingen in die outcomes buiten beeld.
Schatten

Bij de schattingsmethode worden effecten van toezicht geschat met behulp
van punten of waarden die aan verschillende interventies worden toe
gekend. Bijvoorbeeld: het stopzetten van vervoer door een dronken
chauffeur in een vrachtwagen met defecte remmen, levert 0,03 voorkomen
ongeval op. De IVW kan deze methode relatief snel toepassen door alle type
interventies in te schalen naar risico. De interventies zelf worden al goed
geregistreerd. Wel dreigt het gevaar van overschatting van effecten. Externe
validering van resultaten moet dan uitkomst bieden.
Modelleren

Het KiM heeft in de wereld van het transport één voorbeeld gevonden van
modelleren met een quasiexperimentele onderzoeksmethode. In dat geval
wordt de final outcome van toezicht (ongevalsbetrokkenheid) voor en na
inspecties gemeten en vergeleken met bedrijven waar geen inspecties
hebben plaatsgevonden (controlegroep).

Van de kwantitatieve methoden wordt de experimentele benadering gezien
als de gouden standaard, omdat verstorende factoren zoveel als mogelijk
uitgeschakeld worden (Van der Knaap en Schilder, 2004). De belangrijkste
kenmerken van deze benadering zijn:

onderscheiden van een interventiegroep en een controlegroep;
aselecte toewijzing van studieobjecten aan beide groepen;
bewaken van condities van beide groepen, deze moeten gelijk zijn;
voormeting en nameting bij beide groepen.

Bij deze methode kan het wel moeilijk zijn om aan voldoende informatie te
komen.

De IVW voert sinds 2008 enkele studies uit met zogenoemde nalevings
effectmeting. Hierbij wordt de relatie onderzocht tussen verschillen in
naleving als gevolg van inspectieactiviteiten.

Kwalitatievemethoden

Kenmerkend voor kwalitatief onderzoek is dat interpreterend te werk wordt
gegaan waarbij gefocust wordt op relaties: wat zijn de oorzakelijke relaties
Toezicht Tellen - KiM | 1

tussen de verschillende variabelen en hoe beïnvloeden ze elkaar? Vaak kan
de belangrijkste informatie relatief snel op tafel komen. Enkele voorbeel
den van kwalitatieve onderzoeksmethoden zijn zogenoemd exploratief
onderzoek, metaevaluatie of peer review (Van der Knaap en Schilder, 2004).
Demethodenvullenelkaaraan
De keuze tussen alle typen onderzoek is enerzijds afhankelijk van de vraag
en het soort evaluatie dat gewenst is. Anderzijds wordt de keuze bepaald
door praktische zaken als tijdsdruk, het budget en de kwaliteit van de
beschikbare informatie. Kwantitatief en kwalitatief onderzoek hebben elk
hun kracht en beperkingen. In de praktijk is het aan te bevelen om een
combinatie van kwantitatief en kwalitatief onderzoek te gebruiken. De
methoden sluiten elkaar niet uit; combinaties zijn mogelijk en versterken
elkaar. Daarnaast kan kwantitatief onderzoek een goede reality-check vormen
voor de uitkomsten van het kwalitatief onderzoek en andersom.
Voor de uitwerking in de praktijk (zie hoofdstuk 3) heeft het KiM gekozen
voor de kwantitatieve methode van modelleren met een controlegroep.

2.4

Indicatoren brengen de doelen in beeld
(Maatschappelijke) doelen worden door middel van indicatoren in beeld
gebracht. Het KiM heeft voor drie domeinen van toezicht enkele voorbeeld
indicatoren benoemd die passen bij effectmeting (zie de bijlage in dit
rapport). De indicatoren hebben betrekking op de input, de output en het
resultaat (intermediate en final outcome) van toezicht.
Indicatoren moeten aansluiten op de doelen en de achterliggende
toezichtstrategie. De meest duidelijke final outcomeindicator voor
transportveiligheid is gerelateerd aan het aantal ongevallen. In het
wegverkeer wordt bijvoorbeeld onderscheid gemaakt tussen het aantal
doden, het aantal (ziekenhuis)gewonden en de materiële schade die
optreedt.
Naast final outcome moet ook de intermediate outcome in beeld worden
gebracht. Intermediate outcomeindicatoren vergroten het inzicht in het
effect van de output (het toezicht) op het einddoel (de veiligheid). Met
betrekking tot transportveiligheid lijken hier meerdere opties voor te
bestaan. De naleving van bepaalde wet en regelgeving is een veelgebruikte
vorm in de wereld van het toezicht. Aanvullend kunnen de mate van
veiligheidsbeleid bij bedrijven of andere kwaliteitskenmerken gebruikt
worden.

1 | Ministerie van Verkeer en Waterstaat

Door de intermediate outcomeindicatoren te betrekken in de effect
analyses, kan worden nagegaan welke invloed deze indicatoren hebben op
de veiligheid. Dit vergroot het inzicht in de doorwerking van toezicht op de
veiligheid.

Het model van Mark Friedman is een nuttig instrument om relatief snel
nieuwe indicatoren te benoemen (Friedman, 2005). Friedman benadrukt de
kwaliteit van de geleverde producten en prestaties in tegenstelling tot de
kwantiteit. De IVW experimenteert met dit model in het cluster Luchtvaart
(zie digitale bijlage 2 deel C).

Kiezenvanverschillendeindicatorennaastelkaar

Bij voorkeur moeten meerdere indicatoren gebruikt worden om effecten
van toezicht in beeld te brengen. Het gebruik van verschillende indicatoren
naast elkaar geeft een completer en evenwichtiger beeld (bijvoorbeeld
zowel het aantal doden als zwaar gewonden meten om verkeersveiligheid te
duiden). Bij effectmeting met slechts één indicator, kan in een omgeving
van verantwoording bovendien het onbedoelde effect optreden dat `je krijgt
wat je meet'. Actoren gedragen zich zo dat het resultaat op de indicator
behaald wordt, ongeacht het resultaat voor het systeem. Een extreem
voorbeeld: als voor de brandweer alleen het aantal gebluste branden telt,
kunnen mensenlevens verloren gaan. Te veel indicatoren is ook niet goed,
omdat te veel informatie het beeld juist kan vertroebelen.
Verschillendeomgevingen

Indicatoren moeten passen in verschillende omgevingen. De kunst is om
indicatoren en effectmetingen op een voor iedereen duidelijke manier in te
zetten. Maar worden de indicatoren en effectmeting gebruikt voor
planning, sturing en/of verantwoording? Of is het leren van de methodiek
en de uitkomsten het hogere doel, zodat de strategie verbeterd kan worden?
En wie bepaalt hoe er wordt gestuurd op effecten?

In een ontwikkelomgeving moeten fouten zichtbaar zijn om te kunnen
experimenteren en leren. Dit staat op gespannen voet met sturen en
verantwoorden in de planning & controlcyclus, waar actoren elkaar juist
aanspreken op fouten en de neiging kan bestaan om fouten te maskeren.
Door deze omgevingen te scheiden, kunnen eventuele onbedoelde effecten
worden beperkt. Er zijn goede afspraken nodig over de manier waarop de
uitkomsten van effectmeting in elk van de omgevingen gebruikt worden.
De onderliggende dataset zal daarbij per omgeving (deels) kunnen
verschillen.

Toezicht Tellen - KiM | 1

Indicatorenenverantwoording
De IVW gebruikt voor de budgettaire verantwoording (rijksbegroting /
batenlastendienst) in de eerste plaats outputindicatoren.
Intermediate en final outcomeindicatoren vullen de budgettaire
verantwoording dan aan; geven als het ware kleur.
Scherpedoelen,scherpenormen
Een norm of streefwaarde is het richtpunt waaraan verbeteringen
gerelateerd kunnen worden. Het is noodzakelijk om de juiste norm
vast te stellen, maar dat is een kunst op zich. Conform het Algemene
Rekenkamerrapport Handhaven en gedogen is het een gezamenlijke
verantwoordelijkheid van beleidsdirecties en inspecties om te komen
tot gewenste nalevingsniveaus (AR 2005).

2.5
De complexiteit van effectmeting
Uit de voorgaande paragrafen blijkt dat het meten van effecten van toezicht
een complexe aangelegenheid is. De Bruijn (2006) stelt in Prestatiemeting in de
publieke sector voor enige terughoudendheid te betrachten bij prestatie
metingen. Hij waarschuwt voor een (al te) boekhoudkundige benadering en
voor allerlei onbedoelde effecten bij een te grote rol voor prestatiemeting in
een organisatie.
Effectmeting is bovendien niet van vandaag op morgen te realiseren.
Daarom is effectmeting het beste te benaderen als een ontwikkelproces.
Eenprocesvanlerendeevaluaties
Methoden en modellen voor effectmeting zijn niet in één keer volmaakt.
Effectmeting als ontwikkelproces benaderen, heeft ten minste twee
voordelen. Enerzijds is er ruimte om verschillende methoden en technieken
te bouwen en te leren toepassen. Deze benadering geeft ook ruimte om de
informatiehuishouding op orde te krijgen. Anderzijds moet een organisatie
ook leren omgaan met de uitkomsten van effectmeting. Edelenbos en Van
Buuren (2005) spreken in dit kader van een proces van lerende evaluaties. Bij
lerende evaluaties ligt er minder nadruk op de verantwoordingsmentaliteit
(de doelstellingen zijn gehaald) en meer nadruk op de leermentaliteit (wat
moet er gebeuren om de zaken in de gewenste richting te bewegen).

20 | Ministerie van Verkeer en Waterstaat

Effectmeting kan dus aanleiding zijn tot discussie over doelstellingen en
prestatiemeting binnen een organisatie. Hoe gaat een organisatie bijvoor
beeld om met tegenvallende meetresultaten? Van tevoren zou afgesproken
kunnen worden om de resultaten eerst voor lering te gebruiken en pas na
een leerfase bijvoorbeeld ook voor formele verantwoording.

Toezicht Tellen - KiM | 21

22 | Ministerie van Verkeer en Waterstaat

3 Kwantitatieve effectmeting

in de praktijk

Dit hoofdstuk behandelt de mogelijkheden voor de IVW om kwantitatieve
effectmeting toe te passen via modellering. Daarbij komen aan bod: een
Nederlands model voor ex post effectmeting in het wegvervoer met eerste
proefberekeningen, het gebruik van effectmeting voor ex ante planning en
sturing en een verkenning van mogelijkheden voor drie domeinen van
toezicht van de IVW.

3.1

Modellering in het wegvervoer

Gesterkt door de beleidsevaluatietheorie en door het buitenlandse
voorbeeld van een onderzoeksmethode met controlegroep, heeft het KiM
een Nederlands model gebouwd voor kwantitatieve effectmeting van het
toezicht in het wegvervoer 1. Het model is opgezet voor zogenoemde ex post
evaluatie van effecten.

Het model vergelijkt de verandering in ongevalbetrokkenheid van
vervoerbedrijven waar toezicht is gehouden (de interventiegroep) met die van

1 De methodiek is door het KiM, in samenwerking met RAND Europe en Significance, in
verschillende stappen ontwikkeld en getoetst. De methodiek bouwt voort op eerder
onderzoek van de Adviesdienst Verkeer en Vervoer (nu Dienst Verkeer en Scheepvaart) in
opdracht van de IVW.

Toezicht Tellen - KiM | 2

bedrijven waar geen toezicht is gehouden (de controlegroep). Het model bevat
gegevens over vervoerders en hun voertuigen en gegevens over ongevallen
en inspecties. Voor de analyse is een vergelijking gemaakt tussen

452 bedrijven met een bedrijfsinspectie in 2002 of 2003 en bedrijven met
een gelijke omvang en groeifase die in die jaren niet geïnspecteerd zijn.
Daarnaast zijn 632 bedrijven met een transportinspectie van voertuigen op
de weg in 2003 of 2004 vergeleken met bedrijven van gelijke omvang die in
die periode niet geïnspecteerd zijn. In beide gevallen is de steekproef
omvang voor de controlegroep ingesteld op ongeveer vier maal de omvang
van de interventiegroep. Eerste proefberekeningen laten positieve
uitkomsten zien.
Tabel 3.1 Effect bedrijfsinspecties Effect transportinspecties in
Uitkomsten rekenexercitie van het in 2002 en 200 na 1 jaar 200 en 200 na maanden
effect van bedrijfs- en transport- Nationale vervoerders -10% -15%
inspecties van de IVW op het aantal Internationale vervoerders -3% -33%
verkeersongevallen bij geïnspec- Eigen vervoer nb -23%
teerde transportbedrijven Taxi -18% -28%
NB: de IVW doet geen bedrijfsinspecties bij eigen vervoerders, dus hiervan zijn ook geen
effecten te bepalen.
Let wel: dit zijn uitkomsten van eerste rekenoefeningen. Het model kan
verder worden aangescherpt en aangevuld met meer actuele gegevens (zie
digitale bijlage 2 deel B).
Exanteevaluatieeneenbedrijfsveiligheidscore
Het KiM heeft ook gekeken naar de mogelijkheden om effectmeting in te
zetten voor de planning van toezichtactiviteiten. We spreken dan van ex
ante evaluatie: het vooraf inschatten van effecten. Het gebruik van een
zogenoemde bedrijfsveiligheidscore speelt daarin een belangrijke rol.
Uit onderzoek in de VS en in Nederland blijkt dat de veiligheid van bedrijven
samenhangt met hun betrokkenheid bij ongevallen in het verleden, met
overtredingen van de regelgeving voor chauffeurs, voertuigen en gevaarlijke
stoffen en met het veiligheidsbeleid van het bedrijf. Als deze informatie
gecombineerd wordt tot een bedrijfsveiligheidscore, dan blijkt de kans op
een ongeval in de toekomst voorspeld te kunnen worden. Met deze score
kunnen dus onveilige bedrijven op basis van objectieve informatie
geselecteerd worden voor toezicht. Die kennis kan ook worden ingezet om
vooraf onderscheid te maken tussen pakketten van toezicht (het aantal en
soort bedrijfs en wegcontroles). Een dergelijk planningsinstrument werkt
aanvullend op de huidige manier van werken om speerpunten in het
toezicht via risicoanalyse te bepalen.

2 | Ministerie van Verkeer en Waterstaat

Onderzoek heeft de voorspellende kracht aangetoond van de bedrijfsveilig
heidscore in het wegvervoer in Nederland (RAND Europe, 2006). Daarmee is
het in theorie haalbaar om een planningsinstrument voor het wegvervoer te
ontwikkelen dat voortbouwt op de bedrijfsveiligheidscore (zie digitale
bijlage 2 deel B).

Benodigdeinformatievooreffectmeting

Kwantitatieve effectmeting, zowel ex post als ex ante, is alleen mogelijk als
er voldoende gegevens beschikbaar zijn. De volgende informatie moet ten
minste aanwezig zijn:

1 ongevallen (en bijnaongevallen) per transportbedrijf;

2 inspecties uitgevoerd per bedrijf en de resultaten daarvan: aantal
en type overtredingen;

3 bedrijfskenmerken: bijvoorbeeld aantal en type voertuigen en
afgelegde kilometers of vervoersprestatie (indien mogelijk
aangevuld met leeftijd van bedrijf, groeifase en/of
bedrijfsresultaten);

4 indien van toepassing kenmerken van gevaarlijke stoffen die
vervoerd zijn.

3.2

Toepassing voor het personenvervoer,

de zeevaart en het luchtruim

In dit onderzoek is verkend in hoeverre het voorbeeldmodel kan worden
toegepast in verschillende domeinen van toezicht. In het toezicht op
personenvervoer liggen duidelijk mogelijkheden voor effectmeting van
einddoelen, in het toezicht op de zeevaart is dat aannemelijk en voor het
toezicht op het luchtruim lijken de mogelijkheden beperkt tot tussendoelen
(zie digitale bijlage 2 deel C voor een uitgebreide analyse per domein).
Ter illustratie zijn enkele nieuwe indicatoren voor effectmeting benoemd
voor het toezicht op het busvervoer, het taxivervoer, de zeevaart en het
luchtruim. De indicatoren zijn geformuleerd op basis van de speerpunten
uit het Jaarplan 2008 van de IVW en de rijksbegroting. Deze zijn samen met
bestaande indicatoren opgenomen in de bijlage van dit rapport.
Toezicht Tellen - KiM | 2

Personenvervoer(bus-entaxivervoer)
Personenvervoer was onderdeel van de uitwerking van het voorbeeldmodel
in het wegvervoer. Voor het taxivervoer zijn met het model al eerste
proefberekeningen uitgevoerd. Voor het busvervoer kon met de gegeven
dataset uit de periode 20002004 geen representatieve controlegroep
worden samengesteld. De basisgegevens voor het busvervoer waren wel
beschikbaar. In de toekomst zou de IVW een geschikte controleconditie
kunnen realiseren. Als er voldoende actuele gegevens beschikbaar zijn,
lijken er duidelijk mogelijkheden te zijn voor kwantitatieve effectmeting
voor zowel het bus als taxivervoer.
Er is geen specifieke beleidsdoelstelling voor de veiligheid in het personen
vervoer waaraan effectmeting gerelateerd zou kunnen worden. Een
evenredige verdeling van de nationale doelstelling voor verkeersveiligheid,
zou neerkomen op een reductiedoelstelling van ongeveer 50 procent van
het aantal verkeersslachtoffers in 2020 ten opzichte van 2002. Jaarlijks zijn
er bij het bus en taxivervoer gemiddeld respectievelijk 16 en 10 dodelijke
slachtoffers en 115 en 150 (ziekenhuis)gewonden te betreuren (zie digitale
bijlage 2 deel A).2
Voor zowel het busvervoer als het taxivervoer kan een bedrijfsveiligheid
score worden opgesteld waarmee objectief aantoonbaar de meer onveilige
bedrijven geselecteerd kunnen worden voor inspecties.
Zeevaart
In de zeevaart lijkt voldoende basisinformatie aanwezig om een effect
metingsmodel te ontwikkelen. Alle schepen beschikken over een uniek
nummer dat te koppelen is aan ongevallen. Ongevalsinformatie in de
zeevaart wordt op verschillende plaatsen bijgehouden en is redelijk
betrouwbaar.
In het kader van effectmeting van toezicht lijkt in de zeevaart een twee
deling in einddoelstellingen op zijn plaats:

1 veiligheid van alle zeevaart op Nederlands grondgebied;

2 veiligheid van de Nederlandse zeevaart wereldwijd.
Deze tweedeling komt terug in de inspectietaken van het toezicht op
de zeevaart. Ook hier wordt immers onderscheid gemaakt tussen de
zogenoemde Port State Controlinspecties en vlaggenstaatcontroles.3
Ten behoeve van de planning van zeevaartinspecties die vallen onder het
regime van de Port State Control, wordt gebruik gemaakt van een
zogenoemde target factor. Onderzoek kan uitwijzen of de bedrijfsveiligheid
score uit het wegvervoer en de target factor elkaar aanvullen en versterken.

2 | Ministerie van Verkeer en Waterstaat

Luchtruim

Met betrekking tot het toezicht op de luchtvaartsector, heeft het KiM voor
dit onderzoek alleen gekeken naar een afzonderlijk deel van het toezicht
domein: het luchtruim.4 Het toezicht op luchtruimactiviteiten is met name
gericht op de luchtverkeersleiding en op de voorlichting en opleiding van
piloten en op vliegclubs. In de rijksbegroting is geen afzonderlijke
(veiligheids)doelstelling geformuleerd voor het toezicht op het luchtruim.
De activiteiten van VenW richten zich in algemene zin op bijdragen aan de
veiligheid, economie en bereikbaarheid en milieu. Bij een gegeven
veiligheidsniveau gaat het toezicht op het luchtruim uit van een efficiënt
luchtruim met minder vertragingen. Harmonisatie van de luchtverkeers
begeleiding moet daaraan bijdragen. Een expliciete veiligheidsdoelstelling
van het toezicht op luchtruimactiviteiten ontbreekt. Daardoor lijkt
effectmeting op final outcome niet gerechtvaardigd en is het beter dat de
IVW zich binnen het toezicht op luchtruimactiviteiten richt op relevante
intermediate outcomes.

Uit nader onderzoek moet blijken of bij het toezicht op alle luchtvaart
activiteiten wel effectmeting op final outcome gedaan kan worden. De IVW
maakt al een zogenoemd risicoprofiel per bedrijf op, ten behoeve van de
planning van het aantal auditdagen in de luchtvaartsector (IVW, 2008).
Onderzoek kan duidelijk maken of de bedrijfsveiligheidscore uit het
wegvervoer en dit risicoprofiel elkaar aanvullen en versterken.

2 Dit betreft het gemiddeld aantal geregistreerde doden en gewonden in het bus- en
taxivervoer over de periode 2001-2007.

3 Elk land, ook wel de vlaggenstaat genoemd, is in principe zelf verantwoordelijk voor de
kwaliteit van de schepen die onder de eigen vlag varen. Wereldwijd zijn er grote verschillen in
regelgeving en de kwaliteit van het toezicht daarop. Als vangnet voor het onder de maat
presteren van buitenlandse reders en vlaggenstaten, is de zogenoemde havenstaatcontrole
(of Port State Control) in leven geroepen. Nederland is lid van het Paris Memorandum of
understanding on Port State Control (Paris MoU).

4 Naast het toezicht op het luchtruim zijn ook luchthavens, luchtvaarttechnische bedrijven en
luchtvaartoperationele bedrijven benoemd als toezichtdomeinen.
Toezicht Tellen - KiM | 2

2 | Ministerie van Verkeer en Waterstaat

4 Conclusies

1 DeIVWstaataanhetbeginvaneenuitdagendontwikkelproces.
Op basis van de beleidsevaluatietheorie en een internationale vergelij
king heeft het KiM verschillende methoden en doelen van effectmeting in
perspectief gezet. Er zijn zowel kwantitatieve als kwalitatieve methoden
beschikbaar. De uitkomsten dienen inzicht en leren enerzijds en
verantwoording anderzijds.

2 Effectmetingiseenprocesvanlerendeevaluatie.
De IVW staat aan het begin van het proces van bouwen en leren toepassen
van methoden en technieken van effectmeting. Het heeft voordelen om
effectmeting als ontwikkelproces te benaderen. Zo kan de IVW met name
experimenten en leren van de eigen aanpak. Met deze benadering kan de
IVW ook de informatiehuishouding op orde krijgen.

3 Eencombinatievankwalitatieveenkwantitatievemethodenenindicatoren
issterker.

Individuele meetmethoden en indicatoren bieden minder zekerheid.
Door een combinatie van methoden en indicatoren te gebruiken, vullen
de uitkomsten elkaar aan. De ene methode of indicator kan als een reality-
check dienen voor de andere en andersom, waardoor meer robuuste
uitspraken over effecten van toezicht gedaan kunnen worden.
Toezicht Tellen - KiM | 2

4 Gescheidenomgevingenkunnenonbedoeldeeffectenbeperken.
In een ontwikkelomgeving moeten fouten zichtbaar zijn om te kunnen
experimenteren en leren. Dit staat op gespannen voet met sturen en
verantwoorden in de planning & controlcyclus, waar actoren geneigd
kunnen zijn om fouten te maskeren. Door deze omgevingen te scheiden,
kunnen onbedoelde effecten worden beperkt. Er zijn goede afspraken
nodig over de manier waarop uitkomsten van effectmeting wel en niet
gebruikt kunnen worden.

5 Kwantitatievemethodenzijnmogelijk,mitservoldoendebetrouwbare
gegevensbeschikbaarzijn.
Het KiM heeft een internationale vergelijking uitgevoerd voor de
kwantitatieve methoden. Voor drie domeinen van toezicht is een
verkenning gemaakt van de praktische toepassing van de meest belo
vende kwantitatieve methode. De eerste proefberekeningen laten
positieve uitkomsten zien. Of deze methode kan worden toegepast, is per
toezichtdomein afhankelijk van de beschikbaarheid van gegevens, die per
domein kan verschillen.
The proof of the pudding is in the eating! dit is de grote uitdaging voor de IVW.
Deze uitdaging wordt in een vervolgproces opgepakt. Ter illustratie heeft
het KiM voor de drie domeinen van toezicht enkele indicatoren benoemd
die passen bij effectmeting.

0 | Ministerie van Verkeer en Waterstaat

Summary

MeasuringEnforcementActivities

`In 2004, inspections prevented 107 fatal accidents and 1,889 injuries.'
This information comes from a report by the Federal Motor Carrier Safety
Administration of the US Department of Transportation. In the
Netherlands, it is not possible yet to show the effects of enforcement
activities in this way. The study `Measuring Enforcement Activities' (Toezicht
Tellen) carried out by the Netherlands Institute for Transport Policy Analysis
(KiM) for the Transport, Public Works and Water Management Inspectorate
(IVW) shows that there are ways of measuring the effects of enforcement. By
that the IVW gets a step nearer to a statement like the one above from the
US DOTreport.

TheIVWandsafety

The IVW monitors road and rail transport, inland and oceangoing
shipping, aviation and water management. It is essential that the IVW is
able to measure the effects of enforcement activities so that it can account
for its inspections, plan inspections and improve enforcement in general.
The IVW's contribution to transport safety is currently often expressed in
terms of activities, such as the number of inspections or the number of
licences granted. In order to measure the effects of enforcement activities,
targets must be clearly defined. The targets can refer to final outcome, such
as reducing the number of traffic accidents, or refer to socalled inter
mediate outcome, such as increased use of seat belts or less alcohol abuse.
It is advisable to compare different indicators in order to obtain a balanced
and comprehensive view of the effects of enforcement activities. For the
number of road transport accidents, for example, it is useful to distinguish
between the number of deaths, the number of injuries and the amount of
material damage.

Methodsusedtomeasureeffects

There are both quantitative and qualitative methods that can be used to
obtain a picture of the effects of enforcement. The two methods compli
Toezicht Tellen - KiM | 1

ment each other. One method can serve as a `reality check' on the results of
the other and vice versa. This reality check makes it possible to draw more
robust conclusions about the effects of enforcement.
In this study KiM looked for best practices abroad, especially for quantita
tive ways to measure the effects because those methods are not yet usual in
relation to enforcement. Based on the most promising quantitative method
revealed by this international comparison, KiM built a model to measure
the effects of enforcement activities in relation to road transport. The
model has been used to carry out test calculations. The model compares the
number of accidents involving monitored transport companies to the
number of accidents involving unmonitored companies. The initial
calculations show that monitored companies are involved in fewer
accidents after these inspections have taken place than the number of
accidents where unmonitored companies are involved.
Optionspersector
KiM explored the practical applications of this method for monitoring of
passenger transport (busses and taxis), oceangoing shipping and airspace
activities (air traffic control, special training for pilots and flying clubs).
Whether the method can be applied largely depends on the availability of
sufficient basic data, such as information about accidents per transport
company, inspections per company and company characteristics. There are
clearly options for measuring the effects in relation to final outcome for
busses and taxis. This also seems probable as regards the monitoring of
oceangoing shipping. For the monitoring of airspace activities, the options
seem to be limited to intermediate outcome. KiM has identified a number
of indicators for measuring the effects of enforcement activities in these
sectors.
Predictingtheriskofanaccident
KiM has looked in more detail at the options of using effect measurements
to plan enforcement activities. The key factor is then the extent to which the
IVW can predict the risk that an accident will occur at a certain company.
Research carried out in the US and the Netherlands shows that safety is
linked to the number of times that a company has been involved in
accidents in the past, to violations of regulations and to the company's
safety policy. Based on this information, a company safety score can be
awarded, from which the risk of an accident at that company can be
predicted. This enables the IVW to focus above all on companies with a high
accident risk. This tool is a useful addition to the IVW's current working
method using risk analyses.

2 | Ministerie van Verkeer en Waterstaat

In theory, a planning tool can be developed which builds on the company
safety scores. However, the details of the design still have to be worked out.

`Learningevaluations'inseparateenvironments

Measuring effects of enforcement is complex and therefore cannot be
achieved overnight. As a result, measuring effects can best be approached as
a development process a process of `learning evaluations'. Measuring
effects to experiment must be separate from measuring effects for account
ability purposes. In a development environment mistakes must be made
visible, because it is then possible to learn from the method used, to ensure
that information is properly in order and to make effective agreements
regarding the application of the results.

This is at odds with the aims of accountability in the planning & control
cycle. The problem reduces with two separate environments.

Toezicht Tellen - KiM |

| Ministerie van Verkeer en Waterstaat

Bijlage: bestaande en nieuwe
indicatoren IVW

De IVW heeft het KiM gevraagd om nieuwe indicatoren te benoemen die
passen bij het meten van effecten van toezicht. In deze bijlage zijn tabellen
opgenomen met bestaande (uit de rijksbegroting VenW en het Jaarplan van
de IVW) en mogelijk nieuwe indicatoren voor het toezicht op respectievelijk
het busvervoer, het taxivervoer, de zeevaart en het luchtruim.
Zie bijlage 2 deel C voor een verdere toelichting.
Tabel B1

Bestaande en nieuwe indicatoren

toezicht op busvervoer

Type indicator Bestaande indicatoren Mogelijk nieuwe indicatoren
Final outcome 1 Aantal verkeersdoden en ziekenhuisgewonden 1 Aantal verkeersdoden en ziekenhuisgewonden
waarbij busvervoer betrokken is
Intermediate 1 Aantal ingetrokken vergunningen 1 Naleving aselecte inspecties totaal
outcome collectief vervoer 2 Nalevingspercentage per kernbepaling:

2 Overtredingspercentage besloten en a rij- en rusttijden
ongeregeld vervoer b technische staat bus

3 Overtredingspercentage internationale c chauffeurseisen
lijndiensten d ondernemingsvergunning

4 Overtredingspercentage pendelvervoer 3 Aantal en aandeel keurmerkhouders

4 Ervaren pakkans door chauffeurs / ondernemers

5 Bekendheid branche met regelgeving
inspectiebeleid

6 Gemiddelde toezichtlast per onderneming
Input / output 1 Aantal toelaten en continueren 1 Aandeel inspecties naar type vervoer t.o.v.
2 Aantal inspectie / handhaving totaal doelgroep
3 Aantal kennis, advies en berichtgeving 2 Aandeel inspecties met overtredingen naar
(zie jaarplan IVW voor specificaties 1, 2, 3) type vervoer
4 Budget toezicht op busvervoer 3 Aandeel risicovolle bedrijven gecontroleerd
3.816.000,-, waarvan: 4 Samenwerking overige inspectiediensten
a inspectie/handhaving: 2.400.000,- 5 Fte / uren per type inspecties
b toelaten en continueren: 261.000,-
c kennis, advies en berichtgeving: 1.155.000,-
Toezicht Tellen - KiM |

Tabel B2

Bestaande en nieuwe indicatoren

toezicht op taxivervoer

Type indicator Bestaande indicatoren Mogelijk nieuwe indicatoren
Final outcome 1 Aantal verkeersdoden en ziekenhuisgewonden 1 Aantal verkeersdoden en ziekenhuisgewonden
2 Waardering consument waarbij taxivervoer betrokken is
3 Tariefontwikkeling straattaxivervoer
Intermediate 1 Aantal ingetrokken chauffeurspassen 1 Naleving aselecte inspecties totaal
outcome 2 Aantal ingetrokken ondernemingsvergunningen 2 Nalevingspercentage per kernbepaling:
taxivervoer a rij- en rusttijden
3 Overtredingpercentage b technische staat taxi
c chauffeurseisen
d ondernemingsvergunning
e rolstoelvervoer
3 Aantal en aandeel keurmerkhouders
4 Ervaren pakkans door chauffeurs / ondernemers

5 Aantal snorders gepakt

6 Aantal en aandeel fraudezaken opgespoord
(bijvoorbeeld fraude met vergunningen,
afdrachten en premies, tarieven of totale
werktijden)

7 Bekendheid branche met regelgeving
inspectiebeleid

8 Gemiddelde toezichtlast per onderneming
Input / output 1 Aantal toelaten en continueren 1 Aandeel inspecties naar type vervoer t.o.v.
2 Aantal inspectie / handhaving totaal doelgroep
3 Aantal kennis, advies en berichtgeving 2 Aandeel inspecties met overtredingen naar
(zie jaarplan IVW voor specificaties 1, 2, 3) type vervoer
4 Budget toezicht op taxivervoer 3 Aandeel risicovolle bedrijven gecontroleerd

5.420.000,- waarvan: 4 Samenwerking overige inspectiediensten
a inspectie/handhaving 2.911.000,- 5 Fte / uren per type inspecties
b toelaten en continueren: 260.000,-
c kennis, advies en berichtgeving: 2.249.000,-
| Ministerie van Verkeer en Waterstaat

Tabel B3

Bestaande en nieuwe indicatoren

toezicht op zeevaart

Type indicator Bestaande indicatoren Mogelijk nieuwe indicatoren
Final outcome 1 Aantal significante ongevallen Noordzee 1 Aantal significante ongevallen met Nederlandse
schepen wereldwijd
Intermediate 1 Percentages aanhoudingen/inspecties 1 Naleving aselecte inspecties totaal
outcome Nederlandse schepen 2 Nalevingspercentage per kernbepaling:
2 Positie Nederlandse vloot op internationale a (veiligheidseisen) schip
ranglijst b (veiligheidseisen) uitrusting en bemanning
3 Percentage inspecties van buitenlandse schepen c arbeidsmiddelen en werkdruk aan boord
4 Percentage inspecties van buitenlandse schepen d vervoer gevaarlijke stoffen
in risicocategorie e (milieu, security)

5 Percentage aanhoudingen/inspecties 3 Aantal en aandeel reders dat werkt volgens
buitenlandse schepen Safety Management Systems-norm
4 Ervaren pakkans door kapitein / reders
5 Bekendheid branche met regelgeving en
zeevaartbeleid en/of inspectiebeleid

6 Gemiddelde toezichtlast per schip / reder

Input / output 1 Aantal toelaten en continueren 1 Aandeel inspecties naar type schip t.o.v.
2 Aantal inspectie / handhaving totaal doelgroep
3 Aantal kennis, advies en berichtgeving 2 Aandeel inspecties met overtredingen naar
(zie jaarplan IVW voor specificaties 1, 2, 3) type schip
4 Budget toezicht op zeevaart 3 Aandeel risicovolle bedrijven gecontroleerd
11.349.000,- waarvan: 4 Samenwerking overige inspectiediensten
a inspectie/handhaving: 6.701.000,-
b toelaten en continueren: 3.259.000,-
c kennis, advies en berichtgeving: 1.389.000,-

Toezicht Tellen - KiM |

Tabel B4

Bestaande en nieuwe indicatoren

toezicht op luchtruim

Type indicator Bestaande indicatoren Mogelijk nieuwe indicatoren
Final outcome 1 Ongevalsratio EASA-operators
2 Kengetallen aantal ernstige incidenten luchtvaart
Intermediate 1 Kwaliteit vliegveiligheidscampagne, bijv.
outcome percentage tevreden vliegclubs over presentatie
2 Kwaliteit inspectieprogramma regionale
luchthavens, bijv. percentage bevindingen dat op
tijd is opgelost, aantal incidenten gerelateerd aan
afwijking regels per jaar/ vliegbewegingen
3 Bijdrage aan vermindering runway incursions,
bijv. percentage geleerde lessen in
trainingsprogramma
4 Kwaliteit toezicht op verkeersleiding, bijv.
percentage bevindingen dat op tijd is opgelost,
percentage incidenten die bevinding gerelateerd
zijn
5 Kwaliteit advies internationale regelgeving
Single European Sky, bijv. percentage
voorstellen/commentaren dat geaccepteerd
wordt
Input / output 1 Aantal toelaten en continueren 1 Kwaliteit vliegveiligheidscampagne, bijv.
2 Aantal inspectie / handhaving percentage vliegclubs die een presentatie gehad
3 Aantal kennis, advies en berichtgeving hebben de afgelopen drie jaar, aantal bezoekers
(zie jaarplan IVW voor specificaties 1, 2, 3) website per campagnemaand
4 Budget toezicht op luchthaven en luchtruim 2 Kwaliteit inspectieprogramma regionale

7.617.000,- waarvan: luchthavens, bijv. aantal inspectie per omvang
a inspectie/handhaving: 3.767.000,- luchthaven, percentage terecht geconstateerde
b toelaten en continueren: 2.554.000,- afwijkingen per uren/ inspectie
c kennis, advies en berichtgeving: 1.296.000,- 3 Bijdrage aan vermindering runway incursions,
bijv. percentage acceptatie ingebrachte adviezen
4 Kwaliteit toezicht op verkeersleiding, bijv.
percentage rapporten waarop bezwaar komt
5 Kwaliteit advies internationale regelgeving
Single European Sky, bijv. percentage van
relevante werkgroepen waar IVW een bijdrage
aan levert
| Ministerie van Verkeer en Waterstaat

Bronnen

AR (2005). Handhaven en gedogen. Den Haag: Algemene Rekenkamer.
Bruijn, H. de (2006). Prestatiemeting in de publieke sector; tussen professie en verantwoording.
Lemma. Den Haag, 2006.

Edelenbos, J. & Buuren, M.W. van (2005). Evalueren als leerproces; een nadere kennismaking
met de `lerende organisatie'. In: Bestuurskunde, jaargang 14, september 2005, nummer 6.
Den Haag: ReedElsevier.

Friedman, M. (2005). Trying hard is not good enough; how to produce measurable improvements
for customers and communities. Canada: Trafford Publishing.
IOFEZ (2004). Eindrapport VBTB-evaluatie. Den Haag: Interdepartementaal
Overlegorgaan Financieel Economische Zaken.

IVW (2008). Jaarplan 2008. Den Haag: Inspectie Verkeer en Waterstaat.
IVW (2008). Risicoanalyse en het auditprogramma voor Luchtvaarttechnische bedrijven. Den
Haag: Inspectie Verkeer en Waterstaat.

Knaap, P. van der & Schilder, A. (2004). Resultaatgericht sturen en evalueren; nieuwe
perspectieven op beleidsinstrumenten en beleidsevaluatie. Den Haag: Sdu Uitgevers.
Ministerie van Financiën (2003). VBTB: Handreiking Evaluatieonderzoek ex post. Den Haag:
Ministerie van Financiën.

Ministerie van Financiën (2006). Regeling periodiek evaluatieonderzoek en beleidsinformatie
2006. Den Haag: Ministerie van Financiën.

Ministerie van Verkeer en Waterstaat (2008). Rijksbegroting 2009, Verkeer en Waterstaat,
begroting XII. Den Haag: Ministerie van Verkeer en Waterstaat.
PSC (2007). Annual report 2006. Port State Control.
RAND Europe (2006). Prototypes SafePlan en SafeTest, effectiviteit Safestat-NL.
Eindrapportage in opdracht van de Adviesdienst Verkeer en Vervoer.
Toezicht Tellen - KiM |

Colofon

Dit is een uitgave van het
Ministerie van Verkeer en Waterstaat
september 2009
Kennisinstituut voor Mobiliteitsbeleid (KiM)
KiM09R04
Auteurs:
Pieter Wouters
Harry Derriks
Han van der Loop
Vormgeving en opmaak:
Studio Guido van der Velden B.V., Blaricum
Foto omslag:
Tineke Dijkstra, Den Haag
ISBN: 9789089020642
Kennisinstituut voor Mobiliteitsbeleid
Jan van Nassaustraat 125
2596 BS Den Haag
Postbus 20901
2500 EX Den Haag
Telefoon : 070 351 1965
Fax : 070 351 7576
Website : www.kimnet.nl
Email : info@kimnet.nl
0 | Ministerie van Verkeer en Waterstaat

Toezicht Tellen

In de huidige samenleving nemen begrippen

als effectiviteit, transparantie en het geven van

rekenschap een steeds belangrijkere plaats in.

Effectmeting draagt aan die ontwikkeling bij.

Het meten van effecten van toezicht is echter

geen gemakkelijke zaak. Het onderzoek Toezicht

Tellen geeft een overzicht van verschillende

methoden waarmee de Inspectie Verkeer en

Waterstaat (IVW) die effecten van toezicht in

beeld kan brengen. Het Kennisinstituut voor

Mobiliteitsbeleid (KiM) is voor deze studie op

zoek gegaan naar best practices in het buitenland.
Er bestaan kwantitatieve en kwalitatieve

methoden om effecten van toezicht in beeld

te brengen. Beide soorten vullen elkaar

aan. In het kader van deze studie heeft het

KiM een kwantitatief voorbeeldmodel voor

het wegvervoer gebouwd, waarmee eerste

proefberekeningen zijn uitgevoerd. Vervolgens

is de praktische toepassing van deze methode

verkend voor drie domeinen van toezicht: het

personenvervoer, de zeevaart en het luchtruim.

Daarbij heeft het KiM een aantal indicatoren

ontwikkeld die passen bij effectmeting.

De methode lijkt te kunnen worden toegepast in

elk van de domeinen. De toepassing is echter niet

van vandaag op morgen te realiseren: het is een

ontwikkelproces, een proces van lerende evaluatie.
ISBN: 978-90-8902-064-2

Dit is een uitgave van het

Ministerie van Verkeer

en Waterstaat

Postbus 20901 | 2500 ex Den Haag

www.verkeerenwaterstaat.nl

www.kimnet.nl

September 2009 | KiM-09-R04

dinsdag 1 september 2009