Ministerie van Onderwijs, Cultuur en Wetenschap
EXAMENVERSLAG 2007/2008
Utrecht, november 2008
INHOUDSOPGAVE
SAMENVATTING
1 INLEIDING...................................................................................7
2 ONDERZOEKSMETHODE...............................................................9
2.1 Drie soorten onderzoek.................................................................9
2.2 Methode van onderzoek.............................................................. 11
3 CONCLUSIES REGULIER ONDERZOEK.......................................... 15
3.1 Landelijk beeld........................................................................... 15
3.2 Vergelijking examenkwaliteit naar soort opleiding........................... 18
3.3 Vergelijking examenkwaliteit naar bekostiging ............................... 18
3.4 Vergelijking examenkwaliteit van roc 's, aoc's en vakinstellingen..... 20
3.5 Conclusies ................................................................................ 21
4 CONCLUSIES OVERIGE TWEE ONDERZOEKEN.............................. 23
4.1 Resultaten heronderzoek bij 62 opleidingen................................... 23
4.2 Resultaten onderzoek bij 35 opleidingen........................................ 24
4.3 Conclusies ................................................................................ 26
SAMENVATTING
Dit examenverslag schetst een beeld van de examenkwaliteit in het middelbaar
beroepsonderwijs (mbo) in het studiejaar 2007/2008.
In 2008 zijn door de Inspectie van het Onderwijs drie soorten onderzoek
uitgevoerd naar de examenkwaliteit van het studiejaar 2007/2008:
· het regulier onderzoek naar een steekproef van 787 opleidingen bij 115
instellingen;
· heronderzoek naar 62 opleidingen bij 20 instellingen. Het gaat hier om
opleidingen waarvoor de staatssecretaris in 2007 een voorgenomen besluit
tot intrekking van de examenlicentie heeft gestuurd of een verbeterperiode
heeft vastgesteld; en waarvoor de staatsecretaris vervolgens in april 2008
een waarschuwing plus een verbetertermijn heeft gegeven, vanwege
onvoldoende examenkwaliteit 2006/2007.
· het onderzoek naar 35 opleidingen bij 7 instellingen. Het gaat om
opleidingen waarvoor de staatssecretaris in 2007 een eerste
waarschuwing heeft gegeven naar aanleiding van een constatering van
onvoldoende examenkwaliteit.
De twee laatste onderzoeken hebben betrekking op opleidingen die al eerder
onvoldoende bleken te zijn.
Het representatieve landelijk totaalbeeld
Uit de onderzoeken blijkt dat instellingen de examenkwaliteit over het
algemeen serieus nemen. Er wordt veel inzet gepleegd om de examenkwaliteit
op orde te houden of te krijgen. De inspectie constateert ook dat de
examenkwaliteit in het schooljaar 2007/2008 niet overal op orde is. Van ruim
een op de vijf opleidingen (22 procent) voldoet de examinering niet aan de
kwaliteitsstandaarden. Bij 78 procent van de opleidingen is in 2007/2008
sprake van voldoende examenkwaliteit.
Uit het regulier onderzoek naar een steekproef van 787 opleidingen blijkt dat
onvoldoende examenkwaliteit met name voortkomt uit tekortkomingen in het
exameninstrumentarium op de inhoudelijke uitstroomeisen (onvoldoende
dekking en niet het juiste beheersingsniveau) en op de toetstechnische
kwaliteitseisen (onvolledige of ontbrekende beoordelingsmodellen), al dan niet
in combinatie met onvoldoende borging van de examineringsprocessen. Bij
onvoldoende borging van de examineringsprocessen gaat het met name om
een gebrek aan evaluatie en de eventuele daaruit voorkomende verbeteracties.
Er blijkt een verschil te bestaan tussen de examenkwaliteit 2007/2008 bij de
onderscheiden soorten instellingen.
In de eerste plaats tussen bekostigde en niet bekostigde instellingen. Bij de
bekostigde instellingen is driekwart van de opleidingen voldoende, tegenover
ruim de helft bij niet-bekostigde opleidingen. Bij de niet-bekostigde instellingen
blijkt voor een relatief groot aantal opleidingen een kwaliteitsimpuls nodig.
In de tweede plaats is er bij bekostigde instellingen verschil tussen regionale
opleidingscentra (roc's), agrarische opleidingscentra (aoc's) en vakinstellingen.
---
De totaalpercentages `voldoende opleidingen' vertonen weliswaar weinig
verschil, maar de percentages `voldoende eindtermgerichte opleidingen' en
`voldoende competentiegerichte opleidingen' liggen verder uit elkaar.
De examenkwaliteit van de eindtermgerichte opleidingen op de aoc's is voor
bijna de helft van de opleidingen met een voldoende beoordeeld. De
competentiegerichte opleidingen zijn bij aoc's daarentegen voor 100 procent
met een voldoende beoordeeld. Dit hangt mede samen met de inkoop van het
exameninstrumentarium. Bij inkoop is de inspectie dit jaar nog uitgegaan van
een voldoende, als sprake is van inkoop bij een door het KwaliteitsCentrum
Examinering (KCE) erkende leverancier. Geconcludeerd wordt dat bij de aoc's
aandacht voor de examenkwaliteit van de eindtermgerichte opleidingen
gewenst is.
Bij roc's is het percentage voldoende eindtermgerichte en de
competentiegerichte opleidingen ongeveer gelijk (respectievelijk 76 en 80
procent). Bij vakinstellingen zijn de percentages respectievelijk 66 en 90.
Het onderzoek naar 62 opleidingen bij twintig instellingen
De inspectie constateert dat er verbeteringen hebben plaatsgevonden bij de
groep waarvoor de staatssecretaris in 2007 een voorgenomen besluit tot
intrekking van de examenlicentie heeft gestuurd of een verbeterperiode heeft
vastgesteld. Vijftien opleidingen bij zeven instellingen (24 procent) zijn echter
nog steeds onvoldoende.
Het onderzoek naar 35 opleidingen bij 7 instellingen
Van 14 van de 35 opleidingen (40 procent) is sprake van voldoende
examenkwaliteit. Bij 21 opleidingen verdeeld over 5 instellingen (60 procent) is
de kwaliteit daarentegen onvoldoende.
Bij het heronderzoek naar 62 opleidingen was 76 procent voldoende. Dat komt
overeen met het percentage voldoende examenkwaliteit in het reguliere
onderzoek. De examenkwaliteit bij de groep van 35 opleidingen blijft daarbij
achter, daar is 40 procent voldoende.
De inspectie heeft de minister een melding gestuurd van de betreffende
onvoldoendes.
---
1 INLEIDING
Op 15 november 2007 is de bevoegdheid van het KwaliteitsCentrum
Examinering (KCE) om de examenkwaliteit in het mbo te beoordelen
overgedragen aan de Inspectie van het Onderwijs. Door de wijziging van de
Wet educatie beroepsonderwijs (WEB) en de Wet op het onderwijstoezicht
(WOT) per 22 mei 2008 heeft de inspectie, naast het toezicht op het
onderwijs, ook de wettelijke verplichting tot het toezicht op de examinering in
het beroepsonderwijs.
De doelstelling van het toezicht is onveranderd: het waarborgen van de
kwaliteit van diploma's in het middelbaar beroepsonderwijs. De basis voor het
toezicht is vastgelegd in de `Regeling standaarden examens beroepsonderwijs
2007/2008'. Hierin is de wijze waarop invulling wordt gegeven aan de
standaarden en de normering beschreven. Het Toezichtkader examinering
2007/2008 van de Inspectie van het Onderwijs geeft een volledig beeld van
alle zaken rondom het toezicht op examinering in het beroepsonderwijs.
In 2008 zijn door de Inspectie van het Onderwijs drie soorten onderzoek
uitgevoerd naar de examenkwaliteit 2007/2008:
· het regulier onderzoek naar een steekproef van 787 opleidingen bij 115
instellingen;
· het heronderzoek naar 62 opleidingen bij 20 instellingen. Het gaat hier om
opleidingen waarvoor de staatssecretaris in 2007 een voorgenomen besluit
tot intrekking van de examenlicentie heeft gestuurd of een verbeterperiode
heeft vastgesteld; en waarvoor de staatsecretaris vervolgens in april 2008
een waarschuwing plus een verbetertermijn heeft gegeven, vanwege
onvoldoende examenkwaliteit 2006/2007.
· het onderzoek naar 35 opleidingen bij 7 instellingen, buiten de steekproef
in het reguliere onderzoek. Het gaat om opleidingen waarvoor de
staatssecretaris in 2007 een eerste waarschuwing heeft gegeven naar
aanleiding van een constatering van onvoldoende examenkwaliteit
2005/2006.
De twee laatstgenoemde onderzoeken hebben betrekking op opleidingen die in
eerdere studiejaren onvoldoende bleken te zijn.
De volgende vraag staat centraal in het examenverslag:
`Wat is de examenkwaliteit van de onderzochte opleidingen in het mbo in het
studiejaar 2007/2008?'
Zie de Wet van 22 mei 2008, houdende de wijziging van de Wet educatie en beroepsonderwijs
en de Wet op het onderwijstoezicht in verband met de overgang van het toezicht op de kwaliteit
van de examinering van de beroepsopleidingen naar de Inspectie van het Onderwijs en de
bijbehorende memorie van toelichting.
Zie Regeling standaarden examens beroepsonderwijs 2007-2008, BVE/STELSEL-2008/2293 d.d.
14 maart 2008, Staatscourant van 29 april, nummer 83
Zie Toezichtkader examinering 2007/2008, 19 december 2007, www.onderwijsinspectie.nl
---
Leeswijzer
In hoofdstuk 2 wordt de achtergrond en de methode van de onderzoeken
weergegeven. In de hoofdstukken 3 en 4 worden de resultaten van de
onderzoeken behandeld. Het reguliere onderzoek wordt in hoofdstuk 3
behandeld. Daar vindt ook een vergelijking plaats tussen de opleidingen op
basis van eindtermen en op basis van competenties, de bekostigde instellingen
en de niet-bekostigde instellingen en tussen de regionale opleidingscentra
(roc's), de agrarische opleidingscentra (aoc's) en de vakinstellingen.
---
2 ONDERZOEKSMETHODE
In het onderzoeksjaar 2007/2008 zijn drie onderzoeken uitgevoerd naar de
examenkwaliteit. De aanleidingen voor de drie onderzoeken zijn verschillend.
Ook zijn de consequenties die aan de onderzoeken verbonden kunnen worden
verschillend. De methode van onderzoek is bij alle onderzoeken nagenoeg
gelijk.
In dit hoofdstuk worden de drie soorten onderzoek beschreven. Daarna volgt
een beschrijving van de methode van onderzoek.
2.1 Drie soorten onderzoek
Artikel 3 van de Wet op het onderwijstoezicht (WOT) bepaalt dat de Inspectie
van het Onderwijs is belast met het beoordelen van de kwaliteit van het
onderwijs. Sinds de Wet van 22 mei 2008, waarin de wijziging van de Wet
educatie en beroepsonderwijs en de WOT is vastgelegd, behoort het toezicht
op de examenkwaliteit ook tot de bevoegdheid van de inspectie.
Het reguliere onderzoek
Voor het reguliere onderzoek heeft de inspectie een steekproef getrokken van
opleidingen. Dit onderzoek leidt dit jaar nog niet tot sancties. Wel zullen, bij
onvoldoende kwaliteit, waarschuwingsbrieven worden verzonden gericht op
verbetering van de kwaliteit. Volgend jaar zal in dat geval een heronderzoek
volgen.
Tabel 2.1a Overzicht onderzochte opleidingen verdeeld naar soort instellingen
Aantal
Bekostiging Soort instelling Aantal instellingen opleidingen
aoc 10 113
roc 42 448
vakinstelling 14 85
bekostigde instelling hogeschool 3 9
niet bekostigde instelling 42 112
exameninstelling 4 20
Totaal 115 787
Onderzoek naar 62 opleidingen - aanleiding en huidige status
Ten tweede heeft de Inspectie van het Onderwijs een heronderzoek uitgevoerd
naar de examenkwaliteit 2007/2008 van 62 opleidingen bij 20 instellingen.
Eerder is van deze 62 opleidingen de examenkwaliteit in drie
achtereenvolgende studiejaren 2004/2005, 2005/2006 en in 2006/2007 als
onvoldoende beoordeeld. De beoordelingen van de examenkwaliteit
2004/2005 en van 2005/2006 zijn gedaan door de toenmalige toezichthouder
Zie WET van 20 juni 2002, houdende Wet op het onderwijstoezicht
Zie de Wet van 22 mei 2008, houdende de wijziging van de Wet educatie en beroepsonderwijs
en de Wet op het onderwijstoezicht in verband met de overgang van het toezicht op de kwaliteit
van de examinering van de beroepsopleidingen naar de Inspectie van het Onderwijs.
---
KCE. De examenkwaliteit 2005/2006 was van een grotere groep opleidingen
onvoldoende, te weten in totaal bij 282 opleidingen. Voor die 282 opleidingen
met onvoldoende examenkwaliteit 2005/2006 heeft de staatssecretaris op
grond van de WEB destijds de volgende maatregelen getroffen: 86 opleidingen
hebben in april 2007 een voorgenomen besluit ontvangen tot intrekking van de
examenlicentie en de overige 196 opleidingen, waarbij duidelijk verbeteringen
waren waargenomen, kregen een waarschuwing met verlengde verbetertijd tot
het onderzoek naar de examenkwaliteit 2006/2007.
Het onderzoek naar de examenkwaliteit 2006/2007 van deze groep van
opleidingen is gestart en afgerond door KCE. Na afronding van de onderzoeken
zijn de resultaten door de inspectie beoordeeld op de juridische houdbaarheid
van de oordelen (de zogenaamde marginale toetsing). Indien uit deze
marginale toetsing bleek dat de examenkwaliteit 2006/2007 van een opleiding
terecht door KCE met een onvoldoende was beoordeeld, heeft de inspectie dat
oordeel overgenomen en dit gemeld aan de staatssecretaris van OCW.
Wanneer bij de marginale toetsing werd vastgesteld dat een oordeel van KCE
niet houdbaar was, vond herbeoordeling van de examenkwaliteit 2006/2007
door de inspectie plaats in de periode december 2007- januari 2008. In het
geval na deze herbeoordeling bleek dat de examenkwaliteit 2006/2007 van
een opleiding onvoldoende was, heeft de inspectie dit gemeld aan de
staatssecretaris van OCW.
Na de marginale toetsing en/of herbeoordeling van de 282 opleidingen bleek
dat er bij 119 opleidingen sprake was van voldoende examenkwaliteit
2006/2007, dat er bij 62 opleidingen (bij 20 instellingen) sprake was van
onvoldoende examenkwaliteit 2006/2007 en dat de overige opleidingen waren
gestopt.
De staatssecretaris heeft het bevoegd gezag van de instellingen voor de
betreffende 62 opleidingen in april 2008 een waarschuwing gegeven met
verbetertijd tot het onderzoek naar de kwaliteitsverbetering door de inspectie in
het studiejaar 2007/2008. De waarschuwing betreft de aankondiging dat de
minister van OCW de examenlicentie van de betreffende opleidingen kan
intrekken in het geval na de verbetertermijn de examenkwaliteit in 2007/2008
naar het oordeel van de inspectie onvoldoende is.
De resultaten van het heronderzoek naar deze 62 opleidingen worden
weergegeven in dit Examenverslag 2007/2008.
Onderzoeken naar 35 opleidingen: aanleiding en huidige status
De examenkwaliteit van de 35 opleidingen is in 2005/2006 als onvoldoende
beoordeeld door de toenmalige toezichthouder KCE. Deze opleidingen waren
dat jaar voor het eerst als onvoldoende beoordeeld. Dat gold voor een grotere
groep opleidingen, te weten voor 69 opleidingen bij zeven instellingen. Voor
die 69 opleidingen met onvoldoende examenkwaliteit 2005/2006 heeft de
staatssecretaris op grond van de WEB destijds aan het bevoegd gezag van elk
van de zeven instellingen een waarschuwing gegeven met verbetertijd tot het
onderzoek naar de examenkwaliteit 2006/2007.
Het onderzoek naar de examenkwaliteit 2006/2007 werd uitgevoerd door KCE,
maar is stopgezet vanwege de overdracht van het toezicht op de
examenkwaliteit naar de Inspectie van het onderwijs.
Deze marginale toetsing is in november en december 2007 in opdracht van de inspectie door
onafhankelijke deskundigen uitgevoerd.
Brief 6 september 2007, Kamerstuk 27 451, nr. 76
10
Van de aanvankelijke groep van 69 opleidingen zijn inmiddels 34 opleidingen
gestopt. De overige 35 opleidingen zijn buiten de streekproef voor het reguliere
onderzoek gehouden, omdat ze elk onderzocht dienden te worden vanwege de
geschetste voorgeschiedenis.
De resultaten die in dit examenverslag worden beschreven, zijn gebaseerd op
deze 35 opleidingen. Bij onvoldoende examenkwaliteit krijgen de opleidingen
een waarschuwingsbrief, met verbetertijd tot het jaar 2008/2009.
2.2 Methode van onderzoek
De volgende vraag staat centraal in dit examenverslag:
`Wat is de examenkwaliteit van de onderzochte opleidingen in het mbo in het
studiejaar 2007/2008?'
Omdat de methode van onderzoek voor de drie soorten onderzoek nagenoeg
gelijk is, wordt deze hieronder voor alle drie de onderzoeken weergegeven.
Eventuele verschillen worden, waar nodig, aangegeven.
Standaarden voor examenkwaliteit
Artikel 7.4.4. van de Wet educatie en beroepsonderwijs (WEB) bepaalt dat de
examens van mbo-opleidingen moeten voldoen aan de landelijke standaarden
voor de examenkwaliteit. Deze standaarden zijn bij ministeriële regeling
vastgesteld, inclusief de bijbehorende normering. Daarnaast is het
Toezichtkader examinering 2007/2008 van toepassing op de onderzoeken.
In het volgende schema zijn de acht standaarden weergegeven, zoals
opgenomen in de ministeriële regeling en het Toezichtkader examinering
2007/2008.
Domein A: Validering door belanghebbenden
· Standaard 1: Het beroepenveld heeft vertrouwen in de kwaliteit van de examinering.
· Standaard 2: De deelnemer is tevreden over de kwaliteit van de examinering.
Domein B: Deskundigheid van betrokkenen
· Standaard 3: De betrokkenen bij examinering zijn deskundig.
Domein C: Exameninstrumentarium
· Standaard 4: Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen.
· Standaard 5: Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen.
Domein D: processen
· Standaard 6: De examineringsprocessen zijn transparant.
· Standaard 7: De examineringsprocessen zijn geborgd.
Domein E: Wettelijke vereisten
· Standaard 8: De instelling voldoet aan de wettelijke vereisten rondom examinering.
(Bron: Toezichtkader examinering 2007/2008)
Zie Regeling standaarden examens beroepsonderwijs 2007-2008, BVE/STELSEL-2008/2293 d.d.
14 maart 2008, Staatscourant van 29 april, nummer 83
Zie Toezichtkader examinering 2007/2008
---
Normering
De kwaliteit van de examinering 2007/2008 is voldoende wanneer zes van de
acht standaarden voldoende zijn, waaronder in elk geval standaard 4
(inhoudelijke uitstroomeisen), standaard 5 (toetstechnische kwaliteitseisen) en
standaard 8 (wettelijke vereisten).
Instellingen
Het toezicht richt zich op de examenkwaliteit van opleidingen waarvoor
instellingen in het Centraal Register Beroepsopleidingen (CREBO) geregistreerde
examenlicenties hebben en die zij ook actief uitvoeren. Hieronder vallen de
volgende instellingen:
· bekostigde instellingen die door het Rijk worden gefinancierd (roc's,
aoc's en de vakinstellingen);
· niet-bekostigde instellingen die niet door het Rijk, maar door particuliere
gelden worden gefinancierd;
· exameninstellingen die de examinering in opdracht van een instelling
uitvoeren (uitbesteding).
Steekproef
Voor het reguliere toezicht op de examinering 2007/2008 is onderzoek gedaan
bij een steekproef van opleidingen. Er is per instelling een steekproef
getrokken. Deze aanpak maakt het mogelijk om een betrouwbare schatting
te geven van de examenkwaliteit van het mbo in Nederland.
Per instelling is de steekproef verdeeld over eindtermgerichte opleidingen en
competentiegerichte opleidingen in de mate waarin deze opleidingen in de
betreffende instelling voorkomen. Landelijk geeft dit de volgende
steekproefverdeling: 62 procent eindtermgerichte opleidingen en 38 procent
competentiegerichte opleidingen.
Voor de eindtermgerichte opleidingen is voor iedere instelling na de steekproef
op het niveau van de opleiding, een steekproef op het niveau van de
deelkwalificatie getrokken.
Voor de competentiegerichte opleidingen is de steekproef gebaseerd op
uitstroomdifferentiaties.
Inventarisatie
Na de steekproeftrekking is bij de instellingen geverifieerd of de opleidingen in
de steekproef daadwerkelijk in het betreffende studiejaar aangeboden worden
(`actief zijn'). De uitgangspunten voor niet-actieve (deel)kwalificaties zijn als
volgt. Voor eindtermgerichte en competentiegerichte opleidingen is een
opleiding niet-actief als er geen deelnemers ingeschreven zijn op het Crebo-
nummer van de opleiding. Bij de eindtermgerichte opleidingen wordt een
deelkwalificatie voor het onderzoek als niet actief beschouwd als die
deelkwalificatie na 1 januari 2008 nooit meer geëxamineerd wordt en er dus
ook geen herkansingen meer zijn. Voor competentiegerichte opleidingen geldt
Voor een uitgebreide uiteenzetting, zie Toezichtkader examinering 2007/2008.
Zie Toezichtkader examinering 2007/2008.
12
dat die alleen onderzocht worden als er sprake is van diplomering voor 1
augustus 2008.
Er was geen sprake van een steekproef bij het onderzoek naar de groep van 35
opleidingen en het heronderzoek naar 62 opleidingen. Ook bij deze opleidingen
is nagegaan of opleidingen nog actief zijn. Indien een niet-actieve opleiding
werd aangetroffen, werd deze niet opgenomen in het onderzoek.
Het onderzoek
De zelfevaluatie van de examenkwaliteit door de instelling vormde het
startpunt van het onderzoek.
Voorafgaand aan het onderzoek op locatie is de kwaliteit van het
exameninstrumentarium door externe deskundigen onderzocht en van een
advies voorzien. Tijdens de onderzoeken op locatie, waarbij de zelfevaluatie en
de resultaten van het onderzoek naar het exameninstrumentarium het
uitgangspunt waren, zijn gesprekken gevoerd en is in voorkomende gevallen
aanvullende documentatie opgevraagd. Aan de hand van deze informatie is het
oordeel over de examenkwaliteit van een opleiding tot stand gekomen.
Inkoop exameninstrumentarium bij door KCE gecertificeerde
examenleveranciers
De laatste beoordelingen van leveranciers door KCE dateren uit najaar 2006.
Voor de onderzoeken in 2007/2008 is er, in het kader van de overgang van
het toezicht naar de inspectie, voor gekozen een score `voldoende' toe te
kennen aan het exameninstrumentarium dat voor het lopende onderzoeksjaar
was ingekocht bij een door KCE erkende leverancier. Dit betekent dat
exameninstrumenten die in de steekproef zitten en waarbij sprake was van
volledige inkoop, niet door de inspectie zijn onderzocht. De resultaten van
het onderhavige onderzoek naar de examenkwaliteit 2007/2008 zijn daardoor
mogelijk positiever dan het geval zou zijn geweest als de ingekochte
examenproducten daadwerkelijk onderzocht zouden zijn door de inspectie. In
2008/2009 onderzoekt de inspectie het ingekochte exameninstrumentarium
wel.
Het exameninstrumentarium van eindtermgerichte opleidingen wordt ingekocht
per deelkwalificatie. Dit betekent dat het voor eindtermgerichte opleidingen
mogelijk is om voor de gehele opleiding, maar ook voor een gedeelte van de
opleiding, exameninstrumenten in te kopen. Bij competentiegerichte
opleidingen worden de opleidingen over het algemeen in zijn geheel ingekocht.
Voor dit onderzoek geldt dat voor de eindtermgerichte opleidingen 42 procent
van de onderzochte deelkwalificaties is ingekocht. Bij de competentiegerichte
opleidingen is 37 procent van het aantal onderzochte opleidingen ingekocht.
Onderzoek naar exameninstrumenten
Het oordeel over de examenkwaliteit wordt uitgesproken per opleiding, per
leerweg. Voor de standaarden die betrekking hebben op de kwaliteit van het
exameninstrumentarium (standaarden 4 en 5) komt het oordeel op twee
manieren tot stand:
Onder volledige inkoop wordt verstaan: als de gehele (deel)kwalificatie ingekocht is en het
ingekochte materiaal ongewijzigd ingezet wordt.
13
· het volledige exameninstrumentarium bij een opleiding is ingekocht bij
een door KCE erkende leverancier. In dat geval is in het onderzoek
2007/2008 voor de standaarden 4 en 5 het oordeel `voldoende'
toegekend.
· Of, het exameninstrumentarium bij een opleiding is door de instelling
zelf ontwikkeld. In dat geval is het exameninstrumentarium door de
inspectie onderzocht. Voor eindtermgerichte opleidingen wordt een
oordeel uitgesproken op het niveau van de deelkwalificatie. Voor een
voldoende beoordeling van de opleiding dienen alle onderzochte
deelkwalificaties een voldoende te scoren.
Consequenties
In geval van onvoldoende examenkwaliteit bij een opleiding meldt de inspectie
dit aan de minister (te weten de minister van OCW, dan wel de minister van
LNV in geval van opleidingen in de groene sector).
De minister geeft aan het bevoegd gezag van de betreffende instelling voor die
opleiding vervolgens een waarschuwing met verbetertijd (art. 6.1.5b, lid 2
WEB). De waarschuwing maakt duidelijk welke sanctie de minister kan
opleggen in het geval na de verbetertijd blijkt dat de examenkwaliteit nog
steeds onvoldoende is.
Vervolgens vindt er verscherpt toezicht plaats, bestaande uit een onderzoek
naar kwaliteitsverbetering na ongeveer een jaar.
In het geval dat blijkt dat de examenkwaliteit in dat jaar nog steeds niet
voldoet, vindt er een tweede melding door de inspectie plaatst aan de minister.
De minister kan dan op grond van de WEB (art. 6.1.5b, lid 1) het recht op
examinering bij de betreffende opleiding ontnemen.
14
3 CONCLUSIES REGULIER ONDERZOEK
In dit hoofdstuk staat de vraag naar de examenkwaliteit van de onderzochte
opleidingen in 2007/2008 centraal. Ook komen de verschillen aan bod tussen
eindtermgerichte en competentiegerichte examinering en tussen roc's, aoc's en
de vakinstellingen. Daarnaast wordt ingegaan op het verschil tussen de door
het Rijk bekostigde instellingen en de niet door het Rijk bekostigde instellingen.
Voor het reguliere onderzoek 2007/2008 zijn 787 opleidingen onderzocht bij
115 instellingen. In paragraaf 2.1 is een nadere specificering opgenomen van
het totaal aantal onderzochte opleidingen.
3.1 Landelijk beeld
De bevindingen van het onderzoek leiden tot de constatering dat landelijk bij
78 procent van de opleidingen in het mbo sprake is van voldoende
examenkwaliteit. Van ruim een op de vijf opleidingen voldoet de examinering
niet aan de kwaliteitsstandaarden, dat betreft dus 22 procent. Dit cijfer is
een gecorrigeerd cijfer, gelet op de samenstelling van de steekproef. Het cijfer
geeft het landelijk beeld weer. Als gekeken wordt naar de werkelijk
onderzochte opleidingen is 76 procent voldoende en 24 procent onvoldoende
(dit is een niet gecorrigeerd percentage). De inspectie heeft de onvoldoende
opleidingen gemeld aan de ministers van OCW en LNV.
Tabel 3.1a Hoeveelheid onvoldoendes per instelling
opleidingen aantal percentage
0 procent voldoende 19 17
1-50 procent voldoende 11 10
51-99 procent voldoende 45 39
100 procent voldoende 40 35
Totaal 115 100
Uit tabel 3.1a blijkt dat bij 40 van de 115 instellingen (35 procent) alleen
voldoende opleidingen zijn aangetroffen. Bij de overige 75 instellingen is er
sprake van één of meer onvoldoende opleidingen. Bij 19 instellingen (17
procent) is geen enkele voldoende opleiding aangetroffen. Bij deze 75
instellingen met onvoldoende opleidingen, zijn in totaal 572 opleidingen
onderzocht (73 procent van het totaal). De meeste instellingen die geen
onvoldoendes hebben, zijn kleine instellingen (niet-bekostigde instellingen en
exameninstellingen). Daarnaast zijn er ook veel kleine niet-bekostigde
instellingen met bijvoorbeeld één opleiding die onvoldoende is. Grote
instellingen, zoals roc's en aoc's, blijken weliswaar de meeste examens op
orde te hebben, maar hier blijkt dat er maar heel weinig instellingen zijn die
alles op orde hebben. Slechts zeven roc's en drie aoc's hebben alles op orde.
Deze schatting is voldoende nauwkeurig: het 95 procent betrouwbaarheidsinterval is 18,6;
24,4.
15
Bij instellingen waar geen onvoldoendes zijn aangetroffen, kan de inspectie
overigens niet met zekerheid zeggen dat alle examens op orde zijn. De
steekproefomvang maakt het niet mogelijk om die uitspraak te doen.
Situatieschets: waar komen de onvoldoendes uit voort?
In deze paragraaf wordt een beeld geschetst van de meest voorkomende
onvoldoende standaarden.
Tabel 3.1b Percentage voldoende standaarden
standaarden aantal percentage
opleidingen voldoende
1 Vertrouwen beroepenveld 787 98
2 Tevredenheid deelnemer 787 98
3 Deskundigheid betrokkenen 787 93
4 Exameninstrumentarium; uitstroomeisen 787 79
5 Exameninstrumentarium; toetstechnische 787 84
eisen
6 Transparantie examineringsprocessen 787 96
7 Borging examineringsprocessen 787 81
8 Wettelijke vereisten 787 91
Uit tabel 3.1b is op te maken dat de tekortkomingen vooral voorkomen in het
exameninstrumentarium, zowel op de inhoudelijke uitstroomeisen (standaard 4)
als op de toetstechnische kwaliteitseisen (standaard 5). Ook komen er
tekortkomingen voor bij de borging van examineringsprocessen (standaard 7).
In totaal hebben achttien opleidingen (2 procent) een onvoldoende voor
tekortkomingen op de wettelijke vereisten. Hiervan geldt dat drie van de
onvoldoende opleidingen alleen voor de wettelijke vereisten tekortkomingen
vertonen.
Opvallend is dat er bij 150 opleidingen (19 procent) tekortkomingen zijn
geconstateerd op de borging van de examineringsprocessen (standaard 7). 63
van deze opleidingen hebben alleen een onvoldoende voor de borging van de
examenprocessen. Een onvoldoende uitsluitend voor deze standaard leidt
overigens niet tot een onvoldoende beoordeling voor de hele opleiding. Het is
verder interessant om na te gaan of er veel voorkomende combinaties zijn
waarop een onvoldoende score berust, uiteraard komen er er meer combinaties
voor dan hier worden beschreven.
· De combinatie tekortkomingen in het exameninstrumentarium, zowel
op de inhoudelijke uitstroomeisen (standaard 4) als op de
toetstechnische kwaliteitseisen (standaard 5) komt bij veertig van de
onvoldoende opleidingen (21 procent) voor.
· De combinatie tekortkomingen in het exameninstrumentarium, zowel
op de uitstroomeisen (standaard 4) als op de toetstechnische
kwaliteitseisen (standaard 5) én tekortkomingen van de borging van de
examineringsprocessen (standaard 7) komt bij 22 van de onvoldoende
opleidingen (12 procent) voor.
Geconcludeerd wordt dat bij het merendeel van de onvoldoende opleidingen
het exameninstrumentarium als onvoldoende is beoordeeld, al dan niet in
combinatie met een onvoldoende op een van de andere standaarden.
16
Wat is de reden voor een onvoldoende score op een standaard?
Van een groot aantal onvoldoende opleidingen voldoet het
exameninstrumentarium niet aan de inhoudelijke uitstroomeisen (standaard 4).
Het exameninstrumentarium van het merendeel van deze opleidingen vertoont
tekortkomingen op de inhoud en het beheersingsniveau. Tekortkomingen in de
inhoud komen voort uit het ontbreken van toetsen of omdat eindtermen of
competenties niet aan bod komen in de examens of niet gekoppeld zijn aan de
opdrachten in de examens. Als er tekortkomingen zijn gesignaleerd op het
beheersingsniveau, dan is de toetsvorm van het examen niet altijd juist. Veel
voorkomende tekortkomingen zijn schriftelijke toetsing voor praktische
vaardigheden of toetsing door meerkeuze vragen voor (re)productieve
vaardigheden. Ook tekortkomingen op het gebied van de normering komen
voor. Een enkele keer voldoet het examenmateriaal niet aan het niveau van de
opleiding. Over het algemeen komen de hierboven genoemde redenen in
combinatie met elkaar voor.
Een groot aantal onvoldoende opleidingen voldoet (eveneens) niet aan de
toetstechnische kwaliteitseisen die aan het exameninstrumentarium worden
gesteld (standaard 5). Vaak is het beoordelingsmodel niet goed. Over het
algemeen ontbreken (duidelijke) beoordelingscriteria. Ook ontbreekt de
instructie voor deelnemers regelmatig en zijn de afnamecondities niet altijd
goed uitgewerkt. Een enkele keer blijkt een individuele beoordeling niet te zijn
geborgd. Ook hier komen de redenen voor een onvoldoende beoordeling veelal
in combinatie met elkaar voor.
Een onvoldoende score voor de borging van de examineringsprocessen
(standaard 7) komt vooral voort uit een gebrek aan evaluatie van de
examineringsprocessen. In sommige gevallen is er wel sprake van evaluatie
van processen, maar wordt deze niet systematisch uitgevoerd. Ook ontbreken
analyses en verbeterplannen of zijn concrete acties naar aanleiding van
verbeterplannen (nog) niet zichtbaar. Ook komt het voor dat er niet wordt
gewerkt volgens de vastgestelde procedures of laat het constructie- en
vaststellingsproces van toetsen te wensen over.
Een onvoldoende score op de wettelijke vereisten (standaard 8) komt met
name voort uit het feit dat Commissies van Beroep niet volgens de WEB zijn
ingericht. Ook zijn er instellingen die niet voldoen aan de eis openbare
verantwoording af te leggen over de examenkwaliteit.
Onvoldoende deskundigheid van betrokkenen bij examinering (standaard 3)
komt voornamelijk voort uit gebrek aan inzicht in de aanwezige deskundigheid.
Ook wordt aangegeven dat toetsconstructeurs en toetsvaststellers, gezien de
resultaten van het onderzoek naar het exameninstrumentarium, deskundigheid
missen. Ook is beperkt inzicht in deskundigheid van beoordelaars in de
beroepspraktijk een veel voorkomende reden voor een onvoldoende.
Onvoldoendes voor vertrouwen van het beroepenveld en tevredenheid van
deelnemers (standaarden 1 en 2), die overigens relatief weinig voorkomen,
worden voornamelijk veroorzaakt door een gebrek aan informatie. Er vinden
dan geen systematische onderzoeken plaats naar het vertrouwen of er is geen
sprake van enige wijze van betrokkenheid van het beroepenveld.
Deelnemersonderzoeken worden in die gevallen niet (structureel) uitgevoerd
17
en/of er wordt niet op een andere wijze voorzien in het verkrijgen van de
mening van deelnemers.
3.2 Vergelijking examenkwaliteit naar soort opleiding
In deze paragraaf wordt antwoord gegeven op de vraag of er verschil is tussen
de examenkwaliteit van eindtermgerichte opleidingen en competentiegerichte
opleidingen.
Sinds 2004 kunnen roc's, aoc's, vakinstellingen en niet-bekostigde instellingen
op vrijwillige basis werken met (experimentele) competentiegerichte
opleidingen. Vanaf 1 augustus 2010 kunnen instellingen nieuwe deelnemers
alleen nog inschrijven voor competentiegerichte opleidingen en niet meer voor
eindtermgerichte opleidingen. Er treedt daarom gaandeweg een verschuiving
op van eindtermgerichte opleidingen naar competentiegerichte opleidingen.
In totaal zijn 38 procent competentiegerichte opleidingen en 62 procent
eindtermgerichte opleidingen onderzocht.
Tabel 3.2a Vergelijking voldoende eindtermgerichte opleidingen met aantal voldoende
competentiegerichte opleidingen
voldoende opleidingen
totaal aantal
soort opleiding opleidingen aantal percentage
Eindtermgericht 487 339 70
Competentiegericht 300 257 85
Totaal 787 596 76
Uit tabel 3.2a is op te maken dat voor de competentiegerichte opleidingen
verhoudingsgewijs vaker een voldoende gescoord wordt. De inspectie heeft
niet onderzocht wat de oorzaak is van dit verschil. Een mogelijke verklaring is
dat de competentiegerichte opleidingen volop in ontwikkeling zijn. Er wordt
daarom veel geïnvesteerd in de kwaliteit van de opleiding en de examinering. In
eindtermgerichte opleidingen wordt mogelijk minder geïnvesteerd, omdat deze
aflopen.
Voor zowel de eindtermgerichte als de competentiegerichte opleidingen geldt
dat onvoldoendes vooral veroorzaakt worden doordat het
exameninstrumentarium niet voldoet aan de uitstroomeisen (standaard 4) en/of
de toetstechnische eisen (standaard 5).
3.3 Vergelijking examenkwaliteit naar bekostiging
In deze paragraaf wordt antwoord gegeven op de vraag of er verschil is in de
examenkwaliteit bij bekostigde instellingen en niet-bekostigde instellingen.
zie www.mbo2010.nl
18
Er zijn onderzoeken uitgevoerd bij 69 bekostigde instellingen, 42 niet-
bekostigde instellingen en 4 exameninstellingen. Hierbij gaat het om
respectievelijk 655, 112 en 20 onderzochte opleidingen.
Het percentage voldoende opleidingen ligt bij de bekostigde instellingen relatief
hoger dan bij niet-bekostigde instellingen (78 procent bij bekostigde
instellingen tegenover 57 procent bij niet-bekostigde instellingen). Bij de
exameninstellingen zijn alleen voldoende opleidingen aangetroffen.
Figuur 3.3 Vergelijking van het aantal voldoende standaarden van de
opleidingen per bekostigde instelling en niet-bekostigde instelling
Voldoende standaarden niet-bekostigde instellingen
100%
80%
60%
40%
20%
0%
1 2 3 4 5 6 7 8
daard daard daard daard daard daard daard daard
stan stan stan stan stan stan stan stan
Voldoende standaarden bekostigde instellingen
100%
80%
60%
40%
20%
0%
1 2 3 4 5 6 7 8
ard ard ard ard ard ard ard ard
nda nda nda nda nda nda nda nda
sta sta sta sta sta sta sta sta
Standaard 1 Vertrouwen beroepenveld
Standaard 2 Tevredenheid deelnemer
Standaard 3 Deskundigheid betrokkenen
Standaard 4 Exameninstrumentarium; uitstroomeisen
Standaard 5 Exameninstrumentarium; toetstechnische eisen
Standaard 6 Transparantie examineringsprocessen
Standaard 7 Borging examineringsprocessen
Standaard 8 Wettelijke vereisten
Uit figuur 3.3 blijkt dat de verschillen tussen de niet-bekostigde instellingen en
bekostigde instellingen zich vooral voordoen op tekortkomingen in het
19
exameninstrumentarium op de inhoudelijke uitstroomeisen (standaard 4). Bij
niet-bekostigde instellingen is 64 procent op dit aspect voldoende tegenover
80 procent voldoende bij de bekostigde instellingen. Ook zijn bij relatief veel
opleidingen van niet-bekostigde instellingen de examineringsprocessen
(standaard 7) onvoldoende geborgd (33 procent tegenover 17 procent bij
bekostigde instellingen).
Als gekeken wordt naar het verschil in kwaliteit bij eindtermgerichte
opleidingen en competentiegerichte opleidingen valt op dat bij niet-bekostigde
instellingen relatief weinig competentiegerichte opleidingen in de steekproef
zitten. Van de competentiegerichte opleidingen die bij de niet-bekostigde
instellingen zijn onderzocht, is de examinering van de helft van de opleidingen
met een voldoende beoordeeld. Omdat de steekproef per instelling evenredig is
verdeeld over het aanbod eindtermgerichte opleidingen en competentiegerichte
opleidingen van de instelling, kan gesteld worden dat de overgang naar
competentiegericht onderwijs bij niet-bekostigde instellingen minder ver
gevorderd is.
Voor de bekostigde instellingen geldt dat de competentiegerichte opleidingen
beter scoren dan de eindtermgerichte opleidingen, te weten respectievelijk 67
procent en 57 procent
3.4 Vergelijking examenkwaliteit van roc 's, aoc's en
vakinstellingen
In deze paragraaf wordt de deelvraag behandeld over het verschil tussen de
roc's, aoc's en de vakinstellingen.
Er zijn onderzoeken gedaan bij 42 roc's, 10 aoc's en 14 vakinstellingen Het
gaat achtereenvolgens om 448, 113 en 85 opleidingen. Bij de roc's, aoc's en
vakinstellingen zijn in totaal 646 van het totaal van 787 opleidingen
onderzocht.
Tabel 3.4 Verschil in scores tussen roc, aoc's en vakinstelling, tevens
uitgesplitst in eindtermgerichte opleidingen en competentiegerichte opleidingen
percentage gemiddeld
voldoende percentage
roc eindtermgericht 76 78
N=448 competentiegericht 80
aoc eindtermgericht 46 80
N= 113 competentiegericht 100
vakinstelling eindtermgericht 66 79
N=85 competentiegericht 90
totaal eindtermgericht 71 78
N=646 competentiegericht 87
Uit tabel 3.4 blijkt dat de meeste onderzoeken plaats hebben gevonden bij een
roc. Daar zijn 448 opleidingen onderzocht. De vakinstellingen vormen een
relatief kleine categorie. Tussen de drie soorten instellingen zijn de verschillen
in examenkwaliteit verwaarloosbaar. De percentages voldoende opleidingen
zitten tussen 78 en 80 procent.
De verschillen tussen eindtermgerichte en competentiegerichte opleidingen zijn
wel groot. Het verschil is 16 procent in het voordeel van de
20
competentiegerichte opleidingen. De examenkwaliteit van de
competentiegerichte opleidingen is gemiddeld beter dan die van
eindtermgerichte opleidingen. Bij de roc's is het verschil klein, maar bij de
aoc's en vakinstellingen is het verschil groot.
Opvallend is dat alle competentiegerichte opleidingen van aoc's voldoende zijn,
terwijl dit bij de eindtermgerichte opleidingen 46 procent is. Op tien
opleidingen na zijn alle competentiegerichte opleidingen van de aoc's ingekocht
bij Aequor/Groene Standaard. Dit betekent dat het ingekochte
exameninstrumentarium van deze opleidingen niet is onderzocht door de
inspectie, maar dat, in het kader van de overgang van het toezicht van KCE
naar de inspectie, ook voor deze leverancier voor het exameninstrumentarium
(standaard 4 en 5) een voldoende is gegeven.
Bij aoc's en vakinstellingen is het aantal onderzochte competentiegerichte
opleidingen (veel) hoger dan het aantal onderzochte eindtermgerichte
opleidingen. Bij de aoc's is namelijk 62 procent van de onderzochte opleidingen
competentiegericht, bij de vakinstellingen is dat 58 procent. Bij de roc's is 39
procent van de onderzochte opleidingen competentiegericht.
Bij de roc's is er weinig verschil waar te nemen tussen de examenkwaliteit van
de eindtermgerichte opleidingen en de competentiegerichte opleidingen. Bij de
vakinstellingen is er een groter verschil in kwaliteit zichtbaar tussen
eindtermgerichte opleidingen en competentiegerichte opleidingen;
respectievelijk 66 procent en 90 procent voldoende opleidingen. De
examenkwaliteit van de competentiegerichte opleidingen ligt bij de
vakinstellingen hoger dan bij de roc's. Voor de eindtermgerichte opleidingen
ligt de examenkwaliteit daarentegen bij vakinstellingen juist lager dan bij roc's.
3.5 Conclusies
Voor het reguliere onderzoek naar de examenkwaliteit 2007/2008 zijn 787
opleidingen onderzocht bij 115 instellingen.
Landelijk gezien is de examenkwaliteit 2007/2008 bij 78 procent van de
opleidingen in het mbo voldoende. Van ruim één op de vijf opleidingen (22
procent) voldoet de examinering niet aan de kwaliteitsstandaarden voor
examinering.
Uit het regulier onderzoek naar een steekproef van 787 opleidingen blijkt
verder dat onvoldoende examenkwaliteit met name voortkomt uit
tekortkomingen in het exameninstrumentarium op de inhoudelijke
uitstroomeisen (onvoldoende dekking en niet het juiste beheersingsniveau) en
de toetstechnische kwaliteitseisen (onvolledige of ontbrekende
beoordelingsmodellen), al dan niet in combinatie met onvoldoende borging van
de examineringsprocessen. Bij onvoldoende borging van de
examineringsprocessen gaat het met name om een gebrek aan evaluatie en de
eventuele daaruit voorkomende verbeteracties.
In hoofdstuk 2 is aangegeven dat 37 procent van de competentiegerichte opleidingen wordt
ingekocht. Het percentage inkoop is echter niet evenredig verdeeld over de aoc's en de overige
instellingen; 87 procent van de competentiegerichte opleidingen wordt ingekocht tegenover 20
procent bij overige instellingen.
21
Van de 115 instellingen zijn bij veertig instellingen (35 procent) alleen
voldoende opleidingen aangetroffen. Bij de overige instellingen zijn één of meer
onvoldoende opleidingen aangetroffen. Bij negentien instellingen (17 procent)
is geen enkele voldoende opleiding aangetroffen.
In de totale steekproef zijn relatief meer eindtermgerichte opleidingen
onderzocht dan competentiegerichte opleidingen. De resultaten van de
onderzoeken laten zien dat de examenkwaliteit van competentiegerichte
opleidingen beter is beoordeeld dan de examenkwaliteit van de onderzochte
eindtermgerichte opleidingen.
Er blijkt wel een verschil te bestaan tussen de examenkwaliteit 2007/2008 bij
de onderscheiden soorten instellingen.
In de eerste plaats tussen bekostigde en niet bekostigde instellingen. Bij de
bekostigde instellingen is driekwart van de opleidingen voldoende, tegenover
ruim de helft bij niet-bekostigde opleidingen.
In de tweede plaats bij bekostigde instellingen tussen roc's, aoc's en
vakinstellingen. De totaalpercentages `voldoende opleidingen' vertonen
weliswaar weinig verschil, maar de percentages `voldoende eindtermgerichte
opleidingen' en `voldoende competentiegerichte opleidingen' liggen verder uit
elkaar.
De examenkwaliteit van de eindtermgerichte opleidingen op de aoc's is voor
bijna de helft van de opleidingen met een voldoende beoordeeld. De
competentiegerichte opleidingen zijn bij aoc's daarentegen voor 100 procent
met een voldoende beoordeeld. Dit hangt mede samen met de inkoop van het
exameninstrumentarium. Bij inkoop is de inspectie dit jaar nog uitgegaan van
een voldoende, als sprake is van inkoop bij een door KCE erkende leverancier.
Bij roc's is het percentage voldoende eindtermgerichte en de
competentiegerichte opleidingen ongeveer gelijk (respectievelijk 76 en 80
procent). Bij vakinstellingen zijn de percentages respectievelijk 66 en 90.
De inspectie constateert dat bij 22 procent van de opleidingen de
examenkwaliteit gebreken vertoont. De inspectie ziet ook dat er veel inzet
wordt gepleegd om de examenkwaliteit op orde te houden of te krijgen.
Bij de aoc's is aandacht voor de examenkwaliteit van de eindtermgerichte
opleidingen gewenst.
Bij de niet-bekostigde instellingen is voor een relatief groot aantal opleidingen
een kwaliteitsimpuls nodig. Verder is het belangrijk dat alle instellingen
aandacht blijven schenken aan de examenkwaliteit van de eindtermgerichte
opleidingen. Tot 2010 kan er immers gestart worden met eindtermgerichte
opleidingen. Die kunnen doorlopen tot 2014.
---
4 CONCLUSIES OVERIGE TWEE ONDERZOEKEN
In dit hoofdstuk worden de resultaten weergegeven van de twee overige
onderzoeken buiten de steekproef, te weten de heronderzoeken naar 62
opleidingen bij 20 instellingen (paragraaf 4.1) en het onderzoek naar 35
opleidingen bij 7 instellingen (paragraaf 4.2).
4.1 Resultaten heronderzoek bij 62 opleidingen
Het gaat hier om opleidingen waarvoor de staatssecretaris in 2007 een
voorgenomen besluit tot intrekking van de examenlicentie heeft gestuurd of
een verbeterperiode heeft vastgesteld.
Er is een verbeterslag gemaakt: van de 62 opleidingen bleek bij driekwart van
de opleidingen de examenkwaliteit voldoende te zijn. Van de resterende vijftien
opleidingen (24 procent) bleek de examenkwaliteit nog niet toereikend. Deze
vijftien opleidingen zijn verdeeld over zeven instellingen.
Figuur 4.1 Verdeling voldoende scores over de standaarden in percentages
100% 100% 98% 100%
100% 90%
79% 79% 81%
80%
age 60%
40%
percent
20%
0%
1 2 3 4 5 6 7 8
ard ard ard ard ard ard ard ard
nda nda nda nda nda nda nda nda
Sta Sta Sta Sta Sta Sta Sta Sta
Standaard 1 Vertrouwen beroepenveld
Standaard 2 Tevredenheid deelnemer
Standaard 3 Deskundigheid betrokkenen
Standaard 4 Exameninstrumentarium; uitstroomeisen
Standaard 5 Exameninstrumentarium; toetstechnische eisen
Standaard 6 Transparantie examineringsprocessen
Standaard 7 Borging examineringsprocessen
Standaard 8 Wettelijke vereisten
Uit figuur 4.1 blijkt dat vooral de inhoudelijke uitstroomeisen (standaard 4) en
de toetstechnische kwaliteitseisen (standaard 5) van het
exameninstrumentarium relatief vaak onvoldoende zijn (voor beide 21 procent).
De borging van de examineringsprocessen (standaard 7) is bij 19 procent van
de opleidingen onvoldoende.
23
Wat is de reden van een onvoldoende score op een standaard?
Van de vijftien opleidingen met een onvoldoende voor de examenkwaliteit, zijn
bij veertien opleidingen in het exameninstrumentarium tekortkomingen
geconstateerd op de inhoudelijke uitstroomeisen (standaard 4). Hiervan wordt
bij elf opleidingen geconstateerd dat de eindtermen onvoldoende aan bod
komen in het examenmateriaal. Bij twaalf opleidingen wordt aangegeven dat
de toetsvorm niet overeenkomt met het beheersingsniveau van de eindtermen.
Deze twee tekortkomingen komen het meest voor en worden veelal in
combinatie met elkaar gesignaleerd. Bij zes opleidingen worden er ook
tekortkomingen op de normering geconstateerd. Bij een aantal opleidingen
blijkt dat het instrumentarium niet voldoet aan het beoogde niveau van de
opleiding.
Bij dertien opleidingen blijkt dat het exameninstrumentarium niet voldoet aan
de toetstechnische kwaliteitseisen (standaard 5). Opvallend is dat er vooral
tekortkomingen zijn geconstateerd op het gebied van de beoordeling (bij twaalf
opleidingen). Beoordelingscriteria zijn niet of nauwelijks gegeven en instructie
voor beoordelaars ontbreekt veelvuldig. Vijf keer wordt opgemerkt dat de
instructie voor deelnemers te wensen overlaat. Andere tekortkomingen, zoals
het ontbreken van afnamecondities en het niet waarborgen van individuele
beoordeling, komen één of twee keer voor. Deze tekortkomingen leiden er toe
dat deze examens onvoldoende betrouwbaar zijn.
Van de vijftien opleidingen waarvan is geconstateerd dat de examenkwaliteit
onvoldoende is, bleek bij een groot aantal opleidingen dat de
examineringsprocessen (standaard 7) eveneens onvoldoende zijn geborgd. De
voornaamste reden voor een onvoldoende voor deze standaard is het
ontbreken van (systematische) evaluatie van alle processen rondom
examinering, ofwel, het in zijn totaliteit ontbreken van een kwaliteitscyclus.
Er zijn zes onvoldoende opleidingen waarbij de deskundigheid van betrokkenen
bij de examinering (standaard 3) als onvoldoende is aangemerkt. De
voornaamste reden is onvoldoende deskundigheid van toetsconstructeurs en
vaststellers. Deze conclusie wordt over het algemeen gesteund door de
resultaten van het onderzoek naar de kwaliteit van het
exameninstrumentarium.
4.2 Resultaten onderzoek bij 35 opleidingen
Dit onderzocht richtte zich op opleidingen waarvoor de staatssecretaris in
2007 een eerste waarschuwing heeft gegeven naar aanleiding van een eerste
constatering van onvoldoende examenkwaliteit.
Van de 35 opleidingen is de examenkwaliteit bij veertien opleidingen (40
procent) voldoende. De examenkwaliteit van de overige 21 opleidingen (60
procent) is onvoldoende. Deze onvoldoende opleidingen komen voor bij vijf
instellingen. Bij twee instellingen is bij alle buiten de steekproef onderzochte
opleidingen sprake van onvoldoende examenkwaliteit 2007/2008.
24
Figuur 4.2 Verdeling voldoende scores over de standaarden in percentages
(N=35)
100% 94% 94%
100% 91% 83%
80% 71%
54%
60% 46%
40%
20%
0%
1 2 3 4 5 6 7 8
ard ard ard ard ard ard ard ard
nda nda nda nda nda nda nda nda
Sta Sta Sta Sta Sta Sta Sta Sta
Standaard 1 Vertrouwen beroepenveld
Standaard 2 Tevredenheid deelnemer
Standaard 3 Deskundigheid betrokkenen
Standaard 4 Exameninstrumentarium; uitstroomeisen
Standaard 5 Exameninstrumentarium; toetstechnische eisen
Standaard 6 Transparantie examineringsprocessen
Standaard 7 Borging examineringsprocessen
Standaard 8 Wettelijke vereisten
Wat zijn de oorzaken voor de onvoldoende examenkwaliteit bij deze groep
opleidingen? Uit figuur 4.2 blijkt dat vooral niet is voldaan aan de
uitstroomeisen die worden gesteld aan het exameninstrumentarium (standaard
4), de borging van examineringsprocessen (standaard 7) en de toetstechnische
kwaliteitseisen (standaard 5).
Wat is de reden van een onvoldoende score op een standaard?
Bij negentien opleidingen is standaard 4 onvoldoende. De meest voorkomende
reden voor het niet voldoen aan de uitstroomeisen is dat de toetsvorm niet
past bij het beheersingsniveau van de eindtermen. Praktische vaardigheden
worden veelal schriftelijk getoetst en het komt regelmatig voor dat eindtermen
die vragen om (re)productieve vaardigheden als meerkeuzevragen worden
getoetst. Ook waarborgt de cesuur niet dat een meerderheid van de
eindtermen wordt beheerst, voornamelijk door een onevenwichtige verdeling
van de te behalen punten over de eindtermen. In mindere mate schiet de
inhoudelijke dekking van de eindtermen tekort. Bij twee opleidingen is het
niveau waarop examinering plaatsvindt te laag.
Bij acht van de tien opleidingen met een onvoldoende op toetstechnische
kwaliteitseisen (standaard 5) is dit te wijten aan onvolledige
beoordelingsinstrumenten of het ontbreken van dergelijke instrumenten. Veelal
ontbreken beoordelingscriteria en instructies voor de beoordelaar. Ook de
afnamecondities zijn niet altijd duidelijk. Bij twee opleidingen wordt
aangegeven dat de deelnemersinstructie te wensen over laat.
De voornaamste reden voor een onvoldoende borging van
examineringsprocessen (standaard 7) is dat geen of in onvoldoende mate
evaluatie van processen plaatsvindt.
25
Zes opleidingen voldoen niet aan de wettelijke vereisten (standaard 8). Dit
komt over het algemeen voort uit het ontbreken van een Commissie van
Beroep en het ontbreken van publieke verantwoording over de examen
kwaliteit (in de vorm van een jaarverslag).
4.3 Conclusies
De resultaten van het heronderzoek bij de 62 opleidingen laten een verbetering
zien ten opzichte van de herbeoordeling en de marginale toetsing. Van
driekwart van de onderzochte opleidingen is de examenkwaliteit voldoende. Bij
opleidingen waarvan de examenkwaliteit met een onvoldoende is beoordeeld
(24 procent) zijn vooral tekortkomingen gesignaleerd in het niveau en de
betrouwbaarheid van de examens. De examens zijn van een te laag niveau en
niet voldoende betrouwbaar. De opleidingen met onvoldoende examenkwaliteit
zijn gemeld aan de minister van OCW.
Bij het onderzoek naar de 35 opleidingen is de examenkwaliteit van 60 procent
onvoldoende. De onvoldoendes zijn met name een gevolg van onvoldoendes
voor het exameninstrumentarium op de inhoudelijke uitstroomeisen, al dan niet
in combinatie met onvoldoende geborgde examineringsprocessen. Ook deze
onvoldoendes zijn gemeld aan de minister.
De inspectie constateert dat het percentage voldoende examenkwaliteit
2007/2008 bij het heronderzoek naar 62 opleidingen, te weten 76 procent,
overeenkomt met dat van de onderzochte steekproef van 787 opleidingen bij
het regulier onderzoek (eveneens 76 procent). Het percentage bij de groep
35 opleidingen blijft daarbij achter, te weten 40 procent voldoende
opleidingen.
Dit betreft het ongecorrigeerde cijfer. Het landelijk representatieve cijfer bedraagt 78 procent.
26