Inspectie v/h Onderwijs
* Kwaliteit schoolexamens
Kwaliteit schoolexamens voortgezet onderwijs
02 okt. 2009
De vakinhoudelijke en toetstechnische kwaliteit van het schoolexamen
is op de meeste scholen voldoende. Ook voldoen de examens aan de eisen
ten aanzien van bijvoorbeeld de moeilijkheid van opgaven, becijfering
en normering. Dit stelt Cito naar aanleiding van een onderzoek naar de
kwaliteit van de schoolexamens in het voortgezet onderwijs. Het
onderzoek is in 2008 uitgevoerd in opdracht van de inspectie.
* Centrale vraag
* Reactie inspectie op onderzoeksresultaten
* Onderzoeksdilemma's
* Inperking van het object van onderzoek
* Ontbreken van materiaal
* Vakinhoudelijke kanttekeningen vanuit de examenprogramma's
* Aantal te beoordelen toetsen
* Gebruik bestaande toetsen en `eigen' toetsen
* Ontbrekende gegevens
* Tijdsdruk voor beoordelaars
* Consequenties voor het toezicht
Centrale vraag
De centrale vraag van dit onderzoek is in hoeverre de schoolexamens in
het voortgezet onderwijs voldoen aan redelijke eisen ten aanzien van
de inhoud, de wijze van beoordelen en normeren en de organisatie.
Daarbij is ook nagegaan in hoeverre de moeilijkheid van de toetsen en
opdrachten uit het schoolexamen in overeenstemming is met hetgeen men
van kandidaten mag eisen.
Cito heeft de resultaten van het onderzoek neergelegd in een technisch
rapport. De inspectie heeft dit rapport gebruikt bij het opstellen van
het Onderwijsverslag 2007/2008.
Reactie inspectie op onderzoeksresultaten
De belangrijkste conclusie uit het onderzoek is dat de beoordelaars
van oordeel zijn dat de vakinhoudelijke en toetstechnische kwaliteit
van het schoolexamen (Nederlands en wiskunde respectievelijk Engels en
biologie) op de overgrote meerderheid van de onderzochte (vmbo-
respectievelijk havo-afdelingen van) scholen voor voortgezet onderwijs
van voldoende kwaliteit is. Naar het oordeel van de beoordelaars
voldoen deze schoolexamens in deze afdelingen van het voortgezet
onderwijs in voldoende mate aan redelijke eisen ten aanzien van:
* de inhoudelijke dekking van het eindexamenprogramma;
* het moment van toetsing;
* de toetstechnische kwaliteit van de opgaven;
* de moeilijkheid van de toetsen;
* de strengheid/soepelheid van de beoordelingsmiddelen en de
becijfering;
* de volledigheid en relevantie van de beoordelingsaspecten;
* het vooraf vastleggen en vroegtijdig meedelen van de scorepunten;
* het aangeven van het gewicht bij de bepaling van het cijfer;
* de samenwerking tussen docenten bij de toetsontwikkeling,
beoordeling en normering.
Aan deze conclusies moet het volgende worden toegevoegd.
De vakinhoudelijke en toetstechnische kwaliteit van deze schoolexamens
is weliswaar in het algemeen van voldoende kwaliteit, maar er zijn wel
grote kwaliteitsverschillen tussen de onderscheiden indicatoren. Er
zijn indicatoren die heel hoog scoren, maar ook die veel minder
scoren. Dit laatste komt vooral voor bij de indicatoren die betrekking
hebben op het overleg over de normering en de beoordeling, over de
volledigheid van de beoordeling en over een te soepele of te strenge
normering.
Daarnaast blijken er grote verschillen tussen vakonderdelen bij drie
van de vier onderzochte vakken. Zo krijgt bij Engels het onderdeel
`luistervaardigheid' een voldoende, maar `schrijfvaardigheid' een
onvoldoende. Bij wiskunde krijgen alle vakonderdelen een voldoende,
behalve `statistiek'. Bij biologie krijgt de schriftelijke toetsing
een voldoende, maar de praktijkopdrachten een onvoldoende.
Ten slotte zijn er grote verschillen tussen scholen geconstateerd. Op
sommige scholen scoren niet meer dan een vijftal indicatoren een
voldoende, op andere scholen krijgen nagenoeg alle negentien
indicatoren een voldoende.
Onderzoeksdilemma's
Bij de interpretatie van de onderzoeksresultaten is het van belang aan
aantal dilemma's in het onderzoek in ogenschouw te houden. Deze
dilemma's zijn tevens van belang bij de vergelijking met eerdere
onderzoeksresultaten.
Inperking van het object van onderzoek
In het onderzoek zijn, om begrijpelijke redenen, alleen de
onderwijssoorten vmbo (de schoolexamens Nederlands en wiskunde) en
havo (Engels en biologie) betrokken. De resultaten van het onderzoek
zijn niet zonder meer te extrapoleren naar andere onderwijssoorten.
Uit de analyse van de verschillen in cijfers tussen het schoolexamen
en het centraal examen blijkt dat het vwo de grootste verschillen laat
zien. Dat zou iets kunnen zeggen over de kwaliteit van de
schoolexamens. Die kwaliteit van de vwo-schoolexamens is in dit
onderzoek niet onderzocht; het is riskant om de resultaten van dit
onderzoek op het vwo te betrekken.
Evenmin lijkt het op voorhand verantwoord om de resultaten te vertalen
naar andere dan de onderzochte vakken.
Ontbreken van materiaal
Vervolgens speelde ook het ontbreken van materiaal een rol.
Bijvoorbeeld bij het vak Engels op het havo bleek de kwaliteit van het
schoolexamen `gespreksvaardigheid' vrijwel niet te beoordelen. De
oordelen over de algemene kwaliteit van het schoolexamen zijn daarom
voor een belangrijk deel gebaseerd op de beoordelingen van de
schoolexamens `luistervaardigheid' en `schrijfvaardigheid'.
Voor het schoolexamen `luistervaardigheid Engels' gebruiken vrijwel
alle scholen de kijk-luistertoetsen van Cito. Voldoende beoordelingen
liggen dan voor de hand. Ook voor de toetsing van `schrijfvaardigheid
Engels' gebruiken veel scholen toetsen en beoordelingsmiddelen van
Cito of volgens het model van Cito. Dit zal eveneens in veel gevallen
hebben geleid tot een voldoende beoordeling.
Speciaal bij de toetsing en beoordeling van `gesprekvaardigheid'
echter zijn de risico's op niet-valide toetsing en onbevredigende
beoordelingspraktijken groot. Er zouden ongetwijfeld minder scholen
voor Engels voldoende zijn beoordeeld als genoeg informatie over de
beoordeling van het schoolexamen `gespreksvaardigheid' beschikbaar was
geweest.
Dit alles laat onverlet dat de resultaten duidelijk zijn: de
onderzochte schoolexamens laten knelpunten zien, maar de kwaliteit is
in het algemeen aan de maat.
Vakinhoudelijke kanttekeningen vanuit de examenprogramma's
De vigerende eindexamenprogramma's kennen een heldere domeinindeling,
maar de afzonderlijke eindtermen zijn doorgaans globaal geformuleerd
en specifieke niveauaanduidingen ontbreken. De marges van de
regelgeving voor het schoolexamen zijn zeer breed, met veel
mogelijkheden voor schoolspecifieke bepaling van bijvoorbeeld het
aantal schoolexamens, de te toetsen onderwerpen en vaardigheden en het
niveau waarop de stof behandeld wordt. Naarmate de kaders voor
examinering vager zijn en er in het schoolexamen meer geoorloofd is,
wordt het voor beoordelaars moeilijker om afwijkingen van de
wettelijke regels te constateren.
Aantal te beoordelen toetsen
De leerlingen blijken in de tweejarige examenperiode grote
hoeveelheden toetsen en opdrachten te krijgen. Dat de beoordelaars de
kwaliteit van het schoolexamen niet vaker als onvoldoende hebben
aangemerkt, heeft ook met deze grote hoeveelheid toetsen te maken. Het
aantal als onvoldoende aangemerkte toetsen was in verhouding tot het
totale aantal afgenomen toetsen meestal te klein om het oordeel
`onvoldoende' te rechtvaardigen.
Dit aspect lijkt bij de schoolexamens Nederlands het sterkst in het
eindoordeel te hebben doorgewerkt.
Gebruik bestaande toetsen en `eigen' toetsen
Docenten maken veel gebruik van toetsen en opdrachten uit de gebruikte
methode. Daarnaast gebruiken zij voor bepaalde vakonderdelen `oude'
opgaven uit de centrale examens of toetsmateriaal dat Cito speciaal
voor het schoolexamen ontwikkeld heeft. Voor zover docenten `eigen'
opgaven en toetsen maken, betreft het meestal materiaal dat uit deze
bronnen is samengesteld of er sterk door geïnspireerd is. Naar het
oordeel van de beoordelaars is er met het (her)gebruikte
toetsmateriaal `weinig mis'.
Docenten blijken maar weinig toetsmateriaal volledig zelf te
ontwikkelen. De beoordelaars constateren dat de kwaliteit van de
geheel zelf ontwikkelde vragen en toetsen vrijwel zonder uitzondering
zeer veel lager is dan die van het externe toetsmateriaal (en het
materiaal dat daarop gebaseerd is). Vanwege het kleine aandeel van het
zelf ontwikkelde toetsmateriaal in het totale schoolexamen was er voor
beoordelaars vrijwel nooit aanleiding tot het toekennen van het
oordeel `onvoldoende'.
Ontbrekende gegevens
In het geval van ontbrekend materiaal hadden de beoordelaars de
opdracht hun oordeel op te schorten tot het materiaal compleet was.
Vaak ontbrak echter slechts een deel van het materiaal van de school.
Dit maakte het besluit om wel of niet te beoordelen soms lastig.
Verder bleken de vragen in de vragenlijst die de scholen moesten
invullen vaak niet precies genoeg om de vraag naar de kwaliteit van
een indicator eenduidig als voldoende of onvoldoende te kunnen
beoordelen. Het valt zeker niet uit te sluiten dat dit de beoordelaars
er toe gebracht heeft de scholen wat vaker `het voordeel van de
twijfel' te geven.
Tijdsdruk voor beoordelaars
De grote hoeveelheden materiaal en de afgesproken termijnen hebben tot
grote tijdsdruk bij de beoordelaars geleid. Dit hangt samen met het
aantal beoordelaars. Per vak waren er drie beoordelaars. De
belangrijkste reden was dat het erg moeilijk bleek om geschikte
beoordelaars te werven. De beoordelaars moesten immers beschikken over
ruime onderwijservaring in het desbetreffende vak en onderwijssegment,
ervaring met het construeren van centrale examens (voldoende zicht op
het niveau dat van kandidaten verwacht mag worden) en ruimte in hun
takenpakket.
Consequenties voor het toezicht
Het onderzoek van Cito heeft duidelijke conclusies opgeleverd, ondanks
de geschetste dilemma's.
Voor de inspectie is de vraag relevant in hoeverre deze conclusies
kunnen worden doorgetrokken naar andere onderwijssoorten en andere
vakken. Met name de situatie in het vwo geeft aanleiding voor
eenzelfde onderzoek. De inspectie wil daarom een vervolgonderzoek
starten naar de kwaliteit van de schoolexamens in het vwo.
De conclusie uit het onderzoek dat zich op een relatief kleine groep
scholen knelpunten voordoen in de kwaliteit van de schoolexamens, ligt
in lijn met een eerdere constatering van de inspectie dat het knelpunt
van een te groot verschil tussen de schoolexamencijfers en centraal
examencijfers (se-ce) zich op een kleine groep scholen, met name in
het vwo, voordoet. Het gaat hierbij weliswaar niet om dezelfde
onderzoeksgroepen en ook niet om dezelfde scholen, maar het is wel
duidelijk dat de knelpunten rond de schoolexamens zich op een relatief
gering aantal scholen manifesteren.
De inspectie zal het toezicht op deze kleine groep(en) scholen daarom
intensiveren, met name aan de hand van uit te werken interventies die
opklimmen in intensiteit (de zogenoemde escalatieladder se-ce, zoals
reeds aangekondigd door de staatssecretaris in haar plannen rondom
examinering).