Ministerie van Onderwijs, Cultuur en Wetenschap

Ministerie van Onderwijs, Cultuur en Wetenschap

Pedagogische kwaliteit van
buitenschoolse opvang:
de ontwikkeling van een
meetinstrument

Marianne Boogaard
Ruben Fukkink

m.m.v.
Liesbeth Schreuder
Annemiek Veen
Charles Felix
Irene ten Hagen
Nienke Schouten
Noor Trienekens

CIP-GEGEVENS KONINKLIJKE BIBLIOTHEEK, DEN HAAG

Boogaard, M., Fukkink, R.

Pedagogische kwaliteit van buitenschoolse opvang: de ontwikkeling van een meetinstrument. Marianne Boogaard, Ruben Fukkink. Amsterdam: SCO- Kohnstamm Instituut van de Faculteit der Maatschappij- en Gedragswetenschappen, Universiteit van Amsterdam (SCO-rapport nr. 821, projectnummer 40316).

ISBN 978-90-6813-880-1

Alle rechten voorbehouden. Niets uit deze uitgave mag worden vermenigvuldigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, zonder voorafgaande schriftelijke toestemming van de uitgever.

All rights reserved. No part of this publication may be reproduced, stored in a retrieval system, or transmitted, in any form or by any means, electronic, mechanical, photocopying, or otherwise, without the prior written permission of the publisher.

Uitgave en verspreiding:
SCO-Kohnstamm Instituut
Nieuwe Prinsengracht 130, Postbus 94208, 1090 GE Amsterdam Tel.: 020-525 1201
www.sco-kohnstamminstituut.uva.nl
© Copyright SCO-Kohnstamm Instituut, 2009

Inhoudsopgave

Samenvatting I

Voorwoord IX

1 Inleiding 1

1.1 Achtergrond en doel van het onderzoek 1

1.2 Onderzoeksopzet en leeswijzer 2

2 Instrumentontwikkeling 3

2.1 Uitgangspunten 3

2.2 Opbouw van het instrument 10

2.3 Beschrijving van de deelinstrumenten 12

2.3.1 Observatielijst pedagogische kwaliteiten bso 12

2.3.2 Observatielijst groepsfunctioneren 19

2.3.3 Beoordelingslijst interactievaardigheden pedagogisch 23
medewerkers

2.3.4 Kindervragenlijst 25

2.3.5 Oudervragenlijst 26

3 Opzet van het validatie-onderzoek 29

3.1 Opzet en uitvoering van de dataverzameling 29

3.1.1 Werving en beschrijving van de bezochte bso-locaties 29

3.1.2 Draaiboek voor het bso-bezoek 30

3.1.3 Dataverzameling gericht op de validatiestudie 31

3.2 Analyses 36

4 Resultaten 41

4.1 Resultaten observatielijst pedagogische kwaliteiten bso 41

4.2 Resultaten observatielijst groepsfunctioneren 46

4.3 Resultaten beoordelingslijst interactievaardigheden pedagogisch 48
medewerkers

4.4 Resultaten kindervragenlijst 50

4.5 Resultaten oudervragenlijst 51

5 Conclusies en aanbevelingen 55

5.1 De kwaliteit van het conceptinstrument 56

5.2 Uitgevoerde verbeteringen in de definitieve versie 60

5.3 Aanbevelingen 64

Literatuur 69

Bijlagen 73

Recent uitgegeven SCO rapporten 75

Samenvatting

Buitenschoolse opvang (bso) is in Nederland een nog tamelijk jonge vorm in de
georganiseerde kinderopvang. De eerste bso's startten zo rond 1980, maar pas
sinds ongeveer 1995 is er ook sprake van beleidsmatige aandacht. Inmiddels
groeit de deelname van ouders en kinderen de laatste jaren enorm, mede onder
invloed van overheidsbeleid waarin nadruk wordt gelegd op het economisch
belang van een grotere arbeidsparticipatie van vrouwen. Die groei vraagt dan
meteen om verdere professionalisering én (meer) oog voor de pedagogische
kwaliteiten die nodig zijn voor de opvang van kinderen tussen 4 en 12 jaar: er zijn
veel wensen, idealen en verwachtingen voor de buitenschoolse opvang.
In opdracht van het Ministerie van Onderwijs, Cultuur en Wetenschap (OCW) is
daarom een instrument ontwikkeld voor het meten van de pedagogische kwaliteit
van de buitenschoolse opvang. Dit meetinstrument pedagogische kwaliteiten van
de buitenschoolse opvang (MPK-bso) is getoetst op betrouwbaarheid en validiteit,
en vervolgens bijgesteld. Het meetinstrument is bedoeld voor de uitvoering van
een wetenschappelijk, empirisch onderzoek naar de pedagogische kwaliteit van de
buitenschoolse opvang in Nederland. Daarmee wordt aangesloten op de motie
Koer-Kaya van 19 oktober 2006 en op de brief van de staatssecretaris van OCW,
mevrouw Dijksma, aan de Tweede Kamer, van 30 januari 2008 (kamerstuk 31

322). Naar aanleiding van de presentatie van het inventarisatieonderzoek Chillen,
skaten, gamen (Boogaard, Fukkink & Felix, 2008) schrijft zij: "Nu is vastgesteld
welke aspecten betrokkenen van belang achten voor een kwalitatief goede BSO,
is de benodigde informatie voor het maken van een meetinstrument voor de BSO
voorhanden. Na de ontwikkeling van dit instrument kan de feitelijke meting van
kwaliteit starten. Ik zal de ontwikkeling van het meetinstrument zo snel mogelijk
aanbesteden." De opdracht daartoe is vervolgens toegekend aan het SCO-
Kohnstamm Instituut in samenwerking met het Nederlands Jeugdinstituut.

De opbouw van het meetinstrument

Voor de constructie van het meetinstrument pedagogische kwaliteiten van bso is
in de eerste plaats aansluiting gezocht bij de Wet Kinderopvang en het
I

kwaliteitsmodel van Riksen-Walraven (2004). Vertaald naar de context van
kinderen in de basisschoolleeftijd (4 tot 12 jaar) die deelnemen aan de
buitenschoolse opvang, staan daarin vier pedagogische basisdoelen centraal:

1. Het bieden van emotionele en fysieke veiligheid aan alle kinderen.

2. Het bevorderen van persoonlijke competentie van de kinderen, zowel op
brede persoonskenmerken als op diverse ontwikkelingsgebieden.

3. Het bevorderen van sociale competentie.

4. Socialisatie en de overdracht van normen en waarden.
In de tweede plaats is aangesloten bij de resultaten van de hierboven al genoemde
inventarisatiestudie naar de opvattingen van een brede groep betrokkenen over de
wenselijke pedagogische kwaliteiten van buitenschoolse opvang. De
hoofdconclusie van deze inventarisatiestudie luidde: "De kwaliteitscriteria
vloeien voort uit de, door de bevraagde groepen breed gedeelde, opvatting dat de
belangrijkste doelstelling van de buitenschoolse opvang is 'het bieden van
ontspanning' aan de kinderen, naast het 'stimuleren van de sociale ontwikkeling'.
Buitenschoolse opvang is vrijetijdsbesteding voor de kinderen, maar tegelijk ook
opvoeding die hen uitdaagt zich te ontwikkelen tot initiatiefrijke, zelfstandige en
sociale jongeren." (Boogaard, Fukkink & Felix, 2008, p97-98) Met als top-vijf
van belangrijkste aandachtspunten:

· vrijheid voor kinderen om te kiezen wat, wanneer, met wie te doen

· een uitdagend aanbod van activiteiten en materialen

· speelruimte en inrichting die geschikt zijn voor verschillende
leeftijdsgroepen

· competenties van de pedagogisch medewerkers bij het omgaan met en
begeleiden en stimuleren van kinderen van verschillende leeftijden en
achtergronden

· goede samenwerking met de omgeving zoals basisscholen,
sportverenigingen én ouders.

Het meetinstrument pedagogische kwaliteiten bso dat in het onderzoek werd
ontwikkeld en gevalideerd, is in de uiteindelijke versie opgebouwd uit vier
deelinstrumenten:

1. De observatielijst pedagogische kwaliteiten buitenschoolse opvang

2. De beoordelingslijst interactievaardigheden pedagogisch medewerkers
buitenschoolse opvang

3. De kindervragenlijst buitenschoolse opvang

4. De oudervragenlijst buitenschoolse opvang
II

Samen brengen de vier deelinstrumenten de pedagogische kwaliteit van de bso in
kaart. Het complete instrument besteedt daarmee zowel aandacht aan de
structurele en organisatorische aspecten van die pedagogische kwaliteit, als aan
de proceskwaliteit (de contacten van pedagogisch medewerkers en kinderen).

Met de observatielijst pedagogische kwaliteiten bso (1) beoordelen twee externe
beoordelaars, tijdens een bezoek van minimaal één bso-middag, de structurele en
organisatorische aspecten van de buitenschoolse opvang. De lijst bestaat uit 32
items, verdeeld over de volgende aspecten van pedagogische kwaliteit:

· groepen (omvang, samenstelling, leiding, open deuren)

· ruimte en inrichting (binnen en buiten)

· dagindeling, spelmaterialen en activiteiten

· interacties (tussen pedagogisch medewerkers en kinderen)

· pedagogisch beleid en teamontwikkeling

· samenwerking met ouders, basisscholen en andere instellingen

· kinderen met speciale behoeften

· groepsfunctioneren

Tijdens het bezoek aan de bso-locatie vullen de externe beoordelaars de
observatielijst in. Daarnaast maken zij video-opnames van de pedagogisch
medewerkers (elk op drie verschillende momenten) ten behoeve van de
beoordeling van de interactievaardigheden van de pedagogisch medewerkers met
deelinstrument 2.

Voor de leidinggevende van de bso is er een vragenlijst `organisatorische
aspecten'. Deze schriftelijke vragenlijst -die wordt ingevuld voorafgaan aan het
bezoek van de externe observatoren- bevraagt enkele aspecten die wel van belang
zijn voor de pedagogische kwaliteit, maar die zich niet op een willekeurig
gekozen middag laten observeren. Het gaat daarbij om vragen met
voorgestructureerde antwoordcategorieën over bijvoorbeeld: het totaal aantal
ingeschreven kinderen en teamleden, het aantal kinderen met speciale behoeften,
de aanwezigheid van vacatures, keuzes voor het al dan niet werken met vaste
groepen en vaste pedagogisch medewerkers, vakantieactiviteiten, gebruik van een
kindvolgsysteem, de wijze van contact houden met ouders en kinderparticipatie.

De beoordelingslijst interactievaardigheden pedagogisch medewerkers (2) wordt
door getrainde beoordelaars ingevuld tijdens het bekijken van het videomateriaal.
Deze lijst, die inhoudelijk is gebaseerd op het NCKO-meetinstrument voor de
kinderopvang, bevat acht beoordelingsschalen voor de proceskwaliteit. Voor elke
III

pedagogisch medewerker wordt de lijst individueel gescoord. Op die manier
komen vier belangrijke (pedagogische) aspecten van de interacties van de
pedagogisch medewerkers met de kinderen in beeld:

· emotionele ondersteuning

· respect voor en stimulering van de autonomie

· regie en leiding

· begeleiding van interacties

De kindervragenlijst (3) en oudervragenlijst (4) geven aanvullende informatie
vanuit het perspectief van de directe `gebruikers' van de buitenschoolse opvang.
De vragen komen voort uit hetzelfde theoretische kader als de observatielijst
pedagogische kwaliteiten en de beoordelingslijst interactievaardigheden. Bij de
ouders en kinderen worden echter alleen (via meerkeuzevragen) die aspecten
bevraagd die voor hen relevant zijn en die zij redelijkerwijs kunnen beoordelen.
In de kindervragenlijst gaat het om vragen over:

· veiligheid en welbevinden van het kind (inclusief de aantrekkelijkheid
van de ruimte)

· ontwikkelingsmogelijkheden (autonomie en aanbod aan spelmaterialen
en activiteiten)

· contacten met andere kinderen en met de pedagogisch medewerkers

· duidelijkheid van regels en afspraken

In de oudervragenlijst zijn vragen opgenomen over:

· de groep

· de ruimtes

· het pedagogisch beleid

· contact met ouders en school

De oudervragenlijst bevat tot slot enkele open vragen over het welbevinden van
het kind en de ouders, en over wat men goed vindt van de betreffende bso en wat
men nog mist.

De kwaliteit van het meetinstrument

Doel van het onderzoek was niet alleen om een instrument te ontwerpen, maar
ook om de betrouwbaarheid en validiteit van het ontwikkelde instrument te
onderzoeken. Daartoe is een validatiestudie uitgevoerd op basis van de afname
IV

van het instrument bij een gevarieerd samengestelde steekproef van 18 locaties
voor buitenschoolse opvang met in totaal 31 groepen.
Drie vormen van betrouwbaarheid zijn onderzocht, deels verschillend per
instrument:

· de interbeoordelaarsbetrouwbaarheid (komen verschillende beoordelaars
tot eenzelfde oordeel?)

· de interne consistentie (is er voldoende samenhang tussen de
verschillende onderdelen c.q. items van de meetinstrumenten?)

· test-hertest-betrouwbaarheid (is er sprake van voldoende stabiliteit van
de beoordeling wanneer deze na enkele weken opnieuw wordt
uitgevoerd?)

De betrouwbaarheid van de instrumenten is over het algemeen goed. In de
oorspronkelijke opzet was, anders dan hierboven beschreven, ook een aparte
'observatielijst groepswelbevinden' opgenomen. Bij deze lijst bleek echter de
overeenstemming tussen de verschillende beoordelaars onvoldoende voor gebruik
in een wetenschappelijk onderzoek. Het functioneren als groep (de verhouding
tussen de kinderen onderling, en de rol van de pedagogisch medewerkers daarin)
wordt echter door de ontwikkelaars en de betrokken deskundigen wél gezien als
een uitermate belangrijk kwaliteitsaspect. Om dit aspect niet te verliezen in het
instrument, zijn daarom in de herziene versie twee (nieuwe) items
groepsfunctioneren geformuleerd. Deze items zijn nu opgenomen in de
observatielijst pedagogische kwaliteiten. Tabel 1 hieronder geeft een overzicht
van de bevindingen met betrekking tot de betrouwbaarheid van het instrument:

Tabel 1: Resultaten van de drie onderzochte aspecten van betrouwbaarheid per
deelinstrument (pilotversies)

Interbeoordelaars- Interne Test-hertest
betrouwbaarheid consistentie betrouwbaarh.
Observatielijst pedagogische kwaliteiten + + onvold. geg.
Observatielijst groepsfunctioneren - 0 0
Beoordelingslijst interactievaardigheden + + +
Kindervragenlijst nvt + nvt
Oudervragenlijst nvt + nvt
+ = het instrument is op dit punt voldoende betrouwbaar; - = het instrument is op dit punt
onvoldoende betrouwbaar; 0 = aangezien de interbeoordelaarsbetrouwbaarheid onvoldoende is,
is analyseren van de overige betrouwbaarheden niet relevant; nvt = hierover zijn in het
onderzoek geen gegevens verzameld; onvoldoende gegevens = er zijn onvoldoende gegevens
beschikbaar om betrouwbaarheidsanalyses te kunnen uitvoeren.
V

Vervolgens is de kwaliteit van het instrument onderzocht op vier soorten
validiteit:

· inhoudsvaliditeit (dekt de inhoud van het meetinstrument het beoogde
begrip?)

· convergente validiteit (hangen scores op het nieuwe instrument samen
met bestaande en verwante instrumenten?)

· discriminante validiteit (hangen scores op het nieuwe instrument niet
samen met scores op instrumenten die nadrukkelijk iets anders meten dan
pedagogische kwaliteit?)

· predictieve validiteit (hier gedefinieerd als: kunnen op basis van het ene
deelinstrument scores op een ander deelinstrument worden `voorspeld'?).
De inhoudsvaliditeit van het instrument is ontleend aan de gevolgde werkwijze bij
de constructie van het instrument: onderdelen die gedragen werden door een
brede groep van directe betrokkenen uit de studie van Boogaard e.a. (2008) (n =

594) onder wie deskundigen, ouders, bso-personeel en kinderen zijn verwerkt
in het instrument (relevantie). Verder zijn items ontwikkeld voor elk
onderscheiden domein uit het theoretische kader (uitputtendheid). De drie andere
vormen van validiteit zijn onderzocht in een valideringsonderzoek.
Een overzicht van de bevindingen met betrekking tot de validiteit is hieronder
gegeven in tabel 2.

Tabel 2: Resultaten van de vier onderzochte aspecten van validiteit per deelinstrument
(pilotversies)

inhouds- convergente discriminante predictieve
validiteit validiteit validiteit validiteit
Observatielijst pedag. kwal. + + nvt +/-
Observatielijst groepsfunctioneren + nvt nvt nvt
Beoordelingslijst interactiev. + + nvt nvt
Kindervragenlijst + + + +
Oudervragenlijst + + + +/-
+ = aanwijzing voor een vorm van validiteit; +/- = matig tot zwakke aanwijzing voor een vorm
van validiteit; nvt = hierover zijn in het onderzoek geen gegevens verzameld

Op basis van de betrouwbaarheids- en validiteitsanalyses én op basis van de
ervaringen van de onderzoekers tijdens de uitvoering van de observaties is de
conceptversie van het instrument op enkele onderdelen herzien. Deze herziene
versie van het meetinstrument heeft voldoende kwaliteit om het te kunnen
VI

inzetten in een landelijk peilingsonderzoek naar de pedagogische kwaliteiten van
de bso, zoals genoemd in de motie Koer-Kaya uit 2006. Belangrijke
aandachtspunten daarbij zijn de volgende:

· Het ontwikkelde instrument is bedoeld voor wetenschappelijk gebruik en
gericht op een kwaliteitsoordeel over een grotere groep van bso's.

· De uitvoering van de observaties en beoordelingen vereist een training
vooraf.

· Voor de observatielijst pedagogische kwaliteiten en de beoordelingslijst
interactievaardigheden moet gewerkt worden met een jury-oordeel van
twee (getrainde) beoordelaars.

· In een wetenschappelijk onderzoek is het van belang dat alle vier de
deelinstrumenten worden ingezet op alle betrokken bso's.

· De kinder- en oudervragenlijst kunnen eventueel los worden gebruikt
door een individuele bso-locatie zelf om zicht te krijgen op de
gebruikersoordelen over de in de vragenlijsten opgenomen aspecten van
pedagogische kwaliteit.

· Ook voor de branche zelf is het wellicht interessant om het instrument in
te zetten voor het evalueren van de eigen kwaliteit. Daarvoor is het
wenselijk dat het nu ontwikkelde, wetenschappelijke instrument wordt
bewerkt tot een veldversie c.q. een zelfevaluatie-instrument dat ook door
individuele bso-locaties of hun overkoepelende organisaties kan worden
gebruikt.

Aangezien het meetinstrument pedagogische kwaliteiten bso op onderdelen is
herzien, verdient het aanbeveling om een eventueel landelijk, empirisch
onderzoek naar de kwaliteit van buitenschoolse opvang zo in te richten dat
een aantal (betrouwbaarheids)aspecten opnieuw kan worden meegenomen.
Tot slot is het van belang om op termijn na te gaan of het instrument zou
moeten worden uitgebreid of aangepast aan de ontwikkelingen in de relatief
jonge bso-sector.

VII

VIII

Voorwoord

De buitenschoolse opvang in Nederland is een sterk groeiende sector, waarin
zeker de laatste jaren steeds meer aandacht is voor professionalisering en voor de
specifieke pedagogische kwaliteiten die de opvang van kinderen in de brede
leeftijdgroep tussen 4 en 12 jaar vereist. In een vooronderzoek mochten we
uitgebreid inventariseren wat alle belanghebbenden (ouders, kinderen,
pedagogisch medewerkers, aanbieders van kinderopvang, opleiders en
wetenschappers) zoal als belangrijke kwaliteiten beschouwen. Zij bleken het
uiteindelijk erg met elkaar eens.

Het SCO-Kohnstamm Instituut, en het Nederlands Jeugdinstituut hebben nu, in
opdracht van het Ministerie van Onderwijs, Cultuur en Wetenschap een
meetinstrument pedagogische kwaliteiten van buitenschoolse opvang (MPK-bso)
ontwikkeld. In dat meetinstrument is voortgebouwd op de beschikbare
theoretische basis, maar ook zijn de ideeën verwerkt die naar voren kwamen uit
de hierboven genoemde inventarisatie. Het meetinstrument pedagogische
kwaliteiten-bso is bedoeld voor het uitvoeren van een landelijk empirisch
onderzoek naar de kwaliteit van de buitenschoolse opvang in Nederland.
Daarnaast hopen we dat het de individuele bso's en hun overkoepelende
organisaties handvaten biedt bij het verder ontwikkelen van kwalitatief goede
opvang voor kinderen in de basisschoolleeftijd.

Het instrument dat er nu ligt, is mede te danken aan de inhoudelijke bijdragen van
de leden van onze klankbordgroep. Het commentaar dat zij gaven op onze
conceptversies was altijd betrokken, opbouwend en vooral deskundig. We hebben
met plezier gebruik gemaakt van hun rijke praktijkervaring, en we hebben er
vertrouwen in dat dankzij hun inbreng het MPK-bso ook door het `veld' zal
worden herkend als een zinvolle manier om de kwaliteit van buitenschoolse
opvang onder de loep te nemen.

De klankbordgroep was als volgt samengesteld:

Marjan Engels (Ministerie van OCW)

Ria Hoogedoorn (MOgroep Kinderopvang)

Gjalt Jellesma (BOinK)

Femke Kolsteren (GGD-Nederland)

Fokko Kool (Ministerie van OCW)

Martijn van der Kroef (KinderRijk)

Tineke Linssen (Landelijk Pedagogenplatform Kinderopvang)
Ileen Purperhart (Hestia Kinderopvang)

Liesbeth Schreuder (NJi)

Helma Willems (ROC Koning Willem I, Den Bosch)
Nienke Willering (BOinK)

Vanzelfsprekend hadden we de MPK-bso niet kunnen uittesten als er niet een
aantal bso-locaties bereid was geweest om ons gastvrij te ontvangen, uitgebreid te
woord te staan en overal te laten rondneuzen. Het heeft ons een boeiende blik
geboden in de diversiteit van de buitenschoolse opvang anno 2008-2009: van heel
grote bso's met jarenlange ervaring en een eigen speciaal ontworpen gebouw, tot
spiksplinternieuwe nog piepkleine, gehuisvest in een schoollokaal, en overal
spelende, bouwende, rennende, zingende, pratende, vrolijke en een enkele keer
ook boze of verdrietige kinderen. We willen daarom de bso's waar we op bezoek
waren, en de kinderen en hun ouders die voor ons de vragenlijsten hebben
ingevuld, nogmaals hartelijk danken voor hun bereidwillige medewerking:

Uk @rchipel, Almere-Buiten

Dunya en Desie, Amsterdam

De Blauwe Hamster, Amsterdam

Hestia Kinderopvang, Amsterdam

UK Reigersbos, Amsterdam Zuid-Oost

KinderRijk Marne, Amstelveen

't Mouwtje, Bussum

De Berenboot, Haarlem

De Bikube in Hoofddorp

Rakker, Hoorn

Kameleon, Hoorn

Pollewop, Leiden

Sjakie in de Chocoladefabriek, Rotterdam

De Blokkendoos, Tilburg

SamSam,Tilburg

Zeppelin, Utrecht

Runners, Voorburg

Het Klooster, Waalre

Tot slot heeft Liesbeth Schreuder van het Nederlandse Jeugdinstituut een
belangrijke bijdrage geleverd aan het ontwerpen van het meetinstrument, en is,
voor het verzamelen en analyseren van alle gegevens veel werk verzet door onze
collega-onderzoekers: Charles Felix en Annemiek Veen, en onze junior-
onderzoekers: Noor Trienekens, Nienke Schouten en Irene ten Hagen. Ook hen
willen we hier nogmaals allemaal hartelijk bedanken voor hun enthousiasme en
waardevolle inbreng.

Amsterdam, mei 2009

Marianne Boogaard & Ruben Fukkink

XII

1 Inleiding

In dit eerste hoofdstuk gaan we in op de achtergrond en doelstelling van het
onderzoek en op de gevolgde onderzoeksmethode. We beschrijven de aanpak van
vijf fases in het onderzoek die gezamenlijk hebben geleid tot een meetinstrument
dat ingezet kan worden voor een empirische studie naar de pedagogische
kwaliteiten van de buitenschoolse opvang in Nederland.

1.1 Achtergrond en doel van het onderzoek

In 2007 heeft het SCO-Kohnstamm Instituut in opdracht van het Ministerie van
OCW een onderzoek uitgevoerd naar de vraag welke kwaliteitsaspecten van
belang zijn voor goede buitenschoolse opvang. In het kader van dit
inventariserende onderzoek is een brede groep betrokkenen bevraagd: ouders,
pedagogisch medewerkers, leidinggevenden, aanbieders van buitenschoolse
opvang, kinderen, docenten van toeleverende opleidingen, wetenschappers en
andere deskundigen (Boogaard, Fukkink & Felix, 2008). Het onderzoek maakt
duidelijk dat de buitenschoolse opvang een serieuze, zelfstandige plek binnen de
kinderopvang verdient, en biedt inzicht in de belangrijkste aspecten van kwaliteit
waaraan de buitenschoolse opvang zou moeten voldoen. Over die
kwaliteitsaspecten bestaat bovendien een grote mate van consensus. Op basis
daarvan is het nu mogelijk een wetenschappelijk instrument te ontwikkelen dat
kan worden ingezet voor een empirische meting van de kwaliteit van de
buitenschoolse opvang.

Bij de aanbieding van het rapport `Chillen, skaten, gamen' (Boogaard e.a., 2008)
aan de Tweede Kamer op 30 januari 2008 heeft de staatssecretaris onder meer
aangegeven dat zij de ontwikkeling van een wetenschappelijk meetinstrument
voor het bepalen van de (pedagogische) kwaliteit van buitenschoolse opvang zo
snel mogelijk zou aanbesteden. Het Ministerie van OCW heeft daarop na een
offerteprocedure- het SCO-Kohnstamm Instituut verzocht dit meetinstrument te
ontwikkelen en om de kwaliteit van dat instrument te valideren. Daarachter ligt
voor het Ministerie van OCW het doel om in een later stadium met dit instrument

Pedagogische kwaliteit van buitenschoolse opvang

een landelijk onderzoek uit te (laten) voeren naar de feitelijke pedagogische
kwaliteit van de buitenschoolse opvang in Nederland.

1.2 Onderzoeksopzet en leeswijzer

Het onderzoek is uitgevoerd in de volgende fasen:

1. Een begripsanalyse van pedagogische kwaliteit van de buitenschoolse
opvang.

2. Instrumentconstructie op basis van de uitgevoerde begripsanalyse.

3. Afname van het instrument op een gevarieerde steekproef van locaties
voor buitenschoolse opvang in Nederland.

4. Analyses gericht op het bepalen van de validiteit en betrouwbaarheid van
het instrument.

5. Samenstelling van een herziene versie van het instrument op basis van de
ervaringen en de uitkomsten van het betrouwbaarheids- en
validiteitsonderzoek

De begripsanalyse wordt toegelicht in hoofdstuk 2 van deze rapportage. U vindt
in dit hoofdstuk ook een verantwoording van de constructie van het
meetinstrument. In hoofdstuk 3 bespreken we de opzet van het validatieonderzoek
en de uitvoering van de dataverzameling. De uitgevoerde betrouwbaarheids- en
validiteitsanalyses staan centraal in hoofdstuk 4. Hoofdstuk 5 bevat onze
conclusies over de kwaliteit van het conceptinstrument, een overzicht van de
herzieningen die zijn uitgevoerd voor de constructie van de voorlopig-
definitieve versie van het meetinstrument. Tot slot zijn er in dit laatste hoofdstuk
enkele aanbevelingen opgenomen voor het gebruik van het meetinstrument en
voor vervolgonderzoek.

2 Instrumentontwikkeling

In dit hoofdstuk beschrijven we de visie van waaruit het meetinstrument
`Pedagogische kwaliteiten buitenschoolse opvang' is ontwikkeld. We gaan in op
de achterliggende uitgangspunten, het pedagogisch kader, de opbouw van het
instrument en de inhoud van de deelinstrumenten.

2.1 Uitgangspunten

Het meetinstrument `Pedagogische kwaliteiten van de buitenschoolse opvang' is
ontwikkeld door het SCO-Kohnstamm instituut en het NJi, in opdracht van het
ministerie van OCW. De achterliggende doelstelling van het ministerie is om
vervolgens met dit instrument een wetenschappelijk onderzoek te laten uitvoeren
naar de (pedagogische) kwaliteit van de buitenschoolse opvang in Nederland. Het
gaat dan om het verzamelen van collectieve gegevens waarmee een landelijk
beeld ontstaat van sterke en zwakke kanten van de buitenschoolse opvang. Voor
de eventuele knelpunten in de pedagogische kwaliteit die via een dergelijk
landelijk onderzoek aan het licht komen, kunnen vervolgens oplossingen worden
gezocht.

Het onderzoek is gestart met de bestudering van (internationale)
ontwikkelingspsychologische en pedagogische literatuur (onder andere Collins,
Madsen & Susman-Stillman, 2002; Eccles, 1999; Eccles, Wigfield & Schiefele,

1998; Gilsing, 2007; Pierce, Hamm & Vandell, 1999; Raffaelli, 2005; Vandell &
Shumow, 1999; en Halpern, 2000). Uit die literatuur komt een aantal inzichten
naar voren in de behoeften van kinderen van 4 tot 12 jaar. Heel kort samengevat,
komen uit die literatuurstudie enkele aandachtspunten naar voren die ook in het
uiteindelijk te ontwikkelen meetinstrument een plaats moeten krijgen.
Zo is duidelijk dat het sociale leefklimaat een steeds belangrijker rol te gaan
spelen naarmate kinderen ouder worden. Ook wordt in de literatuur het belang
benadrukt van een warme en ondersteunende leiding en van het stimuleren van
positieve interacties tussen kinderen. Bovendien groeit met de leeftijd van het

Pedagogische kwaliteit van buitenschoolse opvang

kind ook zijn/haar behoefte aan autonomie, wat betekent dat er naast een
activiteitenaanbod gericht op verrijking en ondersteuning van de ontwikkeling
van het kind, ook voldoende ruimte geboden moet worden voor eigen initiatieven
en eigen keuzes. Dat samen houdt in dat in de buitenschoolse opvang rekening
gehouden moet worden met leeftijdsgebonden verschillen in de behoeften van
kinderen, en dat gestreefd moet worden naar een goede balans tussen enerzijds
stimulering van de ontwikkeling en anderzijds respect voor de autonomie van het
kind.

Ook is gekeken naar in de internationale literatuur beschreven instrumenten
waarbij eventueel kon worden aangesloten, zoals de SACERS (School-Age Care
Environment Rating Scale van Harms, Jacobs &White, 1996), de HUGS (Hort-
und Ganztagsangebote-Skala van Tietze, Roßbach, Stendel, & Wellner, 2007), de
PQA (Adams, Brickman & McMahon, 2005) en naar instrumenten die momenteel
al in het veld worden gebruikt in Nederland.

De kern van het instrument `Pedagogische kwaliteit van de buitenschoolse
opvang' wordt gevormd door de vier pedagogische basisdoelen voor de
kinderopvang uit het model van Riksen-Walraven (2004). In dit model wordt een
onderscheid gemaakt tussen drie aspecten die bepalend zijn voor de kwaliteit van
kinderopvang (voor jonge kinderen): structurele kwaliteit, proceskwaliteit en
kindkenmerken. Het model sluit aan bij de internationale literatuur en blijkt een
goed aanknopingspunt voor het onderzoeken van de kwaliteit van de opvang. Wel
zijn er enkele aanpassingen uitgevoerd voor de leeftijdgroep van
basisschoolleerlingen en vanwege de wat andere institutionele omgeving in de
kinderdagopvang. Voor de buitenschoolse opvang spelen bijvoorbeeld `externe
contacten' een grotere rol in de kwaliteit. Daarbij gaat het zowel om de
(mogelijke) samenwerkingsrelaties met één of meer basisscholen, als om
contacten met instellingen zoals sportverenigingen, culturele en/of
welzijnsinstellingen (zie ook Veen, Boogaard & Fukkink, 2008). In figuur 1 is het
model van Riksen-Walraven (2004) weergegeven.

Instrumentontwikkeling

Figuur 2.1: Het model van Riksen-Walraven (2004)

Vertaald naar de context van kinderen in de basisschoolleeftijd (4 tot 12 jaar) die
deelnemen aan de buitenschoolse opvang, komen we uit op de volgende
omschrijvingen van de vier basisdoelen:

1. Het bieden van emotionele en fysieke veiligheid aan alle kinderen.

2. Het bevorderen van persoonlijke competentie van de kinderen, zowel op
brede persoonskenmerken als op diverse ontwikkelingsgebieden

3. Het bevorderen van sociale competentie

4. Socialisatie en de overdracht van normen en waarden

Tevens is aansluiting gezocht bij de aandachtspunten voor de pedagogische
kwaliteit van de buitenschoolse opvang zoals die naar voren kwamen uit de
inventarisatiestudie onder diverse groepen betrokkenen. Uit deze inventarisatie
bleek dat het begrip `pedagogische kwaliteit' ruim wordt gedefinieerd, net als bij
de kinderopvang voor 0- tot 4-jarigen (zie Fukkink, Tavecchio, de Kruif, Vermeer

Pedagogische kwaliteit van buitenschoolse opvang

& van Zeijl, 2006). De hoofdconclusie van de inventarisatiestudie luidde als volgt
(zie Boogaard e.a. 2008, p. 97-98):

"De belangrijke kwaliteitscriteria vloeien voort uit de - door de bevraagde
groepen breed gedeelde - opvatting dat de belangrijkste doelstelling van de
buitenschoolse opvang is 'het bieden van ontspanning' aan de kinderen, naast het
'stimuleren van de sociale ontwikkeling'. Buitenschoolse opvang is
vrijetijdsbesteding voor de kinderen, maar tegelijk ook opvoeding die hen
uitdaagt zich te ontwikkelen tot initiatiefrijke, zelfstandige en sociale jongeren.
Dat vraagt:

· een uitdagend aanbod aan activiteiten en materialen om mee te spelen én
een vrije keuze voor de kinderen in wat, waarmee en met wie zij dat doen
(kinderen zelf vinden een van de belangrijkste aspecten van de
buitenschoolse opvang dat je er altijd vrienden hebt om mee te spelen)

· een ruimte en inrichting die geschikt zijn voor de uiteenlopende groep
kinderen die deelneemt aan de buitenschoolse opvang: jonge kinderen,
oudere kinderen en kinderen met specifieke behoeften, vooral goede
buitenspeelruimte staat hoog op de prioriteitenlijst van alle betrokkenen,
inclusief de kinderen zelf, en de beschikbaarheid van meerdere ruimtes
of hoeken passend bij de verschillende behoeften en activiteiten

· een helder pedagogisch beleid dat aansluit op de vier basisdoelen uit het
kwaliteitsmodel van Riksen-Walraven: het bieden van een gevoel van
veiligheid, het bevorderen van persoonlijke competentie, het bevorderen
van sociale competentie en socialisatie via het aanbieden van regels,
normen en waarden, 'cultuur'

· pedagogisch medewerkers die zorgen voor continuïteit en die in staat zijn
kinderen van verschillende leeftijden en met verschillende interesses,
achtergronden en behoeften, individueel in hun ontwikkeling te
begeleiden door hen vrij te laten en -als het nodig is- te stimuleren tot
nieuwe activiteiten. Bovendien zijn zij in staat zelf activiteiten aan te
bieden of te organiseren, en groepsprocessen in goede banen te leiden
zodat kinderen leren op een positieve manier met elkaar om te gaan.

· een teamsamenstelling waarin een mix aan kennis, ervaring en
opleidingsniveaus herkenbaar is, ten eerste om goed te kunnen inspelen
op de diversiteit aan behoeften van de kinderen (van knus knutselen tot

Instrumentontwikkeling

wild voetballen), ten tweede om binnen de praktijk te komen tot een
grotere mate van professionaliteit (via 'coaching-on-the-job' en
inhoudelijk overleg over pedagogische uitgangspunten bijvoorbeeld)

· goede samenwerking met de omgeving: ouders, basisscholen, en clubs,
opdat het welzijn van de kinderen goed gevolgd wordt vanuit
verschillende perspectieven en opdat er een betere organisatorische
stroomlijning kan ontstaan tussen alles wat wordt aangeboden voor
kinderen

· in het grote geheel zou er de keuze moeten zijn voor zowel kleinschalige
of grootschalige opvang afhankelijk van de behoeften van het kind, en is
daarbij een aandachtspunt dat kinderen heel graag een vrije en ruime
keuze willen hebben in de vrienden met wie zij hun vrije tijd
doorbrengen."

Voor de instrumentontwikkeling zijn deze criteria samengevat in vijf
aandachtspunten:

· Vrijheid voor kinderen om te kiezen wat, wanneer, met wie te doen

· Een uitdagend aanbod van activiteiten en materialen

· Speelruimte en inrichting die geschikt zijn voor verschillende
leeftijdsgroepen

· Competenties van de pedagogisch medewerkers bij het omgaan met en
begeleiden en stimuleren van kinderen van verschillende leeftijden en
achtergronden

· Goede samenwerking met de omgeving zoals basisscholen,
sportverenigingen én ouders.

Kinderen tussen 4 en 12 jaar zijn eigenlijk altijd en op allerlei manieren bezig
zich te ontwikkelen, en om dingen te leren. Die constatering verbindt de vier
basisdoelen uit het model van Riksen-Walraven met de top-vijf van de -volgens
diverse groepen betrokkenen in de inventarisatiestudie- belangrijkste
pedagogische kwaliteiten waaraan de buitenschoolse opvang zou moeten voldoen.
We zijn bij de ontwikkeling van het instrument daarom uitgegaan van het
volgende kader:

Pedagogische kwaliteit van buitenschoolse opvang

1. Veiligheid

Een veilige basis vormt een belangrijke voorwaarde voor kinderen om zich goed
te kunnen ontwikkelen, daarbij gaat het vanzelfsprekend om zowel fysieke als
emotionele veiligheid. Het gaat erom dat de kinderen zich veilig over straat
bewegen wanneer zij vanuit school naar de buitenschoolse opvang gaan (of
andersom), of wanneer zij buitenspelen, maar het betekent ook dat de aanwezige
speelmaterialen in de binnen- en buitenruimte geen onverantwoorde risico's
zouden mogen opleveren. Het betekent bovendien dat de pedagogisch
medewerkers moeten weten wat te doen wanneer een kind zich ziek voelt of als
het is gevallen én dat er sprake is van voldoende hygiëne. Daarvoor is het
belangrijk dat de buitenschoolse opvang een beleid heeft gericht op veiligheid en
gezondheid, en natuurlijk dat de pedagogisch medewerkers dat beleid ook
(kunnen) uitvoeren.

Even belangrijk is het dat de kinderen zich emotioneel veilig voelen op de
buitenschoolse opvang zowel bij de pedagogisch medewerkers, als bij de
kinderen. Dat doet een beroep op de groepssamenstelling en op de
interactievaardigheden van de pedagogisch medewerkers. Een goede
samenwerking met de omgeving, vooral die met de ouders en de school, draagt
bij aan het gevoel van emotionele veiligheid van de kinderen. Wanneer er sprake
is van een voldoende `doorgaande lijn' en afstemming tussen de pedagogische
aanpak thuis, op school en op de buitenschoolse opvang, bevordert dat de
duidelijkheid en het gevoel van veiligheid voor het kind.1

2. Mogelijkheden om zich te ontwikkelen

In het model van Riksen-Walraven zijn twee kernaspecten onderscheiden in de
ontwikkeling van kinderen, ten eerste de ontwikkeling van persoonlijke
competenties, en ten tweede de ontwikkeling op de `ontwikkelingsgebieden':
motoriek, creativiteit, natuurbeleving en cognitie. Bij buitenschoolse opvang gaat
het om vrije tijd van kinderen, en dus niet om doelgericht of schools leren. Dat
betekent niet dat kinderen wanneer zij op de buitenschoolse opvang zijn, níet
bezig zijn zich te ontwikkelen. Het is dan alleen wel van belang dat de
ontwikkelingsmogelijkheden die geboden worden, passen binnen de context van

1 or kinderen is het overigens ook leerzaam om te merken dat op verschillende plekken,
Vo

andere regels kunnen gelden. Dat sluit echter meer aan bij het uitgangspunt `socialisatie'.

Instrumentontwikkeling

vrijetijdsbesteding. Kinderen moeten op de buitenschoolse opvang vooral eigen
keuzes kunnen maken voor wat zij gaan doen en met wie. Over die opvatting
blijkt in de Nederlandse context een brede consensus te bestaan. Kinderen maken
op de buitenschoolse opvang zélf de keuze voor de gebieden waarin en manieren
waarop zij zich willen ontwikkelen (persoonlijk, fysiek, creatief, cognitief,
sociaal, en eventueel alles tegelijk). Dat is anders dan op de basisschool waarvoor
een onderwijsprogramma bestaat met kerndoelen. Het is juist de vrijheid en de
vrije keuze voor de kinderen op de bso die -mits goed begeleid- iets unieks
bijdraagt aan de ontwikkeling van (emotionele) persoonskenmerken zoals
zelfstandigheid, zelfvertrouwen, flexibiliteit, keuzes maken, problemen
aanpakken, en je aanpassen aan omstandigheden. Naast het accent op
vrijetijdsbesteding, blijkt uit de inventarisatiestudie ook een brede consensus over
het belang van een uitdagend aanbod van activiteiten en materialen.
Dit kwaliteitsaspect vraag om goed ingerichte ruimtes (binnen en buiten),
diversiteit aan speelmaterialen en een dagindeling waarin ruimte is voor een breed
scala aan activiteiten, én het vraagt om pedagogisch medewerkers die al die
verschillende kinderen individueel en als groep kunnen begeleiden en stimuleren,
of juist hun gang kunnen laten gaan. Samenwerking tussen de buitenschoolse
opvang, de school, sportclubs en/of andere instellingen kan bijdragen aan de
mogelijkheden om zo'n uitdagend aanbod te organiseren. Al deze factoren samen
bevorderen de mogelijkheden voor kinderen om tot de beoogde `spontane'
ontwikkeling komen.

3. Ontwikkeling van de sociale competenties

Een derde aandachtsgebied in de ontwikkeling van kinderen is de ontwikkeling
van sociale competenties. Juist de buitenschoolse opvang kan daaraan een
belangrijke bijdrage leveren. Kinderen hebben er contacten met andere kinderen,
met de pedagogisch medewerkers en/of de begeleiders van specifieke activiteiten.
Aangezien het ook in deze contacten steeds gaat om de eigen keuze van kinderen
met wie zij wát doen, worden er op de buitenschoolse opvang andere
vaardigheden gevraagd dan op school, waar de samenwerking toch vaak ook door
de leerkracht wordt bepaald. In dit kwaliteitsaspect speelt opnieuw de
groepssamenstelling een rol, waarbij het vooral van belang is dat er voor een kind
voldoende potentiële vriend(innet)jes aanwezig zijn. Bovendien vraagt het

Pedagogische kwaliteit van buitenschoolse opvang

ontwikkelen van sociale competenties dat er voldoende tijd en ruimte is om met
andere kinderen te spelen, dat er spelmaterialen beschikbaar zijn waarmee dat
kan, en dat opnieuw- de pedagogisch medewerkers in staat zijn de activiteiten
die de kinderen ondernemen, adequaat te begeleiden met het oog op de sociale
ontwikkeling van de kinderen.

4. Socialisatie

Voor de socialisatie van kinderen, het ontwikkelen van waarden en normen en het
leren omgaan met regels en afspraken, is van belang dat de buitenschoolse
opvang in dat opzicht een duidelijk beleid heeft, liefst met ook betrokkenheid van
de kinderen zelf bij het maken van gezamenlijke afspraken. De wijze waarop
pedagogisch medewerkers de kinderen begeleiden in het omgaan met regels en
afspraken speelt daarbij een grote rol. En bovendien kunnen van een goede
samenwerking en afstemming tussen al diegenen die betrokken zijn bij de
opvoeding van het kind (ouders, school/leerkrachten, pedagogische medewerkers
en begeleiders van specifieke activiteiten) positieve effecten verwacht worden op
de ontwikkeling van de kinderen. De mate van samenwerking en afstemming
tussen de verschillende betrokken is daarom een aandachtspunt in het instrument,
ook al heeft de buitenschoolse opvang niet altijd helemaal zelf in de hand óf en in
hoeverre in dit opzicht een doorgaande lijn kan worden aangebracht. Daarvoor
zijn immers meerdere partijen nodig.

2.2 Opbouw van het instrument

Het complete meetinstrument pedagogische kwaliteiten van buitenschoolse
opvang is erop gericht verschillende typen kwaliteit in beeld te brengen: de
structurele kwaliteit, de proceskwaliteit en beoordelingen door direct betrokkenen
(ouders en kinderen).

Bij de structurele kwaliteit ligt het accent op de reguleerbare kenmerken van de
buitenschoolse opvang zoals de groepssamenstelling, de pedagogisch
medewerker-kind-ratio, het activiteitenaanbod, de opleiding en training van
leidsters, de inrichting van de ruimte(s), beschikbaarheid van buitenruimte, het

Instrumentontwikkeling

pedagogisch beleid en de samenwerking met de omgeving. Deze
kwaliteitsaspecten staan centraal in het deelinstrument `Observatielijst
pedagogische kwaliteiten bso' (zie §2.3.1).

Bij de proceskwaliteit ligt het accent op de feitelijke zorg, opvoeding, het inspelen
op de ontwikkelingsbehoeften van de kinderen (van verschillende leeftijden) en
het bijdragen aan de sociaal-emotionele ontwikkeling van de kinderen. Die
aspecten zijn vooral zichtbaar in de interacties tussen pedagogisch medewerkers
en kinderen en tussen kinderen onderling. Belangrijke vragen daarbij zijn dan: is
er voldoende sprake van emotionele ondersteuning, respect voor autonomie van
het kind, structureren en grenzen stellen, ontwikkelingsstimulering, begeleiding
van de contacten tussen kinderen? Deze kwaliteitsaspecten staan centraal in de
`Beoordelingslijst interactievaardigheden bso' (zie §2.3.3) en in de
`Observatielijst groepsfunctioneren' (Meij & Schreuder, 2007) (zie §2.3.2).

Tot slot brengt het instrument ook de door de direct betrokkenen ervaren
pedagogische kwaliteit in beeld. Hiervoor zijn korte, schriftelijke vragenlijsten
ontwikkeld voor de kinderen en hun ouders, waarbij is ingezoomd op die
kwaliteitsaspecten die zij ook goed kunnen beoordelen. Bovendien is aangesloten
bij de thema's uit het eerste deelinstrument, de observatielijst pedagogische
kwaliteiten. Bij de kinderen ligt het accent op hun welbevinden en hun contacten
met de pedagogisch medewerkers en met de kinderen. Bij de ouders gaat het om
aspecten als groepssamenstelling, inrichting van de ruimtes, vrij spelen en het
activiteitenaanbod, het pedagogisch beleid, en het contact dat de buitenschoolse
opvang onderhoudt met de school en de ouders. De vragenlijsten heten
respectievelijk `Kindervragenlijst buitenschoolse opvang' (zie §2.3.4) en
`Oudervragenlijst buitenschoolse opvang' (zie §2.3.5).

Voor het formuleren van de items in de verschillende deelinstrumenten is,
behalve van de uitgangspunten die hierboven zijn geschetst, gebruikt gemaakt van
een aantal andere relevante bronnen. Kort samengevat vindt het instrument zijn
voornaamste basis in de volgende documenten:

· de pedagogische basisdoelen voor de kinderopvang en het daarachterliggende
theoretisch kader (Riksen-Walraven, 2004)

Pedagogische kwaliteit van buitenschoolse opvang

· de bevindingen uit het inventarisatie-onderzoek naar opvattingen over
pedagogische kwaliteit van de bso in Nederland (Boogaard, Fukkink & Felix,

2008)

· het NCKO-instrument voor het meten van de kwaliteit van de
kinderdagopvang voor 0- tot 4-jarigen

· het project Groepsindeling en Opendeurenbeleid (Meij & Schreuder, 2007)

· de observatieschalen voor de interactiestijlen van pedagogisch medewerkers
uit de cursus `Laten spelen is een vak' (Meij & Hoex, 2001)

· verschillende andere en deels internationale instrumenten voor het meten van
pedagogische kwaliteit, zoals de SACERS (Harms, Jacobs & White, 1996),
PQA (Adams, Brickman, & McMahon, 2005) en HUGS (Tietze, Roßbach,
Stendel, & Wellner, 2007).

2.3 Beschrijving van de deelinstrumenten

In deze paragraaf geven we een verantwoording voor elk van de vijf
deelinstrumenten die samen het meetinstrument pedagogische kwaliteiten van
buitenschoolse opvang vormen. Bij de beschrijving van de deelinstrumenten in dit
hoofdstuk gaat het om de conceptversies van het instrument zoals ze zijn gebruikt
voor de dataverzameling voor het bepalen van de betrouwbaarheid en validiteit.
In een aparte bijlage is het complete instrument opgenomen. Daarbij gaat het om
een herziene versie van het instrument waarmee desgewenst een empirisch
onderzoek kan worden uitgevoerd naar de kwaliteit van buitenschoolse opvang in
Nederland op dit moment.

2.3.1 Observatielijst pedagogische kwaliteiten bso
Doel van de observatielijst pedagogische kwaliteiten is het in kaart brengen van
de structureel-organisatorische kenmerken en de algemene proceskwaliteit van
een instelling die buitenschoolse opvang verzorgt. De lijst heeft in de eerste plaats
betrekking op de randvoorwaarden die nodig zijn voor een goede pedagogische
omgeving en uitvoering van buitenschoolse opvang. Die randvoorwaarden zijn
deels al wettelijk voorgeschreven. Het gaat bijvoorbeeld om: pedagogisch
medewerker-kind-ratio, de omvang van de beschikbare ruimte, opleidingseisen

Instrumentontwikkeling

voor pedagogisch medewerkers. In de lijst zijn naast de structureel-
organisatorische kenmerken ook enkele proceskenmerken opgenomen die met
name betrekking hebben op de interacties tussen pedagogisch medewerkers en
kinderen.

Een externe beoordelaar vult de observatielijst in tijdens en direct na afloop van
een bezoek aan de locatie voor buitenschoolse opvang. Het bezoek neemt een
hele bso-middag in beslag, minimaal van 15.00 uur tot 18.00 uur. In de lijst ligt
het accent op voor een externe beoordelaar observeerbare informatie. Ter
aanvulling is er een interviewleidraad ontwikkeld voor het inventariseren van een
aantal feiten en cijfers, en voor die aspecten waar rechtstreekse observatie
mogelijk te weinig informatie zou opleveren. Daarnaast zijn er enkele vragen die
gesteld kunnen worden aan de pedagogisch medewerkers tijdens de observaties.

De observatielijst is gebaseerd op de uitgangspunten die ook gelden voor het
complete instrument (zie §2.1): veiligheid, persoonlijke ontwikkeling, sociale
ontwikkeling en socialisatie. Voor het beoordelen van de kwaliteiten van de
buitenschoolse opvang in deze domeinen, is gekozen voor een thematische
ordening in acht thema's (ook wel: schalen), voorafgegaan door een korte
inventarisatie van enkele feiten en cijfers, gaat het om:

1. Groepen

2. Ruimte en inrichting

3. Programma, spelmaterialen en activiteitenaanbod

4. Interacties in de groep

5. Personeelsbeleid en teamontwikkeling

6. Veiligheid en gezondheid

7. Samenwerking met ouders en met externe partners

8. Omgaan met kinderen met speciale behoeften

Per thema wordt eerst kort aangegeven welke aspecten volgens de theoretische of
praktische uitgangspunten bijdragen aan de pedagogische kwaliteit. Voor elk
thema zijn meerdere items geformuleerd, met telkens een korte, normatieve
beschrijving voor het specifieke kwaliteitsaspect. Vervolgens is er een
vijfpuntsschaal waarop aangegeven kan worden in hoeverre de betreffende bso
aan deze norm voldoet. De formulering van de schaalpunten is steeds zo dat het

Pedagogische kwaliteit van buitenschoolse opvang

schaalpunt 1 staat voor `voldoet niet, er zijn één of meer zorgelijke punten', en
het schaalpunt 5 voor `voldoet op uitstekend, men biedt één of meer extra's ten
opzichte van de `norm' voor de wenselijke pedagogische kwaliteit van
buitenschoolse opvang. De beoordelingsschaal is bij elk item:

1 = voldoet niet (er zijn één of meer zorgelijke punten)

2 = voldoet niet helemaal (aan enkele punten uit 3 wordt voldaan, maar niet aan
allemaal)

3 = voldoet

4 = voldoet goed (aan alle punten uit 3 wordt voldaan, en aan enkele, maar niet
alle, uit 5)

5 = voldoet uitstekend, men biedt een aantal extra's ten opzichte van de norm

Per item wordt, ter bevordering van een zo objectief en repliceerbaar mogelijke
beoordeling, benoemd welke concrete constateringen passen bij de score. De
beoordelaar omcirkelt steeds al die aspecten die volgens hem/haar aanwezig zijn.
De uiteindelijk toegekende score voor elk item is de overkoepelende score op de
vijfpuntsschaal, volgens de volgende systematiek:

Score 1 wordt gegeven wanneer één of meerdere keren een aspect van schaalpunt

1 is omcirkeld. Dat gebeurt ook wanneer daarnaast één of enkele
aspecten uit schaalpunt 3 of 5 geobserveerd zijn. (De beoordelaar
omcirkelt overigens wel al die aspecten uit hogere schaalpunten die
aanwezig zijn).

Score 2 wordt toegekend wanneer wel enkele, maar niet alle aspecten uit
schaalpunt 3 aanwezig zijn.

Score 3 wordt toegekend wanneer alle in dit schaalpunt genoemde aspecten
zichtbaar zijn.

Score 4 wordt gegeven wanneer alle aspecten uit schaalpunt 3 aanwezig zijn, plus
één of enkele (maar niet alle) aspecten uit schaalpunt 5.
Score 5 (de optimale score) wordt toegekend wanneer alle indicatoren die
genoemd zijn bij schaalpunt 1 met `Nee' beantwoord zijn en alle
indicatoren uit de schaalpunten 3 en 5 genoemde indicatoren met `Ja'.

De beschrijvingen bij score 1 en 3 zijn steeds complementair. Score 3 geeft `de
norm' aan, in score 4 en 5 worden extra kwaliteiten aangegeven. De beoordelaar

Instrumentontwikkeling

vult de lijst in op basis van de informatie die is verkregen via de observaties, plus
de aanvullende vragen aan een leidinggevende en aan de pedagogisch
medewerkers. Het omcirkelen van geobserveerde indicatoren gebeurt tijdens het
bezoek. Direct na het bezoeken van de locatie voor buitenschoolse opvang
verwerkt de observator zijn/haar eventuele notities, en bepaalt hij/zij de
uiteindelijke itemscores. Ook de feiten en cijfers worden zoveel mogelijk
ingevuld tijdens het bezoek aan de locatie zelf, eventueel voegt de observator nog
enkele notities toe na afloop van het bezoek, bijvoorbeeld wanneer er sprake is
van bijzondere omstandigheden die van invloed kunnen zijn op het verkregen
beeld van de kwaliteit van de bso (zie bijlage 1 voor een voorbeelditem).

Schema 2.1: Achtergronden van de thema's in de observatielijst pedagogische kwaliteiten bso
FEITEN EN CIJFERS

Bij de feiten en cijfers gaat het om de adresgegevens van de BSO-locatie, de datum van het
bezoek en de namen van de beoordelaars, en verder om achtergrondinformatie als het aantal
deelnemende kinderen, de samenstelling van de populatie, het aantal teamleden, omvang en
aantal beschikbare ruimtes, jaar van vestiging, HKZ-certificering, en een eigen beoordeling van
kwaliteiten en verbeterpunten door de leidinggevende.

1 GROEPEN

De wijze waarop groepen in de buitenschoolse opvang zijn samengesteld speelt een belangrijke
rol in het gevoel van veiligheid van de kinderen. Gunstig is het wanneer het kind zich gekend
weet door de pedagogisch medewerkers en door zijn/haar groepsgenootjes. Dat betekent dat het
voor de pedagogische kwaliteit goed is wanneer de groepen niet al te groot zijn en tamelijk
stabiel van samenstelling. Het betekent ook dat het goed is wanneer pedagogisch medewerkers
en kinderen een wederzijdse band kunnen opbouwen doordat er sprake is van (een redelijke
mate van) continuïteit in de begeleiding van de groepen. Vanuit het perspectief van
persoonlijke en sociale ontwikkeling, is het echter tegelijk juist van belang dat de kinderen
kunnen spelen met vrienden naar hun eigen keuze en van (ongeveer) hun eigen leeftijd. Dat
kunnen ook vrienden zijn die zijn ingedeeld in een andere vaste of basisgroep. Veel bso's
hanteren daarvoor het zogenoemde `opendeurenbeleid.' Een goed evenwicht tussen beide
aspecten (veiligheid en vriendschappen) is een belangrijk kenmerk van pedagogische kwaliteit.
In de onderstaande items gaat het om die twee aspecten.
items:

Pedagogische kwaliteit van buitenschoolse opvang

1. Basisgroep met vaste pedagogisch medewerker

2. Groepsopbouw

3. Groepsgrootte en ratio

4. Opendeurenbeleid

2 RUIMTE EN INRICHTING

De beschikbare (buiten)ruimte en de inrichting ervan bepalen het welbevinden en de
ontwikkelingsmogelijkheden van de kinderen. In geschikte ruimtes voelen kinderen en
pedagogisch medewerkers zich op hun gemak en kunnen de kinderen verschillende
persoonlijke vaardigheden oefenen. Geschikte ruimtes zijn ook van belang voor een gezonde
ontwikkeling van de kinderen (voldoende buitenlucht en beweging). We kijken naar de eigen
ruimtes van de bso (die op andere tijden eventueel in gebruik zijn door andere
organisaties/kinderen). De ruimtes van andere organisaties waarvan de bso gebruik kan maken,
tellen mee als extra in de beoordeling.

items:

5. Binnenruimte omvang

6. Binnenruimte inrichting en sfeer

7. Binnenruimte activiteiten en privacy

8. Buitenruimte omvang

9. Buitenruimte bereikbaarheid

10. Buitenruimte inrichting

3 DAGINDELING, SPELMATERIALEN, ACTIVITEITENAANBOD
De indeling van het (mid)dagprogramma, de aanwezige speelmaterialen en het
activiteitenaanbod dragen bij aan het gevoel van veiligheid voor de kinderen, bieden de vrijheid
voor de kinderen om te kiezen wat zij doen, wanneer en met wie, en bieden voor de aanwezige
kinderen uitdagingen op verschillende ontwikkelingsgebieden. Bij een goede pedagogische
kwaliteit op dit punt is er sprake van evenwicht tussen rustige activiteiten en beweging, tussen
binnen en buitenspelen, samen met anderen of alleen.
items:

11. Evenwichtige (mid)dagindeling

12. Spel- en ontwikkelingsmaterialen algemeen

13. Sport, beweging, motoriek

14. Creatieve en kunstzinnige ontwikkeling

Instrumentontwikkeling

15. Muziek, dans, drama/theater

16. Taal en denken

17. Ruimtelijk inzicht en technische ontwikkeling

18. Kennis van natuur

19. Gezelschapsspellen

20. Computers en computerspellen

21. Activiteitenaanbod

4 INTERACTIES TUSSEN PEDAGOGISCH MEDEWERKERS EN KINDEREN
In de interacties tussen pedagogisch medewerkers en kinderen spelen alle vier de basisprincipes
van pedagogische kwaliteit een rol: veiligheid, persoonlijke ontwikkeling, sociale ontwikkeling
én socialisatie. In een positieve pedagogische omgeving verwacht je juist in de interacties te
zien dat pedagogisch medewerkers de kinderen kennen, dat zij hen stimuleren om nieuwe
dingen te ondernemen of juist rustig hun gang laten gaan als ze op een constructieve manier aan
het spelen zijn, dat zij hen gelegenheid geven zich te vervelen en zelf daar weer uit te komen,
en dat zij kinderen het voorbeeld geven van een goede manier om met elkaar om te gaan, of
waar nodig dat zij hen leren zich aan afspraken of regels te houden enzovoort.
items:

22. Begroeten en afscheid nemen

23. Aandacht, contact en respect voor autonomie

24. Leren en aanmoedigen

25. Sociaal gedrag, afspraken en regels

5 PERSONEELSBELEID en TEAMONTWIKKELING

De pedagogisch medewerkers moeten competent zijn in het omgaan met en in het begeleiden
en stimuleren van kinderen (individueel en in een groep) van verschillende leeftijden en
achtergronden. Individueel en als team zouden de pedagogisch medewerkers in staat moeten
zijn om de kinderen een gevoel van veiligheid te bieden, én om hun ontwikkeling te stimuleren,
zowel in persoonlijke (motorische, creatieve en cognitieve) als sociale competenties, als op het
gebied van (maatschappelijke) socialisatie. De vaardigheden van de pedagogisch medewerkers
komen vooral tot uiting in hun contact met de kinderen (zie de items hiervoor). Het
personeelsbeleid en de inzet op teamontwikkeling kunnen echter eveneens bijdagen aan de
pedagogische kwaliteit. Daarbij gaat het om de vereiste diploma's en competenties minimaal op
beginnersniveau van pedagogisch medewerkers, maar ook om de teamsamenstelling (bij

Pedagogische kwaliteit van buitenschoolse opvang

voorkeur een combinatie van beginnende pedagogisch medewerkers en pedagogisch
medewerkers in ontwikkeling, en meer ervaren krachten, enige functiedifferentiatie en
diversiteit aan extra- competenties cq verzwaarde taken, bijvoorbeeld in het begeleiden van
sport- of creatieve activiteiten, omgaan met kinderen met specifieke behoeften, coachen van
collega's etc.). Verder is het aannemelijk dat een heldere pedagogische visie, regelmatig
teamoverleg, scholing en coaching van pedagogisch medewerkers en een positieve/open
werksfeer bijdragen aan een goed pedagogisch klimaat.
items:

26. Teamsamenstelling en ontwikkeling

27. Pedagogische visie

28. Scholing en coaching pedagogisch medewerkers

29. Werksfeer

6 VEILIGHEID EN GEZONDHEID

De zorg voor de veiligheid en gezondheid van kinderen is een basaal kwaliteitskenmerk van de
bso. Ouders dragen de verantwoordelijkheid voor veiligheid en welzijn van hun kind(eren) voor
die uren dat de kinderen de bso bezoeken over aan de bso. Kinderen moeten zich er veilig
kunnen voelen en weten dat zij mogen rekenen op hulp en bescherming bij ziekte en
ongevallen, of wanneer anderen hen pesten. Ouders verwachten bovendien dat de bso bijdraagt
aan een gezonde opvang via een aanbod van (voldoende) gezonde voeding en beweging en
bevordering van een gezonde leefstijl. Aandacht voor gezondheid is een onderdeel van de
opvoeding en draagt bij tot de socialisatie via het overbrengen van normen en waarden.
items:

30. Veiligheid van en naar de bso

31. Veiligheid pesten

32. Veiligheid ziekte en ongeval

33. Gezonde leefstijl

7 SAMENWERKING MET ouders en EXTERNE PARTNERS
Een goede afstemming tussen enerzijds de pedagogische aanpak van de buitenschoolse opvang,
en anderzijds die van de ouders, de (leerkrachten op) school en eventueel begeleiders vanuit
andere instellingen bij activiteiten waaraan de kinderen deelnemen, biedt de kinderen
duidelijkheid en houvast over sociaal gedrag en regels. Dat draagt vervolgens bij aan het gevoel
van veiligheid van het kind. Overigens hoeft het niet per se zo te zijn dat iedereen met wie het

Instrumentontwikkeling

kind contact heeft op precies dezelfde wijze met hem of haar omgaat, kinderen kunnen en
moeten goed leren dat in verschillende contexten verschillende regels en afspraken kunnen
gelden. Ook hoeft het niet zo te zijn dat zij zich in alle contexten hetzelfde voelen of hetzelfde
gedragen. Wel is het van belang dat de verschillende mensen met wie het kind te maken heeft
elkaar kunnen vinden, en hun ervaringen onderling kunnen bespreken wanneer zich bijzondere
situaties voordoen.

items:

34. Contacten met ouders

35. Contacten met de basisschool

36. Contacten met andere instellingen

8 KINDEREN MET SPECIALE BEHOEFTEN

Kinderen met speciale behoeften kunnen kinderen zijn met een lichamelijke handicap of
beperking, of kinderen met problematisch gedrag, leermoeilijkheden en/of een moeilijke
thuissituatie. Niet op alle bso's zullen deze kinderen (heel zichtbaar) aanwezig zijn. Waar zij
wel aanwezig zijn is het voor hun gevoel van veiligheid, en voor hun persoonlijke
ontwikkelingsmogelijkheden van belang dat de omgeving rekening houdt met hun speciale
behoeften, zowel in materiele zin (inrichting van de ruimte, spelmaterialen), als in
deskundigheid (kennis over een stimulerende benadering, en begeleiding), als in sociale zin: het
is voor deze kinderen, maar ook voor de andere kinderen belangrijk dat zij met elkaar
kennismaken en vriendschappen kunnen opbouwen waarbij er rekening wordt gehouden met
speciale behoeften zonder dat deze een belemmering hoeven te vormen.
Item:

37. Inspelen op kinderen met speciale behoeften

2.3.2 Observatielijst groepsfunctioneren

De observatielijst groepsfunctioneren is opgenomen als deel 2 in de observatielijst
pedagogische kwaliteiten bso, omdat ook bij dit instrument sprake is van directe
observaties door een externe beoordelaar. In deze tweede observatielijst gaat het
om de manier waarop de kinderen zich in de groep gedragen, en de manier
waarop de kinderen zich als groep gedragen. Centraal staat de vraag: is er sprake
van positief groepsgedrag, negatief groepsgedrag of afwezigheid van
groepsgevoel?

Pedagogische kwaliteit van buitenschoolse opvang

Positief groepsgedrag bestaat uit zaken als elkaar positief benaderen, voor elkaar
opkomen en elkaar de ruimte geven om zichzelf te zijn. Negatief groepsgedrag uit
zich in `ieder voor zich'-gedrag en gebrek aan respect voor elkaar en voor de
pedagogisch medewerkers. Er kan ook geen enkel groepsgevoel of wij-gevoel
zijn. Bij afwezigheid daarvan richten kinderen zich alleen op enkele eigen
vrienden, maar niet op de groep als geheel. Conflicten kunnen zowel voorkomen
in negatieve als in positieve groepen. Het verschil is echter dat er in een positieve
groep een wil is om het conflict op te lossen, terwijl in negatieve groepen het
conflict in feite voortdurend aanwezig blijft en steeds weer oplaait. In groepen
waar het groepsgevoel afwezig is, zal de neiging bestaan voor conflicten weg te
lopen door zich binnen de eigen subgroep, of op zichzelf terug te trekken.

Deze observatielijst is gebaseerd op de observatielijst groepsfunctioneren, die is
ontwikkeld door Meij en Schreuder (2007) en mede is gebaseerd op de
uitgebreidere lijst groepsfunctioneren van Balledux (2001). De oorspronkelijke
lijst is gemaakt voor observaties door de pedagogische medewerkers zelf,
gedurende ongeveer een week, als aanleiding voor een teamdiscussie voor
verbeteringen van de kenmerken van het groepsfunctioneren. Bovendien is de
oorspronkelijke lijst gemaakt voor twee leeftijdscategorieën: 0 tot 1½ jaar, en van

1½ tot 12 jaar.

Voor de observatielijst groepsfunctioneren zoals gebruikt voor het
meetinstrument pedagogische kwaliteiten van buitenschoolse opvang is het
oorspronkelijke instrument voor de oudste leeftijdsgroep bewerkt en aangevuld,
zodat het aansluit op de leeftijdgroep van kinderen in de buitenschoolse opvang (4
tot 12 jaar). Ook is erop gelet dat de benodigde observaties door externe
beoordelaars in een korte periode (van één middag) kunnen worden uitgevoerd.

De observatielijst groepsfunctioneren bestaat uit negen categorieën:

1. Sfeer

2. Spelen

3. Activiteiten

4. Gebruik van de (buiten)ruimtes

5. Onderlinge relaties

6. Onderlinge betrokkenheid

Instrumentontwikkeling

7. Reactie op de pedagogisch medewerkers

8. Relatie met de pedagogisch medewerkers

9. Structuur en regels

Elke categorie is opgebouwd uit drie tot twaalf kenmerken van positief
groepsgedrag. De observator probeert zoveel mogelijk categorieën te scoren.
Indien een categorie niet te zien is (bijvoorbeeld: activiteiten) dan vult de
observator in: niet van toepassing. Deze categorie telt dan niet mee in het
eindoordeel. Dit is te zien op het scoreformulier. De observator geeft per kenmerk
een oordeel en baseert zijn eindoordeel per categorie op de hoeveelheid
kenmerken die hij/zij heeft omcirkeld. Hoe meer omcirkelde kenmerken hoe
hoger het eindoordeel. Het positieve, negatieve of afwezige groepsgedrag dat is
aangetekend in de opmerkingen mag meetellen in het eindoordeel. Per categorie
wordt vervolgens een score toegekend op een vijfpuntsschaal, met de volgende
omschrijvingen:

1 = NEE! (bijna) geen van de genoemde (positieve) kenmerken is te zien.

2 = NEE enkele van de genoemde kenmerken zijn (goed) te zien, andere
zijn niet of een beetje te zien.

3 = JA/NEE ongeveer de helft van de kenmerken is goed te zien, de andere
zijn niet of een beetje te zien.

4 = JA de meeste van de kenmerken zijn goed te zien, de andere een
beetje

5 = JA! (bijna) alle kenmerken zijn goed te zien

De observator bekijkt minimaal zowel een vrijspel-situatie als een geleide
activiteit. Alle categorieën van de observatielijst kunnen in beide situaties worden
geobserveerd. Soms zal het groepsgedrag in de geleide activiteit positiever zijn
dan in de vrijspel-situatie, of omgekeerd. De vrijspel-situatie geeft relatief veel
informatie over de kinderen onderling. De geleide activiteit geeft relatief veel
informatie over de relaties tussen kinderen en pedagogisch medewerkers. Er
wordt een gemiddeld oordeel toegekend waarin zoveel mogelijk alle kinderen in
de groep/ruimte betrokken worden. De scores worden gegeven aan het einde van

Pedagogische kwaliteit van buitenschoolse opvang

de middag, dus pas als er voldoende tijd is geweest om goed te observeren en
eventueel het oordeel nog eens bij te stellen.

Schema 2.2: Overzicht van de inhoud van de observatielijst Groepsfunctioneren

1. SFEER

Er heerst een vrolijke, gezellige sfeer, de kinderen voelen zich ontspannen en op hun gemak,
praten vooral op vriendelijke toon met elkaar en met de pedagogisch medewerkers, en maken
voornamelijk plezier. Hun gezichtsuitdrukking is tevreden en ontspannen, zowel jongste als
oudste kinderen, zowel meisjes als jongens voelen zich thuis. De sfeer is ook goed als de
pedagogisch medewerker niet aanwezig is. De pedagogisch medewerker heeft een rustig gevoel
in de groep.

2. SPELEN

De kinderen zijn vooral aan het spelen, zijn geconcentreerd bezig, spelen op een positieve
manier met het materiaal en regelen hun spel vooral zelf. Zij hebben weinig aanmoediging
nodig om tot spelen te komen.

3. ACTIVITEITEN

De kinderen reageren vooral enthousiast op voorstellen voor gezamenlijke activiteiten, vinden
de groepsactiviteiten vooral leuk, en komen zelf met ideeën voor groepsactiviteiten. De
kinderen voelen zich vrij om al dan niet deel te nemen aan de groepsactiviteiten.

4. GEBRUIK VAN DE (BUITEN)RUIMTES

De kinderen voelen zich vrij om de hele ruimte, of alle ruimtes te gebruiken, zijn vertrouwd
met de ruimtes en weten alles te vinden. Zij hebben ook zorg voor de ruimtes en helpen met
opruimen of klaarzetten van materialen.

5. ONDERLINGE RELATIES

Veel kinderen hebben met een of meerdere kinderen een speciale band. De kinderen hebben
een positieve houding tegenover alle kinderen in de groep (er worden geen kinderen
buitengesloten, er wordt niet gepest of gescholden). zij respecteren elkaars spel en privacy, en
houden onderlinge positieve relaties ook in stand als de pedagogisch medewerker niet aanwezig
is.

Instrumentontwikkeling

6. ONDERLINGE BETROKKENHEID

De kinderen zijn op elkaar betrokken, helpen elkaar als dat nodig is, luisteren naar elkaar en
zijn in elkaar geïnteresseerd. De kinderen geven elkaar de ruimte om hun mening of ideeën
naar voren te brengen, bedenken gezamenlijke activiteiten en gaan mee met ideeën van
anderen. Bij conflicten hebben de kinderen de bereidheid eruit te komen, en de pedagogisch
medewerker hoeft niet vaak als bemiddelaar op te treden.

7. REACTIE OP DE PEDAGOGISCH MEDEWERKERS

De groep is voor de pedagogisch medewerkers goed te hanteren, de kinderen luisteren naar hen,
kunnen weleens uitgelaten zijn maar zijn ook weer gemakkelijk tot rust te brengen. De
pedagogisch medewerkers kunnen kinderen die boos, bang, verdrietig of teruggetrokken zijn
weer bij de groep(sactiviteiten) betrekken.

8. RELATIE MET DE PEDAGOGISCH MEDEWERKERS

De kinderen zijn op de pedagogisch medewerkers gericht, hebben een band met hen, praten uit
zichzelf met hen en betrekken hen in hun spel of werk. De kinderen vragen de pedagogisch
medewerkers om toestemming of hulp, en helpen spontaan of als daarom wordt gevraagd.

9. STRUCTUUR EN REGELS

De kinderen kennen de gang van zaken, het programma en de omgangsregels, en gaan daarin
gemakkelijk mee. De kinderen denken mee over het programma en de omgangsregels.

2.3.3 Beoordelingslijst interactievaardigheden pedagogisch
medewerkers

De interactievaardigheden van de pedagogisch medewerker in de buitenschoolse
opvang vormen een belangrijk onderdeel van de proceskwaliteit van de opvang.
De pedagogisch medewerker vervult dan ook een sleutelrol in de pedagogische
kwaliteit van de bso. De diverse betrokkenen onderstreepten in Boogaard,
Fukkink en Felix (2008) als belangrijke interactievaardigheden van de staf met de
kinderen aspecten als: een `warme' groepsleiding, respect voor de autonomie van

Pedagogische kwaliteit van buitenschoolse opvang

de kinderen in hun `vrije tijd', het bieden van structuur en regels en de
stimulering van de sociale ontwikkeling. Andere thema's die naar voren kwamen,
waren de specifieke groepscontext van de bso en de behoefte aan differentiatie
binnen de zeer brede leeftijdsgroep binnen de bso (4-12 jaar). Deze thema's zijn
verwerkt in de individuele schalen van de beoordelingslijst
interactievaardigheden.

De beoordelingsschalen sluiten aan op de onderscheidingen en inhoud van het
NCKO-instrument voor de dagopvang voor 0- tot 4-jarigen en het onderliggende
kwaliteitsmodel van Riksen-Walraven (2004). In het onderstaande schema wordt
een overzicht gegeven van de schalen, waarbij ter vergelijking ook de NCKO-
schalen zijn benoemd. De corresponderende schalen in het nieuwe instrument
hebben deels een andere inhoud en invulling gekregen, rekening houdend met
verschillen tussen de dagopvang en buitenschoolse opvang.

Schema 2.3: Overzicht van de schalen in de beoordelingslijst interactievaardigheden en
de corresponderende schalen uit het NCKO-instrument voor de dagopvang
Schaal bso Korte omschrijving NCKO (0-4 jaar)

Emotionele steun Sensitieve responsiviteit, Sensitieve responsiviteit

1. Sensitiviteit warmte, betrokkenheid (of

2. Responsiviteit afzijdigheid)
Autonomie Respect voor en stimulering Respect voor autonomie

3. Niet-intrusieve stijl van de autonomie, intrusiviteit

4. Stimulering autonomie (`opdringerigheid')
Regie en leiding Aansturing van de groep, Structureren en grenzen

5. Structureren helderheid van instructies, stellen

6. Niet-permissieve stijl permissieve (toegevende) stijl
Begeleiding van interacties Stimuleren van positieve Begeleiding van

7. Stimulering positieve interacties, ingrijpen bij interacties
interacties negatieve interacties tussen

8. Omgang met negatieve kinderen

interacties

Instrumentontwikkeling

Tijdens de observaties worden van de pedagogisch medewerkers drie korte video-
opnames gemaakt van minimaal 5 minuten. De opnames worden verdeeld over
verschillende typen van activiteiten, namelijk in een startsituatie (bijvoorbeeld:
het binnenkomen van de kinderen, het drinken bij de start), bij het opstarten van
een activiteit (bijvoorbeeld: het opstarten en uitleg geven over een activiteit) en
een overgangssituatie (bijvoorbeeld: de overgang van opstarten naar een eerste
activiteit, de afronding van een activiteit voor het drinken en/of eten).
Het videomateriaal van elke pedagogisch medewerker wordt vervolgens gescoord
door daartoe getrainde beoordelaars, op basis van de beoordelingslijst
interactievaardigheden. De lijst bestaat uit de in het schema opgenomen acht
schalen. Op elke schaal kan een score tussen 1 en 5 worden toegekend, waarbij 1
staat voor 'zeer laag' en 5 voor 'in zeer hoge mate'. Bij de laatste schaal ('omgang
met negatieve interacties') kan eventueel de score `niet van toepassing' worden
gegeven, namelijk in die gevallen waarin de beoordelaar van mening is dat er
geen negatieve interacties voorkomen in het videomateriaal, waardoor het
ingrijpen van de pedagogisch medewerker niet kan worden beoordeeld.
De beoordelaars tellen bovendien het aantal kinderen op de opnames en geven
een korte beschrijving van de situatie (zoals: start van een groepsmoment,
afronding van een groepsmoment, maaltijd/snack/drinken, een activiteit in
uitvoering of een overgangssituatie).

2.3.4 Kindervragenlijst

De kindervragenlijst bestaat uit 16 items, verdeeld over vier domeinen die
corresponderen met de vier pedagogische doelen uit Riksen-Walraven (2004) en
de Wet Kinderopvang. De vragen gaan over het gevoel van veiligheid en
welbevinden van de kinderen (bijvoorbeeld: `Ik vind het leuk op de bso'), over
hun persoonlijke competentie en ontwikkeling (`Ik leer nieuwe dingen op de
bso'), over sociale competentie en de omgang met leeftijdsgenoten (`Ik heb
weinig vrienden of vriendinnen op de bso') en over socialisatie en de overdracht
van normen en waarden (`Het is duidelijk wat wel mag en wat niet mag'). Deze
vier domeinen zijn nader aangevuld en ingevuld met enkele thema's die uit de
inventarisatiestudie van Boogaard, Fukkink & Felix (2008) naar voren kwamen
als belangrijke criteria voor pedagogische kwaliteit van buitenschoolse opvang:

Pedagogische kwaliteit van buitenschoolse opvang

autonomie van het kind (bijvoorbeeld: `Ik mag meestal zelf kiezen met wie ik ga
spelen'), een rijk activiteitenaanbod en aanbod van speelmateriaal (`Op de bso
zijn er altijd veel leuke dingen te doen'), een aantrekkelijke ruimte (`De bso ziet
er leuk uit') en de relatie met de pedagogische medewerkers (`De leidsters/leiders
helpen mij als dat nodig is'). De kinderen geven steeds antwoord op een
vijfpuntsschaal (`klopt helemaal niet' tot en met `klopt precies'). Kinderen die
kunnen lezen, kunnen de vragenlijst zelfstandig invullen, jongere kinderen (4-8
jaar) kunnen de vragen samen met hun ouders doornemen en beantwoorden,
waarbij het nadrukkelijk gaat om de antwoorden van het kind.

2.3.5 Oudervragenlijst

De oudervragenlijst vraagt naar met enkele achtergrondgegevens over leeftijd,
sekse van de kinderen van de betreffende ouder die de buitenschoolse opvang
bezoeken, en het aantal jaren ervaring van de ouder met de bso-vestiging. Ook
wordt gevraagd naar de mate waarin enkele overwegingen van de ouder een rol
hebben gespeeld bij de keuze voor de weekdagen waarop het kind de bso bezoek
(beschikbaarheid van een plek, het werk van de ouder, de aanwezigheid van
vriendjes/vriendinnetjes van het kind).

Vervolgens zijn er 25 items waarin de ouder zijn/haar mening kan geven over de
buitenschoolse opvang van het kind. Er is een samenhang aangebracht tussen de
thema's in de oudervragenlijst, en de thema's in de observatielijst pedagogische
kwaliteiten. In de oudervragenlijst worden die onderwerpen bevraagd die voor
ouders ook voldoende `zichtbaar' zijn om zich er een mening over te kunnen
vormen.

De vragen zijn verdeeld over de categorieën: de groep (`mijn kind heeft
voldoende leeftijdgenoten/vriendjes op de bso op de dagen dat hij/zij daar is'), de
ruimtes (`de binnenruimtes zien er aantrekkelijk uit'), vrij spelen en
georganiseerde activiteiten (`mijn kind mag over het algemeen zelf kiezen wat
hij/zij op de bso gaat doen'), pedagogisch beleid, contact met de school en de
ouders (`De bso informeert mij als ouder goed over hoe het met mijn kind gaat.').
Voor deze items is, net als voor de kinderen, gebruik gemaakt van een
vijfpuntsschaal van `klopt helemaal niet' tot en met `klopt precies'.

Instrumentontwikkeling

Tot slot zijn er enkele open vragen over het welbevinden van het kind en de
ouders, en over wat men goed vindt aan de bso, en wat men mist.

3 Opzet van het validatie-onderzoek

In dit hoofdstuk bespreken we ten eerste de gevolgde werkwijze bij het
verzamelen van de gegevens voor het validatieonderzoek: de werving van de bso-
vestigingen die hebben deelgenomen, en het draaiboek dat tijdens de bezoeken is
gevolgd. Vervolgens gaan we in op de inrichting van het eigenlijke
validatieonderzoek: de soorten validiteit en betrouwbaarheid die zijn onderzocht,
en de instrumenten en analysemethodes die daarvoor zijn ingezet.

3.1 Opzet en uitvoering van de dataverzameling

3.1.1 Werving en beschrijving van de bezochte bso-locaties
Met het instrument pedagogische kwaliteiten van buitenschoolse opvang zijn,
voor het validatie-onderzoek, metingen uitgevoerd op in totaal 18 locaties voor
buitenschoolse opvang met in totaal 31 groepen. Per locatie zijn in de meeste
gevallen twee groepen geobserveerd. Enkele locaties beschikten over slechts één
groep.

Doel van het onderzoek was de ontwikkeling en validatie van het meetinstrument.
Representativiteit van de steekproef met het oog op een goed beeld van de
landelijke kwaliteit van de bso is daarom pas van later orde. Voor de validatie van
het instrument was het van belang dat er voldoende variatie was tussen de
bezochte locaties voor buitenschoolse opvang in achtergrondkenmerken zoals het
aantal kinderen op de bso, het type overkoepelende organisatie, vestiging in een
eigen gebouw dan wel in een school, bestaansduur en wel of geen specifieke
invulling, zoals een sport-bso. Ook is erop gelet dat zowel bso-locaties in de grote
steden, als locaties in kleinere gemeenten buiten de Randstad in de steekproef
werden opgenomen. Zo zijn er bso's bezocht in Almere-Buiten, Amsterdam
(Osdorp, Watergraafsmeer, Buitenveldert en Zuid-Oost), Amstelveen, Bussum,
Haarlem, Hoofddorp, Hoorn, Leiden, Rotterdam, Tilburg, Utrecht, Voorburg en
Waalre. De bezochte bso-vestigingen tellen naar schatting gemiddeld zo'n 80
kinderen, variërend van 18 tot 220. Naar ruwe schatting komt, gemiddeld
genomen, de helft van de kinderen uit een gezin met hoog-opgeleide ouders

Pedagogische kwaliteit van buitenschoolse opvang

(variërend tussen 0 en 80%) en een kwart uit een gezin met laagopgeleide ouders
(variërend van 5 tot 80%). Ongeveer een derde van de kinderen heeft een
allochtone achtergrond (variërend van 0 tot 100%). Gemiddeld werken er acht
mensen in het team, variërend van vier tot twintig. De bestaansduur van de
vestiging is gemiddeld zo'n vijf jaar. In de steekproef kwamen bso's voor die net
gestart waren en bso's die al langer bestonden (tot 18 jaar). De meeste bezochte
bso's hebben een HKZ-certificaat.

3.1.2 Draaiboek voor het bso-bezoek

Elke locatie is bezocht door een ervaren onderzoeker en een junioronderzoeker
gedurende minimaal een hele bso-middag. Op alle locaties waren de onderzoekers
aanwezig voordat de kinderen binnenkwamen, voor een kennismaking met een
locatiehoofd en, waar mogelijk, ook de pedagogisch medewerkers. In een
interview met de leidinggevende vooraf werden alvast een aantal feitelijke
gegevens verzameld. Vervolgens gingen de observatoren mee met de pedagogisch
medewerkers om de kinderen uit school of uit de klas op te halen, om ook dit
aspect van de opvang te kunnen beoordelen.

De derde stap was het uitvoeren van de observaties in de eerste groep. Beide
observatoren waren tegelijk in dezelfde groep aanwezig en vulden onafhankelijk
van elkaar de observatielijsten in. Een van de observatoren maakte bovendien drie
korte video-opnames van minimaal vijf minuten en van minimaal twee van de
pedagogisch medewerkers in de groep. Voorafgaand aan het bezoek van de
locatie was een ouderbrief verstuurd die door de locaties zelf is verspreid. De
ouderbrief bevatte informatie over de achtergrond van het onderzoek en over het
feit dat er video-opnames gemaakt zouden worden. Ouders die liever niet wilden
dat hun kind gefilmd werd konden dat kenbaar maken. Bij het maken van de
opnames is daarmee rekening gehouden.

Na ongeveer anderhalf uur was voldoende informatie verzameld en richtten de
observatoren zich, opnieuw tegelijk maar onafhankelijk van elkaar oordelend, op
de tweede groep. Ook daar was ongeveer anderhalf uur beschikbaar voor de
observaties. Op woensdag- en vrijdagmiddagen was voor beide groepen meestal
iets meer tijd beschikbaar. Ook het ophalen door ouders en het afscheid nemen
van de kinderen is geobserveerd.

Opzet van het validatie-onderzoek

De ouders en kinderen uit de groepen waar de observaties werden uitgevoerd
kregen een enveloppe mee met de kinder- en oudervragenlijsten, plus een
antwoordenveloppe voor het terugsturen van de ingevulde vragenlijsten.
Direct na afloop van het bezoek aan de locatie hebben de observatoren hun
gegevens verwerkt en de observatielijsten voorzien van hun definitieve
beoordelingsscores. De gemaakte video-opnames werden digitaal opgeslagen en
gerubriceerd, voorzien van enkele gegevens, zoals de naam van de locatie, de
groep en codes voor de pedagogisch medewerker.

3.1.3 Dataverzameling gericht op de validatiestudie
Doel van het onderzoek was de ontwikkeling van een meetinstrument voor de
pedagogische kwaliteit van buitenschoolse opvang en het vaststellen van de
kwaliteit daarvan. Om die reden is de dataverzameling zo ingericht dat vervolgens
analyses konden worden uitgevoerd voor drie typen betrouwbaarheid, en drie
typen validiteit, voor de verschillende deelinstrumenten.

- Op een groot deel van de locaties is door twee observatoren, onafhankelijk
van elkaar, maar wel tijdens hetzelfde bezoek, de observatielijst
pedagogische kwaliteiten en de observatielijst groepsfunctioneren ingevuld.
Op die manier was het vervolgens mogelijk om de
interbeoordelaarsbetrouwbaarheid te bepalen voor deze twee
deelinstrumenten. Daarbij gaat het om de vraag: geven verschillende
beoordelaars eensluidende oordelen met het instrument? Met hetzelfde doel
zijn ook de video-opnames van de pedagogisch medewerkers steeds
beoordeeld door twee beoordelaars.

- Ook is, voor het bepalen van de test-hertestbetrouwbaarheid, een aantal
locaties een tweede keer bezocht -door een derde onderzoeker- om te kunnen
bekijken of de beoordelingen in voldoende mate consistent zijn in de tijd,
ofwel: is er sprake van een duidelijke samenhang tussen de metingen
wanneer zij op twee verschillende momenten worden uitgevoerd, binnen een
tijdsbestek van twee maanden?

- De samenhang tussen de scores op de verschillende onderdelen van elk
deelinstrument (interne consistentie), is bepaald via analyse op de verzamelde
gegevens per deelinstrument.

Pedagogische kwaliteit van buitenschoolse opvang

Ook is aandacht besteed aan vier typen validiteit van de deelinstrumenten:
inhoudsvaliditeit en met name de convergente, discriminante en predictieve
validiteit. Ook daarvoor werden `extra' gegevens verzameld:

- Op een aantal locaties is ter bepaling van de convergente validiteit van de
observatielijst pedagogische kwaliteiten gewerkt met zowel het eigen
instrument (door de ene beoordelaar) als de SACERS (door een andere
beoordelaar). Ook zijn de scores op de beoordelingslijst
interactievaardigheden vergeleken met die van de interactie-items uit de
SACERS.

- Voor de kinder- en oudervragenlijst is gekeken naar de convergente validiteit
door gegevens te verzamelen met de ontwikkelde vragenlijst en enkele
andere, bestaande vragenlijsten die inhoudelijk verwant zijn met de
vragenlijsten en waarvan verwacht mocht worden dat de scores zouden
samenhangen met de scores op de eigen vragenlijsten. De vraag is hier:
hangen de scores op het instrument samen met scores op reeds bestaande
instrumenten? Het gaat bij deze vorm van validiteit overigens telkens om
samenhang op specifieke onderdelen van het nieuwe instrument, omdat er
niet één bso-instrument is met dezelfde inhoud dat zinvol naast het nieuwe
instrument kan worden geplaatst. Anders gezegd, er wordt een vergelijking
gemaakt op onderdelen met behulp van verschillende andere instrumenten die
ten dele verwant zijn met het nieuwe instrument.

- Ook is gekeken naar de discriminante validiteit van de kinder- en
oudervragenlijst door het opnemen van vragen waarvan niet verwacht wordt
dat de antwoorden samenhangen met het welbevinden van de kinderen en
ouders op de bso. Kernvraag is in dit geval: zijn de scores op het instrument
onderscheidbaar van zaken die niet onder de pedagogische kwaliteit vallen?

- Ten derde is gekeken naar de predictieve validiteit, ofwel de vraag: kunnen
op basis van de scores van (delen van) het instrument voorspellingen worden
gedaan voor de scores op andere delen van het instrument? Hiervoor is de
samenhang onderzocht tussen de oordelen van enerzijds de externe
beoordelaars op basis van de observatielijst pedagogische kwaliteiten, en de
observatielijst groepsfunctioneren en anderzijds de oordelen van de ouders en

Opzet van het validatie-onderzoek

kinderen via de vragenlijsten geven over de kwaliteit van de bso die zij
bezoeken.

- Voor het bepalen van de inhoudsvaliditeit waren geen aanvullende data of
analyses nodig.

Tabel 3.1: Overzicht van de data die zijn verzameld voor het validiteitsonderzoek
N Convergente Discriminante Predictieve
validiteit validiteit validiteit
Observatielijst 14 groepen SACERS (Harms, - Kinder- en
pedagogische Jacobs & White, oudervragenlijst
kwaliteiten 1996)

Observatielijst 31 groepen - - Kindervragenlijst
groepsfunctioneren

Beoordelingslijst 43 pedagogisch Interactie-items - -
interactievaardigheden medewerkers SACERS (Harms,
Jacobs & White,

1996)
Kindervragenlijst 126 kinderen Cool-vragenlijst Inzet voor Oudervragenlijst
(aangepast, zie School-
technisch rapport vragenlijst
COOL, te (Peetsma,
verschijnen 2009) Wagenaar &
De Kat, 2001)
Oudervragenlijst 126 ouders Schoolbelevings- CBSK: Kindervragenlijst
vragenlijst globale
(aangepast; Peeters zelfwaardering
& Woldringh, (ouder-

1993) oordeel)
(Veerman,

1989)

Pedagogische kwaliteit van buitenschoolse opvang

Instrumenten voor de validering: convergente validiteit
SACERS

De School-Age Child Environment Rating Scale (SACERS; Harms, Jacobs &
White, 1996) is een observatie-instrument voor het vaststellen van de
pedagogische kwaliteit van de naschoolse opvang. Het instrument bestaat uit 43
items die zijn onderverdeeld in zes schalen: Space and furnishings', `Health and
safety', `Activities', `Interactions', `Program structure' en `Staff development'.
De optionele schaal `Special needs supplementary items' voor kinderen met
speciale behoeften, die niet wordt verdisconteerd in de totaalscore, is buiten
beschouwing gelaten in dit onderzoek. Elk item wordt gescoord op een
zevenpuntsschaal, die loopt van `inadequate' (1), `minimal' (3), `good' (5) tot
`excellent' (7). De ontwikkelaars rapporteren in de handleiding goede resultaten
voor de interbeoordelaarsbetrouwbaarheid en de interne consistentie van het
instrument. Aanwijzingen voor de inhoudsvaliditeit en constructvaliditeit zijn
vastgesteld in een relatief bescheiden onderzoeksopzet. De SACERS is overigens
qua structuur en inhoud verwant met de internationaal gebruikte ITERS en
ECERS, die ook in Nederlands peilingsonderzoek in de kinderdagopvang zijn
gebruikt. De SACERS is in ons onderzoek met name gebruikt om de convergente
validiteit met de ontwikkelde observatielijst pedagogische kwaliteiten te
onderzoeken.

Welbevinden-vragenlijst (aangepast)

De convergente validiteit ook wel `soortgenootvaliditeit' genoemd van de
kindvragenlijst is onderzocht met behulp van de schaal `De juf/meester, je
klasgenoten' uit de schoolwelbevinden-vragenlijst uit het COOL-onderzoek (te
verschijnen, 2009). Deze vragenlijst met 13 items meet in de oorspronkelijke
opzet de gevoelens van een kind ten opzichte van de juf of meester en de
klasgenoten. Voor dit onderzoek is elk item aangepast aan de bso-context
(bijvoorbeeld: `Wij hebben een leuke klas' is geworden `Wij hebben een leuke
groep op de bso'; `In mijn klas voel ik me soms alleen' is omgezet naar `Op de
bso voel ik mij soms alleen'). Voor het omzetten van deze bestaande vragenlijst is
gekozen omdat er geen alternatieve, gevalideerde vragenlijst bestaat waarin
kinderen hun mening kunnen geven over hun bso. Kinderen geven telkens
antwoord op een vijfpuntsschaal (klopt helemaal niet, klopt niet, klopt soms

Opzet van het validatie-onderzoek

wel/soms niet, klopt, klopt precies). De betrouwbaarheid van deze vragenlijst was
overigens goed in dit onderzoek ( = .80).

Schoolbelevingsvragenlijst (aangepast)

Deze korte vragenlijst van Peeters en Woldringh (1993) vraagt in de
oorspronkelijke opzet naar de beleving van de ouder over de school. Elk item uit
deze lijst is aangepast door school-specifieke woorden te vervangen door
woorden die beter passen in de bso-context (bijvoorbeeld: `pedagogisch
medewerkers' in plaats van `juf/meester'). Verder is de inhoud van de items
gehandhaafd. Voor deze werkwijze is gekozen omdat er geen alternatieve
gevalideerde oudevragenlijsten bestaan voor de bso. De vier aangepaste items
vragen naar het oordeel van de ouder over de bso-beleving van zijn of haar kind
(bijvoorbeeld: `Heeft uw kind een goed contact met de pedagogisch
medewerkers?', `Heeft uw kind doorgaans zin om naar de bso te gaan?').
Respondenten geven antwoord op een schaal met vier mogelijke antwoorden
(`nooit', `soms', `vaak', `altijd'). De betrouwbaarheid van deze korte vragenlijst
in dit onderzoek bleek matig ( = .50), maar verbeterde na verwijdering van één
item ( = .60).

Instrumenten voor de validering: discriminante validiteit
Inzet-voor-school-vragenlijst

De vragenlijst `Inzet voor school' van Peetsma, Wagenaar en De Kat (2001)
vraagt naar een zelfbeoordeling van de inzet van een leerling voor school. De
korte schaal kent zeven items (bijvoorbeeld: `Tijdens de les let ik goed op', `Ik
verveel me op school') met een bijbehorende vijfpuntsschaal, die loopt van
`(bijna) nooit' tot `(bijna) altijd'. De schaal bleek matig betrouwbaar in deze
studie ( = .52).

CBSK: globale zelfwaardering

De Competentiebelevingsschaal Globale Zelfwaardering (ouder-variant) van
Veerman (1989) geeft een indruk van de wijze waarop de ouder de competenties
van zijn of haar kind beoordeelt. Het instrument kent zes items. Elk item bestaat
uit twee uitspraken (bijvoorbeeld: `Sommige kinderen zijn vaak ontevreden over
zichzelf' / `Andere kinderen zijn best wel tevreden over zichzelf'), waaruit de

Pedagogische kwaliteit van buitenschoolse opvang

ouder de best passende moet kiezen. Vervolgens geeft de ouder voor de gekozen
uitspraak aan in hoeverre deze van toepassing is (`helemaal waar voor mijn kind',
`een beetje waar voor mijn kind'). De CBSK is een bewerking van het Self-
perception Profile for Children van Harter. De betrouwbaarheid van de CBSK
was goed in dit onderzoek ( = .83).

3.2 Analyses

Verschillende analyses zijn uitgevoerd om de betrouwbaarheid en validiteit vast
te stellen voor de verschillende onderdelen van het instrument voor het vaststellen
van de pedagogische kwaliteit van de bso. De betrouwbaarheidsanalyses hebben,
zoals gezegd, betrekking op drie soorten betrouwbaarheid.

· Interbeoordelaarsbetrouwbaarheid

Deze vorm van betrouwbaarheid heeft betrekking op de mate van
overeenstemming tussen twee (of meer) beoordelaars en is van toepassing op
beoordelingsinstrumenten. De interbeoordelaarsbetrouwbaarheid is voor
ordinale/interval-variabelen bepaald met een intraclasse-correlatiecoëfficient
(ICC; Shrout & Fleiss, 1979), die waarden heeft tussen 0 (onbetrouwbaar) en 1
(perfect betrouwbaar); als aannames van deze maat geschonden worden, kan een
waarde onder de 0 worden gevonden. De ICC is hier berekend om de absolute
overeenstemming vast te stellen (`absolute agreement') op jury-niveau
(`aggregate score') van twee `random' beoordelaars. Waarden van rond de .70
geven een adequate betrouwbaarheid aan. Voor nominale variabelen is Cohen's
kappa berekend, die eveneens waarden aanneemt tussen 0 en 1; waarden van >
.70 zijn gewenst. De interbeoordelaarsbetrouwbaarheid kan uitgedrukt worden op
itemniveau (het laagste niveau, één individueel item), subschaalniveau en
schaalniveau (de totaalscore) (zie Fleiss, 1981).

· Interne consistentie

Deze vorm van betrouwbaarheid geeft de onderlinge samenhang aan tussen items
van een meetinstrument. Deze vorm van betrouwbaarheid is (alleen) toepassing
op samengestelde instrumenten, dat wil zeggen meetinstrumenten met meer dan

Opzet van het validatie-onderzoek

één item die pretenderen een gedeeld construct te meten (bijvoorbeeld: de
pedagogische kwaliteit van de bso). De interne consistentie is berekend met
behulp van Cronbach's (waarden tussen 0 en 1; grenswaarden ongeveer > .70).

· Test-hertestbetrouwbaarheid

De test-hertestbetrouwbaarheid geeft de stabiliteit aan van twee metingen in de
tijd. Deze betrouwbaarheid is in deze studie uitgedrukt als een
correlatiecoëfficiënt of een intraclasse correlatiecoëfficiënt (ICC). De waarden
voor de ICC liggen, zoals gezegd, tussen 0 en 1. Correlatiecoëfficiënten liggen
tussen 1 (perfect verband) en -1 (perfect omgekeerd verband); een nadeel van de
veelgebruikte correlatiecoëfficiënt is overigens dat deze veranderingen van niveau
niet verdisconteert.

Voor deze studie zijn vier vormen van validiteit van belang:

· Inhoudsvaliditeit

Bij dit type validiteit staat een oordeel van deskundigen centraal over wat
belangrijk is bij een bepaald construct, hier dus de `pedagogische kwaliteit van de
bso'. Belangrijke vragen die men kan stellen bij de inhoudsvaliditeit, zijn
bijvoorbeeld: meten de verschillende onderdelen van het instrument pedagogische
kwaliteit; is de inhoud van het instrument toegesneden op de bso; dekt het
instrument het beoogde domein volledig? Deze vorm van validiteit, die met name
van groot belang is bij de instrumentconstructie, heeft centraal gestaan in de
studie van Boogaard, Fukkink en Felix (2008), die voorafgaand aan deze
ontwikkel- en validatiestudie is uitgevoerd. In de inventariserende studie is het
construct pedagogische kwaliteit van de bso onderzocht op basis van een
literatuurstudie, een enquête en interviews en focusgroepen met diverse
betrokkenen. Ook is hierbij aandacht geweest voor bestaande kaders, zoals het
wetenschappelijke NCKO-kader en de Wet Kinderopvang. Op basis van de
`gemene deler' uit deze brede inventariserende studie is een aantal aspecten van
de pedagogische kwaliteit van de bso naar voren gekomen die vervolgens zijn
verwerkt in het ontwikkelde meetinstrument.

Pedagogische kwaliteit van buitenschoolse opvang

· Convergente validiteit

Bij convergente validiteit ook wel soortgenootvaliditeit of concurrente validiteit
genoemd wordt de samenhang bepaald tussen twee verschillende, maar
verwante instrumenten. In deze studie onderzoeken we de samenhang tussen het
nieuwe instrument en enkele bestaande en reeds gevalideerde instrumenten die
(deels) raakvlakken hebben met pedagogische kwaliteit. Een praktisch probleem
dat speelt bij de ontwikkeling van nieuwe meetinstrumenten in het nauwelijks
ontgonnen terrein van het meten van de pedagogische kwaliteit van de bso is dat
er (nog) nauwelijks gevalideerde wetenschappelijke instrumenten voorhanden
zijn. Waar mogelijk is een bestaand wetenschappelijk instrument geselecteerd
(bijvoorbeeld de SACERS). In andere gevallen is een instrument gekozen dat
dicht tegen het centrale construct aanligt en/of is een bestaand instrument
aangepast aan de specifieke context; in dit laatste geval is strikt genomen sprake
van een nieuw instrument.

· Discriminante validiteit

Bij discriminante validiteit wordt onderzocht of twee instrumenten die
verschillende constructen meten, niet of in ieder geval niet sterk met elkaar
samenhangen. In deze studie is onderzocht of onderdelen van het bso-instrument
niet samenhangen met instrumenten die met eenzelfde methode (bijvoorbeeld:
een vragenlijst) een heel ander construct beogen te meten. De gewenste lage
samenhang laat zien dat de scores op het bso-instrument niet sterk zijn beïnvloed
door een algemeen methode-effect (bijvoorbeeld: respondenten vullen
verschillende vragenlijsten op een vergelijkbare wijze in door een bepaalde
antwoordtendentie).

· Predictieve validiteit

Bij deze vorm van validiteit staat het voorspellend vermogen van een instrument
centraal. Zo kan worden onderzocht of het mogelijk is om het welbevinden van
kinderen op de bso als het ware te voorspellen op basis van de pedagogische
kwaliteit. Eerder onderzoek naar de pedagogische kwaliteit in de Nederlandse
context heeft laten zien dat voorspellingen tussen verschillende constructen in
zeer bescheiden mate mogelijk zijn. Het is, bijvoorbeeld, niet goed mogelijk om
de proceskwaliteit als het ware te `voorspellen' vanuit de structurele kwaliteit.

Opzet van het validatie-onderzoek

Hetzelfde geldt voor het `voorspellen' van het welbevinden of de betrokkenheid
van kinderen op basis van de proceskwaliteit en/of de structurele kwaliteit van het
kindcentrum. Pedagogische kwaliteit is, in ieder geval in de Nederlandse context,
het beste te beschrijven als een drieluik met enerzijds structurele kwaliteit en
anderzijds proceskwaliteit en ten slotte de kindkenmerken (zie De Kruif e.a.,

2007). Ook theoretisch is dit goed te verklaren (zie Riksen-Walraven, 2004). Op
grond van de bescheiden resultaten met betrekking tot de predictieve validiteit in
eerder uitgevoerd validatie-onderzoek is ervoor gekozen om in deze
validatiestudie predictieve validiteit een bescheiden rol toe te kennen. In deze
studie is niet geprobeerd om voorspellingen te doen van de structurele kwaliteit
naar proceskwaliteit en/of kindkenmerken. Wel is onderzocht of het mogelijk is
om scores op het ene meetinstrument te voorspellen vanuit een ander instrument
binnen de pedagogische kwaliteit. Concreet gezegd, is het mogelijk om op basis
van het oordeel over de pedagogische kwaliteit van een externe observator het
oordeel van een kind of een ouder te voorspellen en vice versa?

Voor elke vorm van validiteit uit deze studie is de samenhang bepaald tussen het
ontwikkelde bso-instrument en een ander instrument (a) of een ander onderdeel
uit het bso-instrument (b). Deze samenhang is uitgedrukt in een
correlatiecoëfficiënt, die in deze context ook wel validiteitscoëfficiënt worden
genoemd; waarden hiervan liggen tussen -1 en 1. Bij convergente validiteit met
een verwant instrument verwachten we een positieve samenhang, bij
discriminante validiteit voorspellen we geen (substantiële) samenhang te vinden.
Bij interpretatie van de gevonden waarden wordt doorgaans gekeken naar het
onderlinge patroon van de coëfficiënten binnen een studie; ook een vergelijking
met relevante bevindingen uit andere studies is mogelijk. De beoordeling is in die
zin relatief.

4 Resultaten

In dit vierde hoofdstuk bespreken we de resultaten van de analyses van de
betrouwbaarheid en validiteit voor de vijf deelinstrumenten van het
meetinstrument pedagogische kwaliteiten van buitenschoolse opvang.

4.1 Resultaten observatielijst pedagogische kwaliteiten bso

Itemniveau

De interbeoordelaarsbetrouwbaarheid van de items in de observatielijst varieert
sterk. De overeenstemming tussen beoordelaars laat bij een aantal items te
wensen over. Dit is deels een resultaat dat is beïnvloed door de plafondscores bij
enkele items, die de waarden voor de gehanteerde betrouwbaarheidsmaat
drukken. Een nadere inhoudelijke analyse van de items suggereert dat de
interbeoordelaarsbetrouwbaarheid lager is bij met name de items waarbij
informatie uit het interview met de leidinggevende moet worden gecombineerd
met observaties om te komen tot een eindoordeel. Ook is de overeenstemming
laag bij enkele items die betrekking hebben op de interacties tussen pedagogische
medewerkers en kinderen, mogelijk doordat oordelen over meerdere pedagogisch
medewerkers gecombineerd moeten worden tot één groepsoordeel. Het
combineren van verschillende indrukken speelt ook een rol bij item 12 waar de
beoordelaar gevraagd wordt één totaaloordeel te geven over diverse aanwezige
spel- en ontwikkelingsmaterialen, die elk apart betrouwbaarder worden
beoordeeld. Voor het item `werksfeer' lijkt het moeilijk om tot een eensluidend
oordeel te komen op basis van een observatie op de groep.

Schaalniveau

De interbeoordelaarsbetrouwbaarheid op schaalniveau is adequaat voor de
schalen Groepen, Ruimte en inrichting, Dagindeling, spelmaterialen en
activiteiten en Samenwerking met ouders en externe partners/instellingen. De
overeenstemming op schaalniveau is lager dan gewenst voor de schalen

Pedagogische kwaliteit van buitenschoolse opvang

Interacties tussen pedagogisch medewerkers en kinderen, Personeelsbeleid en
teamontwikkeling en Veiligheid en gezondheid (zie tabel 4.1).
De interbeoordelaarsbetrouwbaarheid van het gecombineerde totaaloordeel van
twee beoordelaars, berekend over alle items (inclusief de items met een gebleken
lagere betrouwbaarheid), nadert de gewenste betrouwbaarheid (een ICC-waarde
van .70, hier berekend over de gecombineerde scores van twee beoordelaars),
maar ligt daar net onder (ICC = .65). Een totaalscore berekend over de
betrouwbaar gebleken schalen Groepen, Ruimte en inrichting, Dagindeling,
spelmaterialen en activiteiten, Samenwerking met ouders en externe
partners/instellingen geeft aan dat de beoordeling hier betrouwbaar is (ICC = .86).

Kort samengevat, de analyses van de interbeoordelaarsbetrouwbaarheid laten zien
dat de pedagogische kwaliteit van de bso betrouwbaar kan worden gescoord voor
een deel van de onderscheiden kenmerken. Een aantal pedagogische aspecten is
moeilijker betrouwbaar te scoren. Voor een deel van de items geldt dat bijstelling
van de formulering en structuur kan leiden tot meer houvast voor beoordelaars en
tot een uniformere scoring. De schaal Personeelsbeleid en teamontwikkeling kent
bijvoorbeeld één zwak item (nr. 28, scholing en coaching) en weglating of
bijstelling hiervan kan leiden tot een kwalitatief betere schaal. De andere schalen
kennen meer dan één problematisch item. De schaal Interacties tussen
pedagogisch medewerkers en kinderen is met name problematisch, doordat drie
van de vier items minder betrouwbaar worden beoordeeld. De proceskwaliteit van
de pedagogisch medewerker lijkt dan ook betrouwbaarder te scoren aan de hand
van de video-opnames en de beoordelingslijst interactievaardigheden pedagogisch
medewerkers die hiervoor speciaal is ontwikkeld (zie tabel 4.1).

Resultaten

Tabel 4.1: Interbeoordelaarsbetrouwbaarheid voor de Observatielijst pedagogische kwaliteit
(ICC, jury n=2)

ICC
Groepen .67

1. Basisgroep met vaste pedagogisch medewerker -.018

2. Groepsopbouw en stabiliteit .54

3. Groepsgrootte en ratio .63

4. Opendeurenbeleid .73
Ruimte en inrichting .87

5. Binnenruimte omvang .91

6. Binnenruimte inrichting en sfeer .74

7. Binnenruimte activiteiten en privacy .83

8. Buitenruimte omvang .92

9. Buitenruimte bereikbaarheid .84

10. Buitenruimte inrichting .68
Dagindeling, spelmaterialen en activiteiten .78

11. Evenwichtige (mid)dagindeling .43

12. Spel- en ontwikkelingsmaterialen algemeen .22

13. Sport, beweging, motoriek .83

14. Creatieve en kunstzinnige ontwikkeling .69

15. Muziek, dans, drama/theater .71

16. Taal en denken .45

17. Ruimtelijk inzicht en technische ontwikkeling .85

18. Kennis van natuur .90

19. Gezelschapsspellen -.37

20. Computers en computerspellen .48

21. Activiteitenaanbod .63
Interacties tussen pedagogisch medewerkers en kinderen .47

22. Begroeten en afscheid nemen .85

23. Aandacht, contact en respect voor autonomie .35

24. Leren en aanmoedigen .41

25. Sociaal gedrag, afspraken en regels -.83
Personeelsbeleid en teamontwikkeling .53

26. Teamsamenstelling en -ontwikkeling .58

Pedagogische kwaliteit van buitenschoolse opvang

27. Pedagogische visie .68

28. Scholing en coaching van pedagogisch medewerkers .21

29. Werksfeer .40
Veiligheid en gezondheid .47

30. Veiligheid van en naar de bso .64

31. Veiligheid-pesten .77

32. Veiligheid-ziekte en ongeval .28

33. Gezonde leefstijl -.88
Samenwerking met ouders en externe partners/instellingen .74

34. Contacten met ouders .35

35. Contacten met de basisschool .85

36. Contacten met andere instellingen .30
Kinderen met speciale behoeften (facultatief)

37. Inspelen op kinderen met speciale behoeften Nvt
Totaalscore (1 t/m 36) .65
Totaalscore selectie van betrouwbare schalen .86

Interne consistentie

De interne consistentie, berekend voor de scores over alle items, is adequaat ( =
.74); bij deze berekening is het optionele item 37 buiten beschouwing gelaten,
omdat deze voor veel bso's niet van toepassing was en derhalve meestal niet is
gescoord.

Vier items laten een negatieve item-totaalcorrelatie zien (nr. 15, 27, 31 en 36). De
onderdelen muziek (15), de pedagogische visie (27), het pestbeleid (31) en de
informatie-uitwisseling en samenwerking met andere instellingen (36) wijken
systematisch af van de rest van de schaal: een `gemiddelde' groep op de bso
scoort relatief hoog op de diverse aspecten van de pedagogische kwaliteit en
scoort tegelijkertijd relatief laag op de vier genoemde onderdelen of juist
andersom. Inhoudelijk is opname van de vier onderdelen te verdedigen vanuit
(inhouds)validiteitsoverwegingen, maar vanuit psychometrisch perspectief is
verwijdering van deze vier items te prefereren. Na weglating van deze items

Resultaten

verbetert de interne consistentie ( = .81) en hebben alle items een positieve item-
totaalcorrelatie.

Volledigheidshalve is de interne consistentie ook berekend na weglating van alle
items met een lagere interbeoordelaarsbetrouwbaarheid (

Validiteit

De concurrente validiteit ook wel soortgenootvaliditeit genoemd is bepaald
met behulp van de School-Age Child Environment Rating Scale (SACERS) van
Harms, Jabobs en White (1996). Alle items van dit instrument zijn gebruikt met
uitzondering van de `Special Needs Supplementary Items' (items 44 t/m 49). De
interne consistentie van dit instrument was redelijk ( = .67; 43 items). De
validiteitscoëfficiënt, gebaseerd op 14 observaties, is statistisch significant (r =
.51, p = .03; rs = .58, p = .02). Deze uitkomst laat zien dat de beoordelingen met
de ontwikkelde Nederlandse observatielijst pedagogische kwaliteiten van
buitenschoolse opvang en met de SACERS, die bovendien door verschillende
beoordelaars zijn uitgevoerd, systematisch met elkaar samenhangen. De gedeelde
variantie is overigens niet zeer groot en de scores van de Nederlandse
observatielijst en de Amerikaanse SACERS zijn niet inwisselbaar, al is er dan
sprake van een systematische samenhang. Een sterk verband tussen de scores op
de ontwikkelde observatielijst en de SACERS is op voorhand niet te verwachten
om een aantal redenen. Allereerst is de beoordeling uitgevoerd door verschillende
beoordelaars. Verder `drukt' de niet perfecte betrouwbaarheid van beide
observatielijsten de samenhang. Echter, de meest belangrijke factor is dat de
SACERS een inhoudelijk andere operationalisatie heeft van het begrip
`pedagogische kwaliteit' (zie ook Conclusies en aanbevelingen).
Bij de toepassing van het Amerikaanse SACERS-instrument in de Nederlandse
observaties valt op dat een aantal items niet goed past in de Nederlandse bso-
context. Enkele zaken die leiden tot hogere scores op de SACERS, passen niet
goed in de Nederlandse bso-context en leiden tot andere beoordelingen met de
SACERS dan met de ontwikkelde Nederlandse bso-observatielijst. Zaken als het

Pedagogische kwaliteit van buitenschoolse opvang

ophangen van het menu, frequente ontruimingsoefeningen en het isoleren van
zieke kinderen buiten de groep, zijn in de Nederlandse bso geen gemeengoed.
Deze voorbeelden illustreren dat de SACERS weliswaar een instrument is dat
vergelijkbaar is met de bso-vragenlijst, maar dat er naast enkele overeenkomsten
ook duidelijke inhoudelijke verschillen zijn. Een zeer hoge overeenstemming
tussen de beoordeling met de SACERS en de ontwikkelde bso-observatielijst is
daarom, zoals gezegd, op voorhand niet te verwachten.

Predictieve validiteit

De score van een beoordelaar op de observatielijst hangt positief samen met het
oordeel van de kinderen op de enquête, gemiddeld over de kinderen (r = .44, p =
.045, n = 21 groepen). Er is geen samenhang met de score van de gemiddelde
ouder (r = -.04, p = .87, n = 21 groepen). Echter, de respons per bso-groep is soms
laag en deze bevindingen dienen met de nodige voorzichtigheid te worden
geïnterpreteerd. Een ander punt is dat er weliswaar een samenhang is tussen de
kindvragenlijst en de observatielijst pedagogische kwaliteiten, maar dat er wel
sprake is van een verschil in niveau. Kinderen geven in de vragenlijst hun bso
relatief hoge scores (4,01 op een vijfpuntsschaal, sd = 0,27), beoordelaars geven
op de observatielijst een iets lagere score (3,21 op een vijfpuntsschaal, sd = 0,32);
deze scores zijn gemiddeld over 21 groepen waarvoor beoordelaars-, kind- en
oudergegevens beschikbaar waren. Ouders geven een score tussen deze scores in
(3,61, sd = 0,25).

4.2 Resultaten observatielijst groepsfunctioneren

Betrouwbaarheid

De interbeoordelaarsbetrouwbaarheid van de observatielijst groepfunctioneren is,
algemeen gesproken, laag. Het is op basis van deze betrouwbaarheidsgegevens
niet mogelijk om een betrouwbare schaal te construeren.

Resultaten

Tabel 4.2 Interbeoordelaarsbetrouwbaarheid voor de Observatielijst Groepsfunctioneren
(ICC, jury n = 2)

ICC
Groepsfunctioneren

1. Sfeer .19

2. Spelen .80

3. Activiteiten -.13

4. Gebruik van de binnen- en buitenruimtes .28

5. Onderlinge relaties -.16

6. Onderlinge betrokkenheid .31

7. Reactie op de pedagogisch medewerkers .27

8. Relatie met de pedagogisch medewerkers -.04

9. Structuur en regels .00
Totaalscore .37

Een verklaring voor de lage betrouwbaarheid is deels gelegen in de plafondscores,
dat wil zeggen scores die zo hoog liggen dat er weinig verschillen tussen de bso's
zichtbaar worden. Dit drukt de scores op de gehanteerde betrouwbaarheidsmaat.
Daarnaast is het echter ook zo dat de twee beoordelaars regelmatig van oordeel
verschillen. Mogelijk stelt de schaal, die geen duidelijke ankers kent en bij elk
item diverse aandachtspunten noemt, beoordelaars voor een ingewikkelde opgave,
al blijft dit speculatie. Feit is dat dit instrument oorspronkelijk is ontwikkeld voor
zelfevaluatie en concrete handvatten moest bieden voor een `zelfdiagnose' en het
stimuleren van reflectie en discussie over het groepsfunctioneren. Mogelijk speelt
de `rijke' invulling per deelaspect, die goed past bij de oorspronkelijke
diagnostische doelstelling van dit instrument, beoordelaars in een
wetenschappelijke context parten.

Validiteit

Gezien de te lage interbeoordelaarsbetrouwbaarheid is afgezien van verdere
analyses met betrekking tot de validiteit van de observatielijst groepsfunctioneren.

Pedagogische kwaliteit van buitenschoolse opvang

4.3 Resultaten beoordelingslijst interactievaardigheden
pedagogische medewerkers

In totaal zijn 148 opnames van 43 pedagogisch medewerkers van 18 bso's
beoordeeld. Van deze opnames zijn er 122 gemaakt bij het eerste bezoek aan een
bso en 26 bij een tweede bezoek (de hertest). In totaal waren er drie beoordelaars.
Elke opname werd beoordeeld door twee beoordelaars. Deze beoordelaars waren
overigens telkens anderen dan degene die de bso had bezocht en de opnames had
gemaakt om beïnvloeding tussen de beoordeling met behulp van het observatie-
instrument en andere instrumenten uit te sluiten. Voorafgaand aan de beoordeling
van het videomateriaal heeft een training van de beoordelaars plaatsgevonden. In
die training met vijf bijeenkomsten zijn het theoretische kader en de
beoordelingsschalen besproken, waarna intensief is geoefend met beoordeling.

Betrouwbaarheid

De overeenstemming tussen de beoordelaars bij de beoordeling van de
interactievaardigheden is, algemeen gesproken, goed. De interbeoordelaars-
betrouwbaarheid, uitgedrukt in de intraclasse-correlatiecoëfficiënt van het jury-
ordeel (ICC, two-way random, absolute agreement), is adequaat voor de schalen
Sensitiviteit, Responsiviteit, Niet-intrusieve stijl, Stimulering autonomie,
Structureren en Niet-permissieve stijl. De schaal Positieve interacties vormt een
uitzondering en is onvoldoende betrouwbaar. Een mogelijke verklaring voor de
relatief lage overeenstemming bij deze laatste schaal is dat beoordelaars
verschillen in hun oordeel als de kinderen onderlinge interacties hebben zonder
duidelijke bemoeienis of actie van de pedagogisch medewerker. De beoordelaars
gaven alleen een score voor de schaal Omgang met negatieve interacties als
negatieve interacties naar hun mening voorkwamen. In de meeste opnames was
dit niet het geval volgens de beoordelaars. Scores voor deze schaal zijn er daarom
slechts voor een klein deel van de opnames.

De interne consistentie, berekend over de betrouwbaar gebleken schalen 1 tot en
met 6, is hoog ( = .82). De item-totaalcorrelatie is hoog voor alle
interactievaardigheden (variërend tussen de .59 en .73). De test-hertest
betrouwbaarheid, die is berekend over een zeer kleine steekproef (11 pedagogisch

Resultaten

medewerkers met 24 opnames in de eerste meting en 26 in de hertest-situatie), is
adequaat (rs = .81, p = .002; ICC = .73).

Tabel 4.3 Interbeoordelaarsbetrouwbaarheid voor de beoordelingslijst interactievaardigheden
(ICCgem voor de juryscore, n=2, en de drie beoordelaarsparen)
Schaal ICCgem ICC1-2, ICC1-3, ICC2-3
Sensitieve responsiviteit

1. Sensitiviteit .77 .73, .70, .89

2. Responsiviteit .75 .77, .72, .75
Autonomie

3. Niet-intrusieve stijl .75 .73, .73, .73

4. Stimulering autonomie .70 .71, .72, .69
Regie en leiding

5. Structureren .74 .75, .68, .79

6. Niet-permissieve stijl .72 .68, .75, .73
Begeleiding van interacties

7. Stimulering positieve interacties .33 .47, .39, .13

8. Omgang met negatieve interacties .94 .86, 1, .96
Totaalscore (1 t/m 6)1 .82 .82, .73, .92

De beoordelaars bleken overigens voldoende overeen te stemmen in hun
beoordeling van het aantal kinderen op de opname (ICC = .86). Ook waren zij het
voldoende eens over de situatie die te zien was op de opname (Cohen's kappa is
.91, gemiddeld over de drie beoordelaarsparen). De beoordeling van de actieve of
niet-actieve rol van de pedagogisch medewerker leverde teveel
interpretatieverschillen op en bleek niet betrouwbaar.

Validiteit

De convergente validiteit van het ontwikkelde bso-instrument is onderzocht door
een correlatie te berekenen tussen de totaalscore op het nieuwe instrument en een

1 Schaal 7 was onvoldoende betrouwbaar. Voor schaal 8 konden, zoals verwacht, niet voor
elk fragment scores worden toegekend.

Pedagogische kwaliteit van buitenschoolse opvang

somscore over de interactie-items uit de SACERS die betrekking hebben op de
interactie tussen de pedagogisch medewerkers en de kinderen (de items 28 t/m 33;
Cronbach's : .86). Deze correlatie, die is berekend over 10 groepen, is hoog (r =
.77, p = .005). Deze samenhang is opvallend omdat sprake is van verschillende
meetmethodes en verschillende beoordelaars.

Er is, naar verwachting, een negatieve correlatie tussen het aantal kinderen en de
totaalscore, al is dit verband niet statistisch significant (rs = -.19, p = .08). Helaas
bleek de beoordeling van de variabele `de pedagogisch medewerker is actief/niet
actief', zoals gezegd, niet betrouwbaar genoeg om na te gaan of scores
samenhangen met dit onderscheid.

4.4 Resultaten kindervragenlijst

Interne consistentie

De betrouwbaarheid van de kindvragenlijst is goed ( = .78). Item-
totaalcorrelaties liggen boven de .25 met één uitzondering. Eén item (`Ik leer
nieuwe dingen op de bso') draagt relatief weinig bij aan de betrouwbaarheid van
deze schaal (item-totaalcorrelatie = .17), maar is niet verwijderd in de verdere
analyses.

Validiteit

De correlatie tussen de kindervragenlijst-bso en de (aangepaste) welbevinden-
vragenlijst bedoeld om de convergente soortgenootvaliditeit te bepalen is naar
verwachting relatief hoog (r = .72, p

Resultaten

Rapportcijfer voor de bso (kind)

Tot slot is de kinderen gevraagd een rapportcijfer te geven voor hun bso op een
schaal van 1 tot en met 10. Gemiddeld geven de kinderen hun bso het
rapportcijfer 8,5. Dit rapportcijfer alleen is nadrukkelijk niet bedoeld als een
adequate operationalisatie van pedagogische kwaliteit. Wel geeft het, samen met
de kindervragenlijst, een indicatie van de pedagogische kwaliteit vanuit het
perspectief van het kind.

Betrouwbaarheid

De betrouwbaarheid, dat wil zeggen de interne consistentie, van deze één-item
vraag is niet van toepassing. Andere vormen van betrouwbaarheid (test-hertest)
zijn in deze studie niet bepaald.

Validiteit

Het rapportcijfer dat een kind aan zijn of haar bso geeft, hangt positief samen met
de score op de kindervragenlijst (rs = .43, p

4.5 Resultaten oudervragenlijst

De vragenlijst voor ouders bestaat uit 21 items. De ouders geven bij elk item
antwoord op een vijfpuntsschaal. Twee vragen zijn weggelaten uit de analyses
omdat deze relatief weinig zijn ingevuld. Bij vraag 22 en 23 werd een Likert-
format gecombineerd met een open vraag-format waardoor ouders vaak bij hun
antwoord in woorden geen score op de vijfpuntsschaal meer hebben ingevuld.

Betrouwbaarheid

De interne consistentie van de vragenlijst is hoog ( = .92). Alle item-
totaalcorrelaties liggen boven de .25; een analyse waarin de vragen 22 en 23 zijn
toegevoegd, laat overigens hetzelfde beeld zien.

Pedagogische kwaliteit van buitenschoolse opvang

Validiteit

De scores op de ouderenquête hangen, zoals verwacht, positief samen met de
aangepaste vragenlijst Schoolbeleving (r = .51, p

Resultaten

Tabel 4.4: De betrouwbaarheids- en validiteitsuitkomsten samengevat voor de verschillende
Instrumenten

Interbeoordelaars- Interne Test-hertest-
betrouwbaarheid consistentie betrouwbaarheid
Observatielijst .86 .74
pedagogische kwaliteiten (totaalscore)

Observatielijst .37 -
groepsfunctioneren (totaalscore)

Beoordelingslijst .82 .82 .81
interactievaardigheden (totaalscore)

Kindervragenlijst nvt .78 -

Oudervragenlijst nvt .92 -

Convergente Discriminante Predictieve validiteit
validiteit validiteit
Observatielijst .51* .44*
pedagogische kwaliteiten (kindervragenlijst)

-.04
(oudervragenlijst)
Observatielijst nvt nvt nvt
groepsfunctioneren

Beoordelingslijst .77*

interactievaardigheden

Kindervragenlijst .72* .20* .44*
(observatielijst
pedag.kwaliteiten)
Oudervragenlijst .51* .27* -.04
(observatielijst pedag.
kwaliteiten)

5 Conclusies en aanbevelingen

Het onderzoek heeft een valide en betrouwbaar instrument opgeleverd voor het
meten van de pedagogische kwaliteit van de buitenschoolse opvang in Nederland.
Met het ontwikkelde instrument wordt het mogelijk een landelijk empirisch
onderzoek uit te voeren naar de pedagogische kwaliteit van de buitenschoolse
opvang in Nederland.

Het complete instrument 'Pedagogische kwaliteiten van buitenschoolse opvang',
in de definitieve versie, is opgebouwd uit vier deelinstrumenten: (1) de
observatielijst pedagogische kwaliteiten, voor de beoordeling van de structurele
en organisatorische kenmerken1, (2) de beoordelingslijst interactievaardigheden
pedagogische medewerkers waarmee -op basis van videomateriaal dat tijdens een
observatiebezoek is opgenomen- de proceskwaliteit in kaart wordt gebracht, (3)
de kindervragenlijst en (4) de oudervragenlijst buitenschoolse opvang, waarmee
alle ouders en kinderen hun beoordeling kunnen geven van de pedagogische
kwaliteit van de bso waarvan zij gebruiker zijn.

Het instrument sluit inhoudelijk aan op de Wet Kinderopvang en op de
uitkomsten van een vooronderzoek naar de opvattingen van een brede kring
betrokkenen bij de buitenschoolse opvang in Nederland (Boogaard, Fukkink &
Felix, 2008). 2 Ook is er, met name voor het deelinstrument interactie-
vaardigheden, een duidelijke relatie met het NCKO-instrumentarium voor de
beoordeling van de kwaliteit van de dagopvang voor 0- tot 4-jarigen.
In dit laatste hoofdstuk van onze rapportage staan de conclusies op basis van het
betrouwbaarheids- en validiteitsonderzoek centraal. We bespreken ten eerste (in
§5.1) de kwaliteit van de conceptversie van het instrument, vervolgens (in §5.2)
de uitgevoerde verbeteringen in het herziene instrument en tot slot (in §5.3) onze

1 In de conceptversie was er sprake van een tweede observatielijst, namelijk de observatielijst
groepsfunctioneren. Deze is in de herziene versie van het instrument vervallen en is -in
grondig bewerkte vorm- opgenomen in de observatielijst pedagogische kwaliteiten.

2 In deze studie zijn opvattingen over de gewenste pedagogische kwaliteit van buitenschoolse
opvang geïnventariseerd bij een groot aantal deskundigen, leidinggevenden, pedagogisch
medewerkers, ouders en kinderen.

Pedagogische kwaliteit van buitenschoolse opvang

aanbevelingen voor het gebruik van het instrument in de praktijk en voor
vervolgonderzoek.

5.1 De kwaliteit van het ontwikkelde instrument

We bespreken hieronder de kwaliteit van elk van de deelinstrumenten op basis
van de versie zoals die gebruikt is voor de dataverzameling ten behoeve van het
onderzoek naar de betrouwbaarheid en validiteit van het instrument. Die versie
noemen we hierna steeds 'het conceptinstrument'. De psychometrische kwaliteit
van de meeste onderdelen van het conceptinstrument `Pedagogische kwaliteiten
van buitenschoolse opvang' is voldoende tot zeer goed, variërend per
deelinstrument. Een enkel deelinstrument bleek naar gangbare methodologische
maatstaven onvoldoende van kwaliteit voor gebruik in een wetenschappelijk
onderzoek.

Observatielijst pedagogische kwaliteiten buitenschoolse opvang
De kwaliteit van de observatielijst pedagogische kwaliteiten is, algemeen
gesproken, adequaat. De betrouwbaarheid en validiteit zijn voldoende, uitgaand
van een jury-oordeel. Dat jury-oordeel is dan het gemiddelde van de scores die
zijn toegekend door twee (getrainde) beoordelaars die samen de bso hebben
bezocht en tegelijkertijd maar onafhankelijk van elkaar- hun observaties hebben
uitgevoerd.

Bepaalde schalen uit het conceptinstrument bleken (nog) onvoldoende
betrouwbaar in die zin dat de scores van de twee beoordelaars te sterk
uiteenliepen. Dat gold voor drie schalen uit het conceptinstrument:
Personeelsbeleid, Veiligheid en Interacties. Voor de schaal 'Interacties' -de
beoordeling van de kwaliteit van de interacties tussen pedagogisch medewerkers
en kinderen- bevat het complete instrument een goed alternatief, namelijk het
deelinstrument beoordelingslijst interactievaardigheden.
De overige schalen (Groepen, Ruimte en inrichting, Dagindeling en
Samenwerking met ouders en externe partners/instellingen) bleken als schaal
voldoende betrouwbaar. Wel waren er enkele items die konden vervallen, en
enkele die in aanmerking kwamen voor verbetering.

Conclusies en aanbevelingen

Er is voldoende samenhang tussen de items uit dit deelinstrument (interne
consistentie), wat een aanwijzing is dat er één gedeeld construct `pedagogische
kwaliteit' is gemeten met het instrument. Daarnaast leveren ook analyses op item-
en schaalniveau interessante informatie op: er kan bijvoorbeeld gekeken worden
naar de kwaliteit van 'de ruimte en inrichting', of van 'de dagindeling,
spelmaterialen en activiteiten' los van andere aspecten van de pedagogische
kwaliteiten zoals ze in de observatielijst zijn opgenomen.

Observatielijst groepsfunctioneren

De observatielijst groepsfunctioneren bleek in de conceptversie van het
instrument onvoldoende geschikt voor toepassing in wetenschappelijk
(peilings)onderzoek. Er was te weinig sprake van overeenstemming tussen twee
beoordelaars om te kunnen spreken van een betrouwbaar instrument. Aangezien
het gaat om aspecten van het pedagogisch klimaat die wel uit het vooronderzoek
naar voren komen als kenmerkend voor kwaliteit van buitenschoolse opvang
zoals positieve interacties tussen de kinderen onderling, sfeer in de groep,
vriendschappen- is voor de herziene versie gezocht naar een alternatief.

Beoordelingslijst interactievaardigheden pedagogisch medewerkers
De vaardigheden die beoordeeld worden met het deelinstrument
'interactievaardigheden pedagogisch medewerkers' zijn vergelijkbaar met die in
het NCKO-instrument voor dagopvang voor 0 tot 4 jarigen. Het deelinstrument is
voor de buitenschoolse opvang grotendeels betrouwbaar gebleken. Belangrijk is
daarbij dat er gebruik gemaakt wordt van videomateriaal én van een
jurybeoordeling door minimaal twee (eventueel drie) getrainde observatoren.
Deze observatoren kennen scores toe aan acht aspecten van de communicatie van
de pedagogisch medewerkers met de kinderen, zoals: heeft de pedagogisch
medewerker voldoende regie en leiding, en voldoende oog en oor voor de
kinderen, is er ruimte voor inbreng van de kinderen zelf, reageert zij/hij op de
kinderen, stimuleert zij/hij positieve interacties tussen de kinderen, worden
negatieve interacties afgeremd?

Slechts één subschaal -de beoordeling van de vaardigheid om positieve interacties
tussen kinderen te stimuleren- bleek onvoldoende betrouwbaar. Wanneer het gaat
om die situaties waarin kinderen 'lekker met elkaar aan het spelen zijn' treden te

Pedagogische kwaliteit van buitenschoolse opvang

sterke interpretatieverschillen op tussen de beoordelaars van een actieve, of juist
niet-actieve rol van de pedagogisch medewerker. In de herziene versie van het
instrument is gezocht naar verbetering op dit punt.
Het deelinstrument interactievaardigheden biedt vanuit het oogpunt van
betrouwbaarheid een goed alternatief voor de `live' beoordelingen van de
proceskwaliteit uit de observatielijst pedagogische kwaliteiten die minder
betrouwbaar bleken. Daarnaast zijn er, zoals al genoemd, nog enkele andere
voordelen. Allereerst maakt de beoordelingslijst interactievaardigheden het
mogelijk een gedifferentieerd oordeel te geven over een aantal
interactievaardigheden. Bovendien worden die oordelen gegeven op het niveau
van een individuele medewerker. Het instrument biedt daarmee een
gedifferentieerd en individueel oordeel dat recht doet aan de centrale rol van de
pedagogisch medewerker.

Kindervragenlijst buitenschoolse opvang

De vragenlijst voor kinderen is een betrouwbaar instrument gebleken op het punt
van de interne consistentie. Bovendien zijn in de studie aanwijzingen gevonden
voor de validiteit van het instrument. In de context van de buitenschoolse opvang
is het, anders dan bij de dagopvang voor jongere kinderen, mogelijk de kinderen
direct naar hun mening en ervaringen te vragen. Via het ontwikkelde
deelinstrument blijkt het relatief eenvoudig om de perceptie van de kinderen over
de pedagogische kwaliteit van `hun' bso te bepalen. Het is mogelijk om met deze
lijst één totaaloordeel te bepalen voor de pedagogische kwaliteiten van de
buitenschoolse opvang, volgens de kinderen. Het is ook mogelijk een uitsplitsing
te maken naar de verschillende onderdelen uit de lijst, zoals veiligheid en
welbevinden van het kind, ontwikkelingsmogelijkheden, contacten met andere
kinderen en met de pedagogisch medewerkers, en de duidelijkheid van regels en
afspraken.

Oudervragenlijst buitenschoolse opvang

De vragenlijst voor de ouders is een betrouwbaar instrument gebleken. Ook hier
is enige empirische evidentie gevonden voor de validiteit. In de oudervragenlijst
zijn items opgenomen over de groep, de ruimtes, het pedagogisch beleid en het
contact met ouders en school. Ondanks het feit dat deze items (deels) anders zijn

Conclusies en aanbevelingen

dan die in de kindervragenlijst, blijkt er een sterke overeenkomst tussen de
oordelen van de ouders en de kinderen over de kwaliteit van de buitenschoolse
opvang die zij bezoeken.

De betrouwbaarheids- en validiteitsuitkomsten staan hieronder kort samengevat.

Tabel 5.1: Resultaten van de drie onderzochte aspecten van betrouwbaarheid per
deelinstrument (conceptinstrument)

interbeoordelaars- interne test-hertest-
betrouwbaarheid consistentie betrouwbaarheid
Observatielijst pedagogische + + onvoldoende
kwaliteiten gegevens

Observatielijst - nvt nvt
groepsfunctioneren

Beoordelingslijst + + +
interactievaardigheden

Kindervragenlijst nvt + nvt

Oudervragenlijst nvt + nvt

Tabel 5.2: Resultaten van de vier onderzochte aspecten van validiteit per deelinstrument
(conceptinstrument)

inhouds- convergente discriminante predictieve
validiteit validiteit validiteit validiteit
Observatielijst pedagogische + + nvt +/-
kwaliteiten

Observatielijst + nvt nvt nvt
groepsfunctioneren

Beoordelingslijst + + nvt nvt
interactievaardigheden

Kindervragenlijst + + + +

Oudervragenlijst + + + +/-

Pedagogische kwaliteit van buitenschoolse opvang

5.2 De herziene versie van het instrument

Op basis van de hiervoor besproken conclusies over de betrouwbaarheid en
validiteit van de conceptversie van het instrument, gecombineerd met de
praktijkervaring van de onderzoekers tijdens de observaties in de centra voor
buitenschoolse opvang, is een herziene versie van het instrument samengesteld.
Uiteraard is onbekend welke invloed de aanpassingen precies hebben op de
betrouwbaarheid en/of validiteit van het instrument. Al geldt dat met name voor
de majeure wijzigingen en in mindere mate voor de ook hier en daar aangebrachte
kleinere aanpassingen. Met deze kanttekening bespreken we hieronder de
(overwegingen bij de) uitgevoerde wijzigingen waarmee we zijn gekomen tot de
herziene versie van het instrument dat samen met deze rapportage is opgeleverd
(als losse bijlage).

Observatielijst pedagogische kwaliteiten

Zoals gezegd bleek dat er voor een aantal items te weinig overeenstemming was
tussen de scores die de twee beoordelaars tijdens dezelfde observatie toekenden.
Uit de besprekingen in het onderzoekersteam dat de bso's bezocht en uit de
analyses komt naar voren dat het voor de beoordelaars vooral moeilijk is om
verschillende en mogelijk `conflicterende' bronnen van informatie te wegen en te
integreren in één gedeeld eindoordeel op deze observatielijst. Dit algemene punt
speelt bij drie typen items.

Allereerst, was het zo dat bij een deel van de items informatie uit het interview
met de leidinggevende en de observaties gecombineerd moest worden om te
komen tot een eindoordeel. Bij deze items komt het voor dat de ene beoordelaar
zich sterker laat leiden door de informatie uit het interview, terwijl de andere
beoordelaar meer gewicht toekent aan de eigen observaties. Om een concreet
voorbeeld te geven: een leidinggevende geeft aan dat het beleid is om de kinderen
zoveel mogelijk te laten buitenspelen, op de dag van het bezoek plenst het van de
regen en zien de beoordelaars de kinderen niet buitenspelen. Wat weegt dan het
zwaarst: het reguliere beleid, of de toevallige dag waarop het bezoek plaatsvindt?
Woorden of feiten?

Op dit punt zijn de volgende verbeteringen aangebracht. In de instructie is (nog
sterker) benadrukt dat de basis voor de beoordeling steeds `het objectief

Conclusies en aanbevelingen

waarneembare' moet zijn: `Er is in het programma op elke bso-dag
tijd/gelegenheid om buiten te spelen' wordt dan alleen als aanwezig gescoord
wanneer de beoordelaars ook daadwerkelijk zien dát er kinderen buitenspelen.
Alleen wanneer er heel duidelijke redenen zijn waardoor dat op het
observatiemoment niet mogelijk is, kan op basis van navragen bij de
pedagogische medewerkers alsnog een `positieve' beoordeling worden gegeven.
Ook is, om de balans tussen woorden en feiten te verbeteren, de interviewlijst
bewerkt tot een schriftelijke vragenlijst die voorafgaand aan het observatiebezoek
moet worden ingevuld door de leidinggevende. De vragen in de lijst zijn sterk
voorgestructureerd (beantwoording gebeurt met ja/nee, of via meerkeuze-opties).
Dat maakt dat beide beoordelaars in elk geval over informatie beschikken die
minder ruimte laat voor subjectiviteit van het oordeel.
Ten tweede zijn er in de observatielijst enkele items waarbij een beoordeling moet
worden gegeven over de pedagogisch medewerkers als groep. Dat geldt met name
voor de beoordeling van de interactievaardigheden van pedagogisch
medewerkers. Wanneer er sprake is van grote onderlinge verschillen tussen de
pedagogisch medewerkers, maakt dat een eenduidig oordeel lastiger. De vraag
voor degenen die de observaties uitvoeren is dan of uitgegaan moet worden van
een oordeel over de `gemiddelde medewerker', of van `de zwakste schakel',
wanneer bijvoorbeeld één van de pedagogisch medewerkers zwak lijkt in de
interacties met kinderen. Voor dit aspect is de beoordelingslijst interactie-
vaardigheden pedagogisch medewerkers echter een goed alternatief. In de
herziene versie zijn de betreffende items aangepast door de formuleringen waar
mogelijk te verhelderen en sterker te richten op objectief waarneembaar gedrag.
Item 22 (begroeten en afscheid nemen) blijft verder gehandhaafd, item 23 is
opgesplitst in twee afzonderlijke items, namelijk `aandacht en contact', en
`respect voor autonomie'. In item 24 ligt in de nieuwe versie meer accent op
`stimuleren en aanmoedigen', en is het aspect `registreren van de ontwikkeling
van kinderen' verplaatst naar een ander item (pedagogisch beleid). Het laatste
item uit deze schaal (25, sociaal gedrag) is komen te vervallen. Wel komen de
belangrijke inhoudelijke aspecten hiervan terug in zowel het pedagogisch beleid,
als in de twee nieuwe items rond groepsfunctioneren.
Ten derde is er met name één item (nr. 12) waarbij de beoordelaar gevraagd
wordt een totaaloordeel te geven over al het aanwezige spel- en

Pedagogische kwaliteit van buitenschoolse opvang

ontwikkelingsmateriaal. Bij de erop volgende items is er een afzonderlijke
beoordeling van het materiaal voor de verschillende ontwikkelingsgebieden. Bij
dit item is opnieuw het probleem dat teveel zaken tegelijk moeten worden
beoordeeld. Wanneer er bijvoorbeeld veel materiaal aanwezig is gericht op de
creatieve en motorische ontwikkeling, maar weinig voor muziek, natuur en
ruimtelijk inzicht, is het moeilijk een overkoepelend oordeel te geven en gaan de
scores van de beoordelaars dan ook uit elkaar lopen. In de nieuwe versie van het
instrument is dit item vervallen.

De schalen `Personeelsbeleid' en `Veiligheid', die eveneens onvoldoende
betrouwbaar bleken, zijn eveneens verwijderd. Aangezien dat betekende dat ook
de inhoudsvaliditeit van het instrument zou afnemen, is in plaats daarvan een
nieuwe schaal geconstrueerd waarmee wel de belangrijke inhoudelijke aspecten
(en de items die wel voldoende betrouwbaar zijn gebleken), konden worden
behouden. De nieuwe schaal heet `Pedagogisch beleid en teamontwikkeling'.
Deze bevat items op het gebied van teamsamenstelling en ontwikkeling, en op het
gebied van pedagogische doelen (waaronder aandacht voor wennen, welbevinden
en pesten) en coaching van pedagogisch medewerkers en aandacht voor fysieke
veiligheid. Ook is bij de herformulering, meer nog dan bij de conceptversie van
het instrument, aandacht besteed aan het benoemen van indicatoren die objectief
waarneembaar zijn voor de observatoren.

Observatielijst groepsfunctioneren

De observatielijst groepsfunctioneren bleek in de conceptversie moeilijk
betrouwbaar te scoren. De beoordelingsschaal zoals die was gekozen, bood de
beoordelaars te weinig houvast. Wel gaat het om een onderdeel van de
pedagogische kwaliteit dat door deskundigen en betrokkenen als zeer relevant
wordt ervaren. Om die reden is ervoor gekozen om items zo te bewerken dat het
aspect `groepsfunctioneren' past in de observatielijst pedagogische kwaliteiten,
waar de vijfpuntsschaal duidelijk omschreven ankers kent, plus een vaste
werkwijze waarbij de beoordelaar `van links naar rechts' het item invult zoals dat
ook gebeurt in andere observatielijsten zoals de SACERS van Harms en collega's
(1996) en de hiervan afgeleide Duitse HUGS van Tietze en collega's (2007) voor
de bso, maar ook de ITERS en ECERS voor de opvang van het jongere kind. Er
zijn daarom twee nieuwe items geformuleerd die opgenomen worden aan het eind

Conclusies en aanbevelingen

van de observatielijst pedagogische kwaliteiten, namelijk `groepsfunctioneren: het
gedrag van de kinderen' en `groepsfunctioneren: het gedrag van de pedagogisch
medewerkers'.

Beoordelingslijst interactievaardigheden pedagogisch medewerkers
De beoordelingslijst interactievaardigheden bleek, zoals gezegd, goed bruikbaar
met uitzondering van één subschaal, namelijk die voor de beoordeling van de
vaardigheid in het stimuleren van positieve interacties tussen de kinderen. De
beoordelaars waren het vaak wel eens over de rangorde van de beoordeelde
fragmenten, maar niet over het absolute niveau op de gehanteerde vijfpuntsschaal.
Lastig bleek met name het beoordelen van een situatie waarin de kinderen, in
diverse groepjes, bezig zijn zonder dat duidelijk aanwijsbaar is of de pedagogisch
medewerker actie onderneemt om de kind-kind-interacties te stimuleren, terwijl
die interacties er duidelijk wel zijn. De vraag is hier, heel kort samengevat, of het
proces (hier: weinig zichtbare, gerichte inspanning van de pedagogisch
medewerker) of het resultaat (hier: verschillende positieve interacties tussen de
kinderen) moet worden beoordeeld. Om dit probleem op te lossen is de
handleiding voor het deelinstrument aangepast op zo'n manier dat de
beoordelaars meer houvast wordt geboden bij de beoordeling van dit aspect. Een
ander praktisch punt is de toegevoegde waarde van de aparte schaal voor het
omgaan met negatieve interacties, die niet vaak voorkomen en die daardoor
weinig wordt gescoord.

Voor dit instrument is nu uitgebreid videomateriaal beschikbaar voor
trainingsdoeleinden. Het is daardoor mogelijk om toekomstige beoordelaars
gericht te trainen voorafgaand aan het beoordelen van de opnames.

Kindervragenlijst

In de kindervragenlijst waren geen verbeteringen nodig. De hoeveelheid respons
is echter wel een aandachtspunt voor eventueel toekomstig onderzoek naar de
kwaliteit van buitenschoolse opvang. Het verdient aanbeveling om zoveel
mogelijk enquêtes van álle kinderen die de bso bezoeken te verzamelen om
daarmee een voldoende breed beeld te krijgen. Er zou gekozen kunnen worden
voor een aanpak waarbij kinderen de vragenlijst bijvoorbeeld tijdens hun verblijf
op de bso kunnen invullen. Voor de jongste groep (4- tot 7-jarigen) is overigens

Pedagogische kwaliteit van buitenschoolse opvang

wel begeleiding bij dat invullen nodig aangezien hun leesvaardigheid daarvoor
nog niet voldoende is ontwikkeld. Eventueel kan in toekomstig onderzoek worden
nagegaan of er systematische verschillen optreden als kinderen de vragenlijst op
de bso beantwoorden in plaats van thuis, al dan niet samen met hun ouders.

Oudervragenlijst

Ook voor de oudervragenlijst geldt dat geen majeure aanpassingen nodig waren.
Verder is ook voor dit instrument in toekomstig onderzoek van belang te streven
naar een zo groot mogelijke respons om een goed beeld te krijgen van de mening
van ouders over de pedagogische kwaliteiten van de buitenschoolse opvang in het
algemeen.

Een aandachtspunt voor vervolgonderzoek ligt bij de items die betrekking hebben
op het reilen en zeilen op de groep. Hier zou verder kunnen worden nagegaan in
hoeverre ouders vinden dat zij daar voldoende zicht op hebben om tot een
beoordeling te kunnen komen. Daarbij gaat het om stellingen als: mijn kan mag
zelf kiezen wat het gaat doen, de middagen hebben een duidelijke structuur en
dergelijke. bij twijfel is het mogelijk een klein aantal items te laten vervallen
zonder afbreuk te doen aan de inhoudsvaliditeit.

Een algemeen punt voor de (door)ontwikkeling van het meetinstrument is na te
gaan hoe de Nederlandse bso zich ontwikkelt in de nabije toekomst. De sector is
relatief jong en is in beweging. Het bso-instrument kan inhoudelijk aangepast en
bijvoorbeeld uitgebreid worden op basis van nieuwe ontwikkelingen en groeiend
inzicht. Interessant in dit verband is de aanstaande ontwikkeling van een
pedagogisch kader voor de bso, vergelijkbaar met het Pedagogische Kader voor
de 0- tot 4-jarigen in de dagopvang, dat mogelijk handvatten biedt voor
aanscherping van het meetinstrument pedagogische kwaliteiten-bso zoals het er
nu ligt.

5.3 Voorwaarden en aanbevelingen

Tot slot van dit onderzoek formuleren we een aantal voorwaarden voor het
gebruik van het ontwikkelde meetinstrument pedagogische kwaliteiten

Conclusies en aanbevelingen

buitenschoolse opvang (MPK-bso), en een aantal aanbevelingen voor onderzoek
en beleid.

Voorwaarden bij het gebruik van het instrument

· Het instrument is ontwikkeld voor gebruik in wetenschappelijk
onderzoek om een kwaliteitsoordeel te geven over buitenschoolse opvang
als sector. Het doel is dat op basis daarvan aanknopingspunten worden
gevonden voor verbetering van de kwaliteit van deze vorm van
kinderopvang en voor scholing van pedagogisch medewerkers. Voor een
goed beeld van de pedagogische kwaliteit, vanuit zowel het perspectief
de externe deskundigen, als de direct betrokken ouders en kinderen, is
het nodig dat alle vier de deelinstrumenten worden ingezet. Wel moet
nog duidelijk worden gemaakt hoe de verschillende perspectieven zich
tot elkaar verhouden. Concreet, de instrumenten waarbij gewerkt wordt
met een getrainde, externe beoordelaar kent een heel ander perspectief
dan de instrumenten voor ouders en voor kinderen.

· Vanuit methodologisch perspectief is het noodzakelijk dat voor de
scoring van de observatielijst pedagogische kwaliteiten wordt uitgegaan
van een jury-oordeel van twee beoordelaars. Dat houdt in dat altijd twee
onafhankelijke observatoren op dezelfde dag een locatie voor
buitenschoolse opvang bezoeken, en beiden de observatielijst invullen.
De scores worden vervolgens bepaald op basis van het gemiddelde
oordeel van beide observatoren.

· De observatoren maken tijdens hun bezoek video-opnames van de
pedagogisch medewerkers, en voor elk minimaal drie fragmenten
verspreid over de (mid)dag en het type activiteiten. Voor de beoordeling
van de video-opnames met de beoordelingslijst interactievaardigheden
geldt dat twee (en idealiter drie) beoordelaars elk fragment beoordelen
om een zo betrouwbaar mogelijk jury-oordeel te kunnen bepalen.

· Voor de deelinstrumenten `observatielijst pedagogische kwaliteiten
buitenschoolse opvang' en `beoordelingslijst interactievaardigheden

Pedagogische kwaliteit van buitenschoolse opvang

pedagogisch medewerkers' is een aparte en uitgebreide training
essentieel, voorafgaand aan de feitelijke dataverzameling. In die training
kunnen de ervaringen uit het uitgevoerde validatieonderzoek een nuttige
rol kunnen spelen.

· De ouder- en kindervragenlijsten kunnen eventueel ook worden gebruikt
door een individuele bso-locatie die inzicht wil krijgen in de eigen
kwaliteit zoals die wordt ervaren door hun belangrijkste `klanten'. In dat
geval is het wel van belang dat er voldoende respons wordt verkregen.

Aanbevelingen voor onderzoek en beleid

· Achterliggend doel bij het ontwikkelen van het meetinstrument
pedagogische kwaliteiten buitenschoolse opvang was de wens van het
kabinet om de kwaliteit van buitenschoolse opvang in Nederland in kaart
te brengen. Het ontwikkelde meetinstrument pedagogische kwaliteiten
van buitenschoolse opvang is voldoende valide en betrouwbaar gebleken.
Onze belangrijkste aanbeveling aan de beleidsmakers is dan ook om een
dergelijk landelijk onderzoek te gaan uitvoeren met behulp van dit
instrument.

· Ook voor de branche zelf is het wellicht interessant om het instrument in
te zetten voor het evalueren van de eigen kwaliteit. Hiervoor moet dan
wel het ontwikkelde, wetenschappelijke instrument worden bewerkt tot
een veldversie c.q. een zelfevaluatie-instrument dat ook door individuele
bso-locaties kan worden gebruikt. Het veldinstrument dient een heel
ander doel dan het gebruik van het wetenschappelijke instrument in
wetenschappelijk onderzoek.

· Het instrument zoals het er nu ligt, is bijgesteld op basis van de
uitkomsten van de validatiestudie. In een eventueel landelijk onderzoek
verdient het zeker aanbeveling om op een aantal punten verder onderzoek
te doen naar de betrouwbaarheid en validiteit, en dan op een uitgebreider
bestand van bso's. De aanbevolen werkwijze via jurybeoordelingen

Conclusies en aanbevelingen

maakt zulk onderzoek heel goed mogelijk. Dit (toekomstige) onderzoek
geeft waardevolle aanvullende informatie over de meetkwaliteit van het
nieuwe, gereviseerde instrument op basis van een grotere steekproef.

Literatuur

Adams, K., Brickman, N., & McMahon, T. (2005). Youth Program Quality
Assessment; Form A Program Offering Items, Older Youth Grades 4-12.
Ypsilanti, MI: HIGH/SCOPE Press.

Balledux, M. (2001). Werken aan welbevinden. Het evaluatie-instrument voor de
kinderopvang opnieuw bekeken. Utrecht: NIZW/VOG.

Beckett, M., Hawken, A., & Jacknowitz (2001). Accountability for after-school
care; Devising standards and measuring adherence to them. Santa Monica, CA:
RAND.

Boogaard, M., Fukkink, R., & Felix, C. (2008). Chillen, skaten, gamen;
Opvattingen over kwalitatief goede buitenschoolse opvang in Nederland.
Amsterdam: SCO-Kohnstamm Instituut.

Boom, D. van den (1999). Ouders op de voorgrond. Een educatievelijn voor 0-18
jaar. Utrecht: SARDES.

Collins, W.A., Madsen, S.D., & Susman-Stillman, A. (2002). Parenting during
middle childhood. In M.H. Bornstein (ed.), Handbook of parenting (2nd. Ed.),
Vol. I (p. 73-114). Mahwah, NJ: Lawrence Erlbaum.

De Kruif, R.E.L., Vermeer, H.J., Fukkink, R.G., Riksen-Walraven, M.J.A.,
Tavecchio, L.W.C., & Van IJzendoorn M.H., & Van Zeijl, J. (2007). De
Nationale Studie Pedagogische Kwaliteit Kinderopvang: Eindrapport Project 0
en 1. Amsterdam/Leiden: Nederlands Consortium Kinderopvang Onderzoek.

Eccles, J.S., Wigfield, A, & Schiefele, U. (1998). Motivation to succeed. In W.
Damon (Series Ed.) & N. Eisenberg (Vol.Ed.), Handbook of child psychology:
Vol. 3. Social, emotional and personality development (5th ed., p. 1017-1095).
New York: Wiley.

Pedagogische kwaliteit van buitenschoolse opvang

Eccles, J.S. (1999). The development of children ages 6 to 14. The Future of
Children, 9, 30-44.

Fukkink, R.G., Tavecchio, L.W.C., De Kruif, R.E.L., Vermeer, H.J., & Van Zeijl,
J. (2006). Criteria voor kwaliteit van kinderopvang: Visies van sleutelfiguren.
Pedagogiek, 25(4), 243-261.

Gilsing, R. (2007). Liefst zoals thuis; Ouders en kinderen over buitenschoolse
opvang. Den Haag: SCP.

Halpern, R. (2000). The promise of after-school programs for low-income
children. Early Childhood Research Quarterly, 15, 185-214.

Harms, T., Jacobs, E.V., & White, D.R. (1996). School-age Care Environment
Rating Scale. New York: Teachers College Press.

Meij, H. & Schreuder, L. (2007). Welkom in de groep. Groepsindeling en
opendeurenbeleid in kinderdagverblijven en buitenschoolse opvang. Utrecht:
NJi/SWP.

Meij, H., & Hoex, J. (2001). SPEEL. Samenwerken aan kwaliteit in de
peuterspeelzaal. Handleiding voor begeleiders. Utrecht: NIZW.

NCKO (2006). Schalen interactievaardigheden NCKO. Amsterdam/Leiden
/Nijmegen: Nederlands Consortium Kinderopvang Onderzoek.

Nunally, J.C., & Bernstein, I.H. (1994). Psychometric theory (3th. ed.). New
York: McGraw-Hill.

Peeters, J., & Woldringh, C. (1993). Leefsituatie van kinderen tot 12 jaar in
Nederland. Nijmegen: Instituut voor Toegepaste Sociale Wetenschappen.

Literatuur

Peetsma, T.T.D., Wagenaar, E., & Kat, E. de (2001). School motivation, future
time perspective and well- being of high school students in segregated and
integrated schools in the Netherlands and the role of ethnic self-description. In J.
K. Koppen, I. Lunt & C. Wulf (Eds.), Education in Europe, cultures, values,
institutions in transition. Vol. 14 (pp. 54-74). Münster/New York: Waxmann.

Pierce, K.M., Hamm, J.V., & Vandell, D.L. (1999). Experiences in after-school
programs and children's adjustment in first-grade classrooms. Child
Development, 70, 756-767.

Raffaelli, M., Crockett, L.J., & Shen, Y. (2005). Developmental stability and
change in self-regulation from childhood to adolescence. The Journal of Genetic
Psychology, 166(1), 54-75.

Riggs, N.R., & Greenberg, M.T. (2004). After-school youth development
programs: a developmental-ecological model of current research. Clinical Child
and Family Psychology Review, 7, 177-190.

Riksen-Walraven, M. (2004). Pedagogische kwaliteit in de kinderopvang;
doelstellingen en kwaliteitscriteria. In R. van IJzendoorn, L. Tavecchio & M.
Riksen-Walraven (red.), De kwaliteit van de Nederlandse kinderopvang (p. 100-

123). Amsterdam: Boom.

Shrout, P.E., & Fleiss, J.L. (1979). Intraclass correlation coefficents: Uses in
assessing rater reliability. Psychological Bulletin, 86, 420-428.

Tietze, W., Roßbach, H.-G., Stendel, M., & Wellner, B. (2007). Hort- und
Ganztagsangebote-Skala (HUGS). Berlin, Germany: Cornelsen Scriptor.

Vandell, D.L., & Posner, J.K. (1999). Conceptualization and measurement of
children's after-school environments. In: S. L. Friedman & T. D. Wachs (Eds.),
Assessment of the environment across the life span (p.167-196). Washington D.C:
American Psychological Association.

Pedagogische kwaliteit van buitenschoolse opvang

Vandell, D.L., & Shumow, L. (1999). After-school child care programs. The
Future of Children, 9, 64-80.

Veen, A., Boogaard, M., & Fukkink, R. (2008). Integraal traject 0-12 jaar.
Onderzoek voor de Onderwijsraad t.b.v. het advies: Een rijk programma voor
ieder kind. Amsterdam: SCO-Kohnstamm Instituut (rapport nr. 790).

Veerman, J.W. (1989). De Competentiebelevingsschaal voor kinderen; Een
experimentele handleiding. Amsterdam: Paedologisch Instituut.

Bijlage 1: Voorbeelditem uit de observatielijst pedagogische kwaliteiten bso

Beweging en motoriek

Er zijn materialen aanwezig die uitnodigen tot bewegen, zoals ballen, springtouwen, gymnastiekmatten, eventueel fietsjes, een glijbaan, een tafeltennistafel, of
misschien eenwielers, en de kinderen krijgen veel gelegenheid om te bewegen (er is ruimte om te rennen, ook al mag dat misschien niet steeds of overal).

1 voldoet niet 2 voldoet niet 3 voldoet 4 voldoet 5 voldoet uitstekend
helemaal goed

1.1 Er is geen materiaal beschikbaar voor 3.1 Er zijn meerdere materialen beschikbaar 5.1 Er worden activiteiten aangeboden waarmee
dit ontwikkelingsgebied of het voor dit ontwikkelings-gebied die kinderen de kinderen hun vaardigheid op dit ontwikke-
beschikbare materiaal is niet voor de vrij kunnen gebruiken, zelfstandig kunnen lingsgebied gericht kunnen vergroten (clinics,
kinderen vrij toegankelijk. pakken en opruimen. individuele of groepslessen etc.)

1.2 Het beschikbare materiaal is in slechte 3.2 De materialen zijn in goede staat 5.2 Er is zichtbaar aandacht voor wat de kinderen
staat (kapot of vies). (niet kapot of vies). hebben geleerd/kunnen, er wordt bijvoorbeeld
soms een competitie of demonstratie of open
les gehouden waarnaar ook andere kinderen
en/of de ouders komen kijken.

1.3 Het beschikbare materiaal sluit niet aan 3.3 De beschikbare materialen sluiten aan bij
bij één van de leeftijdgroepen van de de verschillende leeftijdgroepen (4-5 jaar,
aanwezige kinderen. 6-8 jaar en 8 jaar en ouder).

Recent uitgegeven SCO rapporten

818 Vergeer, M.M. m.m.v. Felix, Ch., Derriks, M., Ledoux, G.
Scholen ondersteunen bij omgaan met verschillen

817 Veen, A., Daalen, M. van

Doorgaande lijn voor- en vroegschoolse educatie

815 Roeleveld, J., Veen, I. van der, Ledoux, G.
Verkenning leerwinst als indicator voor onderwijskwaliteit

814 Boogaard, M., Derriks, M.

Waarden en normen in interculturele context

813 Schooten, E. van, Sleegers, P.

Onderzoek naar de effectiviteit van VVE- en peuterspeelzalen in Ooster-
hout en Den Bosch

812 Ledoux, G., Blok, H., Boogaard, M., m.m.v. Krüger, M.
Opbrengstgericht werken over de waarde van meetgestuurd onderwijs

810 Derriks, M., Kat, E. de

Maatjesaanpak in een Jenaplanschool

809 Jong, U. de, Ledoux, G., Emmelot, Y., Roeleveld, J.
Opleiden in de school

808 Daalen, M. van, Vrieze, G., Karsten, S., Kessel, N. van
Onbevoegd lesgeven: een noodoplossing.

807 Emmelot, Y., Ledoux, G., Veen, I. van der. m.m.v. Breetvelt, I.
Innovatiemonitor Primair Onderwijs

805 Fukkink, R.

Evaluatie van het SHare In Trust-project.

804 Peetsma, T., Veen, I. van der

Een tweede onderzoek naar de beïnvloeding van motivatie bij vmbo-
leerlingen.

803 Veen, A., Roeleveld, J., Daalen, M. van
Implementatie en effecten van Voor- en Vroegschoolse Educatie in Rot-
terdam. Samenvatting.

Deze rapporten zijn te bestellen via:

http://www.sco-kohnstamminstituut.uva.nl/webwinkel/bestellen.htm

vrijdag 11 september 2009