Speelruimte in data-analyse maakt falende meetinvariantietest onscha..


21 juli 2015

De vragen van een enquete mag je als respondent best door de jaren heen anders gaan interpreteren: daarmee wordt de uitkomst nog niet ongeldig, wat veel onderzoekers denken. De juiste hoeveelheid speelruimte toevoegen met behulp van Bayesiaanse statistiek kan een gebrek aan `meetinvariantie'
onschadelijk maken. Dat betogen statisticus Rens van de Schoot en anderen in een speciale uitgave van het tijdschrift 'Frontiers in Psychology - Quantitative Psychology and Measurement' dat met 20 artikelen geheel is gewijd aan meetinvariantie. Van de Schoot verricht zijn onderzoek met
Veni-financiering uit de Vernieuwingsimpuls. Hij ontving vorige maand ook een Vidi.

Onderzoekers gebruiken graag vragenlijstonderzoek om groepen personen of landen met elkaar te vergelijken en langdurig te volgen. Bij dergelijk onderzoek is de aanname dat individuen herhaalde vragen over de tijd heen wel op identieke wijze interpreteren. Of dat inwoners uit verschillende
delen van Europa alle vragen gelijk interpreteren. Deze aanname heet `meetinvariantie', een belangrijke voorwaarde voordat de onderzoeker inhoudelijke conclusies trekt. Bij schending van deze voorwaarde wijzigt de betekenis van het onderliggende zogeheten `construct' dat je probeert te meten
met de vragenlijst. En dan gaat het mis.

Nederlandse commando's op patrouille in Mali. Foto DefensieNederlandse commando's op patrouille in Mali. Foto Defensie

Rens van de Schoot: `Een voorbeeld van schending van zo'n aanname komt uit het onderzoek naar Nederlandse militairen die naar Afghanistan werden uitgezonden. Bij vertrek uit Nederland en bij thuiskomst vulden zij een vragenlijst in die post-traumatische stress meet. Uit de test die
meetinvariantie moet vaststellen bleek dat deze militairen voor en na uitzending de gestelde vragen bepaald anders benaderden. Een vraag als `heb je nachtmerries?' had door de gebeurtenissen in Afghanistan een andere inhoudelijke betekenis gekregen. Immers, een nachtmerrie voor uitzending
beschouwden de militairen waarschijnlijk meer als een `onaangename droom' nu zij na terugkeer pas echte nachtmerries beleefden. Zelfde vraag, andere betekenis.'

Recente nieuwe optie

Een falende `meetinvariantietest' heeft grote gevolgen voor onderzoeksresultaten: in dit geval konden de stresslevels van militairen voor en na uitzending niet meer vergeleken worden op basis van de gebruikte vragenlijst. Tot voor kort waren er dan twee mogelijke oplossingen: de antwoorden op
de betreffende vragen niet opnemen in de eindresultaten of de afwijking simpelweg negeren. Er is recentelijk een nieuwe optie bij gekomen.

Van de Schoot: `Met behulp van Bayesiaanse statistiek - waarmee voorkennis gebruikt kan worden in de analyses - kun je een beetje speelruimte toelaten in het statistisch model, zo blijkt uit onderzoek. Op deze manier hoeven vragenlijsten niet perfect hetzelfde te meten in verschillende groepen
of over de tijd, maar worden er kleine marges van vrijheden toegestaan. En dan werkt het wel. Dit is nu voor het eerst toegepast in het special issue van Frontiers in Psychology op diverse grote datasets, bijvoorbeeld van de European Social Survey. In alle gevallen met succes! Dit kan de
wereld van de grootschalige onderzoeksprojecten op zijn kop zetten.'

In de speciale uitgave rond meetinvariantie van open access-tijdschrift Frontiers in Psychology - Quantitative Psychology and Measurement staan allerlei bijdragen die deze nieuwe methode uitgebreid testen en toepassen. Van de Schoot: `Het tijdschrift biedt een afgerond overzicht van de huidige
stand van zaken op het gebied van meetinvariantie met tal van voorbeelden, hoe de test uit te voeren en wat te doen als deze test `faalt'. Elke onderzoeker die werkt met vragenlijsten en die groepen of landen met elkaar wil vergelijken of individuen langdurig volgt, moet dit tot zich nemen.'

Meer informatie

Dr. A.G.J. (Rens) van de Schoot (1979) startte zijn Veni-project `Integrating background knowledge about traumatic stress experienced after trauma into statistical models assessing individual change over time' in 2012. Hij is onderzoeker aan de Universiteit Utrecht, Departement
Maatschappijwetenschappen, afdeling Methoden en Statistiek.

Veni biedt persoonsgebonden financiering aan talentvolle, creatieve onderzoekers. Het financieringsinstrument, onderdeel van de Vernieuwingsimpuls, maakt het mogelijk onderzoek naar eigen keuze te doen.

Vidi is gericht op onderzoekers die na hun promotie al een aantal jaren onderzoek op postdoc-niveau hebben verricht. Ze hebben daarbij aangetoond vernieuwende ideeen te genereren en deze succesvol zelfstandig tot ontwikkeling te kunnen brengen. Zij mogen een eigen vernieuwende onderzoekslijn
ontwikkelen en daartoe zelf een of meer onderzoekers aanstellen.

* Project van Rens van de Schoot in de projectendatabase
* Special issue Frontiers in Psychology
* Bijdrage van Van de Schoot (editorial)
* Bijdrage van Van de Schoot (casus van Nederlandse militairen)

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Bron: NWO