Veel neuro-onderzoek bevat ernstige statistische fout
Veel van het neurowetenschappelijk onderzoek bevat een ernstige
statistische fout, ontdekte cognitief psycholoog Sander Nieuwenhuis van
de Universiteit Leiden. Ook als het onderzoek gepubliceerd is in
toptijdschriften als Nature en Science.
Nature Neuroscience
In een artikel in Nature Neuroscience rapporteert Nieuwenhuis samen met
collegaâs van de Universiteit van Amsterdam de resultaten van een
omvangrijk literatuuronderzoek waaruit blijkt dat neurowetenschappers
grote moeite hebben met het rapporteren van statistische interacties.
Een typisch voorbeeld van de statistische fout is: 'Oefening met de
taak vergrootte de neurale activiteit in de genetisch gemodificeerde
muizen (P 0.05)'.
Fout argument
De onderzoekers willen eigenlijk beweren dat één effect groter is dan
een ander effect: Het oefeneffect op hersenactiviteit in genetisch
gemodificeerde muizen is groter dan het oefeneffect in controlemuizen.
Om die bewering te ondersteunen horen ze een statistisch significante
interactie te rapporteren (tussen mate van oefening en type muizen).
Maar in plaats daarvan rapporteren ze dat één effect statistisch
significant is terwijl het andere effect dat nÃet is. Hoewel deze
bewering in eerste instantie overtuigend kan overkomen, betreft het een
fout argument omdat het verschil tussen 'significant' en 'niet
significant' niet per se zelf significant is.
Significantie
Met statistische significantie (uitgedrukt in een p-waarde op een
schaal van 0 tot 1) wordt bedoeld dat een resultaat waarschijnlijk niet
op toeval berust. Als p
Alarmbellen
Nieuwenhuis en collegaâs ontdekten dat in de cognitieve
neurowetenschappen deze statistische fout minstens zo vaak voorkomt als
de correcte procedure, ook in toptijdschriften als Nature en Science.
In deze tijdschriften zijn dus studies gepubliceerd waarvan één van
de hoofdconclusies gebaseerd is op een foute statistische procedure. In
de basale neurowetenchappen komt de fout nog veel vaker voor, bleek uit
het literatuuronderzoek. In een eerdere publicatie is betoogd dat de
fout ook in de sociale wetenschappen veel te vaak wordt gemaakt (Gelman
& Stern, 2006, American Statistician). Nieuwenhuis en collegaâs hopen
dat hun publicatie alarmbellen doet rinkelen bij onderzoekers en
reviewers.
Nieuwenhuis, S., Forstmann, B.U., & Wagenmakers, E.-J. (2011).
Erroneous analyses of interactions in neuroscience: A problem of
significance. 1105-1107
Europese subsidie
Dr. Sander Nieuwenhuis is als cognitief psycholoog verbonden aan het
Leiden Institute for Brain and Cognition (LIBC) en aan de Faculteit
Sociale Wetenschappen. Hij ontving in juli 2011 een Starting
Investigator Grant van de European Research Council om onderzoek te
doen naar het effect van de neurotransmitter noradrenaline op de
hersenen.
Universiteit Leiden