Universiteit Leiden

'Bij citatiescores moet je appels met appels vergelijken'

Scientometrie, het systematisch meten van onderzoekskwaliteit, kwam op in de jaren tachtig. De daarop gebaseerde rankings van universiteiten krijgen maatschappelijk steeds meer gewicht. Paul Wouters, directeur van het Centrum voor Wetenschaps- en Technologiestudies, houdt 21 januari zijn oratie over het meten van wetenschappelijke kwaliteit.

Het Leidse CWTS (Centrum voor Wetenschaps- en Technologie Studies) is innig verbonden met de oprichter en eerste directeur, prof.dr. Ton van Raan. Hij is per 1 september 2010 met emeritaat, maar behoudt een werkkamer op het instituut en blijft adviseur van het CWTS. Paul Wouters nam vorig jaar het roer van hem over. Vrijdag 21 januari houdt de hoogleraar Scientometrie zijn oratie Kritiek een plek geven in het onderzoek.

Wouters zal het roer niet radicaal omgooien, maar wel belangrijke accentverschillen aanbrengen. 'Ik wil nog meer aandacht geven aan het visualiseren van data, het maken van mooie kaarten van vakgebieden en van het onderzoek binnen grote instituten. Verder heb ik, toen ik begon, duidelijk gemaakt dat ik de ramen meer wil openzetten, en daar is sterk draagvlak voor onder de medewerkers. Bijvoorbeeld: bij de wekelijkse seminars zijn andere onderzoekers en het publiek voortaan welkom. Verder wil ik de kritiek die er ook is op wetenschapsindicatoren meer dan voorheen een plek geven in het het CWTS. Het centrum is er niet alleen om uitstekende indicatoren te maken, maar ook om de wetenschappelijke analyse van de rol van prestatie-indicatoren, inclusief kritiek op het verkeerd gebruik ervan, verder te ontwikkelen.'

Citaties tellen

Vanaf de jaren '80 kwamen wetenschappelijke artikelen terecht in grote databanken. Dit maakte het nieuwe vakgebied mogelijk van de de Scientometrie, het systematisch meten van de kwaliteit van onderzoek. Een basis-axioma van de kwaliteitsmeting van onderzoek is, dat je niet alleen de aantallen wetenschappelijke publicaties telt, maar aantallen verwijzingen naar die publicaties, ofwel citaties. Pas als collega's je werk noemen in hun eigen vakpublicaties, heeft het blijkbaar kwaliteit. Het tellen en statistisch analyseren van de vele miljoenen citaties in de wetenschappelijke literatuur is een onderzoeksgebied op zich geworden, waarin Van Raan met zijn CWTS een voortrekkersrol vervuld heeft, die heeft geresulteerd in de gezaghebbende Leiden Ranking van universiteiten. Niet alle onderzoekers kunnen zich vinden in de ranglijsten die voor bestuurders steeds meer gewicht in de schaal zijn gaan leggen.

Appels met appels vergelijken

Paul Wouters, tot dit jaar directeur van de Virtual Knowledge Studio, een instituut van de KNAW, is zich welbewust van het spanningsveld tussen de 'kille' citatie-indicatoren en een ongrijpbaar begrip als 'kwaliteit'. Details wil hij nog niet prijsgeven, maar zijn oratie zal gaan over de veranderende rol van de scientometrie en de citatieanalyse in wetenschap en maatschappij.

'Heel lang had de Science Citation Index van Eugene Garfield in Philadelphia een monopolie, maar er zijn nu veel meer databanken op dit gebied, die ook online toegankelijk zijn. Citatie-analyse is voor een deel routine geworden.'

Wouters spreekt in dit verband van do it yourself scientometrie: 'Dat is aardig voor een eerste indruk, daar hebben mensen het CWTS niet meer voor nodig. Maar zoiets is niet bruikbaar voor een onderzoeksevaluatie. Bij een evaluatie moet je appels met appels vergelijken: je moet citatiescores goed normaliseren per vakgebied. Bijvoorbeeld: in de wiskunde citeren onderzoekers elkaar veel minder dan in de klinische wetenschappen. Om dat goed te doen, dat is echt een enorme puzzel, en daar heb je het CWTS nog wel voor nodig.'

Visiualiseren van data

Wouters zal het roer niet radicaal omgooien, maar wel belangrijke accentverschillen teweeg brengen. 'Ik wil nog meer aandacht geven aan het visualiseren van data, het maken van mooie kaarten van vakgebieden en van het onderzoek binnen grote instituten. Verder heb ik, toen ik begon, duidelijk gemaakt dat ik de ramen meer wil openzetten, en daar is sterk draagvlak voor onder de medewerkers. Bijvoorbeeld: bij de wekelijkse seminars zijn andere onderzoekers en het publiek voortaan welkom. Verder wil ik de kritiek die er ook is op wetenschapsindicatoren meer dan voorheen een plek geven in het het CWTS. Het centrum is er niet alleen om uitstekende indicatoren te maken, maar ook om de wetenschappelijke analyse van de rol van prestatie-indicatoren, inclusief kritiek op het verkeerd gebruik ervan, verder te ontwikkelen.'

Vrijdag 21 januari, 16.15 uur
Oratie Prof.dr. P.F. (Paul) Wouters
Faculteit: Sociale Wetenschappen
Vakgebied: Scientometrie
Locatie: Academiegebouw