De Leidse onderzoeker Rodrigo Costas analyseerde de sociale media metrics `altmetrics' om impact van onderzoek te meten. Hij maakte een vergelijking met citatie-analyse en concludeert in zijn artikel in Plos one dat altmetrics gezien kan worden als aanvulling op, maar niet als alternatief voor citaat-analyse.

Nieuwe maatstaven

Vooralsnog wordt altmetrics toegepast als aanvulling op de traditionele methode van citatie-analyse. Op basis van sociale media platforms, gegroepeerd onder de term `altmetrics', zijn een aantal nieuwe maatstaven geintroduceerd als potentiele indicatoren om de impact van onderzoek te meten. Ondanks hun huidige populariteit, is er een gebrek aan informatie over de determinanten van deze statistieken. Rodrigo Costas werkt bij het Leidse Centre for Science and Technology Studies (CWTS) en deed er onderzoek naar in samenwerking met collega's van de universiteit van Montreal. Hij publiceerde zijn bevindingen in het wetenschappelijk tijdschrift Plos one. Over het geheel genomen bevestigen de onderzoeksresultaten dat citaties en altmetrics wezenlijk anders zijn en altmetrics niet gezien kan worden als alternatief voor citatie-analyse.

Citaties versus altmetrics

Meetmethodes gebaseerd op citaties kunnen een vertekend beeld geven van de kwaliteit van het onderzoek. Dit komt doordat citeren in sommige vakgebieden gebruikelijker is dan in andere (alfawetenschappen versus technische wetenschappen) en publicaties van recente datum meestal nog weinig geciteerd zijn en daarom ondergewaardeerd worden. De laatste jaren is de kritiek op het gebruik van citatie-analyse toegenomen; vooral als prestatie-indicator en indicator voor de verdeling van onderzoeksgelden. Het voordeel van altmetrics is dat er sprake is van een bredere meting, namelijk binnen en buiten de academische wereld, en er sneller effectmetingen verricht kunnen worden. Nadeel is dat de betrokkenheid van de gebruikers verschilt en zij deze media op verschillende manieren en niveaus gebruiken. Deze heterogeniteit is van invloed op de analyse en maakt het lastig te komen tot een juiste interpretatie.

Analyse altmetrics versus citatie

Om een beter inzicht te krijgen in de factoren die de uitkomsten met altmetrics beinvloeden maakte Costas een analyse van de documenteigenschappen en gelijkenis vertonende patronen en vergeleek deze met wat bekend is voor citaten. Hij betrok in zijn onderzoek 1,3 miljoen in tijdschriften gepubliceerde documenten die door Web of Science, een veelgebruikte citatiedatabase, werden geindiceerd. Deze data vergeleek Costas met data van Altmetric.com. In deze altmetrics werden data opgenomen uit Facebook, Twitter, Google+ en vermeldingen in wetenschappelijke blogs en nieuwssites.

De tabel toont de verdeling over de verschillende documenttypes.

De tabel toont de verdeling over de verschillende documenttypes.

Verschillen per type document

Het blijkt dat het type document bepalend is voor vermelding op sociale media: nieuwsberichten en redactionele artikelen krijgen, in tegenstelling tot citaties, veel vaker een vermelding op Twitter. Dit zou mogelijk verband houden met de eenvoud, de lengte van de artikelen, of het onderwerp dat van meer algemeen belang is. Wereldwijd is het gebruik van altmetrics voor wetenschappelijke publicaties nog erg laag. Bij de sociale media is Twitter het belangrijkste platform, maar slechts 22% van alle publicaties die in het onderzoek van Costas zijn meegenomen kreeg tenminste een vermelding op Twitter.

Verschillen per vakgebied

Twitter en andere sociale media zijn meer in gebruik bij geesteswetenschappen, sociale wetenschappen, biomedische wetenschappen en geneeskunde, maar beduidend minder bij wiskunde, natuurwetenschappen, techniek en informatica. Dit suggereert dat de sociale media metrics zich meer richt op sociale en gezondheidsgerelateerde onderwerpen, terwijl meer technische, wiskundige of natuurkundige onderwerpen minder aantrekkelijk zijn voor gebruikers van deze platforms.

(31 maart 2015 / MD)

| Citatie-analyse is het meten van de waarde van een publicatie op basis van citaties uit deze publicatie. Dit meten bestaat uit een kwantitatieve (telling van het aantal citaties) en een kwalitatieve component (weging van deze citaties). Citatie-analyse kan gebruikt worden als een | | instrument om wetenschappelijke prestaties te evalueren. | | | | | | | | Altmetrics, een afkorting van alternative metrics, richt zich niet op de traditionele gegevens van citatie, maar op gegevens afkomstig van social media (crowd sourcing). In de praktijk zijn dit onder andere tellingen van het aantal likes, gedeelde berichten, bladwijzers en commentaren bij | | een publicatie. Deze gegevens zijn vrij heterogeen en verwijzen naar vermeldingen van wetenschappelijke artikelen op Twitter en Weibo, berichten op sociale netwerksites zoals Facebook en Google+, maar ook op blogs en nieuwssites. |