DORA

De Universiteit Maastricht (UM) heeft op 25 oktober 2019 de DORA-verklaring ondertekend. Rector magnificus Rianne Letschert ondertekende de verklaring namens de universiteit. Met de ondertekening van DORA heeft de UM zich gecommitteerd aan een meer verantwoorde manier van het beoordelen van onderzoek en onderzoekers. Dit betekent een verschuiving van een beoordelingscultuur die sterk leunt op eenvoudige kwantitatieve indicatoren naar een meer integrale beoordeling van de kwaliteit, relevantie en impact van onderzoek.

Wat is DORA?

De San Francisco Declaration on Research Assessment (DORA) is een internationaal initiatief dat tot doel heeft de manier waarop onderzoek en onderzoekers worden beoordeeld te verbeteren. DORA werd in 2012 ontwikkeld als reactie op zorgen over het gebruik van tijdschriftgebonden indicatoren, zoals de Journal Impact Factor, als maatstaf voor de kwaliteit van individuele wetenschappelijke artikelen of onderzoekers.

DORA stimuleert een meer verantwoorde benadering van onderzoeksbeoordeling. Dit betekent dat onderzoek op zijn eigen merites wordt beoordeeld en dat er aandacht is voor de diversiteit aan onderzoeksresultaten, bijdragen, werkwijzen en maatschappelijke impact. DORA pleit er bijvoorbeeld voor om naast publicaties ook andere onderzoeksresultaten, zoals datasets en software, mee te nemen in de beoordeling. Daarnaast benadrukt de verklaring het belang van kwalitatieve indicatoren, zoals bijdragen aan beleid en de beroepspraktijk. Ook Open Science-praktijken die bijdragen aan de kwaliteit, transparantie, toegankelijkheid en maatschappelijke waarde van onderzoek krijgen hierin een plaats. DORA heeft hiervoor specifieke richtlijnen ontwikkeld voor het erkennen van Open Science-praktijken bij de beoordeling van onderzoekers.

Sinds de oprichting is DORA uitgegroeid tot een bredere beweging voor verantwoorde onderzoeksbeoordeling, die beoordelingsmethoden ondersteunt waarin rekening wordt gehouden met de uiteenlopende kenmerken en bijdragen die de kwaliteit van onderzoek bepalen.

UM en DORA

DORA hangt nauw samen met zowel Open Science als Erkennen & Waarderen. Open Science-praktijken kunnen een belangrijke bijdrage leveren aan de kwaliteit, transparantie, reproduceerbaarheid en maatschappelijke waarde van onderzoek. Deze bijdragen komen echter niet altijd tot uiting in traditionele vormen van onderzoeksbeoordeling. Door dergelijke praktijken expliciet mee te nemen in de beoordeling van onderzoek, kan een omgeving worden gecreëerd waarin onderzoekers aan de UM worden gestimuleerd en ondersteund om open te werken. DORA benadrukt daarom het belang van het erkennen en waarderen van Open Science- en open scholarship-praktijken, naast andere bijdragen aan onderzoek, onderwijs, kennisdeling en leiderschap.

Aan de UM is deze benadering verankerd in het Erkennen & Waarderen-beleid. Dit beleid heeft als doel de waardering van academische prestaties te verbreden door verschillende rollen, activiteiten en bijdragen te erkennen, in plaats van de nadruk uitsluitend te leggen op traditionele onderzoeksresultaten en kwantitatieve indicatoren. Verantwoorde onderzoeksbeoordeling kan zo bijdragen aan een omgeving waarin kwaliteit, samenwerking, openheid, maatschappelijke impact en andere vormen van waarde naast traditionele onderzoeksresultaten worden meegewogen.

Het team Research Intelligence van de Universiteitsbibliotheek ondersteunt deze benadering door faculteiten, onderzoeksgroepen, ondersteunende medewerkers en individuele onderzoekers te helpen bij het op een verantwoorde manier beoordelen van de academische en maatschappelijke impact van onderzoek. Research intelligence is bedoeld als ondersteuning van kwalitatieve evaluatie, niet als vervanging daarvan. Analyses zijn daarom altijd vraaggestuurd: het uitgangspunt is om te meten wat relevant is voor de onderzoeksvraag, en niet uitsluitend wat eenvoudig meetbaar is. Hiermee wordt erkend dat de kwaliteit en impact van onderzoek uit meerdere dimensies bestaan en dat kwantitatieve indicatoren slechts een deel daarvan kunnen weergeven.

In lijn met de uitgangspunten van DORA gebruikt het team Research Intelligence de Journal Impact Factor (JIF) en andere op tijdschriften gebaseerde indicatoren niet voor de beoordeling van individuele onderzoekers of publicaties. Wanneer kwantitatieve indicatoren wel worden gebruikt, worden deze zorgvuldig geselecteerd en geïnterpreteerd binnen de specifieke context en het doel van de beoordeling. Daarbij wordt rekening gehouden met uiteenlopende onderzoeksresultaten en verschillende vormen van impact, waaronder datasets, software en kwalitatieve bewijzen van maatschappelijke impact, zoals bijdragen aan beleid en de beroepspraktijk.

DORA, Open Science en Erkennen & Waarderen zijn daarmee gebaseerd op een gedeeld uitgangspunt: onderzoeksbeoordeling moet recht doen aan de verschillende manieren waarop onderzoekers bijdragen aan hoogwaardig onderzoek en aan de samenleving, en mag niet uitsluitend gebaseerd zijn op een beperkte set kwantitatieve indicatoren.

Wat betekent dit voor onderzoekers?

Onderzoek moet op zijn eigen merites worden beoordeeld

Indicatoren die zijn gebaseerd op wetenschappelijke tijdschriften, zoals de Journal Impact Factor (JIF), mogen niet worden gebruikt als maatstaf voor de kwaliteit van een individueel wetenschappelijk artikel of een individuele onderzoeker. Het tijdschrift waarin een artikel wordt gepubliceerd, zegt op zichzelf namelijk niets over de kwaliteit of de betekenis van het onderzoek.

Aan de UM betekent dit dat de onderzoeksbeoordeling zich moet richten op de kwaliteit, relevantie en impact van het onderzoek zelf, inclusief de context waarin het onderzoek is uitgevoerd, en niet op de vermeende status of prestige van het tijdschrift waarin het is gepubliceerd.

Verschillende onderzoeksresultaten kunnen een waardevolle bijdrage vertegenwoordigen

DORA roept instellingen op om bij de beoordeling van onderzoek aandacht te besteden aan de kwalitatieve waarde en impact van verschillende soorten onderzoeksresultaten en bijdragen, en zich niet uitsluitend te richten op kwantitatieve indicatoren. Hierdoor ontstaat ruimte om bijdragen te erkennen die binnen traditionele beoordelingsmethoden vaak onderbelicht blijven.

Onderzoek omvat meer dan alleen wetenschappelijke publicaties. Afhankelijk van de discipline en de onderzoekscontext kunnen ook datasets, software, methoden, protocollen, onderwijsmaterialen, beleidsbijdragen en andere onderzoeksresultaten waardevolle bijdragen vormen.

In lijn met de ambitie van de UM om een onderzoekscultuur te stimuleren waarin Open Science de norm is, maken ook Open Science-praktijken deel uit van de bijdrage van een onderzoeker. Voorbeelden hiervan zijn het delen van onderzoeksdata en software, open publiceren, het vooraf registreren van onderzoek (preregistration), het beschikbaar stellen van onderzoeks- en onderwijsmaterialen en het betrekken van burgers en andere belanghebbenden bij onderzoek.

Deze praktijken kunnen bijdragen aan de transparantie, reproduceerbaarheid, toegankelijkheid en maatschappelijke impact van onderzoek. In sommige gevallen vormen zij een zelfstandige bijdrage, terwijl zij in andere gevallen zijn geïntegreerd in een onderzoeksresultaat of -activiteit die wordt beoordeeld, bijvoorbeeld wanneer een publicatie wordt ondersteund door openbaar beschikbare data of software.

Indicatoren moeten op een verantwoorde manier worden gebruikt

DORA stelt niet dat alle kwantitatieve indicatoren ongeschikt zijn. Wel benadrukt de verklaring dat indicatoren zorgvuldig en doelgericht moeten worden gebruikt en altijd moeten aansluiten bij het doel en de context van de beoordeling.

Volgens de huidige richtlijnen van DORA moeten indicatoren duidelijk, transparant, specifiek, contextgebonden en eerlijk zijn. Geen enkele indicator kan immers de complexiteit van onderzoekskwaliteit volledig weergeven.