Insight

Hoe zorg je dat peer review werkt? door Mariette Huisjes

Copy of Search - Canva

Door Mariette Huisjes, freelance secretaris

Nee, peer review is niet perfect. Maar het is wel de beste methode om wetenschappelijke kwaliteit te beoordelen. Hoe kun je − als voorzitter, secretaris of opdrachtgever − de nadelen van het systeem ondervangen en een commissie zo goed mogelijk laten functioneren? Qanu ging daarvoor te rade bij… de wetenschap natuurlijk.

Sarah de Rijcke is hoogleraar wetenschaps- en evaluatiestudies aan de Universiteit Leiden en wetenschappelijk directeur van het Centre for Science and Technology Studies. Als gastspreker tijdens een door QANU georganiseerde expertmeeting deelde zij inzichten uit de gedragswetenschappen over hoe evaluatieprocessen verlopen. Vrij vertaald vallen daar de volgende do’s en don’ts uit te destilleren.

Tien tips van de wetenschap voor de wetenschap.

1. Omarm peer review
Tot op heden is collegiale toetsing door een commissie het beste meetinstrument dat we hebben. Waarom? Omdat vakgenoten het beste in staat zijn om de kwaliteit van wetenschappelijk onderzoek of een wetenschappelijke opleiding kritisch te beoordelen. En omdat het oordeel van een groep als betrouwbaarder geldt dan dat van een enkel individu. Je mag er dus best trots op zijn.

2. Maak van diversiteit een topprioriteit
Een open deur misschien, maar je zal ze de kost geven, de commissies die vrijwel uitsluitend uit witte oudere mannen bestaan. Niets ten nadele van witte oudere mannen overigens, die zich inzetten voor kwaliteitszorg. Maar een kritiekpunt op peer review is dat de gevestigde orde de poort bewaakt voor toekomstige generaties, en die poort stevig dicht houdt voor echte vernieuwing. Dat bezwaar ondervang je door een divers samengestelde commissie. Bovendien laat de wetenschap zien dat heterogene groepen betere beslissingen nemen.

3. Maar niet te
De commissieleden moeten elkaar aanvullen qua achtergrond en deskundigheid, maar wel dezelfde taal spreken. Dus een commissie moet ook weer geen willekeurig samenraapsel zijn.

4. Expliciteer de expertises
Zorg dat álle commissieleden op waarde geschat worden. Benoem dus van tevoren hun specifieke deskundigheid, wat verder gaat alleen hun academische titel en affiliatie. Zo stimuleer je dat commissieleden relevante expertise ook daadwerkelijk inbrengen, en dat er naar ze geluisterd wordt.

5. Maak het gezellig
Pas nu alles online moet gebeuren, blijkt hoe cruciaal die gezamenlijke ontbijtjes en dinertjes eigenlijk waren. Keer op keer laat onderzoek zien dat groepen die zich met elkaar verbonden voelen − al is het maar voor even − beter samenwerken en betere besluiten nemen.

6. Pas op voor anekdotes
Er zijn afspraken over gegevens die relevant worden geacht voor de evaluatie. Die zijn bijvoorbeeld vastgelegd in een beoordelingskader of strategy evaluation protocol (SEP). Maar niets menselijks is de commissieleden vreemd. Zo kan een smakelijke anekdote een eigen leven gaan leiden en het oordeel onterecht sturen. Of – nu het nieuwe SEP nadrukkelijk afscheid neemt van de H-indexen en citatiescores als dominante kwaliteitscriteria – commissieleden kunnen hun cijferhonger niet bedwingen en gaan dan maar zelf op zoek naar data, die mogelijk niet kloppen, en in ieder geval zijn losgezongen van de context. Zo kan de besluitvorming worden gekaapt door irrelevante informatie.

7. Herken vermomde vooroordelen
Naast een hoop formele regels zijn er ook informele normen die alle commissieleden delen. Zoals dat je als peer niet jezelf, of je vrienden, of je eigen vakgebied bevoordeelt, noch je stokpaardjes al te zeer berijdt. Soms worden die informele normen heimelijk overschreden. Dan brengt iemand iets als deskundig oordeel, terwijl het in feite niet meer is dan een persoonlijke voorkeur of zelfs belang is.

8. Stel de consensus uit
Natuurlijk, uiteindelijk moeten jullie het eens worden. Maar niet te vroeg. Eerst moeten er vanuit oprechte nieuwsgierigheid dingen worden uitgezocht, en mogen de meningen best verschillen. Dat is juist goed. Speel als voorzitter of secretaris eens advocaat van de duivel. En wees je bewust van het kantelpunt waar onbevangen onderzoek zich vernauwt tot het zoeken naar consensus.

9. Doorbreek de pikorde
Ken je dat? Dat er naast de voorzitter ook een informele leider opstaat in een commissie, die soms de rest mee weet te krijgen in goed geformuleerde, uitgesproken standpunten? Op zich niets mis mee, maar let erop dat sociale dynamiek de inhoud niet gaat overheersen. En speel ook eens de bal toe aan dat bescheiden commissielid. Het zal niet voor het eerst zijn dat juist die met een verrassend inzicht komt, dat de visie van het panel op zijn kop weet te zetten.

10. Houd het gedeelde doel voor ogen
Onderzoek laat zien dat als elk van de commissieleden verantwoording moet afleggen over de gemeenschappelijke conclusies, hen dit motiveert om tot een afgewogen oordeel te komen. Dus benadruk die verantwoordelijkheid vanaf het begin, evenals het gemeenschappelijke einddoel: om door de evaluatie een vakgebied beter te maken.