Eigen strategie versus vergelijkbaarheid: waarom landelijke onderzoeksevaluaties volgens SEP 2021-2027 nog altijd waardevol zijn

20200811-Qanu-163

Het protocol voor onderzoeksevaluaties, het SEP, is vernieuwd en heet niet langer Standard Evaluation Protocol, maar Strategy Evaluation Protocol. De nadruk op strategie komt tot uiting in een sterke mission-based benadering, waarin onderzoeksgroepen worden beoordeeld op hun eigen doelen. Groepen krijgen niet langer een kwantitatieve score, maar een kwalitatief oordeel en ontwikkelgerichte aanbevelingen. Door het element ‘strategie’ in de naam op te nemen, wilde de SEP commissie duidelijk maken dat de eigen strategie en doelen leidend moeten zijn bij een evaluatie.

Een veelgehoord geluid is dat in deze benadering geen plaats meer is voor landelijke evaluaties van een heel vakgebied. Want hoe kun je instituten die verschillende doelen en ambities hebben en dus ook verschillende indicatoren van hun prestaties aanbieden, nog met elkaar vergelijken?

Landelijke evaluaties

Veel onderzoeksinstituten aan Nederlandse universiteiten worden al sinds jaar en dag in landelijk, disciplinair verband geëvalueerd. Qanu werkte de afgelopen jaren bijvoorbeeld mee aan de nationale evaluaties van Psychologie en Taalwetenschappen. De commissie keek onder andere naar de onderzoekskwaliteit, maatschappelijke relevantie en de promotieopleidingen van alle deelnemende instituten en kon deze met elkaar vergelijken. Het voordeel van dit soort clusterevaluaties was dat er een duidelijk beeld ontstond van de stand van zaken in het vakgebied in Nederland. Voor de deelnemende instituten kwam naar voren welke strategieën andere instituten hanteerden en welke thema’s zij bestudeerden. Ook werden niches in het onderzoek en trends in de publicatiecultuur zichtbaar.

Vergelijkbaarheid

Toch zijn nationale clusterevaluaties nog steeds mogelijk en nuttig. En eigenlijk zal het verschil met de evaluaties onder SEP 2015-2021 ook niet zo groot zijn, want toen waren eigen strategie en doelen van een onderzoeksgroep ook al het uitgangspunt. Uit onze ervaring met onderwijsaccreditaties, waar in 2018 de oordelen werden afgeschaft en ook op ‘eigen doelen’ wordt beoordeeld, blijkt dat het vergelijkend perspectief daarmee niet verdween. Een commissie zal kwalitatief beoordelen of elk instituut de eigen doelen behaalt en in hoeverre de strategieën geschikt zijn. De imaginaire ‘bril’ en ‘meetlat’ waarmee zij de onderzoeksprogramma’s bekijken zullen voor elk instituut dezelfde zijn. Dat maakt de beoordeling al meer vergelijkbaar dan wanneer elke instelling een ‘eigen’ commissie samenstelt. Bovendien kunnen instituten in de voorbereiding van de evaluatie samen optrekken en vastleggen op welke aspecten zij wel in vergelijkend perspectief geëvalueerd willen worden.

Geen ranking

Het opstellen van een ‘ranking’ van instituten is nooit de bedoeling van het SEP geweest. Het nieuwe SEP opent de deur voor meer samenwerking en minder competitie tussen onderzoeksgroepen, denk bijvoorbeeld aan gezamenlijke voorbereidingssessies en feedback geven op elkaars zelfevaluaties. Door te werken met een kerncommissie van 3 of 4 personen en daarnaast enkele commissieleden uit te nodigen vanwege hun specifieke expertise, kan een commissie worden samengesteld die het cluster in de volle breedte goed kan evalueren.