Onderzoeksevaluaties in 2021: een nieuwe richting

20200811-Qanu-072

SEP 2021-2027 en de context van DORA, Erkennen en Waarderen en Open Science.

Sinds januari 2021 gebruiken we een nieuw protocol voor onderzoeksevaluaties: het Strategy Evaluation Protocol 2021-2027. Qanu was betrokken bij de ontwikkeling van het nieuwe protocol in de SEP werkgroep, die de SEP commissie ondersteunde. Het nieuwe Strategy Evaluation Protocol is op een aantal vlakken vernieuwd. De belangrijkste verschillen op een rijtje:

  • Minder kwantitatieve data, meer case studies en narratieven
  • Geen scores, maar kwalitatieve evaluaties
  • 4 nieuwe beoordelingsaspecten: Open Science, PhD Policy and Training, Academic Culture en Human Resources Policy
  • Promovendus-panellid en early/mid career wetenschapper verplicht in commissie
  • Nog meer nadruk op de eigen missie en strategie (vandaar Strategy in plaats van Standard Evaluation Protocol)
Onderzoeksevaluatie: meer dan papers

Met deze wijzigingen sluit het SEP 2021-2027 aan op de principes van een belangrijk initiatief in de internationale wereld van de wetenschap: DORA, de San Francisco Declaration on Research Assessment. Het initiatief dat tot DORA leidde is gestart in 2012, toen een groep redacteuren en uitgevers van wetenschappelijke tijdschriften uit onvrede over de doorgeschoten rol van metrische gegevens besloot dat output van wetenschappelijk onderzoek op een andere manier moest worden gemeten en geëvalueerd. DORA riep op om onderzoek op eigen kwaliteiten en verdiensten te beoordelen en niet op basis van de naam van het tijdschrift waarin het verscheen. De Journal Impact Factor (JIF) en andere op tijdschriften gebaseerde metrische gegevens werden afgezworen als maatstaf voor de wetenschappelijke kwaliteit van onderzoek. Tenslotte pleitte DORA ervoor gebruik te maken van de kansen die online publicaties bieden. Inmiddels hebben talloze onderzoeksinstituten wereldwijd zich hierbij aangesloten.

In de Nederlandse context zijn het Erkennen en Waarderen-initiatief van de VSNU, het nationaal programma Open Science en natuurlijk de universiteiten en instituten zelf bezig met de implementatie van de DORA-principes. Het doel van Erkennen en Waarderen is om een betere balans te vinden in het erkennen en waarderen van (het werk van) wetenschappers. Dat betekent: minder nadruk op aantallen publicaties en meer aandacht voor andere gebieden die van belang zijn voor het succes van een moderne kennisinstelling, zoals onderwijs, patiëntenzorg, impact en leiderschap. De waardering voor wetenschappers zou beter aan moeten sluiten bij de behoeften van de maatschappij. Die betere inbedding in de maatschappij is ook van belang voor Open Science, dat ernaar streeft dat onderzoek dat met publieke middelen is gefinancierd de hele samenleving ten goede komt.

Het SEP: instrument voor verandering

Het SEP 2021-2027 is niet alleen een resultaat van deze ontwikkelingen, maar ook een instrument in dit proces. De universiteiten verenigd in de VSNU, de NWO en KNAW willen met het nieuwe SEP bijdragen aan verandering Bij de onderzoeksevaluaties die we bij Qanu begeleiden hebben we deze verandering al op een aantal manieren gemerkt. Zo gebruikten commissies in evaluaties die wij begeleidden een ruimere definitie van onderzoekskwaliteit. Zij zagen maatschappelijke relevantie en de kwaliteit van onderzoek meer in samenhang, met meer oog voor de urgentie en actualiteit van bepaalde onderzoeksterreinen. Daarnaast was er meer ruimte om interdisciplinariteit en teamprestaties te waarderen. Academische cultuur en HR beleid hangen nauw samen met kwaliteit, relevantie en levensvatbaarheid (viability) en worden in het nieuwe SEP ook in samenhang geëvalueerd. De aanwezigheid van een promovendus in de commissie had een positief effect op de gesprekken met promovendi over supervisie en academische cultuur. De afwezigheid van kwantitatieve oordelen aan het einde geeft de ruimte om te reflecteren, en in alle openheid met een onderzoeksinstelling na te denken over ontwikkelpunten.

Nog meer dan voorheen hebben onderzoeksgroepen met het nieuwe SEP regie over hun eigen evaluatie. Zij kiezen indicatoren van kwaliteit en relevantie die passen bij hun missie en doelen. Zo kan een groep die wil bijdragen aan overheidsbeleid op hun expertisegebied de indicatoren ‘beleidsadviezen’ of ‘lidmaatschap van adviesorganen’ gebruiken. Ook software, tentoonstellingen, contactonderzoek of onderwijsmateriaal kunnen indicatoren zijn van kwaliteit en relevantie en het behalen van de eigen doelen. Case studies bieden de ruimte om onderzoeksprojecten en hun resultaten te presenteren en bijvoorbeeld de interactie met maatschappelijke partners te illustreren. Op die manier krijgt de evaluatiecommissie een completer beeld van de onderzoeksgroep en kan zij beter meedenken over de verdere ontwikkeling.

Een nieuwe richting

Werken met het nieuwe SEP is voor zowel onderzoeksinstellingen als commissies vaak nog erg wennen. Het kost tijd om los te komen van het idee dat een commissie niet langskomt om te oordelen, maar om mee te denken over verdere ontwikkeling. De beste gesprekken hierover kunnen plaatsvinden tussen een commissie die zich opstelt als critical friends, en een onderzoeksinstelling die van tevoren goed heeft nagedacht over zijn doelen, en de sterktes en zwaktes in het bereiken van die doelen.
Dit vraagt een andere benadering bij het schrijven van een zelfevaluatierapport. Deze begint niet met het verzamelen van cijfers en gegevens, maar met het nadenken en reflecteren op strategische doelen, en pas in tweede instantie welke gegevens het meest geschikt zijn om op deze doelen te evalueren. Wij zien in de evaluaties die wij begeleidden dat instellingen zich vaak erg prettig voelen bij deze benadering. Het afstemmen van een evaluatie op de eigen doelen en context maakt een evaluatie echt passend bij jezelf En niet onbelangrijk: het kan veel voorbereidingstijd schelen: vaak zijn een groot deel van die gegevens die zoveel moeite kost om te verzamelen helemaal niet nodig voor een goede evaluatie.

Meer weten?

Start je binnenkort de voorbereidingen voor een onderzoeksevaluatie volgens het SEP 2021-2027? Wij adviseren om je hierbij goed te laten begeleiden om dit nieuwe protocol tot zijn recht te laten komen. Wij kunnen je bijvoorbeeld helpen bij het schrijven van een zelfevaluatie, het geven van training bij het werken met dit SEP of met instructie en ondersteuning van de evaluatiecommissie om volgens deze nieuwe benadering te werken. Neem contact met ons op voor de mogelijkheden.