De toekomst van onderzoeksevaluatie: een synthese van actuele debatten en ontwikkelingen

Een dynamisch en inclusief onderzoekssysteem is van groot belang voor zowel de wetenschap als de samenleving om fundamentele kennis en begrip te bevorderen en de steeds dringender wordende mondiale uitdagingen aan te pakken. Maar het onderzoekssysteem staat onder druk als gevolg van de toenemende verwachtingen van meerdere actoren (waaronder financiers, overheden en de uitgeverijsector), spanningen tussen de dynamiek van concurrentie en samenwerking, een evoluerend wetenschappelijk communicatiesysteem, een agressieve – soms – uitgeverij- en data-analyse-industrie. en beperkte middelen. De onderzoeksonderneming moet deze eisen en spanningen beheersen en tegelijkertijd de kwaliteit van het onderzoek handhaven, de onderzoeksintegriteit hooghouden, inclusief en divers zijn en zowel fundamenteel als toegepast onderzoek waarborgen.

De afgelopen tien jaar zijn deze druk op en de behoefte aan reactievermogen van het wetenschapssysteem gepaard gegaan met meer kritische reflecties op systemen voor onderzoeksevaluatie en prestatiemeting. Hoewel passende, contextgevoelige methodologieën voor het beoordelen van de kwaliteit en impact van onderzoek belangrijk zijn, zijn de debatten geïntensiveerd over de brede, complexe en dubbelzinnige effecten van de huidige evaluatiecriteria en maatstaven op de kwaliteit en cultuur van onderzoek, de kwaliteit van het bewijsmateriaal dat de beleidsvorming informeert, prioriteiten op het gebied van onderzoek en onderzoeksfinanciering, individuele loopbaantrajecten en het welzijn van onderzoekers. In sommige delen van de wereld groeit het besef dat een beperkte en simplistische reeks evaluatieve maatstaven en indicatoren de kwaliteit, het nut, de integriteit en de diversiteit van onderzoek niet op bevredigende wijze weergeeft. Routinematig gebruikte – vaak op tijdschriften gebaseerde – maatstaven slagen er niet in belangrijke aanvullende dimensies van kwalitatief hoogstaand onderzoek vast te leggen, zoals die gevonden in mentorschap, het delen van gegevens, het betrekken van het publiek, het koesteren van de volgende generatie wetenschappers en het identificeren en bieden van kansen aan ondervertegenwoordigde groepen. De kwestie van de verkeerde toepassing van maatstaven en indicatoren heeft niet alleen een te beperkte reikwijdte, maar blijkt ook de prikkels voor prestatie te verstoren, bepaalde disciplines te benadelen (waaronder essentieel interdisciplinair en transdisciplinair onderzoek) en roofzuchtige en onethische publicatiepraktijken in de hand te werken.

Campagnes om de verkeerde toepassing van metrieken te beteugelen, kwaliteitscriteria te verbreden en de onderzoekscultuur systematischer te transformeren door middel van manifesten en verklaringen, principes en hervormingen hebben de weg geëffend voor een mondiaal debat over de noodzaak om de onderzoeksbeoordeling te hervormen. Deze stemmen roepen nu op tot een beweging van manifesten naar actie. Dit gebeurt tegen de achtergrond van transformationele verschuivingen in de manier waarop onderzoek wordt uitgevoerd en gecommuniceerd. De opkomst van open onderzoekskaders en van sociale media, een verschuiving naar missiegerichte en transdisciplinaire wetenschap, de groei van open peer review en het transformatieve potentieel van kunstmatige intelligentie (AI) en machine learning vereisen een nieuwe manier van denken over de manier waarop onderzoek en onderzoekers worden geëvalueerd .

Tegen deze achtergrond, de Global Young Academy (GYA) InterAcademy-partnerschap (IAP) en Internationale Wetenschapsraad (ISC) hebben hun krachten gebundeld om de balans op te maken van debatten en ontwikkelingen op het gebied van onderzoeksevaluatie wereldwijd, op basis van een verkennende groep wetenschappers en een reeks regionale consultaties. In sommige delen van de wereld worden nieuwe benaderingen ontwikkeld en beproefd door instellingen voor hoger onderwijs en onderzoeksfinanciers, en er zijn er verschillende in dit document opgenomen. In andere delen van de wereld zijn deze debatten en acties nog in opkomst of ontbreken ze zelfs. Omdat onderzoekssystemen zich in verschillende snelheden ontwikkelen, bestaat het risico van divergentie en fragmentatie. Dergelijke verschillen kunnen de homogeniteit in gevaar brengen die nodig is om onderzoekssamenwerking mogelijk te maken en de mobiliteit van onderzoekers tussen verschillende geografische gebieden, sectoren en disciplines te vergemakkelijken. Eén maatstaf kan echter niet voor iedereen geschikt zijn en er is behoefte aan contextgevoelige inspanningen om de evaluatie te hervormen, waarbij lokale uitdagingen worden onderkend.

Met een focus op onderzoek in de publieke sector en de evaluatie van onderzoek en onderzoekers heeft dit discussiestuk een mondiaal perspectief en bestrijkt het een agenda die typisch wordt gedomineerd door ontwikkelingen in Europa en Noord-Amerika: regionale perspectieven en voorbeelden van nationale ontwikkeling en institutionele hervormingen zijn belangrijk. gemarkeerd. Het mondiale en collectieve lidmaatschap van de GYA, IAP en ISC vertegenwoordigt een brede dwarsdoorsnede van het onderzoeksecosysteem waarvan de diverse mandaten echte systemische verandering kunnen faciliteren. Dit document probeert te dienen als een stimulans voor de GYA, IAP en ISC – als platforms voor wederzijds leren, experimenteren en innovatie – om samen te werken met hun leden, andere wetenschappelijke instellingen en belangrijke kiesdistricten wereldwijd, om gesprekken te initiëren en te bevorderen, en meer inclusieve organisaties te mobiliseren. en gezamenlijke actie.

De aanbevelingen voor de GYA, IAP en ISC en hun leden (zie sectie 5) zijn gestructureerd rond hun rol als pleitbezorgers, voorbeelden, vernieuwers, financiers, uitgevers, beoordelaars en medewerkers, met indicatieve tijdschema's voor actie. Deze acties omvatten het meest direct het creëren van ruimte voor het delen van lessen en resultaten van relevante initiatieven tot nu toe (om een ​​praktijkgemeenschap op te bouwen); op de middellange termijn, het gezamenlijk bijeenroepen van multistakeholderfora met belangrijke kiesdistricten om onderzoeksevaluatie op praktische, contextgevoelige en inclusieve manieren te herontwerpen en te implementeren; en, op de langere termijn, het aanzetten tot nieuwe studies die bijdragen aan het toekomstdenken, gevoelig voor de snel bewegende ontwikkelingen op het gebied van AI-technologieën, peer review-methodologieën en -hervormingen, en communicatiemedia.

De Global Young Academy (GYA), InterAcademy-partnerschap (IAP) en Internationale Wetenschapsraad (ISC) kwamen in 2021 samen om de balans op te maken van uitdagingen, debatten en ontwikkelingen op het gebied van onderzoeksevaluatie/beoordeling wereldwijd, in diverse onderzoeksculturen en -systemen, en om manieren te verkennen waarop zij zouden kunnen deelnemen aan en invloed kunnen uitoefenen op de heroverweging van onderzoeksevaluatie/beoordeling voor de toekomst. 21e eeuw, op een open en inclusieve manier.

Er werd een internationale scopinggroep (bijlage A) bijeengeroepen om het veld te onderzoeken en de drie organisaties te adviseren over hoe zij de bestaande inspanningen om de onderzoeksevaluatie te hervormen konden versterken. Centraal in dit werk stond het uitgangspunt dat (1) een gezamenlijk, door onderzoekers geleid initiatief de mondiale onderzoeksgemeenschap een sterkere stem zou geven bij het vormgeven van de toekomst van onderzoeksevaluatie en (2) dat er voordelen zitten aan 'evalueren met de geëvalueerden'; en helpt zo een pad uit te stippelen naar duurzame, systemische verandering in evaluatieculturen en -praktijken.

Als aanvulling op bureauonderzoek werd eind 2021 een reeks regionale consultaties gehouden met door de scopinggroep en partners geïdentificeerde deskundigen. De discussienota is het belangrijkste resultaat van dit werk. Het is bedoeld als prospectus voor verkennende gesprekken met meerdere belanghebbenden, niet in de laatste plaats de mondiale onderzoeksgemeenschap zelf.

Onderzoeksevaluatiepraktijken dienen meerdere doelstellingen en worden uitgevoerd door meerdere belanghebbenden. Ze worden gebruikt om onderzoeksvoorstellen te beoordelen voor financieringsbeslissingen, onderzoekspapers voor publicatie, onderzoekers voor werving of promotie en de prestaties van onderzoeksinstellingen en universiteiten. Dit artikel richt zich voornamelijk op de evaluatie van onderzoekers en onderzoek, en gaat niet in op institutionele evaluatie of ranking, hoewel al deze beoordelingsgebieden onlosmakelijk met elkaar verbonden zijn. De huidige praktijken zijn sterk afhankelijk van kwantitatieve en grotendeels op tijdschriften gebaseerde statistieken, zoals Journal Impact Factor (JIF), aantal publicaties, aantal citaties, h-index en Article Influence Score (AIS). Andere maatstaven zijn onder meer doelstellingen voor subsidie-inkomsten, inputmaatstaven (zoals onderzoeksfinanciering of de omvang van het onderzoeksteam), het aantal geregistreerde patenten en, meer recentelijk, sociale media-statistieken (voorheen 'altmetrics'), zoals aandelen of downloads op sociale media. Samen hebben deze maatstaven een diepgaande invloed op de reputatie van instellingen, onderzoeksgroepen en individuen, individuele en gezamenlijke onderzoeksagenda's, loopbaantrajecten en toewijzing van middelen.

De afgelopen twintig jaar zijn de mondiale investeringen in onderzoek en ontwikkeling (R&D) verdrievoudigd – tot ongeveer 2 biljoen dollar per jaar. Alleen al de afgelopen jaren hebben geleid tot de snelste groei van de R&D-uitgaven sinds het midden van de jaren tachtig, met ongeveer 1980% (UNESCO, 19) [2021]. Deze extra investeringen in onderzoek brengen een cultuur van verantwoordelijkheid met zich mee die druk uitoefent op onderzoeksinstellingen en individuen, en als reactie daarop aberraties of perverse prikkels kan genereren. Het heeft ook geleid tot grotere ambities: het handhaven van de kwaliteit en het terugdringen van onderzoeksverspilling, fouten en inefficiëntie; maximaliseer inclusie en diversiteit; onderzoek optimaliseren als mondiaal publiek goed; en een meer open en betrokken wetenschap bevorderen. Zonder hervormingen worden de kwaliteit, integriteit, diversiteit en bruikbaarheid van onderzoek bedreigd.

Kwantitatieve meetgegevens kunnen een belangrijk onderdeel vormen van onderzoeksevaluatie, in de transitie naar een meer open, verantwoordelijk en publiekgericht onderzoekssysteem (De Koninklijke Maatschappij, 2012) [2]. Maar zij zijn ook gedeeltelijk verantwoordelijk voor het voeden van de ‘publiceer of vergane’ onderzoekscultuur die wereldwijd bestaat, met schadelijke gevolgen voor de kwaliteit van de onderzoeksresultaten, de integriteit en betrouwbaarheid van onderzoekssystemen en de diversiteit van onderzoeksgemeenschappen (bijv. Haustein en Larivière, 2014) [3]. Dit komt omdat metrieken door instellingen, beleidsmakers en onderzoeksfinanciers worden gebruikt als maatstaf voor de onderzoekskwaliteit, maar ze zijn een maatstaf voor outputs en niet per se voor de kwaliteit of impact van onderzoek. Als zodanig doen deze actoren er veel toe om de sociale en culturele context te bepalen waarin onderzoek plaatsvindt, en de belonings- en promotiesystemen van de academische wereld bepalen de keuzes van wetenschappers in alle stadia van hun carrière.Macleod et al., 2014) [4].

“Het gebruik van bibliometrische indices… als maatstaf voor de prestaties van onderzoekers is een handige beoordelingsindex, maar zeer gebrekkig. De meesten leggen een meedogenloze focus op individuele prestaties, dunnen de onderzoeksondersteuning af door de belangstelling van een universiteit voor meetgegevens met een hoge impact, zetten iedereen onder druk om 'hokjes aan te vinken' en zich te conformeren, terwijl ze een belangrijke rol spelen bij het verstoren van de markt voor tijdschriftpublicaties. Er is dringend behoefte aan hervormingen.”

Opening van het Record of Science (2021), de International Science Council

De andere gemeenschap van belanghebbenden die enorme macht en invloed heeft op onderzoekscommunicatie en kennisproductie is de uitgeverijsector. Op tijdschriften gebaseerde statistieken zijn een krachtige stimulans geworden om in commerciële tijdschriften te publiceren en kunnen gedrag stimuleren dat ernstige bijwerkingen kan hebben. In plaats van de uitkomsten van onderzoek op zijn wetenschappelijke merites te beoordelen, wordt de waargenomen kwaliteit van het tijdschrift waarin het wordt gepubliceerd routinematig geaccepteerd als bewijs van wetenschappelijke kwaliteit, waardoor een zeer commerciële publicatiemarkt ontstaat die gebaseerd is op reputatie in plaats van op wetenschap. De kosten voor open toegang worden grotendeels veroorzaakt door auteursverwerkingskosten (APC's): deze kunnen onbetaalbaar hoog zijn, vooral in sommige delen van de wereld, waardoor barrières worden opgeworpen voor onderzoekspublicaties voor onderzoekers met weinig middelen en mogelijk het risico bestaat dat de internationale wetenschappelijke gemeenschap uiteenvalt. Het risico dat we steeds afhankelijker worden van commerciële aanbieders en hun gebruiksvoorwaarden in alle stadia van het onderzoeksproces creëren sterke argumenten voor alternatieven zonder winstoogmerk. Omdat bibliometrische indicatoren bovendien de dominante bron van prikkels op universiteiten zijn geweest, hebben ze de waarde van onderwijs- en andere vormen van wetenschappelijk werk (zoals onderwijs en beleidsadvies) verminderd. Omdat systemen voor onderzoeksevaluatie de neiging hebben degenen te bevoordelen die grote subsidies binnenhalen en publiceren in tijdschriften met hoge impactfactoren, zijn er aanwijzingen dat onderzoekers die al succesvol zijn geweest, waarschijnlijk opnieuw succes zullen hebben (het 'Matthew-effect', Bol et al., 2018) [5].

Wanneer wetenschappelijk publiceren een middel tot beoordeling wordt in plaats van communicatie, benadeelt dit degenen die ervoor kiezen hun onderzoek op andere betekenisvolle manieren te communiceren (ISC-rapport 2021) [6]. Dit omvat gemeenschappelijke resultaten (en misschien wel de belangrijkste valuta) van de Global Young Academy (GYA), het InterAcademy Partnership (IAP) en de International Science Council (ISC): rapporten, werkdocumenten, gezamenlijke verklaringen, opinieartikelen, nieuwsitems en webinars . Sommige disciplines zijn ook benadeeld: bijvoorbeeld onderzoekers in de techniek en de informatica, waar (meestal snellere) communicatie via conferenties en de werkzaamheden daarvan belangrijk zijn; en degenen in de geestes- en sociale wetenschappen die doorgaans monografieën, boeken en professionele tijdschriften gebruiken.

Anderen kiezen ervoor om te publiceren in onderzoeksspecifieke of lokale tijdschriften, of kunnen het zich niet veroorloven hun onderzoek (hoe hoog de kwaliteit ook is) te publiceren in open access tijdschriften met hoge impactfactoren (en daarmee gepaard gaande hoge APC's); dit laatste benadeelt mensen in lage-inkomenslanden, vooral beginnende onderzoekers (ECR's). Deze zelfde onderzoekers staan ​​onder grote druk voor vaste academische posten en hun gedrag wordt sterk bepaald door de kwantitatieve criteria die worden gehanteerd door onderzoeksfinancieringsinstellingen en institutionele wervings- en promotieraden. De verleiding om met indicatoren te denken (Müller en de Rijcke, 2017) [7], en zelfs het systeem ‘bespelen’, is een realiteit voor alle onderzoekers overal ter wereld (bijv Ansede, 2023) [8].

Een manifestatie van dit spel is onder meer dat onderzoekers (bewust of onbedoeld) roofzuchtige tijdschriften en conferenties gebruiken om hun aantal publicaties te vergroten (IAP, 2022 [vier]; Elliott et al., 2022 [10]), zich overgevend aan zelfcitatie en het vervalsen van peer reviews, plagiaat, inflatie van impactfactoren en 'salami-slicing' (het opdelen van een groot onderzoek dat in één enkel onderzoeksartikel had kunnen worden gerapporteerd in kleinere gepubliceerde artikelen) (Collier, 2019) [11]. Onder druk kunnen onderzoekers in de verleiding komen om hun toevlucht te nemen tot roofzuchtige diensten met als enige doel het behalen van hun doctoraat, het aannemen of bevorderen van een baan of het financieren van hun onderzoeksprojecten (bijv. Abad-García, 2018 [vier]; Omobowale et al., 2014) [13]. Op statistieken gebaseerde academische instellingen en academische publicatiesystemen zorgen voor verraderlijke prikkels: waar een onderzoeker publiceert is belangrijker dan wat hij publiceert.

De impact op de kwaliteit en integriteit van onderzoek is enorm zorgwekkend. Het aantal ingetrokken wetenschappelijke artikelen is de afgelopen jaren dramatisch gestegen als gevolg van wangedrag bij onderzoek en publicatie en slechte of frauduleuze datasets. Het kan maanden tot jaren duren voordat tijdschriften onbetrouwbaar onderzoek intrekken, tegen die tijd kan het al talloze keren zijn geciteerd en in het publieke domein zijn (Ordway, 2021) [14].

Het overwicht van op meetgegevens gebaseerde onderzoeksevaluatie is ondubbelzinnig en er zijn wereldwijd uiteenlopende trends als het gaat om hervorming van de beoordeling, waardoor het risico bestaat dat delen van de onderzoeksgemeenschap achterop raken. In haar analyse van het mondiale landschap van onderzoeksbeoordeling (Curry et al., 2020 [15]; ingediend), lijkt het erop dat veel onderzoeks- en financieringsinstellingen in landen/regio's met hogere inkomens een bredere reeks indicatoren beginnen op te nemen, zoals kwalitatieve 'impact'-metingen, terwijl bibliometrie de overhand blijft houden in instellingen in het 'mondiale zuiden' [16 ], over alle disciplines heen. Zonder meer inclusieve actie bestaat het risico dat de nationale beoordelingssystemen uiteen gaan lopen, waardoor mogelijk nog meer systemische bias en mogelijke onverenigbaarheden in onderzoeks-, evaluatie-, financierings- en publicatiesystemen kunnen ontstaan. Dit kan op zijn beurt de internationale onderzoekssamenwerking en de mobiliteit van onderzoekers belemmeren. Door barrières op te werpen voor noord-zuid-samenwerking kan het ook de daarmee gepaard gaande versterking van onderzoeksecosystemen in het Mondiale Zuiden belemmeren – robuuste onderzoeksevaluatie versterkt onderzoeksecosystemen en het vertrouwen daarin, verkleint de kans op braindrain en helpt bij het opbouwen van een sterk menselijk kapitaal voor duurzame ontwikkeling. ontwikkeling. Niettemin genereren one-size-fits-all versies van wat goede prestaties inhouden gedragsvormen die niet noodzakelijkerwijs bevorderlijk zijn voor uitmuntendheid, eerlijkheid, transparantie en inclusiviteit. Het is op zijn best twijfelachtig om de prestaties te meten van wetenschappers die hebben gedijen in ondersteunende, goed uitgeruste omgevingen waar kansen in overvloed aanwezig zijn, op dezelfde manier als degenen die uitdagingen hebben bestreden en hindernissen hebben overwonnen in vijandige en niet-ondersteunende omgevingen.GYA, 2022) [17]. Veel wetenschappers voelen zich historisch en geografisch uitgesloten van de onderzoeksgemeenschap, grotendeels gevoed door de manier waarop ze gedurende hun hele loopbaan worden beoordeeld. Door sommige vormen van onderzoek uit te sluiten en er niet in te slagen een diversiteit aan ideeën wereldwijd te benutten, bestaat het risico dat de huidige onderzoeksbeoordelingspraktijken een mainstream/volgercultuur van dominante westerse modellen bevorderen.

Onderzoekers in lage-inkomenslanden en in de vroege stadia van hun carrière hebben een stem nodig zodat ze nieuwe evaluatiemodellen kunnen helpen vormgeven op contextgevoelige manieren die geschikt zijn voor het beoogde doel en rekening houden met de uitdagingen waarmee ze dagelijks worden geconfronteerd. dag basis. De GYA en het groeiende aantal Nationale Jonge Academies geven ECR’s deze stem, en de GYA's werkgroep voor wetenschappelijke uitmuntendheid [18] geeft zijn visie op de hervorming van onderzoeksevaluatie (zie onderstaande tekst).

Standpunten van de gemeenschap van beginnende onderzoekers

Vroege loopbaanonderzoekers (ECR's) maken zich vooral zorgen over de praktijk van onderzoeksevaluatie, omdat hun carrièrevooruitzichten en het nastreven van hun onderzoeksagenda in cruciale mate afhangen van de manier waarop ze worden geëvalueerd. Dit informeert financierings-, aanwervings- en promotiepraktijken op manieren die niet altijd als eerlijk en rechtvaardig worden ervaren.

Hoewel het duidelijk is dat beslissingen over financiering en personeelszaken de samenstelling van de beroepsbevolking van onderzoekers beïnvloeden, wordt niet altijd onderkend dat onderzoeksevaluatie, door de impact ervan op de financiering, prikkels vormt voor instellingen en onderzoekers om een ​​bepaald onderzoekstraject te volgen, in een bepaald vakgebied of sluit je aan bij sommige netwerken boven andere. Op deze manier geeft onderzoeksevaluatie vorm aan de ontwikkeling van de wetenschap zelf, en dit geldt vooral als het gaat om de onevenredige impact ervan op de vooruitzichten en verwachtingen van ECR's.

Hoewel wetenschap een mondiale onderneming is, worden sommige wetenschappers geconfronteerd met hogere barrières om deel te nemen aan de onderzoeksgemeenschap vanwege hun geboorteplaats, hun identiteit of hun sociaal-economische achtergrond. Dit is een kwestie van de organisatie van de wetenschappelijke industrie en niet per se van onderzoeksevaluatie, maar veel ECR's zijn van mening dat evaluatiecriteria niet blind mogen zijn voor deze realiteit van de ervaring van onderzoekers, en geen uniforme en gestandaardiseerde criteria mogen opleggen aan verschillende situaties.

Uit onderzoek uitgevoerd door de Scientific Excellence Working Group van de GYA (te verschijnen rapport) blijkt dat onderzoeksbeoordeling wellicht meer wordt aangestuurd door het onderzoeksbeleid van een land dan door culturele of wetenschappelijke debatten. Door zich te concentreren op promotiecriteria tot hoogleraarschap (of gelijkwaardig) in de academische wereld, laat het rapport zien dat nationaal beleid en nationale instellingen vaak over specifieke documenten beschikken waarin de criteria voor onderzoeksbeoordeling worden uiteengezet. In plaats van een grote en gevarieerde reeks criteria te omvatten die kunnen worden gebruikt om een ​​alomvattend beeld van een onderzoeker te vormen, hebben deze documenten de neiging zich te concentreren op één enkele dimensie of prioriteit. Sommige documenten richten zich bijvoorbeeld op de evaluatie van de dienstverlenende activiteiten van een onderzoeker (zoals lesgeven en mentorschap) of op de geaccumuleerde output van een onderzoeker (bijvoorbeeld in termen van het aantal tijdschriftartikelen) – maar zelden op beide.

Er zijn twee belangrijke implicaties van deze bevinding. Ten eerste is die onderzoeksbeoordeling hiërarchisch en top-down. Dit brengt een risico met zich mee, omdat zowel metrieken als kwalitatieve methoden vaak voorbijgaan aan de diversiteit van onderzoekers: zowel wat betreft hun achtergrond als carrièrepaden, en – net zo belangrijk – diversiteit in hun methoden en ideeën. De in de GYA vertegenwoordigde ECR's zijn daarentegen van mening dat het belangrijk zou zijn om de diversiteit aan activiteiten te erkennen die nodig zijn voor de onderzoeksonderneming, en om onderzoeksevaluatieprogramma's te bedenken die diversiteit en pluralisme bevorderen in plaats van conformiteit en homologatie op te leggen.

Ten tweede zijn de verschillen tussen disciplines minder groot dan de verschillen naar gelang de economische status van de landen waarin een onderzoeker werkt. Landen met lagere inkomens lijken te vertrouwen op kwantitatieve maatstaven en 'productiviteit' te belonen, terwijl landen met hogere inkomens steeds meer openstaan ​​voor kwalitatieve beoordeling van de impact. Mocht dit verschil zich verder ontwikkelen, dan zou dit een verder obstakel kunnen vormen voor de internationale mobiliteit van wetenschappers – wat vooral belangrijk is voor ECR’s.

Concluderend benadrukt het GYA-rapport dat er geen wondermiddel bestaat: onderzoeksevaluatie moet gericht zijn op de doelstellingen van evaluatie, en uiteindelijk op de doelstellingen van een instelling of het onderzoeksbeleid van een land. Bij de evaluatie moet rekening worden gehouden met de diversiteit van de profielen en loopbanen van onderzoekers, en moet er een andere focus worden gehanteerd, afhankelijk van het doel van de evaluatie. Omdat wetenschap een mondiaal en zelfkritisch gesprek is, is een externe evaluatie niet altijd nodig. Er wordt vaak gedebatteerd over het nut en de werkelijke waarde van beledigende ranglijsten (van mensen, instellingen, media of zelfs hele landen).

De mondiale uitdagingen van vandaag, waarvan er vele zijn verwoord in de Duurzame Ontwikkelingsdoelstellingen (SDG’s) van de Verenigde Naties (VN), vereisen transformatief, interdisciplinair en transdisciplinair onderzoek, dat op zichzelf nieuwe modaliteiten van onderzoekslevering en samenwerking vereist.ISC, 2021) [19]. De urgentie van inclusief, participatief, transformatief, transdisciplinair onderzoek wordt niet geëvenaard door de manier waarop onderzoek wordt ondersteund, beoordeeld en gefinancierd. Om onderzoek zijn belofte aan de samenleving waar te maken, heeft het meer open, inclusieve, contextgevoelige beoordelingssystemen nodig.Gluckman, 2022) [20]. Het ingebedde gedrag van academici, financiers en uitgevers kan verandering bemoeilijken, zodat investeringen potentieel kunnen worden afgeleid van juist die gebieden waar de nood het grootst is.

De groei van interdisciplinair en transdisciplinair onderzoek en participatieve of burgerwetenschap zijn belangrijke ontwikkelingen en van cruciaal belang voor het aanpakken van mondiale uitdagingen. Omdat onderzoek de disciplinaire en institutionele grenzen overschrijdt en een bredere groep belanghebbenden erbij betrekt – inclusief de gebruikersgemeenschap om samen dringende onderzoeksvragen voor de samenleving te ontwerpen – zijn traditionele beoordelingscriteria voor academisch onderzoek ontoereikend en kunnen ze zelfs de transdisciplinaire ontwikkeling en het gebruik van onderzoek in de weg staan.Belcher et al., 2021) [21]. Er zijn geschiktere principes en criteria nodig om de transdisciplinaire onderzoekspraktijk en -evaluatie te sturen: een vroeg voorbeeld van een kwaliteitsbeoordelingskader is opgebouwd rond principes van relevantie, geloofwaardigheid, legitimiteit en bruikbaarheid.Belcher et al., 2016) [22].

De manieren waarop onderzoek wordt opdracht gegeven, gefinancierd, uitgevoerd en gecommuniceerd, evolueren snel en vereisen een versnelling van de hervorming van de onderzoeksevaluatie. Ze omvatten het volgende:

(1) De transitie naar open science

De open wetenschapsbeweging vereist een gelijktijdige hervorming van onderzoeksevaluatiesystemen om de openheid en transparantie te verbeteren. Veel van de meetgegevens en indicatoren die worden gebruikt om onderzoeksprestaties te meten, zijn op zichzelf ondoorzichtig en worden vaak achter gesloten commerciële deuren berekend. Dit gebrek aan transparantie brengt de autonomie van de onderzoeksgemeenschap in gevaar – het beperkt de mogelijkheden voor het evalueren, testen, verifiëren en verbeteren van onderzoeksindicatoren (Wilson et al., 2015 [23]). Verantwoorde onderzoeksbeoordeling wordt een kernaspect van de mondiale ontwikkeling in de richting van open wetenschap, zoals bijvoorbeeld blijkt uit de Aanbeveling over Open Science van de Onderwijs-, Wetenschappelijke en Culturele Organisatie van de Verenigde Naties (UNESCO).UNESCO, 2021 [24]) – die de ontwikkeling omvat van een Open Science Toolkit voor haar leden om hen te helpen bij het herzien en hervormen van hun onderzoeksloopbaanbeoordelingen en evaluatiecriteria [25].

(2) Ontwikkelingen op het gebied van peer review

De groei van open peer review – of het nu gaat om het publiceren van peer review-rapporten en/of het publiek identificeren van reviewers – is een belangrijke ontwikkeling voor onderzoeksevaluatie (Barroga, 2020 [vier]; Woods et al., 2022 [27]). De groei van de data-infrastructuur heeft uitgevers in staat gesteld Digital Object Identifiers (DOI's) te genereren voor peer review-rapporten, peer review-rapporten te koppelen aan individuele Open Researcher en Contributor ID's (ORCID's) en papers als preprints te publiceren. Het aantal preprints groeide aanzienlijk tijdens de wereldwijde COVID-pandemie en bracht de uitdagingen aan het licht die zich voordoen bij het beoordelen van onderzoek in een snelle responsmodus. Niettemin kunnen open peer review-praktijken – zowel vóór als na de publicatie – helpen de controle te ontwrichten die commerciële uitgevers hebben over onderzoekscommunicatie en kennisproductieprocessen, waardoor de macht van het wetenschappelijke tijdschrift en de daarmee samenhangende maatstaven zoals JIF’s wordt verminderd. Open documenten van peer review-activiteiten kunnen ook een infrastructuur bieden voor het documenteren – en op termijn een grotere waarde genereren in – peer review-activiteiten, die een essentiële professionele dienst vormen die vaak grotendeels onzichtbaar en ondergewaardeerd wordt binnen academische beoordelingen.Kaltenbrunner et al., 2022 [28]).

(3) De toepassing van kunstmatige intelligentie en machinaal leren

De technologische vooruitgang op het gebied van kunstmatige intelligentie (AI) en machinaal leren zal waarschijnlijk diepgaande gevolgen hebben voor de onderzoeksevaluatie, inclusief de peer review-processen die deze ondersteunen (bijv. Holm et al., 2022 [vier]; Proctor et al., 2020 [30]). AI wordt al gebruikt om peer review te stroomlijnen en te versterken (Natuur, 2015 [31]; Natuur, 2022 [32]), test de kwaliteit van peer review (Severin et al., 2022 [33]), test de kwaliteit van citaten (Gadd, 2020 [34]), plagiaat opsporen (Foltýnek et al., 2020 [35]), betrap onderzoekers op het bewerken van gegevens (Quach, 2022 [36]) en peer reviewers vinden, die steeds schaarser worden omdat dit werk niet de eer krijgt die het verdient bij de evaluatie van onderzoekers. 'Conversational AI', zoals ChatGPT (Chat Generative Pre-Trained Transformer), heeft de capaciteit om experimenten te ontwerpen, manuscripten te schrijven en te voltooien, peer review uit te voeren en redactionele beslissingen te ondersteunen om manuscripten te accepteren of af te wijzen (Natuur, 2023 [37]). Er is ook potentieel voor AI om de efficiëntie van peer review te verbeteren door algoritmen te gebruiken om de last van peer reviewers als scheidsrechters van onderzoeksresultaten te verlichten (Natuur, 2022 ). Het gebruik van AI wordt in China al getest om scheidsrechters te vinden (Natuur, 2019 [39]).

Al deze AI-toepassingen kunnen deze last verminderen en ervaren experts in staat stellen hun oordeel te richten op onderzoekskwaliteit en complexere beoordelingen (Thelwall, 2022 [40]). Maar ze lopen ook het risico vooroordelen te propageren omdat het voorspellende technologieën zijn die bestaande gegevens versterken die vertekend kunnen zijn (bijvoorbeeld op basis van geslacht, nationaliteit, etniciteit of leeftijd): het gebruik van AI zelf zou baat kunnen hebben bij een dieper begrip van wat ‘kwaliteit’ inhoudt. ' onderzoek (Chomsky et al., 2023 [vier]; ISI, 2022 [42]).

Maar in wezen staan ​​alle vormen van AI en machinaal leren open voor misbruik (Blauth et al., 2022 [43]; Bengio, 2019 [44]). Academische en onderzoeksgemeenschappen zullen hiervoor paraatheid en veerkracht moeten opbouwen, in samenwerking met de leiders van de overheid, de industrie en het maatschappelijk middenveld die deze ruimte besturen.

(4) De opkomst van sociale media

Conventionele kwantitatieve metingen van de impact van onderzoek houden geen rekening met de toename van de betrokkenheid van sociale media en sociaal genetwerkte onderzoekers/academici.Jordan, 2022 [45]). Veel academici gebruiken sociale-mediaplatforms om gemeenschappen, beleidsmakers en publiek gedurende de hele looptijd van hun onderzoeksproject te betrekken; om hun onderzoek op een positieve manier te benaderen, te testen en te informeren, en een diversiteit aan ideeën en input aan te dragen, in plaats van simpelweg de uiteindelijke output te publiceren als een voldongen feit voor een ontvangend publiek. Deze betrokkenheid wordt niet opgepikt door conventionele vormen van onderzoeksbeoordeling, maar kan toch leiden tot bredere beïnvloedings- en outreachmogelijkheden. Social media metrics (‘altmetrics’) worden ontwikkeld als bijdrage aan verantwoorde metrics (Wouters et al., 2019 [4]) en vermeld bijvoorbeeld Twitter- of Facebook-vermeldingen en het aantal volgers op ResearchGate. Aan de ene kant kunnen deze altmetrics helpen de evaluatie open te stellen, ruimte te creëren en te verbreden (Rafols en Stirling, 2021 [47]), maar aan de andere kant kunnen ze – net als andere indicatoren – ook op onverantwoorde wijze worden gebruikt en/of gezien worden als een extra laag van metrieken in evaluatiesystemen.

De uitdagingen voor de hervorming van de onderzoeksevaluatie zijn talrijk. Enkele van de belangrijkste worden hier geïllustreerd.

Elke hervorming die meer kwalitatieve maatregelen omvat, moet tegelijkertijd de kwaliteit van fundamenteel en toegepast onderzoek waarborgen. Er is anekdotisch bewijs dat sommige wetenschappers zelf tegen hervormingen zijn, misschien vooral geavanceerde carrièreonderzoekers die het goed hebben gedaan in het huidige systeem, omdat ze vrezen dat dit het risico inhoudt dat middelmatig onderzoek wordt gestimuleerd, of dat meer kwalitatieve vormen van evaluatie de voorkeur geven aan toegepast onderzoek boven fundamenteel onderzoek. Hervormingen van onderzoeksevaluatiecriteria worden doorgaans vormgegeven rond stappen richting missiegericht, maatschappelijk impactvol onderzoek dat een beroep doet op publieke en politieke steun op een manier waarop minder tastbaar fundamenteel of blue-skies-onderzoek dat misschien niet doet. Sommigen beweren dat een meer genuanceerde interpretatie van de ‘waarde’ van onderzoek nodig is om innovatie te ondersteunen, aangezien de toekomst voortdurende investeringen in fundamenteel, nieuwsgierigheidsgedreven onderzoek en een bredere waardering van de cruciale rol die dit speelt in het vermogen om te reageren op mondiale uitdagingen vereist.GYA, 2022 [48]).

Het gebrek aan consistentie in de betekenis en het gebruik van onderzoeksterminologie, meer in het algemeen, vormt een barrière voor verandering. Het conceptuele raamwerk voor onderzoeksevaluatie is in de loop van de tijd niet substantieel veranderd, en de taal die dit ondersteunt ook niet: het onderzoekssysteem zit nog steeds vast in oude dichotomieën als ‘fundamentele’ en ‘toegepaste’ wetenschap, en termen als ‘impact’, ‘kwaliteit’. (onbehulpzaam gelijkgesteld met productiviteit) en ‘excellentie’ zijn niet duidelijk gedefinieerd op een manier die geografische, disciplinaire, carrièrefase- en gendervooroordelen vermijdt (Jong et al., 2021 [49]): dit kan bijzonder acuut zijn in besluitvormingspanels waar diversiteit ontbreekt (Hatch en Curry, 2020 )[50].

Net als op maatstaven gebaseerde evaluatie zijn ook meer kwalitatieve vormen van evaluatie onvolmaakt. Het argument dat peer review-processen en het oordeel van deskundigen minstens zo belangrijk zijn als bibliometrie is niet eenvoudig. Ze kunnen vertekend zijn vanwege het gebrek aan duidelijkheid en transparantie in het peer review-proces. Peer review-commissies zijn bijvoorbeeld bekritiseerd als mechanismen die gevestigde vormen van macht en privileges in stand houden door 'old boys'-netwerken en homofilie (beoordelaars die op zoek gaan naar mensen zoals zijzelf) in stand te houden, terwijl ze ook kwetsbaar zijn voor de dynamiek van groepsdenken. Kwantitatieve maatstaven, hoe onvolkomen ook, worden in sommige delen van de wereld gezien als een verdediging tegen nepotisme en vooringenomenheid. Soortgelijke argumenten kunnen worden toegepast op de peer review van onderzoeksartikelen, waarbij het gebruik van een meer kwalitatieve beoordeling mogelijk de deur opent voor andere vormen van discriminerend gedrag.

Het gebrek aan professionele erkenning van en training voor peer review in welke vorm dan ook creëert negatieve prikkels om als peer reviewer op te treden, waardoor de capaciteit afneemt. Bovendien kan het, als de vraag groter is dan het aanbod, prikkels creëren om bezuinigingen te doen en de strengheid te verminderen. Het vergroten van de transparantie van peer review (volledig open, geanonimiseerd of hybride) en training, het bevorderen en belonen van goede peer review-praktijken zijn allemaal vereist; evenals verder onderzoek naar modellen voor de evolutie ervan naarmate de onderzoeksresultaten diversifiëren (IAP, 2022 [51]) en AI-technologieën gaan vooruit.

Debatten over de hervorming van de onderzoeksevaluatie zijn complex en niet binair. Kwalitatieve en kwantitatieve informatie zijn vaak gecombineerd in peer review-contexten: uitspraken als het Leiden Manifesto for Research Metrics (Hicks et al., 2015 [52]) pleit voor 'geïnformeerde peer review' waarbij het oordeel van deskundigen wordt ondersteund – maar niet geleid door – op de juiste wijze geselecteerde en geïnterpreteerde kwantitatieve indicatoren en door kwalitatieve informatie. Het debat over onderzoeksevaluatie gaat niet over een binaire 'kwalitatieve versus kwantitatieve' keuze van evaluatie-instrumenten, maar over de vraag hoe de beste combinatie van meerdere vormen van informatie kan worden gewaarborgd.

Ten slotte moet elke hervorming ook gemakkelijk en uitvoerbaar zijn. Het onderzoekssysteem vertoont al tekenen dat het onder zichzelf ineenstort, nu het aantal publicaties exponentieel stijgt en de lasten van de evaluaties ongelijk verdeeld zijn over de gehele onderzoeksonderneming (bijv. Publons, 2018 [vier]; Kovanis et al., 2016 [vier]; Natuur, 2023 [55]). Op tijdschriften gebaseerde statistieken en de h-index kunnen, samen met kwalitatieve noties van het prestige van uitgevers en institutionele reputatie, handige sluiproutes bieden voor drukke beoordelaars en obstakels vormen voor verandering die diep verankerd zijn geraakt in academische evaluatie (Hatch en Curry, 2020 [56]). Kwantitatieve maatstaven worden in sommige landen geprezen omdat ze relatief duidelijke en ondubbelzinnige routes bieden voor benoeming en promotie. In het 'mondiale Zuiden' worden routinematig gemiddelde impactfactoren gebruikt om kandidaten op de shortlist te zetten, en elk alternatief moet evenzeer implementeerbaar zijn en kunnen putten uit de extra middelen die onvermijdelijk nodig zijn om de reikwijdte van de evaluatie te verbreden. Het gemak van het gebruik van eenvoudige kwantitatieve maatstaven bij onderzoeksevaluatie zal waarschijnlijk een groot obstakel voor verandering zijn, en de introductie van nieuwe evaluatiesystemen kan zelfs tot meer mondiale ongelijkheid leiden als gevolg van een gebrek aan capaciteit of competentie in sommige landen.

De afgelopen tien jaar zijn er een reeks spraakmakende manifesten en principes over onderzoeksevaluatie verschenen om deze uitdagingen aan te pakken, waaronder het Leiden Manifesto (ontwikkeld door een groep internationale experts), de Hong Kong Principles (Moher et al., 2020 [57]) (ontwikkeld tijdens de 6e Wereldconferentie over onderzoeksintegriteit in 2019) en Het metrische getij [58] en Het metrische getij benutten [59] rapporten (ontwikkeld in de context van een herziening van het Britse onderzoeks- en evaluatiekader, REF). Er zijn minstens vijftien afzonderlijke inspanningen die er bij de belangrijkste belanghebbenden – of het nu om beleidsmakers, financiers of hoofden van instellingen voor hoger onderwijs (HOI’s) gaat – op aandringen om de potentiële schade van de huidige beoordelingssystemen te minimaliseren. Al deze initiatieven hebben een breed publiek bereikt en zijn vooruitstrevend in hun focus op verantwoorde maatstaven als voorwaarde voor het verbeteren van de onderzoekscultuur en het brengen van gelijkheid, diversiteit, inclusie en verbondenheid in de onderzoeksgemeenschap. Maar er bestaat bij sommige architecten van deze initiatieven een groeiende bezorgdheid dat ze, hoewel nuttig, afbreuk doen aan tastbare praktische actie: het ondertekenen van de handtekening is alleen effectief als deze wordt gevolgd door praktische implementatie.Natuur, 2022 [60]).

Er is steeds meer steun voor ‘verantwoorde onderzoeksbeoordeling of evaluatie’ en ‘verantwoorde metrieken’ (DORA, 2012 [vier]; Hicks et al. 2015 [vier]; Wilson et al., 2015) die overgaan van puur kwantitatieve maatstaven naar een grotere verscheidenheid aan maatregelen om onderzoekers in staat te stellen de economische, sociale, culturele, ecologische en beleidsimpact van hun onderzoek te beschrijven; om rekening te houden met kwesties die de onderzoeksgemeenschap waardeert: ‘data for good’ of ‘value-led indicators’ die bredere kenmerken aanpakken (Curry et al., 2022 [63]). De afgelopen jaren zijn innovatieve en vooruitstrevende benaderingen van verantwoorde onderzoeksbeoordeling ontwikkeld en getest door een aantal hoger onderwijsinstellingen en onderzoeksfinanciers in regio's en landen over de hele wereld. Sommige worden hier uitgelicht.

Van de hierboven genoemde mondiale initiatieven heeft de San Francisco 'Verklaring over onderzoeksbeoordeling' [64] (DORA) is misschien wel het meest actieve mondiale initiatief. Het heeft problemen gecatalogiseerd die worden veroorzaakt door het gebruik van op tijdschrift gebaseerde indicatoren om de prestaties van individuele onderzoekers te evalueren en geeft 18 aanbevelingen om een ​​dergelijke evaluatie te verbeteren. DORA ontmoedigt categorisch het gebruik van op tijdschriften gebaseerde statistieken om de bijdrage van een onderzoeker te beoordelen of bij het inhuren, promoten of financieren. Medio april 2023 is de verklaring ondertekend door 23,059 ondertekenaars (instellingen en individuen) in 160 landen, die zich ertoe hebben verbonden hervormingen door te voeren. Met een focus op het navigeren door de intrinsieke uitdagingen en aangeboren vooroordelen van kwalitatieve beoordeling, ontwikkelt DORA zich Hulpmiddelen om onderzoeksbeoordeling te bevorderen (TARA) [65] om de verklaring in de praktijk te helpen brengen: deze instrumenten omvatten een dashboard om innovatief beleid en praktijken op het gebied van loopbaanbeoordeling te indexeren en classificeren en een toolkit met hulpmiddelen om de samenstelling van commissies te helpen de bias te verminderen en om verschillende, kwalitatieve vormen van onderzoeksimpact te herkennen.

Daarnaast financiert DORA tien projecten – in Argentinië, Australië, Brazilië, Colombia (2), India, Japan, Nederland, Oeganda en Venezuela – om verschillende manieren te testen om hervormingen in onderzoeksevaluatie in hun lokale context te bevorderen, evenals het verzamelen van voorbeelden van goede praktijken: bijvoorbeeld bewustmaking, ontwikkeling van nieuw beleid of nieuwe praktijken, opleiding en praktische begeleiding voor sollicitanten (DORA [66]). De vraag naar dit soort subsidies was groot – ruim 55 aanvragers uit 29 landen – wat wijst op een groeiende erkenning van de noodzaak van hervormingen.

Professionele onderzoeksmanagementverenigingen zoals het International Network of Research Management Societies (INORMS) hebben ook actief middelen ontwikkeld om organisatorische veranderingen te begeleiden, waaronder de SCOPE Kaderonderzoeksevaluatiegroep | INORMS – Het INORMS SCOPE-raamwerk voor onderzoeksevaluatie [67] dat begint met het definiëren van wat wordt gewaardeerd, wie wordt geëvalueerd en waarom (een nuttige verklarende poster hier [68]).

De internationale ontwikkelingssector heeft nieuwe perspectieven op onderzoeksevaluatie geboden, waarvan een goed voorbeeld is Onderzoekskwaliteit Plus | IDRC – Internationaal Ontwikkelingsonderzoekscentrum [69], dat meet wat belangrijk is voor mensen aan de ontvangende kant van onderzoek. De Research Quality Plus (RQ+) tool erkent dat wetenschappelijke verdienste noodzakelijk maar niet voldoende is, en erkent de cruciale rol van de gebruikersgemeenschap bij het bepalen of onderzoek relevant en legitiem is. Het erkent ook dat de actualisering en beïnvloeding van onderzoek al tijdens het onderzoeksproces beginnen. Onderzoeksaanvragen worden vaak beoordeeld door zeer interdisciplinaire panels, waarin ook ontwikkelingsdeskundigen van buiten de academische wereld (bijvoorbeeld een overheidsdepartement of een niet-gouvernementele organisatie (NGO)), praktijkmensen en vertegenwoordigers uit het land zitting hebben: dit versterkt het belang van de gebruikersgemeenschap/niet-vakdeskundigen Het is nodig om het onderzoek te begrijpen en te begrijpen hoe het in de praktijk kan worden toegepast. Onderzoek in complexe, lage-inkomens- of fragiele omgevingen kan vergezeld gaan van een ethische toolkit of raamwerk, ontworpen om ethische keuzes in de onderzoekslevenscyclus te informeren en te ondersteunen, van het begin tot de verspreiding en impact, bijvoorbeeld Reid et al., 2019 [70]. 'Theory of Change'-benaderingen worden op grote schaal gebruikt in internationaal ontwikkelingsonderzoek door donoren, NGO's en multilaterale organisaties, waarbij aanvragers routes naar impact moeten formuleren, ondersteund door monitoring-, evaluatie- en leerkaders, bijvoorbeeld Valters, 2014 [71]. De academische onderzoeksgemeenschap kan potentieel leren van de ontwikkelingsgemeenschap.

Erkennend de rol van financiers bij het vormgeven van de strategieën van instellingen voor hoger onderwijs, heeft de Responsible Research Assessment van de Global Research Council (GRC). (RRA)-initiatief [72] heeft grote onderzoeksfinanciers over de hele wereld gestimuleerd om te werken aan RRA-ambities in hun eigen regionale en nationale context en om effectieve evaluatiekaders te ontwikkelen om de impact te beoordelen (verklarende video hier [73]). Opdracht geven tot een werkdocument over RRA (Curry et al., 2020 [74]), riep de GRC zijn leden op om de RRA-principes te verankeren en concrete actie te ondernemen om deze te verwezenlijken, en van elkaar te leren door middel van samenwerking en het delen van goede praktijken. Een internationale werkgroep [75] biedt begeleiding en ondersteuning aan GRC-leden en helpt hen bij de overgang van beweging naar actie.

Grotendeels dankzij de inspanningen van de GYA beginnen de ECR's zich ook rond deze agenda te mobiliseren. Zijn Werkgroep wetenschappelijke excellentie [76] werkt aan het identificeren van onderzoeksomgevingen die bevorderlijk zijn voor 'het ontketenen van nieuwsgierigheid en creativiteit in de wetenschap en het bevorderen van de ontwikkeling van menselijk potentieel door middel van diversiteit en inclusie'. Hun werk roept de ECR-gemeenschap op om de definities van 'excellentie' die door hun organisaties worden gebruikt ter discussie te stellen, om betrokken te raken bij initiatieven om de onderzoeksevaluatie te hervormen en om zich aan te sluiten bij de Young Academies-beweging. Het roept ook financierings- en aanwervingsinstanties op om ECR's te betrekken bij debatten over onderzoeksevaluatie en een bredere diversiteit aan bijdragen aan en carrières in onderzoek te erkennen.

Hoewel sommige universiteiten en andere instellingen voor hoger onderwijs DORA hebben ondertekend en/of zich hebben aangesloten bij de Europese beweging (hieronder beschreven), lijken zij zich niet collectief rond onderzoeksevaluatie te organiseren zoals andere belangrijke kiesdistricten dat wel doen.

Problemen die ontstaan ​​door evaluatiesystemen die bijna uitsluitend kwantitatief van aard zijn, worden grotendeels gezien en gediagnosticeerd vanuit het perspectief van het 'mondiale noorden', waarbij het 'mondiale zuiden' het risico loopt een inhaalslag te maken. Met het risico van overgeneralisatie bestaan ​​er in het 'mondiale noorden' grote systemische problemen rond het gebrek aan diversiteit, gelijkheid en inclusiviteit, die nog worden verergerd door evaluatiesystemen. In het ‘Global South’ is er een gebrek aan lokale en regionale definitie van wat ‘kwaliteit’ en ‘impact’ inhoudt, zijn er sterk uiteenlopende evaluatiesystemen (zelfs tussen afdelingen van dezelfde universiteit), en is er relatief weinig uitdaging om de de status-quo. Over de hele wereld komen problemen voort uit de te grote nadruk op kwantitatieve indicatoren, het verband tussen evaluatie en toewijzing van middelen, het zeer competitieve financieringssysteem en de druk om te publiceren, en de veronachtzaming van andere, minder kwantificeerbare dimensies van onderzoek en het academische leven.

Er is weinig peer-reviewed literatuur over vergelijkende studies naar hervormingen van onderzoeksevaluatie. Een zeldzame uitzondering is een vergelijking van onderzoeksevaluatie-interventies in zes verschillende regio’s (Australië, Canada, Duitsland, Hong Kong, Nieuw-Zeeland en Groot-Brittannië), waaruit blijkt dat de geïndexeerde prestaties van alle zes interventies lijken te verbeteren na meerdere soorten interventies (tenminste met behulp van conventionele bibliometrische indicatoren) (ISI, 2022 [77]). DORA biedt (grotendeels institutionele) casestudies op haar webpagina (DORA [78]) en in een rapport (DORA, 2021 [79]) bedoeld om anderen tot actie te inspireren, maar dit zijn overwegend Europese voorbeelden.

Hier geven de auteurs regionale overzichten en nationale voorbeelden van experimenten en hervormingen voor verder inzicht – deze zijn niet alomvattend of uitputtend bedoeld.

De EU-coalitie voor de hervorming van onderzoeksevaluatie [80], of CoARA, goedgekeurd in juli 2022, is het grootste initiatief ter wereld op het gebied van de hervorming van onderzoeksevaluatie. Vier jaar in de maak en ontwikkeld door 350 organisaties in 40 (grotendeels Europese) landen, hebben de European University Association en Science Europe (een netwerk van wetenschapsfinanciers en academies van het continent), in overleg met de Europese Commissie, een overeenkomst ontwikkeld of vastgelegd van principes (een 'hervormingsreis'), voor een meer inclusieve en verantwoorde onderzoeksbeoordeling (CoARA, 2022 [81]). De overeenkomst richt zich op drie beoordelingsniveaus: instellingen, individuele onderzoekers en het onderzoek zelf. Hoewel de coalitie wordt bestuurd door Europese partners, heeft zij ambities om mondiaal te worden en zowel DORA als de GYA hebben het akkoord al ondertekend. De ondertekenaars verbinden zich ertoe middelen ter beschikking te stellen om de onderzoeksevaluatie te verbeteren, nieuwe criteria en instrumenten voor evaluatie te ontwikkelen, het bewustzijn te vergroten en training te geven over onderzoeksevaluatie (bijvoorbeeld aan peer reviewers). Deze ontwikkeling is beschreven als ‘het meest hoopvolle teken tot nu toe van echte verandering’ (Natuur, 2022 [82]).

De EU financiert ook enkele opwindende nieuwe initiatieven die bedoeld zijn om de hervorming van de onderzoeksevaluatie te ondersteunen: met name Open en Universal Science (OPUS [83]) – om een ​​‘alomvattend pakket’ van indicatoren te ontwikkelen voor meerdere onderzoeksprocessen en -resultaten, en daardoor Europese onderzoekers te stimuleren om open science in de praktijk te brengen – en de open science assessment dataspace GreepOS [84] – het opbouwen van een open dataruimte ter ondersteuning van beleidshervormingen voor onderzoeksbeoordeling.

De European Research Council (ERC), die grensverleggend onderzoek op alle terreinen ondersteunt (met een budget van 16 miljard euro voor 2021-2027), heeft het CoARA ondertekend en zijn evaluatieformulieren en -processen aangepast om meer verhalende beschrijvingen in te bouwen, waarbij ook rekening wordt gehouden met minder conventionele carrièrepaden en 'uitzonderlijke bijdragen' aan de onderzoeksgemeenschap. Voorstellen zullen meer op hun merites worden beoordeeld dan op basis van de prestaties van de aanvrager in het verleden en zullen verder worden geëvalueerd door peer review-panels bestaande uit vooraanstaande wetenschappers, waarbij alleen het criterium van wetenschappelijke uitmuntendheid wordt gebruikt (ERC, 2022 [85]).

Ook enkele Europese academies zijn betrokken. Het bestuur van ALLEA [86], de Europese Federatie van Academies van Wetenschappen en Geesteswetenschappen, die negen van de ruim vijftig nationale academies in veertig Europese landen vertegenwoordigt, heeft de CoARA-beweging gesteund. ALLEA heeft zich ertoe verbonden een speciale taakgroep op te richten die goede praktijken voor het toelaten van nieuwe Academy Fellows verzamelt, uitwisselt en bevordert en bijdraagt ​​aan een 'zinvolle culturele uitwisseling' van onderzoeksbeoordeling, gebaseerd op principes van kwaliteit, integriteit, diversiteit en openheid. In zijn Verklaring van 2022 oktober roept ALLEA de aangesloten academies op om het volgende te doen:

1. Erken de diversiteit van bijdragen aan en loopbanen in onderzoek in overeenstemming met de behoeften en aard van het onderzoek; in het geval van Academie-fellows moeten selectieprocedures (1) rekening houden met het genderevenwicht en de unieke uitdagingen van jonge onderzoekers, (2) de diversiteit van culturen en disciplines ondersteunen, (3) een verscheidenheid aan competentiegebieden en talenten waarderen, en (4) interdisciplinariteit en meertaligheid bevorderen.

2. Onderzoeksbeoordeling primair baseren op kwalitatieve evaluatie waarbij peer review centraal staat, ondersteund door verantwoord gebruik van kwantitatieve indicatoren; De beoordeling van excellentie en impact met betrekking tot het werk van kandidaat-bursalen moet gebaseerd zijn op kwalitatieve collegiale toetsing die voldoet aan de fundamentele beginselen van nauwkeurigheid en transparantie en rekening houdt met de specifieke aard van de wetenschappelijke discipline.

3. Geef een einde aan het ongepaste gebruik van op tijdschriften en publicaties gebaseerde maatstaven bij de beoordeling van onderzoek; Dit betekent in het bijzonder dat we afstappen van het gebruik van meetgegevens als de Journal Impact Factor (JIF), Article Influence Score (AIS) en h-index als dominante indicatoren voor kwaliteit en impact.

Allea-verklaring over de hervorming van onderzoeksbeoordeling binnen de Europese Academies

In hun gezamenlijke reactie [87] Bij de EU-overeenkomst en de CoARA-coalitie heeft de ECR-gemeenschap in de GYA deze toezegging ook verwelkomd en manieren aangeboden om de principes ervan ten uitvoer te leggen. Hiertoe behoren praktijken die inclusief zijn en de diversiteit van de nationale specifieke kenmerken en kenmerken van disciplines weerspiegelen, waarbij onderzoekers uit alle loopbaanfasen training, prikkels en beloningen ontvangen, waarbij verplichte training op het gebied van open wetenschap voor onderzoekers, personeel en commissieleden van cruciaal belang is.

Onderzoeksintensieve universiteiten in Europa staan ​​ook achter de hervorming van onderzoeksevaluatie als traject voor ‘multidimensionale’ onderzoeksloopbanen (Overlaet, B., 2022 [88]). Ze hebben een gemeenschappelijk raamwerk ontwikkeld om universiteiten te inspireren en te ondersteunen om een ​​diversiteit aan bijdragen op het gebied van onderzoek, onderwijs en dienstverlening aan de samenleving te erkennen.

Op nationaal niveau experimenteren verschillende landen nu met verschillende beoordelingsmodellen: bijvoorbeeld nationale financieringsagentschappen België, Nederland, Zwitserland en UK maken allemaal gebruik van 'verhalende CV's'. Narratieve CV’s kijken holistischer naar academische prestaties: bijdrage aan het genereren van kennis, aan de ontwikkeling van individuen, aan de bredere onderzoeksgemeenschap en aan de bredere samenleving (Royal Society [89]). Hoewel er steeds meer steun is voor dit soort cv’s, bestaat er ook enige bezorgdheid dat ze academici dwingen overal goed in te zijn, en daarmee het risico lopen diepgaande expertise in het nastreven van de status van allrounder in gevaar te brengen.Grove, J., 2021 [90]).

Vier voorbeelden van nationale onderzoekssystemen die landelijke hervormingen op het gebied van loopbaangerichte academische beoordelingen coördineren, zijn opgenomen in de volgende tekstvakken.

Nationaal voorbeeld: Groot-Brittannië

Het UK Research Evaluation Framework (REF) meet de impact van onderzoek aan de hand van twee dimensies: 'significantie' (het tastbare verschil dat een project maakt) en 'bereik' (de kwantificeerbare mate waarin het dit doet) (UKRI). Impact wordt hier gedefinieerd als ‘een effect op, verandering of voordeel voor de economie, de samenleving, de cultuur, het overheidsbeleid of de overheidsdiensten, de gezondheid, het milieu of de levenskwaliteit, buiten de academische wereld’, maar daarbuiten is het een discipline met een zeer open einde. variabel en aantoonbaar dubbelzinnig, waarbij bijvoorbeeld onvoldoende rekening wordt gehouden met publieke betrokkenheid.

De Britse REF wordt in 2022-2023 geëvalueerd onder de Toekomstig onderzoekbeoordelingsprogramma het verkennen van mogelijke nieuwe benaderingen voor de beoordeling van de onderzoeksprestaties van het Britse hoger onderwijs, en omvat het begrijpen van de internationale onderzoeksbeoordelingspraktijk. De volgende iteratie van de REF zal mogelijk rekening houden met een meer diverse reeks outputs en misschien zelfs het belang dat daaraan wordt gehecht verminderen. Het huidige model hecht 60% belang aan outputs, 25% aan onderzoeksimpact en 15% aan onderzoekscultuur/omgeving. Als deze gelijkmatiger zouden worden gewogen, zou de REF er heel anders uitzien, waarbij meer belang zou worden gehecht aan de onderzoekscultuur, onderzoeksintegriteit en teamwerk (Grove, 2020).

Nationaal voorbeeld: Finland

In 2020 coördineerde de Finse Federatie van Geleerde Verenigingen een taskforce van onderzoeksfinanciers, universiteiten en vakbonden die de verklaring publiceerden Goede praktijken bij onderzoeksbeoordeling. Hierin worden richtlijnen gegeven voor het volgen van een verantwoord proces voor de beoordeling van individuele academici, waaronder vijf algemene evaluatiebeginselen: transparantie, integriteit, eerlijkheid, competentie en diversiteit. Voor goede praktijken op het gebied van onderzoeksbeoordeling is het nodig dat onderzoeksintegriteit, onderwijs en mentorschap, en wetenschappelijke dienstverlening (bijvoorbeeld peer review) beter worden erkend bij de beoordeling van de academische bijdragen van individuen. De verklaring beschouwt beoordelingen niet alleen als het produceren van summatieve oordelen: het moedigt beoordelaars ook aan om feedback te delen met individuen die worden geëvalueerd om feedback en leren te vergemakkelijken.

Onderzoeksorganisaties en onderzoeksfinancieringsorganisaties hebben zich allemaal gecommitteerd aan het implementeren van goede praktijken op het gebied van onderzoeksbeoordeling en het genereren van hun eigen lokale variaties op de begeleiding. Er wordt momenteel een nationaal CV-model voor onderzoekersportfolio's ontwikkeld. Good Practice in Research Assessment verplicht zich tot regelmatige evaluaties en verfijningen.

Nationaal voorbeeld: Nederland

In Nederland is in 2019 het nationale Erkennings- en Beloningsprogramma van start gegaan met de publicatie van de standpuntverklaring Ruimte voor ieders talent. Deze landelijke samenwerking tussen de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW – lid van IAP en ISC), onderzoeksfinanciers, universiteiten en medische centra stelt dat er systeembrede modernisering van onderzoeksbeoordelingsculturen nodig is. Daarbij worden vijf ambities voor verandering in beoordelingsprocedures uiteengezet: een grotere diversiteit aan carrièrepaden, erkenning van individuele en teamprestaties, prioriteit geven aan de kwaliteit van het werk boven kwantitatieve indicatoren, open wetenschap en academisch leiderschap.

Sinds 2019 zijn Nederlandse universiteiten overgegaan tot het uitvaardigen van hun eigen lokale vertalingen van de nationale visieverklaring. Tegelijkertijd zijn financieringsinstanties begonnen met meer 'verhalende CV'-formaten en zijn ze gestopt met het opvragen van bibliometrische informatie, waarbij ze San Francisco DORA als inspiratiebron noemden. De NWO is zeer recentelijk overgegaan naar een 'evidence-based' CV waarin enige kwantitatieve informatie kan worden gebruikt. Ook de KNAW ontwikkelde een eigen systeem driejarenplan het intern implementeren van de Erkennings- en Beloningsagenda. Er is een fulltime programmamanager en team aangesteld om het hervormingsprogramma Erkenning en Beloning te faciliteren, en jaarlijks wordt er een 'Erkennings- en Beloningsfestival' gehouden onder de belangrijkste belanghebbenden bij de hervormingen om het leren in de hele gemeenschap te ondersteunen.

Ten slotte, gefinancierd door een DORA Community Engagement-subsidie, werd de Young Scientist in Transitie-initiatief voor promovendi, gevestigd in Utrecht, heeft een nieuwe evaluatiegids voor PhD's ontwikkeld, in een poging de onderzoekscultuur te veranderen.

Nationaal voorbeeld: Noorwegen

In 2021 publiceerden Noorwegen, Universiteiten Noorwegen en de Noorse Onderzoeksraad NOR-CAM – Een toolbox voor erkenning en beloning bij academische beoordelingen. NOR-CAM biedt een matrixraamwerk voor het verbeteren van de transparantie en het verbreden van de evaluatie van onderzoek en onderzoekers, weg van beperkte, bibliometrisch geïnformeerde indicatoren. NOR-CAM staat voor Norwegian Career Assessment Matrix en is overgenomen uit 2017 verslag van de Europese Commissie, die de Open Science Career Assessment Matrix presenteerde. Net als zijn Europese voorganger stelt NOR-CAM ook manieren voor om open science-praktijken beter te integreren in beoordelingen. De matrix is ​​bedoeld als leidraad voor beoordelaars en kandidaten voor academische posities, aanvragen voor onderzoeksfinanciering en nationale beoordelaars die het Noorse onderzoek en onderwijs evalueren. Het is ook bedoeld als algemene leidraad voor de individuele loopbaanontwikkeling.

De matrix omvat zes hoofdcompetentiegebieden: onderzoeksresultaten, onderzoeksproces, pedagogische competenties, impact en innovatie, leiderschap en andere competenties. De matrix biedt vervolgens suggesties om loopbaanplanning en beoordelingserkenning rond elk van de criteria mogelijk te maken – voorbeelden van resultaten en vaardigheden, documentatiemiddelen en aanwijzingen voor reflectie over elk criterium. Van kandidaten wordt niet verwacht dat ze op alle criteria even goed presteren.

NOR-CAM is opgericht door een werkgroep van belanghebbenden uit onderzoeks- en financieringsorganisaties, gecoördineerd door Universities Noorwegen, wat betekent dat het in principe steun heeft van leden van alle Noorse universiteiten. Vervolgens zijn er workshops gehouden waarbij Noorse universiteiten betrokken waren om samen manieren te ontwikkelen om NOR-CAM te integreren in benoemings- en promotiebeoordelingsprocedures, en er wordt een 'automatisch' cv-systeem ontwikkeld om gegevens uit meerdere nationale en internationale bronnen op te halen. last. Coördinatoren van de bovengenoemde drie hervormingsprogramma's op nationaal niveau zijn regelmatig bijeengekomen om hun ervaringen uit te wisselen en van elkaar te leren.

Latijns-Amerika en het Caribisch gebied (LAC) contrasteren in veel opzichten met andere delen van de wereld. Hier wordt wetenschap beschouwd als een mondiaal publiek goed en zijn de onderzoeks- en academische publicatiesystemen en infrastructuur in handen van de overheid (gefinancierd) en niet-commercieel: maar deze regionale sterke punten en tradities worden nog niet weerspiegeld in evaluatiesystemen. De belangrijkste belanghebbenden die verandering kunnen bewerkstelligen zijn de nationale onderzoeksraden, ministeries van Wetenschap en de belangrijkste onderzoeksuniversiteiten – de rol van hoger onderwijsinstellingen is van cruciaal belang, aangezien meer dan 60% van de onderzoekers in universiteiten gevestigd is (RiCyT, 2020 [91]). Er bestaat het potentieel om evaluatiesystemen nauwer af te stemmen op de SDGs en op open science- en burgerwetenschapsbewegingen, die een bloeiende traditie in de regio hebben.

Momenteel is er op nationaal, lokaal en institutioneel niveau sprake van een grote versnippering van onderzoeksbeoordelingssystemen, waardoor onderzoek concurreert met andere functies, zoals onderwijs, voorlichting en coproductie. Onderzoeksevaluatie- en beloningssystemen voor onderzoekers in LAC geven over het algemeen de voorkeur aan een notie van uitmuntendheid die verankerd is in de methodologieën van het 'Global North', uitsluitend gebaseerd op de impactfactor van tijdschriften en ranglijsten van universiteiten (CLACSO, 2020 [92]). Erkenning van verschillende vormen van kennisproductie en -communicatie, en de veelheid aan academische carrières (bijvoorbeeld onderwijs, opleiding en mentorschap, burgerwetenschap en publieke communicatie over wetenschap) ontbreken grotendeels in onderzoeksevaluatiepraktijken. Dit is vooral problematisch voor onderzoekers in de sociale en geesteswetenschappen, waar monografieën en lokale talen op grote schaal worden gebruikt (CLACSO, 2021 [93]). Regionale tijdschriften en indicatoren worden in dergelijke evaluatieprocessen gedevalueerd of niet erkend. Dit alles wordt nog verergerd door zwakke informatiesystemen en zwakke interoperabiliteit van infrastructuren (met name die van de gemeenschap), die ondergefinancierd worden omdat de schaarse middelen naar APC-betalingen voor open access-tijdschriften gaan.

Niettemin beginnen sommige universiteiten in de regio evaluatiepraktijken te implementeren die een combinatie van kwalitatieve en kwantitatieve methodologieën inzetten, vooral bij de beoordeling van onderzoekers en missiegericht onderzoek (Gras, 2022 [94]). De overgang naar uitgebreidere onderzoeksevaluatieschema's zal het gezamenlijk ontwerpen van meer kwalitatieve criteria vereisen; het verantwoorde gebruik van kwantitatieve gegevens en het versterken van peer review-processen; incrementele veranderingen die beleid en methodologieën harmoniseren en coördineren in de richting van gedeelde principes op het gebied van verantwoorde onderzoeksbeoordeling en open wetenschap; nieuwe methodologieën en gegevens voor een betere beoordeling van inter-/transdisciplinaire wetenschaps-, milieu- en lokale kwesties; gedeelde, interoperabele, duurzame, gefedereerde infrastructuren die bibliodiversiteit en meertaligheid ondersteunen; en participatieve, bottom-up ontwerpen die de participatie van burgers en sociale bewegingen en de inclusie van ondervertegenwoordigde onderzoeksgroepen vergroten.

Om deze uitdagingen aan te pakken heeft de regio een reeks principes en richtlijnen voor onderzoeksbeoordeling aangenomen. De CLACSO-FOLEC Principeverklaring voor onderzoeksbeoordeling [95], goedgekeurd in juni 2022, heeft tot doel de kwaliteit en maatschappelijk relevante wetenschap te garanderen en te beschermen, en de principes van DORA en open wetenschap, de diversiteit van onderzoeksresultaten en onderzoeksloopbanen, de waarde van regionale tijdschriften en indexeringsdiensten te omarmen, en van interdisciplinariteit, lokale taal en inheemse kennis. Tot op heden heeft het meer dan 220 aanhangers en zijn er al positieve trends op het gebied van verantwoorde onderzoeksbeoordeling en voorbeelden van hervormingen. In de volgende tekstvakken vindt u enkele nationale voorbeelden.

Nationaal voorbeeld: Colombia

Gefinancierd door een DORA Community Engagement Award hebben onder meer de Colombiaanse Verenigingen van Universiteiten, Universiteitsuitgevers, Onderzoeksmanagers en een netwerk van wetenschaps- en technologiemanagement samengewerkt aan de kansen en uitdagingen van verantwoorde metrieken in Colombia. Via een reeks workshops en overleg, onder meer met internationale organisaties als benchmark, hebben ze een rubriek ontwikkeld om Colombiaanse instellingen te helpen bij het ontwerpen van hun eigen REF's. Deze rubriek probeert rekening te houden met uitdagingen die op lokaal niveau zijn geïdentificeerd, waaronder – voor instellingen voor hoger onderwijs – het gebrek aan kennis over alternatieven voor onderzoeksevaluatie, de aard van het nationale ecosysteem voor onderzoeksevaluatie en weerstand tegen verandering. A speciale website is ontwikkeld, samen met infographics om onderzoekers te helpen, en de verspreiding en het leren worden nog steeds door het hele land gedeeld.

Meer informatie: Het Colombiaanse project voor verantwoorde metrieken: naar een Colombiaans institutioneel, methodologisch instrument voor onderzoeksbeoordeling | DORA (sfdora.org)

Nationaal voorbeeld: Argentinië

Een interessante poging tot hervorming in de Nationale Raad voor Wetenschappelijk en Technisch Onderzoek (Consejo Nacional de Investigaciones Científicas y Técnicas – CONICET) is de creatie van een speciale resolutie voor de sociale en menswetenschappen die tijdschriften die in het reguliere circuit zijn geïndexeerd op hetzelfde niveau plaatst met tijdschriften die zijn geïndexeerd in regionale bases zoals SciELO, redalyc or Latindex-Catalogo. De verordening wordt momenteel herzien om enkele onduidelijkheden in de uitvoering ervan op te helderen en de criteria ervan uit te breiden. Op zijn beurt heeft de Raad van Bestuur van CONICET zich in 2022 aangesloten bij de DORA van San Francisco, waarbij publiekelijk zijn inzet werd erkend om het onderzoek te verbeteren door de evaluatie en voortdurende verbetering van zijn processen te versterken.

De Nationaal Agentschap voor de Bevordering van Onderzoek, Technologische Ontwikkeling en Innovatie (Agencia Nacional de Promoción de la Investigación, el Desarrollo Tecnológico y la Innovavión – AGENCIA I+D+i), onder de Ministerie van Wetenschap, Technologie en Innovatie, is de belangrijkste onderzoeksfinancier van het land vanwege de diversiteit en reikwijdte van zijn zeer competitieve oproepen. Momenteel implementeert AGENCIA een programma om de onderzoeksbeoordelingsprocessen in hun belangrijkste financiële fondsen te versterken. Tot de huidige verbeteringen behoren onder meer de beloning van peer reviewers om hun betrokkenheid bij deze processen te stimuleren, de stimulans voor open toegang, aangezien de projectresultaten bestemd moeten zijn voor het publieke domein via publicaties of documenten die in open circulatie zijn (in overeenstemming met de verplichtingen van 'Open toegang tot institutionele digitale opslagplaatsen'Nationale wet 26.899) en de integratie van gelijkheids- en inclusiviteitsdimensies door middel van gender, ondervertegenwoordigde generatiegroepen en/of institutionele versterking van gelijkheidsmechanismen in onderzoeksbeoordelingsprocessen. Niettemin wordt in verschillende disciplinaire commissies de curriculaire achtergrond van vooraanstaande onderzoekers die verantwoordelijk zijn voor de voorstellen nog steeds beoordeeld door hun collega's met behulp van citatie-impactindicatoren.

Ten slotte organiseerde de Faculteit Psychologie van de Universidad Nacional de la Plata, gefinancierd door een DORA Community Engagement Grant, een virtuele gebeurtenis in september 2022 over een beoordeling in psychologie en sociale wetenschappen die meer dan 640 (grotendeels studenten) uit 12 landen trok, wat de belangstelling van jonge mensen op het continent aantoont. Het evenement heeft bijgedragen aan het vormgeven van het vierjarige managementplan van de faculteit en zal de basis vormen voor een boek over de hervorming van academische evaluatie in de Spaanstalige context.

Nationaal voorbeeld: Brazilië

Onderzoeksevaluatie wordt in Brazilië fel bediscussieerd onder onderzoeksinstellingen en onderzoekers, zo niet bij staats- en federale overheden. Ondanks het grootste aantal institutionele ondertekenaars van DORA ter wereld zijn er echter verrassend weinig voorbeelden van hervormingen van de onderzoeksevaluatie. Na een onderzoek onder DORA-ondertekenaars in het land, institutioneel overleg en een publiek evenement, gefinancierd door een DORA Community Engagement Grant, werd een gids is opgesteld zodat universiteitsleiders verantwoorde evaluatiepraktijken kunnen onderzoeken.

De gids richt zich op drie hoofdacties: (1) het vergroten van het bewustzijn van verantwoorde evaluatie in al zijn vormen; (2) opleiding en capaciteitsopbouw van beoordelaars en degenen die worden geëvalueerd; en (3) implementatie en beoordeling. De volgende stappen zijn het opbouwen van een netwerk van praktijkmensen – of tien universitaire inlichtingenbureaus – om veranderingen in de evaluatiepraktijken teweeg te brengen en contextgevoelige modellen te testen, en uiteindelijk een routekaart te ontwikkelen voor Braziliaanse instellingen die verandering willen bewerkstelligen.

Projeto Métricas (2022). Institutionele uitdagingen en perspectieven voor verantwoorde evaluatie in het Braziliaanse hoger onderwijs: samenvatting van de bevindingen van het Projeto Métricas DORA-partnerschap. Universiteit van São Paulo, Brazilië.

Er is in Noord-Amerika een voortdurende verschuiving gaande van puur kwantitatieve indicatoren, versneld door de open wetenschapsagenda. Open wetenschap en open review helpen evaluatiepraktijken transparanter te maken, waardoor er gelegenheid wordt geboden voor zelfreflectie en problemen aan de oppervlakte komen, bijvoorbeeld zelfcitatie en vriendjespolitiek bij aanwervings-, promotie- en peer review-panels, evenals aangeboren gender- en andere vooroordelen. Er zijn discussies gaande over de noodzaak om slimmere, intelligente indicatoren en gemengde evaluatiemethoden te ontwikkelen, met potentieel voor een hybride, convergent evaluatiemodel dat de fundamentele wetenschap (vooruitgang in kennis) en toegepaste wetenschap (maatschappelijke impact) dient.

Er wordt ook erkend dat universiteiten academische ruimte en vrijheid nodig hebben om af te zien van de instrumenten die zij momenteel voor evaluatie gebruiken, zonder enig 'first mover-nadeel', en dat de gebruikersgemeenschap deel moet uitmaken van het evaluatieproces om de bruikbaarheid van programma's te helpen meten. kennis, de toepassing ervan en de impact ervan. Maar er is ook sprake van een toevallige weerstand tegen verandering (een 'opzettelijke blindheid') van zowel de boven- als de onderkant van het onderzoeksecosysteem – van degenen die profiteren van de status quo en van degenen die er recentelijk in zijn beland. Zeer weinig Amerikaanse universiteiten hebben DORA ondertekend en een nieuw DORA-project probeert te begrijpen waarom dit het geval is (TARA). Niettemin zijn er zowel in Canada als in de VS enkele interessante voorbeelden van nationale en institutionele initiatieven die bedoeld zijn om systemische verandering teweeg te brengen (zie de volgende tekstvakken).

Nationaal voorbeeld: VS

In de VS is de National Science Foundation via haar organisatie een leidende stem voor verandering Onderzoeksimpact in de samenleving bevorderen programma en begeleiding bredere impacttoolkit voor onderzoekers en beoordelaars. Gelijkheid, diversiteit en inclusiviteit, inclusief het betrekken van inheemse en traditioneel gemarginaliseerde gemeenschappen, zijn belangrijke drijfveren. De Amerikaanse National Academies of Sciences, lid van IAP en ISC, wil ook brede hervormingen stimuleren en een platform bieden voor informatie-uitwisseling en leren over de hervorming van het traditionele CV van onderzoekers.NAS Strategische Raad, 2022). Geboren uit het werk van de Amerikaanse academies, is de Leiderschapsinitiatief voor hoger onderwijs voor open studiebeurzen is een cohort van meer dan zestig hogescholen en universiteiten die zich inzetten voor collectieve actie om open wetenschap te bevorderen, inclusief het heroverwegen van onderzoeksevaluatie om openheid en transparantie te belonen.

Het National Institute for Health heeft bijvoorbeeld een nieuw ontwerp ontworpen bioschets (Wetenschappelijk onderzoek) voor personeel bij subsidieaanvragen om systemische vertekening en rapportagelast te minimaliseren, en tegelijkertijd meer impactgericht te zijn.

Nationaal voorbeeld: Canada

In Canada zijn er meerdere gesprekken over de hervorming van onderzoeksevaluatie, aangestuurd door DORA; alle drie de federale onderzoeksraden zijn ondertekenaars. De Raad voor Natuurwetenschappen en Techniek heeft dat gedaan criteria voor onderzoekskwaliteit opnieuw gedefinieerd, waarbij bibliometrie, citaties en de h-index achterwege worden gelaten, in overeenstemming met de DORA-principes: kwaliteitsmetrieken omvatten nu goed onderzoeksgegevens en datatoegangsbeheer, gelijkheid, diversiteit en inclusie, en opleidingsverantwoordelijkheden. De andere twee onderzoeksraden zullen waarschijnlijk dit voorbeeld volgen.

Canadese onderzoekers hebben de neiging zich te concentreren op ‘kennismobilisatie’, een doelbewuste poging om de maatschappelijke impact van onderzoek te vergroten, door middel van coproductie met gebruikersgemeenschappen (ISI, 2022). Onderzoeksimpact Canada is een netwerk van meer dan 20 universiteiten dat tot doel heeft institutionele capaciteit op te bouwen door middel van impactgeletterdheid, of het vermogen om 'passende impactdoelen en indicatoren te identificeren, impacttrajecten kritisch te beoordelen en te optimaliseren, en na te denken over vaardigheden die nodig zijn om benaderingen in verschillende contexten op maat te maken' om zo maximaliseer de impact van onderzoek voor het algemeen belang.

Het is vermeldenswaard dat zeer weinig Canadese universiteiten DORA hebben ondertekend. De belangrijkste drijfveer voor elke verandering is waarschijnlijk het omarmen van de inheemse wetenschap: dit is in Canada een morele verplichting geworden.

De stimulerings- en beloningssystemen voor onderzoek in Afrika weerspiegelen vaak 'internationale', voornamelijk westerse, normen en conventies. Afrikaanse instellingen proberen deze te volgen bij het ontwikkelen van hun benadering van 'kwaliteit' en 'excellentie' in onderzoek, maar ze zijn niet altijd geschikt voor lokale kennis en behoeften. De 'kwaliteit', 'excellentie' en 'impact' van onderzoek zijn op het continent niet goed gedefinieerd, en sommige onderzoekers zijn niet gewend aan een cultuur van 'onderzoeksimpact'.

Evaluatiesystemen in Afrika houden doorgaans geen rekening met onderzoek voor maatschappelijk voordeel, onderwijs, capaciteitsopbouw, onderzoeksadministratie en -management. Publicatiemodellen zijn niet contextgevoelig, waarbij APC's barrières opwerpen voor de Afrikaanse onderzoeksoutput. Hervorming van onderzoeksevaluatiesystemen zou kunnen helpen de asymmetrieën te corrigeren in de bijdrage die Afrikaans onderzoek kan leveren aan maatschappelijke uitdagingen, en zou ook de toegang tot middelen kunnen verbeteren om de Afrikaanse onderzoeksgemeenschap hierbij te helpen. Het slechten van barrières voor sectoroverschrijdende en interdisciplinaire samenwerking is absoluut noodzakelijk om een ​​diversiteit aan visies en kennissystemen te laten bloeien en te helpen interpreteren wat onderzoekskwaliteit voor Afrika inhoudt. Mechanismen die lokale, inheemse en 'conventionele' wereldvisies over de beoordeling van onderzoekskwaliteit en excellentie integreren, moeten bij elke hervorming in overweging worden genomen.

Op het continent worden sterke partnerschappen opgebouwd rond RRA. Gefinancierd door een internationaal consortium van ontwikkelingsorganisaties, de Science Granting Councils Initiative (SGCI) [96], waarbij 17 Afrikaanse landen betrokken waren, voerden een onderzoek uit naar onderzoeksexcellentie in Afrika, waarbij gekeken werd naar wetenschapsfinancieringsinstanties en de evaluatie van onderzoekers vanuit een mondiaal Zuiden-perspectief (Tijssen en Kraemer-Mbula, 2017 [97], [98]). Het onderzocht de kwestie van excellent onderzoek in Afrika bezuiden de Sahara en de behoefte aan een aanpak die het begrip excellentie uitbreidt tot buiten publicaties (Tijssen en Kraemer-Mbula, 2018 [99]); het opstellen van een document met richtlijnen, dat momenteel wordt bijgewerkt, over goede praktijken bij het implementeren van onderzoekscompetities (SGCI [100]). Op het World Science Forum in 2022, onder auspiciën van de SGCI en de GRC, heeft Zuid-Afrika Nationale Onderzoeksstichting (NRF) en het Department of Science and Innovation riep internationale en lokale partners bijeen om de rol van financieringsinstanties bij het bevorderen van RRA te bespreken, en om ervaringen uit te wisselen, goede praktijken te bevorderen en de voortgang op het gebied van capaciteitsopbouw en samenwerking te evalueren (NRF, 2022 [101]).

De Afrikaans bewijsnetwerk [102] heeft een pan-Afrikaans, sectoroverschrijdend netwerk van meer dan 3,000 praktijkmensen enig werk verricht op het gebied van de beoordeling van transdisciplinair onderzoek (Afrikaans bewijsnetwerk [103]), maar de mate waarin dit is ingebed in nationale en regionale beoordelingssystemen is nog niet duidelijk. De Afrika Onderzoeks- en Impactnetwerk [103] heeft gewerkt aan een scorekaart met een verzameling indicatoren om de kwaliteit van de beoordeling van wetenschap, technologie en innovatie (STI) in Afrika te evalueren, die het hoopt te ontwikkelen tot een webgebaseerd besluitvormingsinstrument om beslissingen over WTI-investeringen te begeleiden .

Op nationaal niveau zijn stapsgewijze veranderingen begonnen – enkele voorbeelden worden gegeven in de volgende tekstvakken. Andere landen waar onderzoeksfinancieringsinstellingen het voortouw nemen zijn Tanzania (COSTECH), Mozambique (FNI) en Burkina Faso (FONRID). Het RRA-initiatief van het GRC blijkt een belangrijk platform te zijn voor verandering op het continent, net zoals het leert van de internationale ontwikkelingssector, en met name van het IDRC Onderzoekskwaliteit Plus (RQ+) Beoordelingskader [104], met het onderscheid dat het al is toegepast, bestudeerd en verbeterd. De in Afrika gevestigde Internationale Evaluatie Academie [105] kan ook een interessante mogelijkheid bieden.

Nationaal voorbeeld: Ivoorkust

In het hart van Ivoorkust Programma Appui Stratégique à la Recherche Scientifique (PASRES) (Strategisch Ondersteuningsprogramma voor Wetenschappelijk Onderzoek) is de overtuiging dat excellentie in onderzoek het aantal onderzoekspublicaties moet overstijgen en de dimensie 'onderzoeksopname' moet omvatten. Het onderzoeksevaluatieproces, dat zich aanpast aan de nationale context, is gebaseerd op criteria die verband houden met wetenschappelijke en maatschappelijke relevantie, de betrokkenheid van partners, de opleiding van studenten, kennismobilisatie en haalbaarheid. Bij evaluatiepanels zijn wetenschappelijke experts betrokken (om de kwaliteit van het uitgevoerde onderzoek te beoordelen), de particuliere sector (om de economische verrijking te beoordelen) en andere instellingen (om het culturele en sociale potentieel van het onderzoek te meten).

PASRES heeft twee lokale tijdschriften opgericht (een voor sociale wetenschappen en taalkunde en een voor milieu en biodiversiteit) en draagt ​​de volledige kosten van publicaties daarin. Ten slotte financiert PASRES activiteiten voor capaciteitsopbouw en thematische conferenties om onderzoekers in staat te stellen hun onderzoek te presenteren aan de particuliere sector en aan het maatschappelijk middenveld.

Meer informatie: Ouattara, A. en Sangaré, Y. 2020. Ondersteuning van onderzoek in Ivoorkust: processen voor het selecteren en evalueren van projecten. E. Kraemer-Mbula, R. Tijssen, ML Wallace, R. McLean (red.), African Minds, blz. 138-146

PASRES || Program d'Appui Stratégique Recherche Scientifique (csrs.ch)

Nationaal voorbeeld: Zuid-Afrika

Onderzoeksevaluatie in Zuid-Afrika (SA) is voornamelijk gericht op bibliometrie. Sinds 1986, toen het Department of Higher Education (DHET) een beleid introduceerde om subsidies te betalen aan universiteiten voor onderzoekspublicaties gepubliceerd in tijdschriften met geaccrediteerde indexen, groeide de output van universitaire onderzoekspublicaties gelijktijdig met de Randwaarde die per publicatie werd toegekend. In een poging onderzoeksfinanciering veilig te stellen en hun carrière vooruit te helpen, publiceerden SA-onderzoekers zo snel mogelijk zoveel artikelen, met perverse en onbedoelde gevolgen tot gevolg.

De Academie van Wetenschappen van Zuid-Afrika (ASSAf) heeft opdracht gegeven voor een rapport over wetenschappelijke publicaties in het land (2005-2014) en vond aanwijzingen voor twijfelachtige redactionele praktijken en roofzuchtige publicaties (ASSAf, 2019). Met behulp van een genuanceerd categorisatiesysteem werd naar schatting 3.4% van het totale aantal artikelen over de afgelopen tien jaar als roofzuchtig beoordeeld, waarbij de cijfers vanaf 2011 sterker stegen. Tijdschriften die als roofzuchtig werden beoordeeld, werden opgenomen in de DHET 'aanvaardbaar voor financiering'. lijst en academici van alle SA-universiteiten bleken erbij betrokken te zijn (Mouton en Valentine, 2017).

Het ASSAf-rapport deed aanbevelingen op systemisch, institutioneel en individueel niveau en de daaruit voortvloeiende tegenmaatregelen van de DHET, NRF en sommige universiteiten lijken roofpraktijken in Zuid-Afrika te hebben bedwongen, waarbij het aantal roofzuchtige publicaties door SA-academici (in DHET-geaccrediteerde tijdschriften) een piek bereikte in 2014. 2015 en vervolgens afnemend. Er waren ook zorgen onder onderzoekers dat het DHET-beleid in Zuid-Afrika samenwerking ontmoedigde en de bijdrage van individuen binnen grote onderzoeksteams niet erkende, waardoor een herziening van de prestatiebeoordeling/onderzoeksevaluatieschema's nodig was. Het gebruik van het publicatie-eenhedensysteem wordt nu erkend als een slechte maatstaf voor de beoordeling van de onderzoekskwaliteit en -productiviteit en voor de selectie en bevordering van academici.

Meer informatie:

Academie van Wetenschappen van Zuid-Afrika (ASSAf). 2019. Twaalf jaar: tweede ASSAf-rapport over onderzoekspublicaties in en vanuit Zuid-Afrika. Pretoria, ASSAf.

Mouton, J. en Valentine, A. 2017. De omvang van Zuid-Afrikaanse geschreven artikelen in rooftijdschriften. Zuid-Afrikaans Journal of Science, Vol. 113, nr. 7/8, blz. 1–9.

Mouton, J. et al. 2019. De kwaliteit van de onderzoekspublicaties in Zuid-Afrika. Stellenbosch.

2019_assaf_collaborative_research_report.pdf

Nationaal voorbeeld: Nigeria

Universiteiten in Nigeria beoordelen onderzoekers op drie hoofdgebieden: onderwijs, onderzoeksproductiviteit en gemeenschapsdiensten. Hiervan wordt de onderzoeksproductiviteit zwaarder gewogen, waarbij de nadruk ligt op gepubliceerde peer-reviewed onderzoeksartikelen en rekening wordt gehouden met het aantal en de rol van auteurs (eerste auteurschap en/of corresponderend auteurschap) in deze publicaties. In een poging om mondiaal competitiever te worden, hechten de meeste universiteiten meer belang aan tijdschriften die zijn geïndexeerd door International Scientific Indexing of SCOPUS, om meer nadruk te leggen op kwaliteit en internationale samenwerking; en gebruik het percentage artikelen in deze tijdschriften als promotiecriterium.

Een ongelukkig gevolg hiervan is dat veel onderzoekers, vooral die in de geesteswetenschappen, onvoldoende financiering en/of capaciteit hebben om in deze tijdschriften te publiceren. In plaats daarvan publiceren ze meer overzichtsartikelen dan onderzoeksartikelen, of voelen ze zich genoodzaakt om invloedrijke, senior collega's als co-auteurs op te nemen, vanwege hun financiële in plaats van intellectuele bijdrage. Plagiaat neemt toe, evenals roofzuchtig publiceren. De algehele mondiale ranglijst van Nigeriaanse universiteiten is echter gestegen, waardoor de overheid en financieringsinstanties tevreden zijn en als een succes worden gezien. Nigeria staat in dit opzicht niet alleen.

De Nigeriaanse Academie van Wetenschappen heeft haar eigen peer-reviewed tijdschrift opnieuw opgericht als vlaggenschiptijdschrift waarin academici kunnen publiceren (momenteel gratis) en hoog gewaardeerd kunnen worden door hun instellingen.

Zeer competitieve, op kwantitatieve metrieken gebaseerde beoordelingssystemen domineren de regio, waarbij Engelstalige landen doorgaans de beoordelingskaders vormgeven en andere landen dit voorbeeld volgen. In Australië bestaat bijvoorbeeld een competitief financieringssysteem gebaseerd op bibliometrie en ranglijsten van universiteiten: ‘zelfs de SDGs worden omgezet in prestatie-indicatoren’. Soortgelijke uitdagingen bestaan ​​in Maleisië en Thailand, en andere ASEAN-landen zullen waarschijnlijk volgen. Een belangrijke uitzondering is China, waar de overheid een belangrijke rol speelt bij het teweegbrengen van grote systeemveranderingen, die wereldwijd diepgaande gevolgen zouden kunnen hebben (zie kader).

Het is bemoedigend dat er onder de onderzoeksgemeenschap in de regio een groeiend bewustzijn en bezorgdheid bestaat over de grenzen van de huidige onderzoeksevaluatiesystemen en hun bedreiging voor de onderzoeksintegriteit. Hoewel ECR's, waaronder de National Young Academies en het ASEAN-netwerk van Young Scientists, samen met grassrootsbewegingen zich steeds meer met deze kwestie bezighouden, hebben ze moeite om gehoord te worden. Overheids- en financieringsgemeenschappen, inclusief universitair leiderschap, zijn grotendeels afwezig in het debat: zij hechten belang aan kwantitatieve maatstaven, maar zijn zich niet bewust van de implicaties voor onderzoek. Geraadpleegden melden zelfs dat er meer kwantitatieve criteria worden toegevoegd, in de mate dat instellingen en onderzoekers het systeem beginnen te bespelen, wat wangedrag bij onderzoek aanwakkert.

Maar er zijn aanzienlijke mogelijkheden voor verandering, zoals geïllustreerd in de volgende tekstvakken.

Nationaal voorbeeld: China

Nu het meest onderzoeksproductieve land ter wereld (Tollefson, 2018; Statista, 2019), en de tweede in termen van onderzoeksinvesteringen (OESO, 2020), heeft wat er in China gebeurt het potentieel om echte systeemverandering teweeg te brengen. Een nieuw beleid op staatsniveau heeft tot doel ‘de wetenschappelijke geest, de innovatiekwaliteit en de dienstverleningsbijdrage’ van het onderzoek te herstellen en ‘de terugkeer van universiteiten naar hun oorspronkelijke academische doelstellingen te bevorderen’ (MEESTE, 2020). Web of Science-indicatoren zullen niet langer een overheersende factor zijn bij evaluatie- of financieringsbeslissingen, net zomin als het aantal publicaties en JIF's. Publicaties in hoogwaardige Chinese tijdschriften zullen worden aangemoedigd en de ontwikkeling ervan zal worden ondersteund. In evaluatiepanels wordt gezocht naar ‘representatieve publicaties’ – vijf tot tien keuzeartikelen in plaats van uitputtende lijsten – samen met criteria die de bijdrage beoordelen die onderzoek heeft geleverd aan het oplossen van belangrijke wetenschappelijke vragen, het verschaffen van nieuwe wetenschappelijke kennis of het introduceren van innovaties, en aan echte vooruitgang. van een bepaald vakgebied.

Bij het ontwikkelen van een beoordelingssysteem voor de kwaliteit en excellentie van onderzoek dat beter is afgestemd op de eigen behoeften, heeft China’s grootste financieringsinstantie voor fundamenteel onderzoek, de National Natural Science Foundation of China (NSFC), sinds 2018 systematische hervormingen doorgevoerd om verschuivingen in de wetenschap te weerspiegelen: de veranderende mondiale wetenschapslandschappen, het belang van transdisciplinariteit, de combinatie van toegepast en fundamenteel onderzoek en de wisselwerking tussen onderzoek en innovatie (Manfred Horvat, 2018), waarbij we afstand nemen van bibliometrie naar een systeem dat de lokale relevantie van onderzoek in China versterkt (Zhang en Sivertsen, 2020). Het heeft zijn peer review-systeem voor de evaluatie van voorstellen verbeterd, zodat het beter aansluit bij door nieuwsgierigheid gedreven disruptief onderzoek, brandende problemen aan de grenzen van het onderzoek, excellente wetenschap die wordt toegepast op economische en sociale eisen, en transdisciplinair onderzoek dat zich bezighoudt met grote uitdagingen. In 2021 werd 85% van de voorstellen ingediend en beoordeeld aan de hand van deze categorieën. Onlangs, in november 2022, werd een tweejarig proefhervormingsplan voor de evaluatie van talent op het gebied van wetenschap en technologie aangekondigd, waarbij acht ministeries, twaalf onderzoeksinstituten, negen universiteiten en zes lokale overheden betrokken waren. Het doel zal zijn om evaluatie-indicatoren en -methoden te onderzoeken voor wetenschappelijke en technologische talenten die betrokken zijn bij verschillende delen van het innovatiesysteem.

Subregionaal voorbeeld: Australië en Nieuw-Zeeland

Zowel Australië als Nieuw-Zeeland bevinden zich momenteel op belangrijke momenten. In Australië bieden lopende gelijktijdige evaluaties van de Australian Research Council, de Excellence in Research in Australia en Gold Open Access-onderhandelingen cumulatief een venster van kansen (Roos, 2022).

Na een openbare raadpleging over de toekomst van wetenschapsfinanciering ontwikkelt Nieuw-Zeeland een nieuwe systemisch programma voor de toekomst van zijn nationale onderzoeks- en innovatiesysteem. Zowel Australië als Nieuw-Zeeland hebben bijgedragen aan de ontwikkeling van een metrieksysteem voor hun inheemse onderzoeksgroepen (ZORG-principes).

Nationaal voorbeeld: India

Het Centre for Policy Research (DST-CPR) van het Department of Science and Technology heeft recente onderzoeken uitgevoerd naar onderzoeksbeoordeling en de hervorming ervan in India, waarbij workshops zijn gehouden met belangrijke belanghebbenden (nationale financieringsinstanties, onderzoeksinstellingen en academies), interviews en enquêtes. Het is gebleken dat, hoewel universiteiten en veel instellingen van nationaal beleidsbelang (zoals de landbouw) zich bijna uitsluitend op kwantitatieve maatstaven richten, sommige financieringsagentschappen en instellingen zoals de Indiase Instituten of Technology ook meer kwalitatieve maatregelen hebben aangenomen. Deze meer kwalitatieve aanpak bij topinstellingen zorgt er nu al voor dat meer geld naar onderzoek op nationale prioriteiten wordt verlegd, hoewel het nog te vroeg is om te zeggen of dit enig kwantificeerbaar effect heeft op de kwaliteit en impact van onderzoek.

De belangrijkste maatstaf voor de beoordeling is collegiale toetsing op basis van het advies van de commissie van deskundigen, maar alleen na een eerste screening van aanvragen die volledig op kwantitatieve maatstaven zijn gebaseerd. Er bestaan ​​ook fundamentele uitdagingen bij deze commissies: het gebrek aan diversiteit en begrip van open wetenschapspraktijken, weinig aandacht voor de maatschappelijke impact van onderzoek, en slechte capaciteit en vooringenomenheid. Deze problemen, en de methoden voor beoordeling in het algemeen, worden slecht begrepen en er is een gebrek aan richtlijnen en literatuur over dit onderwerp.

Niettemin groeit het bewustzijn van de noodzaak om de onderzoeksbeoordeling te hervormen. Gefinancierd door een DORA-subsidie ​​voor gemeenschapsbetrokkenheid, werkte de Indian National Young Academy of Sciences samen met het Indian Institute of Science (IISc) en DST-CPR om manieren te onderzoeken waarop onderzoeksbeoordeling kan worden verbeterd – hun overwegingen zijn gedeeld met de belangrijkste belanghebbenden met een met als doel een nationaal gesprek te stimuleren over de noodzaak om de Indiase onderzoekscultuur te hervormen en uiteindelijk te veranderen, zodat het onderzoek innovatiever en/of maatschappelijk relevanter wordt. DST-CPR verwacht een raamwerk voor onderzoeksexcellentie te ontwikkelen dat zou kunnen worden geïntegreerd in het National Institutional Ranking Framework.

Meer informatie:

Battacharjee, september 2022. Doet de manier waarop India zijn onderzoek evalueert zijn werk? – De draadwetenschap

DORA_IdeasForAction.pdf (dstcpriisc.org).

Suchiradipta, B. en Koley, M. 2022. Onderzoeksbeoordeling in India: wat moet blijven, wat kan beter? Zomertijd-CPR, IISc.

Nationaal voorbeeld: Japan

Protocollen voor onderzoeksevaluatie zijn in Japan sterk verspreid: hoewel er ‘Nationale Richtlijnen voor de Evaluatie van O&O’ bestaan, uitgegeven door de Council for Science, Technology and Innovation van het Cabinet Office, het Ministerie van Onderwijs, Cultuur, Sport, Wetenschap en Technologie (MEXT) en andere ministeries hebben ook hun eigen richtlijnen ontwikkeld. Bovendien hebben universiteiten en onderzoeksinstituten hun eigen onderzoeksevaluatiesystemen voor onderzoek en onderzoekers, die – zoals in veel delen van de wereld – gekoppeld zijn geraakt aan institutionele prestaties en budgettaire toewijzing.

Er zijn groeiende zorgen over een te groot vertrouwen in kwantitatieve evaluatie. Als reactie daarop heeft de Wetenschapsraad van Japan zich voorbereid een aanbeveling over de toekomst van onderzoeksevaluatie in Japan (2022) waarin wordt opgeroepen tot minder nadruk op kwantitatieve en meer op kwalitatieve maatregelen, meer erkenning van onderzoeksdiversiteit en verantwoordelijkheid bij onderzoeksevaluatie en het monitoren van internationale trends in de hervorming van onderzoeksevaluatiepraktijken. Uiteindelijk moeten onderzoeksbelangen en promotie centraal staan ​​bij de onderzoeksevaluatie, en moet alles in het werk worden gesteld om vermoeidheid, demotivatie en buitensporige druk op onderzoekers te voorkomen.

Uit een onderzoek van MEXT naar evaluatie-indicatoren bleek dat de JIF een van de vele indicatoren is en als zodanig geen sterke impact heeft gehad in Japans onderzoek, hoewel dit disciplineafhankelijk is: het JIF-gebruik is bijvoorbeeld hoger in de medische wetenschappen – en minder traditionele onderzoeksactiviteiten, zoals open data, worden minder vaak geëvalueerd.

Meer informatie: AANBEVELING – Op weg naar onderzoeksevaluatie voor de vooruitgang van de wetenschap: uitdagingen en vooruitzichten voor wenselijke onderzoeksevaluatie (scj.go.jp)

Concluderend kan worden gesteld dat er in sommige regio's, landen en instellingen een groeiend momentum bestaat voor de hervorming van de onderzoeksevaluatie. Voorbeelden die hier worden geïllustreerd zijn onder meer landelijke hervormingen, het opbouwen van consortia of coalities van gelijkgestemde instellingen die op zoek zijn naar verandering, het richten op/sturen van specifieke sectoren en interventies om perverse prikkels en gedragingen aan te pakken.

Dit is nog geen coherent en inclusief mondiaal gesprek, en praktijken en inzichten worden ook niet noodzakelijkerwijs openlijk gedeeld. Sommige GYA-, IAP- en ISC-leden zijn al proactief op dit gebied en er zouden nuttige mogelijkheden kunnen worden gevonden om hen te helpen hun kennis en goede praktijken met elkaar en met de bredere leden te delen. De lancering van de Global Observatory of Responsible Research Assessment (AGORRA) door het Research on Research Institute (RoRI) later in 2023 zal een verder platform bieden voor het delen van kennis, voor de vergelijkende analyse van nationale en internationale hervormingssystemen en voor het versnellen van de twee- manier waarop goede ideeën via deze systemen kunnen worden uitgewisseld en getest.

In dit artikel zijn de belangrijkste drijfveren, kansen en uitdagingen voor de hervorming van onderzoeksevaluatie uiteengezet en zijn illustratieve voorbeelden verzameld van veranderingen die plaatsvinden op mondiaal, regionaal, nationaal en institutioneel niveau. Het doel hiervan is om de GYA, IAP en ISC en hun respectieve leden te mobiliseren, als belangrijke kiezers van het mondiale onderzoeksecosysteem.

Voortbouwend op de afgelopen tien jaar aan wetenschappelijke literatuur en belangenbehartiging zijn er vijf hoofdconclusies.

1. De noodzaak om de manier waarop onderzoekspersonen, instellingen en resultaten worden geëvalueerd te heroverwegen is duidelijk en dringend. Het handhaven van de onderzoeksintegriteit en -kwaliteit, het maximaliseren van diverse, inclusieve en niet-discriminerende wetenschap en het optimaliseren van wetenschap voor het mondiale publieke belang zijn belangrijke drijfveren, geplaatst in de context van een snel veranderende wereld.

2. De manier waarop onderzoek wordt opgedragen, gefinancierd, uitgevoerd en gecommuniceerd, evolueert snel. Bewegingen in de richting van missiegerichte en transdisciplinaire wetenschap, open wetenschapskaders, evoluerende modellen van peer review, het gebruik van AI en machinaal leren en de snelle opkomst van sociale media veranderen de traditionele manieren van doen en communiceren van onderzoek, wat een nieuwe manier van denken over onderzoeksevaluatiesystemen vereist en de statistieken en peer review-processen die hieraan ten grondslag liggen. Er is meer en dringend onderzoek nodig om deze systemen toekomstbestendig te maken.

3. Er is behoefte aan evenwichtiger onderzoeksevaluatiesystemen met zowel kwantitatieve als kwalitatieve indicatoren die waarde hechten aan meerdere vormen van onderzoeksoutput, -processen en -activiteiten. Het stellen dat kwalitatieve peer review-processen minstens zo belangrijk zijn als bibliometrie is echter niet eenvoudig en wordt verder gecompliceerd doordat verschillende delen van de wereld zich in verschillende stadia bevinden bij de ontwikkeling van hun beoordelingssystemen: in sommige gevallen zijn de debatten over de hervorming van onderzoeksevaluatie behoorlijk ver gevorderd. in andere zijn ze in opkomst of afwezig.

4. Er is een gecoördineerd en werkelijk mondiaal en inclusief initiatief nodig om de belangrijkste gemeenschappen van belanghebbenden te mobiliseren om coherente manieren te ontwikkelen en te implementeren om onderzoek te beoordelen en te financieren; leren van elkaar en van andere sectoren (met name de onderzoeksfinanciers en ontwikkelingsagentschappen). Collectieve, inclusieve actie richting transformerende verandering zal de onderlinge verbondenheid moeten erkennen in plaats van internationalisering of universalisering, dat wil zeggen contextgevoelig moeten zijn, zich bewust moeten zijn van de verschillende uitdagingen waarmee verschillende delen van de wereld worden geconfronteerd en van de rijke heterogeniteit van het onderzoeksecosysteem, en tegelijkertijd moeten zorgen voor voldoende homogeniteit om compatibele onderzoeks- en financieringssystemen en onderzoekersmobiliteit mogelijk te maken, om divergentie en fragmentatie tot een minimum te beperken. Een gedeeltelijk, exclusief gesprek dreigt degenen die historisch zijn uitgesloten nog verder te bevooroordelen en te benadelen.

5. Er is verandering nodig op alle niveaus – mondiaal, regionaal, nationaal en institutioneel – omdat meetgegevens door het hele onderzoeksecosysteem stromen en al deze niveaus met elkaar verbonden zijn. Alle belanghebbenden moeten hun rol spelen als partners en niet als tegenstanders – inclusief financiers, universiteiten, verenigingen van universiteiten en onderzoeksinstellingen, intergouvernementele organisaties (IGO's), overheden en overheidsnetwerken, academies, wetenschapsbeleidsmakers, onderzoeks- en innovatiemanagers en individuele onderzoekers. Het GYA-, IAP- en ISC-lidmaatschap bestrijkt gezamenlijk een groot deel van dit rijke landschap (Figuur 1, Bijlage C).

Figuur 1: Stakeholderkaart ten opzichte van GYA-, IAP- en ISC-lidmaatschap (Klik om te bekijken)

De verbindende kracht van organisaties als GYA, IAP en het ISC kan helpen een diversiteit aan opvattingen en ervaringen binnen een groot deel van het onderzoeksecosysteem samen te brengen: experimenteren met, leren van en voortbouwen op bestaande en nieuwe initiatieven. Cruciaal is dat ze verbinding kunnen maken met de belangrijkste belanghebbenden bij het initiëren van verandering – overheden, onderzoeksfinanciers en universiteiten, en vitale mondiale bewegingen zoals DORA – om een ​​architectuur van actoren te helpen mobiliseren. Gezamenlijk kunnen ze dienen als:

● pleitbezorgers – bewustmaking van debatten over onderzoeksbeoordeling, ontwikkelingen en hervormingen, in het besef dat hun leden fungeren als (i) mentoren en toezichthouders van junior collega's, (ii) leiders van hoger onderwijs, (iii) bestuursleden van financierings- en uitgeversbestuursorganen en ( iv) adviseurs van beleidsmakers;

● innovators – het verkennen van verschillende benaderingen voor het waarderen van fundamenteel en toegepast onderzoek op inclusieve en innovatieve manieren;

● voorbeelden – het veranderen van hun eigen institutionele cultuur – het vernieuwen van hun lidmaatschap, prijzen, publicatie- en conferentiepraktijken, en het goede voorbeeld geven;

● evaluatoren – die profiteren van de rol van leden op zowel institutioneel als individueel niveau, wier taak het is onderzoekers, onderzoek en instellingen te evalueren, en van degenen die een publicatie-, redactie- en peer review-rol vervullen;

● financiers – met name een beroep doend op de financieringsinstanties die in ISC vertegenwoordigd zijn, en leden die grote nationale en internationale subsidies beheren en verspreiden;

● medewerkers – ondersteuning van reeds bestaande hervormingscampagnes, bijvoorbeeld DORA, het CoARA van de EU en het engagement van UNESCO op het gebied van open wetenschap.

De auteurs van dit artikel moedigen de GYA, IAP en de ISC, en organisaties zoals zij, aan om op de volgende manieren deel te nemen:

ACTIE 1: Deel kennis en goede praktijken

Dit artikel belicht voorbeelden van interventies en innovaties uit de hele wereld. Ruimte voor het delen van ervaringen en het opbouwen van een sterke en inclusieve 'coalitie van bereidwilligen' is van cruciaal belang.

1.1: Bied een platform aan leden die al proactief zijn op dit gebied om hun kennis te delen en strategische verbindingen op te bouwen, vooral op nationaal niveau. Gebruik deze voorbeelden om te helpen vullen Het DORA-dashboard [106] van leren en goede praktijken.

1.2: Door leden geleide ontwikkelingen op het gebied van de hervorming van onderzoeksevaluatie onderzoeken en in kaart brengen om institutionele, nationale en regionale benaderingen te identificeren en goede praktijken te vinden en te delen. Roep degenen bijeen die al leiding hebben gegeven aan/betrokken zijn bij grote nationale en internationale initiatieven om belangenbehartiging en kennis onder de leden op te bouwen.

ACTIE 2: Geef het goede voorbeeld

Het GYA-, IAP- en ISC-lidmaatschap bestrijkt vele delen van het onderzoeksecosysteem, en elk kan een belangrijke rol spelen bij het vormgeven van hoe succes als wetenschapper eruit ziet.

2.1: Overgang naar meer vooruitstrevende methoden voor onderzoeksevaluatie onder de brede leden. Geef het goede voorbeeld en help de cultuur van onderzoeksevaluatie te veranderen door middel van hun eigen lidmaatschapsfilosofieën en -praktijken, terwijl ze gebruik maken van de lessen van DORA en de GRC. Academies hebben, als traditioneel eliteorganisaties, hier een bijzondere rol te spelen – zij moeten worden aangemoedigd om hun eigen criteria voor verkiezing en selectie te verbreden om een ​​breder en meer pluralistisch begrip van de kwaliteit en impact van onderzoek te weerspiegelen, om dit pluralisme te weerspiegelen (en met (meer inclusiviteit en diversiteit) in hun lidmaatschap.

2.2: Stimuleer regionale samenwerking en leiderschap. Moedig de regionale netwerken van GYA-leden en Nationale Jonge Academies, de regionale academienetwerken van IAP en de regionale focal points van het ISC aan om te overwegen de richtlijnen van het ALLEA-bestuur te kopiëren initiatief, afgestemd op hun eigen context.

ACTIE 3: Bouw strategische partnerschappen op met belangrijke kiesdistricten.

De drie belangrijkste actoren die verantwoordelijk zijn voor het aansturen van de hervorming van de onderzoeksevaluatie zijn overheden, onderzoeksfinanciers en universiteiten. De GYA, IAP en ISC kunnen elk helpen de onderzoeksgemeenschap te betrekken bij hun inspanningen om de huidige kloof te hervormen en te overbruggen.

3.1: Samenwerken met het GRC-leiderschap om manieren te onderzoeken om samen te werken – in essentie om leden en hun respectievelijke nationale GRC-vertegenwoordigers te stimuleren om te onderzoeken hoe hun onderzoeksgemeenschappen hierbij betrokken kunnen worden.

3.2: samenwerken met mondiale en regionale netwerken van universiteiten, zoals de International Association of Universities (IAU), om nieuwe opleidingsinstrumenten voor de onderzoeksgemeenschap te ontwikkelen; Gebruik het leiderschap van hoger onderwijs binnen de collectieve lidmaatschappen van de GYA, IAP en ISC als pleitbezorgers.

3.3: Verbind aangesloten instellingen in DORA-subsidielanden (Argentinië, Australië, Brazilië, Colombia, India, Japan, Nederland, Oeganda en Venezuela) met DORA-subsidieleiders om ideeën uit te wisselen en deze lokale initiatieven mogelijk op te schalen.

3.4: Relaties opbouwen met toonaangevende internationale ontwikkelingsorganisaties die al innovatieve en impactvolle strategieën inzetten voor onderzoeksevaluatie in lage- en middeninkomenslanden en de minst ontwikkelde landen.

3.5: Samenwerken met UNESCO om de nationale onderzoeksevaluatieverplichtingen in het kader van haar programma vorm te geven Aanbeveling over open wetenschap.

ACTIE 4: Zorg voor intellectueel leiderschap over de toekomst van onderzoeksevaluatie.

Het is absoluut noodzakelijk dat we ons concentreren op specifieke en urgente uitdagingen voor de hervorming van de onderzoeksevaluatie. De GYA, IAP en ISC, en internationale netwerken zoals zij, kunnen putten uit hun respectievelijke bijeenroepingsbevoegdheden, het intellectuele gewicht en de invloed van hun leden en verbindingen met belangrijke kiesdistricten.

4.1: Samen met belangrijke kiesdistricten een reeks multistakeholderdiscussiefora of 'Transformation Labs' bijeenroepen om hervormingen op het gebied van onderzoeksevaluatie te heroverwegen en te implementeren – leiders van hoger onderwijs en hun mondiale (bijv. IAU en IARU) en regionale netwerken (bijv. LERU en AAU [107] te betrekken ]), onderzoeksfinanciers (waaronder nationale vertegenwoordigers van GRC), internationale ontwikkelingsagentschappen en toonaangevende uitgevers. Nieuwe middelen bijeenbrengen of bestaande middelen inzetten om dit werk te financieren (zie bijlage D voor enkele voorlopige ideeën).

4.2: Ontwikkel een nieuw onderzoek naar een belangrijk aspect van de toekomstige ontwikkeling van onderzoeksevaluatie, zoals (1) de impact van technologische vooruitgang op onderzoeksevaluatie en peer review (inclusief zowel gebruik als misbruik), en hoe deze in de toekomst zouden kunnen evolueren en ( 2) het breder hervormen van het systeem van collegiale toetsing (in termen van transparantie, openheid, capaciteit, erkenning en opleiding). Beide kwesties zijn een integraal onderdeel van de betrouwbaarheid van kennis en de betrouwbaarheid van de wetenschap.

De kern van al deze inspanningen zou drie fundamentele zaken moeten zijn:

• Het uitbreiden van evaluatiecriteria voor wetenschappelijk onderzoek en onderzoekers die verder gaan dan de traditionele academische maatstaven en meervoudige vormen van onderzoeksoutput en -functie omvatten, inclusief kwantitatieve criteria die de sociale impact van onderzoek kunnen meten.

• Het aanmoedigen van leiders van instellingen voor hoger onderwijs en onderzoeksfinanciers om deze nieuwe evaluatiecriteria over te nemen en te bevorderen als maatstaf voor de kwaliteit en waarde van onderzoek.

• Samen met deze leiders werken aan nieuwe vormen van bewustmaking en training voor toekomstige generaties onderzoekers, om hen uit te rusten met de noodzakelijke vaardigheden om effectief te communiceren en betrokken te zijn bij beleidsmakers, het publiek en andere belangrijke doelgroepen; en om diversiteit en inclusie in de onderzoeksonderneming te bevorderen.

De auteurs van dit artikel concluderen dat netwerken als de GYA, IAP en ISC, samen met en ondersteunend aan andere belangrijke kiesdistricten, kunnen helpen een samenhangend, participatief, mondiaal initiatief op te bouwen om onderzoeksgemeenschappen, universiteiten en andere instellingen voor hoger onderwijs rond deze agenda te mobiliseren, en te overwegen hoe nieuwe manieren voor het beoordelen en financieren van onderzoek kunnen worden geoperationaliseerd om het efficiënter, eerlijker, inclusiever en impactvoller te maken.

Download

Dit artikel is geschreven door de leden van de GYA-IAP-ISC Scoping Group, die tussen mei 2021 en februari 2023 met tussenpozen werkte (meer details in bijlage A):

• Sarah de Rijcke (voorzitter, Nederland)

• Clemencia Cosentino (VS)

• Robin Crewe (Zuid-Afrika)

• Carlo D'Ippoliti (Italië)

• Shaheen Motala-Timol (Mauritius)

• Noorsaadah Binti A Rahman (Maleisië)

• Laura Rovelli (Argentinië)

• David Vaux (Australië)

• Yao Yupeng (China)

De werkgroep bedankt Tracey Elliott (ISC Senior Consultant) voor haar coördinatie- en redactiewerk. Dank gaat ook uit naar Alex Rushforth (Centrum voor Wetenschaps- en Technologiestudies (CWTS), Universiteit Leiden, Nederland) en Sarah Moore (ISC) voor aanvullende input en ondersteuning.

De Werkgroep is ook dankbaar voor al degenen die zijn geraadpleegd bij de voorbereiding van dit artikel (bijlage B), die hun tijd hebben besteed en hun perspectieven op onderzoeksevaluatie in hun respectieve landen en regio's hebben gedeeld, en voor de door de GYA genomineerde reviewers. IAP en ISC:

• Karina Batthyány, uitvoerend directeur, Latijns-Amerikaanse Raad voor Sociale Wetenschappen (CLACSO) (Uruguay)

• Richard Catlow, onderzoeksprofessor, University College London (VK)

• Sibel Eker, universitair docent, Radbound Universiteit (Nederland)

• Encieh Erfani, wetenschappelijk onderzoeker, Internationaal Centrum voor Theoretische Fysica (Iran, Italië)

• Motoko Kotani, uitvoerend vicepresident, Riken (Japan)

• Pradeep Kumar, professor en senior onderzoeker, Universiteit van Witwatersrand (Zuid-Afrika)

• Boon Han Lim, universitair hoofddocent, Universiteit van Tinku Abdul Rahman (UTAR) (Maleisië)

• Priscilla Kolibea Mante, hoofddocent, Kwame Nkrumah Universiteit voor Wetenschap en Technologie (KNUST) (Ghana)

• Alma Hernández-Mondragón, voorzitter van de Mexicaanse Vereniging voor de Bevordering van de Wetenschap (AMEXAC) (Mexico)

• Khatijah Mohamad Yusoff, senior professor, Universiteit van Putra Maleisië (UPM) (Maleisië)

1. UNESCO. 2021. Wetenschappelijk rapport van UNESCO: de race tegen de tijd voor slimmere ontwikkeling (hoofdstuk 1). UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. De Koninklijke Vereniging. (2012). Wetenschap als open onderneming. Het Royal Society Science Policy Centre. https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Haustein, S. en Larivière, V. 2014. Het gebruik van bibliometrie voor het beoordelen van onderzoek: mogelijkheden, beperkingen en nadelige effecten. I. Welpe, J. Wollersheim, S. Ringelhan, M. Osterloh (red.), Incentives and Performance, Cham, Springer, pp. 121–139.

4. Macleod, M., Michie, S., Roberts, I., Dirnagi, U., Chalmers, I., Ioadnnidis, J., Al-Shahi Salman, R., Chan., AW en Glasziou, P. 2014 Biomedisch onderzoek: waarde verhogen, verspilling verminderen. De Lancet, vol. 383, nr. 9912, blz. 101–104.

5. Bol, T., de Vaan, M. en van de Rijt, A. 2018. Het Matthew-effect in de financiering van wetenschap. Proceedings of the National Academy of Sciences van de Verenigde Staten van Amerika, Vol. 115, nr. 19, blz. 4887-4890.

6. Internationale Wetenschapsraad. 2021. Het record van de wetenschap openen: wetenschappelijke publicaties laten werken voor de wetenschap in het digitale tijdperk. Parijs, Frankrijk, ISC. https://doi.org/10.24948/2021.01

7. Müller, R. en de Ricke, S. 2017. Denken met indicatoren. Onderzoek naar de epistemische impact van academische prestatie-indicatoren in de levenswetenschappen. Onderzoeksevaluatie, Vol. 26, nr. 3, blz. 157–168.

8. Ansede, M. 2023. Een van de meest geciteerde wetenschappers ter wereld, Rafael Luque, is voor 13 jaar geschorst zonder loon. El Paίs. https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years. html

9. IAP. 2022. Bestrijding van roofzuchtige academische tijdschriften en conferenties. Triëst, Italië, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Elliott, T., Fazeen, B., Asrat, A., Cetto, AM., Eriksson, S., Looi, LM en Negra, D. 2022. Percepties over de prevalentie en impact van roofzuchtige academische tijdschriften en conferenties: een mondiaal onderzoek onder onderzoekers. Geleerd publiceren, Vol. 3, nr. 4, blz. 516–528.

11. Collyer, TA 2019. 'Salami snijden' helpt carrières, maar schaadt de wetenschap. Natuur Menselijk gedrag, Vol. 3, blz. 1005-1006.

12. Abad-García, MF 2019. Plagiaat en roofzuchtige tijdschriften: een bedreiging voor de wetenschappelijke integriteit. Anales De Pediatría (Engelse editie), Vol. 90, nr. 1, blz. 57.e1–57.e8.

13. Omobowale, AO, Akanle, O., Adeniran, AI en Adegboyega, K. 2013. Perifere studiebeurzen en de context van buitenlandse betaalde publicaties in Nigeria. Huidige sociologie, Vol. 62, nr. 5, blz. 666-684.

14. Ordway, D.-M. 2021. Academische tijdschriften en journalisten bestendigen desinformatie bij het omgaan met intrekkingen van onderzoek. De bron van de journalist. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I. en Wilsdon, J. 2020. De veranderende rol van financiers bij verantwoorde onderzoeksbeoordeling: vooruitgang, obstakels en de Weg Vooruit. Londen, VK, Research on Research Institute.

16. Het Mondiale Noorden verwijst in het algemeen naar geïndustrialiseerde of ontwikkelde economieën, zoals gedefinieerd door de Verenigde Naties (2021), terwijl het Mondiale Zuiden verwijst naar economieën die pas zijn geïndustrialiseerd of die zich in het proces van industrialisatie of ontwikkeling bevinden, en die vaak actueel zijn. of voormalige onderdanen van het kolonialisme.

17. InterAcademy-partnerschap. Sessie 12: Winnen van grotere inclusiviteit: relatie tussen diversiteit en academische cultuur. IAP. https://www.interacademies.org/page/session-12-winning-greater-inclusion-relation-between-diversity-and-academic-culture

18. Mondiale Jonge Academie. Werkgroep Wetenschappelijke Excellentie. Berlijn, Duitsland, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. ISC. 2021. Wetenschap ontketenen: missies voor duurzaamheid verwezenlijken. Parijs, Frankrijk, ISC. doi: 10.24948/2021.04

20. ISC. 2022. Een uittreksel uit de toespraak van Peter Gluckman op het Endless Frontier Symposium. Parijs, Frankrijk. ISC. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Belcher, B., Clau, R., Davel, R., Jones, S. en Pinto, D. 2021. Een hulpmiddel voor transdisciplinaire onderzoeksplanning en -evaluatie. Integratie- en implementatie-inzichten. https://i2insights.org/2021/09/02/transdisciplinair-onderzoek-evaluatie/

22. Belcher, BM, Rasmussen, KE, Kemshaw, MR en Zornes, DA 2016. Onderzoekskwaliteit definiëren en beoordelen in een transdisciplinaire context. Onderzoeksevaluatie, Vol. 25, nr. 1, blz. 1–17.

23. Wilson, J. et al. 2015. The Metric Tide: rapport van de onafhankelijke beoordeling van de rol van statistieken bij onderzoeksbeoordeling en -beheer. HEFCE.

24. UNESCO. UNESCO-aanbeveling over open wetenschap. Parijs, Frankrijk, UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. Een UNESCO-bron onthulde dat dit werk momenteel in de wacht staat omdat het debat door slechts enkelen wordt gedomineerd en niet noodzakelijkerwijs weerklank vindt bij velen: een uitgebreide dialoog moet aan de ontwikkeling van aanbevelingen voorafgaan.

26. Barroga, E. 2020. Innovatieve strategieën voor peer review. Journal of Korean Medical Science, Vol. 35, nr. 20, blz. E138.

27. Woods, HB, et al. 2022. Innovaties in peer review bij wetenschappelijk publiceren: een metasamenvatting. SocArXiv, doi: 10.31235/osf.io/qaksd

28. Kaltenbrunner, W., Pinfield, S., Waltman, L., Woods, HB en Brumberg, J. 2022. Innoverende peer review, herconfiguratie van wetenschappelijke communicatie: een analytisch overzicht van lopende peer review innovatieactiviteiten. SocArXiv, doi: 10.31235/osf.io/8hdxu

29. Holm, J., Waltman, L., Newman-Griffis, D. en Wilsdon, J. 2022. Goede praktijken bij het gebruik van machine learning en AI door onderzoeksfinancieringsorganisaties: inzichten uit een workshopreeks. Londen, VK, Research on Research Institute. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Procter, R., Glover, B. en Jones, E. 2020. Onderzoek 4.0 Onderzoek in het tijdperk van automatisering. Londen, VK, DEMOS.

31. Baker, M. 2015. Slimme software spoort statistische fouten op in psychologieartikelen. Natuur, https://doi.org/10.1038/nature.2015.18657

32. Van Noorden, R. 2022. De onderzoekers die AI gebruiken om peer review te analyseren. Natuur 609, 455.

33. Severin, An., Strinzel, M., Egger, M., Barros, T., Sokolov, A., Mouatt, J. en Muller, S. 2022. Arxiv,

34. Gadd, E. 2022. Op AI gebaseerde tools voor citatie-evaluatie: goed, slecht of lelijk? De Bibliomagiër. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T., Meuschke, N. en Gipp, B. 2020. Academische plagiaatdetectie: een systematisch literatuuroverzicht. ACM Computing-enquêtes, Vol. 52, nr. 6, blz. 1–42.

36. Quach, K. 2022. Uitgevers gebruiken AI om slechte wetenschappers te betrappen op het manipuleren van gegevens. Het register. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Van Dis, E., Bollen, J., Zuidema., van Rooji, R en Bockting, C. 2023. ChatGPT: vijf prioriteiten voor onderzoek. Natuur, vol. 614, blz. 224–226.

38. Chawla, D. 2022. Moet AI een rol spelen bij het beoordelen van de onderzoekskwaliteit? Natuur, https://doi.org/10.1038/d41586-022-03294-3

39. Cyranoski, D. 2019. Kunstmatige intelligentie selecteert subsidiebeoordelaars in China. Natuur, vol. 569, blz. 316–317.

40. Mike, T. 2022. Kan de kwaliteit van gepubliceerde artikelen in wetenschappelijke tijdschriften worden beoordeeld met machine learning? Kwantitatieve wetenschappelijke studies, Vol. 3, nr. 1, blz. 208–226.

41. Chomsky, N., Roberts, I. en Watumull, J. 2023. De valse belofte van ChatGPT. De New York Times. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Verduidelijk. 2022. Onderzoeksbeoordeling: oorsprong, evolutie, resultaten. Verduidelijk. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF, Gstrein, OJ en Zwitter, A. 2022. Kunstmatige intelligentiecriminaliteit: een overzicht van kwaadwillig gebruik en misbruik van AI. IEEE-toegang, Vol. 10, blz. 77110–77122.

44. Castelvecchi, D. 2019. AI-pionier: 'De gevaren van misbruik zijn zeer reëel'. Natuur, doi: https://doi.org/10.1038/d41586-019-00505-2

45. Jordan, K. 2022. De perceptie van academici van de impact en betrokkenheid van onderzoek door middel van interacties op sociale-mediaplatforms. Leren, media en technologie, doi: 10.1080/17439884.2022.2065298

46. ​​Wouters, P., Zahedi, Z. en Costas, R. 2019. Sociale media-metrieken voor nieuwe onderzoeksevaluatie. Glänzel, W., Moed, HF, Schmoch U., Thelwall, M. (red.), Springer Handbook of Science and Technology Indicators. SpringerLink.

47. Rafols, I. en Stirling, A. 2020. Indicatoren ontwerpen voor het openstellen van evaluatie. Inzichten uit onderzoeksbeoordeling. ResearchGate, doi: 10.31235/osf.io/h2fxp

48. Rich, A., Xuereb, A., Wrobel, B., Kerr, J., Tietjen, K., Mendisu, B., Farjalla, V., Xu, J., Dominik, M., Wuite, G ., Hod, O. en Baul, J. 2022. Terug naar de basis. Halle, Duitsland, Global Young Academy.

49. Jong, L., Franssen, T. en Pinfield, S. 2021. Excellence in the Research Ecosystem: A Literature Review. Londen, VK, Research on Research Institute.

50. Hatch, A. en Curry, S. 2020. Onderzoekscultuur: Het veranderen van de manier waarop we onderzoek evalueren is moeilijk, maar niet onmogelijk. eLife, vol. 9, blz. e58654.

51. IAP. 2022. Bestrijding van roofzuchtige academische tijdschriften en conferenties. Triëst, Italië, IAP.

52. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. en Rafols, I. 2015. Bibliometrie: het Leidse manifest voor onderzoeksmetrieken. Natuur, vol. 520, blz. 429-431.

53. Publons. 2018. Mondiale staat van peer review. Londen, VK, Clarivate. https://doi.org/10.14322

54. Kovanis, M., Porcher, R., Revaud, P. en Trinquart, L. 2016. De mondiale last van peer review van tijdschriften in de biomedische literatuur: sterke onevenwichtigheid in de collectieve onderneming. PLoS ÉÉN, Vol. 11, nr. 11, p. e0166387.

55. Forrester, B. 2023. Beu en opgebrand: 'rustig stoppen' treft de academische wereld. Natuur, vol. 615, blz. 751-753.

56. Hatch, A. en Curry, S. 2020. Onderzoekscultuur: het veranderen van de manier waarop we onderzoek evalueren is moeilijk, maar niet onmogelijk. eLife, Vol. 9, blz. e58654.

57. Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Har Sham, M., Barbour, V., Coriat, AM, Foeger, N. en Dirnagi, U. 2020. The Hong Kong-principes voor het beoordelen van onderzoekers: het bevorderen van wetenschappelijke integriteit. PLoS Biologie, Vol. 18, nr. 7, p. e3000737.

58. Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R. en Kerridge, S. 2015. De metriek Tide: Verslag van de onafhankelijke evaluatie van de rol van statistieken bij onderzoeksbeoordeling en -beheer. doi:10.13140/RG.2.1.4929.1363

59. Curry, S., Gadd, E. en Wilsdon, J. 2022. Het metrische tij benutten: indicatoren, infrastructuren en prioriteiten voor de beoordeling van verantwoord onderzoek in het Verenigd Koninkrijk. Londen, VK, Research on Research Institute.

60. Natuurredactie. 2022. Steun de gedurfde visie van Europa op verantwoorde onderzoeksbeoordeling. Natuur, vol. 607, blz. 636.

61. Verklaring inzake onderzoeksbeoordeling (DORA). https://sfdora.org/about-dora/

62. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. en Rafols, I. 2015. Bibliometrie: het Leidse manifest voor onderzoeksmetrieken. Natuur, vol. 520, blz. 429-431.

63. Curry, S., Gadd, E. en Wilsdon, J. 2022. Het metrische tij benutten: indicatoren, infrastructuren en prioriteiten voor de beoordeling van verantwoord onderzoek in het Verenigd Koninkrijk. Londen, VK, Research on Research Institute. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. DORA. Verklaring van San Francisco over onderzoeksbeoordeling. https://sfdora.org/read/

65. DORA. Hulpmiddelen om onderzoeksbeoordeling te bevorderen. DORA. https://sfdora.org/project-tara/

66. DORA. DORA-beurzen voor gemeenschapsbetrokkenheid: ondersteuning van hervorming van academische beoordelingen https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Innormen. SCOPE-kader voor onderzoeksevaluatie. https://inorms.net/scope-framework-for-research-evaluation/

68. Innormen. Het SCOPE-framework. https://inorms.net/scope-framework-for-research-evaluation/

69. Torfin, S. 2018. Onderzoekskwaliteit Plus. Internationaal Ontwikkelingsonderzoekscentrum. https://www.idrc.ca/en/rqplus

70. Reid, C., Calia, C., Guerra, C. en Grant, L. 2019. Ethische actie in mondiaal onderzoek: een toolkit. Edinburgh, Schotland, Universiteit van Edinburgh. https://www.ethical-global-research.ed.ac.uk/

71. Valters, C. 2014. Theorieën over verandering in internationale ontwikkeling: communicatie, leren of verantwoording? Stichting Azië. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Fraser, C., Nienaltowski, MH, Goff, KP, Firth, C., Sharman, B., Bright, M. en Dias, SM 2021. Beoordeling van verantwoord onderzoek. Mondiale Onderzoeksraad. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. De Mondiale Onderzoeksraad. GRC Verantwoord Onderzoek Assessment. YouTube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Curry, S., de Rijcke, S., Hatch, A., Dorsamy, P., van der Weijden, I. en Wilsdon, J. 2020. De veranderende rol van financiers bij verantwoorde onderzoeksbeoordeling. Londen, VK, Research on Research Institute. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Mondiale Onderzoeksraad. Werkgroep Verantwoordelijke Onderzoeksbeoordeling. GRC. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Mondiale Jonge Academie. Wetenschappelijke uitmuntendheid. GYA. https://globalyoungacademy.net/activities/scientific-excellence/

77. Adams, J., Beardsley, R., Bornmann, L., Grant, J., Szomszor, M. en Williams, K. 2022. Onderzoeksbeoordeling: oorsprong, evolutie, resultaten. Instituut voor Wetenschappelijke Informatie. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. DORA. Bronnenbibliotheek. https://sfdora.org/resource-library

79. Saenen, B., Hatch, A., Curry, S., Proudman, V. en Lakoduk, A. 2021. Academische loopbaanbeoordeling opnieuw vormgeven: verhalen over innovatie en verandering. DORA. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Coalitie voor het bevorderen van onderzoeksevaluatie (CoARA). https://coara.eu/

81. CoARA. 2022. Overeenkomst over de hervorming van onderzoeksbeoordeling. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Natuurredactie. 2022. Steun de gedurfde visie van Europa op verantwoorde onderzoeksbeoordeling. Natuur, vol. 607, blz. 636.

83. Open en universele wetenschap. OPUS Home – Open en Universele Wetenschap (OPUS) Project. https://opusproject.eu/

84. Vergoulis, T. 2023. GraspOS Op weg naar een meer verantwoorde onderzoeksbeoordeling. OpenAIRE. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Europese Onderzoeksraad. 2022. De Wetenschappelijke Raad van de ERC besluit over wijzigingen in de evaluatieformulieren en -processen voor de oproepen van 2024. ERC. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. Alle Europese Academies. 2022. ALLEA-verklaring over het hervormen van onderzoeksbeoordeling binnen de Europese Academies. ALLEA. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. Eurodoc, MCAA, YAE, ICoRSA en GYA. 2022. Gezamenlijke verklaring over de conclusies van de EU-Raad over onderzoeksevaluatie en de implementatie van open wetenschap. Zenodo, doi: 10.5282/zenodo.7066807.

88. Overlaet, B. 2022. Een pad naar multidimensionale academische carrières – Een LERU-raamwerk voor de beoordeling van onderzoekers. LERU, Leuven, België. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Koninklijke Vereniging. CV voor onderzoekers. https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Grove, J. 2021. Vertellen verhalende cv's het juiste verhaal? Times Hoger Onderwijs (THE). https://www.timeshighereducation.com/diepte/do-narrative-cvs-tell-right-story

91. RICYT. Onderzoekers naar arbeidssector (fte) 2011-2020. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. CLACSO. 2020. Evaluatie van wetenschappelijk onderzoek. Naar een transformatie van wetenschappelijke onderzoeksevaluatie in Latijns-Amerika en het Caribisch gebied Serie van het Latin American Forum for Research Assessment (FOLEC). CLACSO, Buenos Aires, Argentinië. https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. CLACSO. 2021. Naar een transformatie van evaluatiesystemen in Latijns-Amerika en het Caribisch gebied, instrumenten om nieuw evaluatiebeleid te bevorderen. Serie van het Latin American Forum for Research Assessment (FOLEC). CLACSO, Buenos Aires, Argentinië. https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Gras, N. 2022. Vormen van onderzoeksbeoordeling gericht op ontwikkelingsproblemen. Praktijken en perspectieven van nationale wetenschaps- en technologieorganisaties en instellingen voor hoger onderwijs in Latijns-Amerika en het Caribisch gebied. FOLEC. CLACSO, Buenos Aires, Argentinië. 2022-07-27_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. CLACSO is de Raad voor Sociale Wetenschappen in de regio en een vooraanstaand voorvechter van maatschappelijk relevante en verantwoorde wetenschap. Het Latin American Forum on Research Assessment (FOLEC) is een regionale ruimte voor debat en het delen van goede praktijken, en ontwikkelt regionale richtlijnen voor onderzoeksbeoordeling om deze principes te ondersteunen. Beide bieden sterk regionaal leiderschap.

96. SGCI. Science Granting Councils Initiative (SGCI) in Sub-Sahara Afrika. https://sgciafrica.org/

97. SGCI. Tijssen, R. en Kraemer-Mbula, E. 2017. Beleidsbrief: Perspectieven op onderzoeksexcellentie in het Mondiale Zuiden – beoordeling, monitoring en evaluatie in de context van ontwikkelingslanden. SGCI. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing- land-contexten.pdf

98. Tijssen, R. en Kraemer-Mbula, E. 2018. Onderzoeksexcellentie in Afrika: beleid, percepties en prestaties. SGCI. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Tijssen, R. en Kraemer-Mbula, E. 2018. Onderzoeksexcellentie in Afrika: beleid, percepties en prestaties. Wetenschap en openbaar beleid, Vol. 45 nr. 3, blz. 392–403. https://doi.org/10.1093/scipol/scx074

100. SGCI. Richtlijn voor goede praktijken over de kwaliteit van onderzoekscompetities. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. NRF. De NRF organiseert strategische bijeenkomsten om onderzoekspartnerschappen in Afrika te bevorderen - National Research Foundation

102. Belcher, BM, Rasmussen, KE, Kemshaw, MR en Zornes, DA 2016. Onderzoekskwaliteit definiëren en beoordelen in een transdisciplinaire context, Research Evaluation, Vol. 25, blz.: 1–17, https://doi.org/10.1093/reseval/rvv025

103. ARIN. 2020. Statistieken voor wetenschapstechnologie en innovatie (STI) - Africa Research & Impact Network (arin-africa.org)

104. McLean R., Ofir Z., Etherington A., Acevedo M. en Feinstein O. 2022. Onderzoekskwaliteit Plus (RQ+) – Onderzoek anders evalueren. Ottawa, Internationaal Ontwikkelingsonderzoekscentrum. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. Internationale Academie voor monitoring en evaluatie

106. DORA. TARA-dashboard. https://sfdora.org/tara-landing-page/

107. IARU, Internationale Associatie van Onderzoeksintensieve Universiteiten; LERU, Liga van Europese Onderzoeksuniversiteiten; AAU, Afrikaanse Vereniging van Universiteiten