COARA non ci salverà (dalla valutazione autoritaria della ricerca)
da ROARS (Alberto Baccini)
È possibile una valutazione amministrativa “responsabile” della ricerca a partire dai principi COARA? La risposta è no, non è possibile. Per giungere a questo risultato farò due cose principali. La prima è caratterizzare COARA come una forma di “tecnocrazia”, dirò che questa forma di tecnocrazia è perfettamente coerente con una visione neo-liberale della ricerca. Proporrò quindi la visione alternativa di scienza ben ordinata di Philip Kitcher e mostrerò che la valutazione amministrativa della ricerca, anche quando corretta sulla base di principi di COARA, è in contrasto con i principi della scienza ben ordinata.
Testo rivisto della relazione presentata al convegno dell’Associazione Italiana per la scienza aperta. Avanti piano quasi indietro: la riforma europea della valutazione della ricerca in Italia. Bologna, 19 aprile 2024.
Link alle slide: https://zenodo.org/records/11088062
Video disponibile qui a partire minuto 1:15:57.
La domanda a cui tento di rispondere con la mia relazione è più o meno questa. È possibile una valutazione “responsabile” della ricerca a partire dai principi COARA (https://coara.eu/agreement/the-agreement-full-text/)? La risposta, anticipo la conclusione del mio ragionamento, è no, non è possibile. Per giungere a questo risultato farò due cose principali. La prima è caratterizzare COARA come una forma di “tecnocrazia”, dirò che questa forma di tecnocrazia è perfettamente coerente con una visione utilitarista della ricerca. Proporrò quindi una visione alternativa: l’idea di scienza ben ordinata di Philip Kitcher e mostrerò che la valutazione amministrativa della ricerca, anche quando corretta sulla base di principi di COARA, è in contrasto con i principi della scienza ben ordinata.
COARA come tecnocrazia valutativa. COARA non è un documento isolato. Arriva dopo il cosiddetto manifesto di Leiden sulla valutazione della ricerca (Hicks et al., 2015), dopo la difesa dell’uso responsabile delle metriche nella valutazione (Wilsdon et al., 2015), ad oltre dieci anni dalla San Francisco Declaration on Research Assessment nota con l’acronimo DORA . Tutti questi documenti partono da un’idea comune: la definizione corretta delle metriche di valutazione è la chiave per migliorare la valutazione. Di quale valutazione parlano questi documenti? Parlano di valutazione amministrativa, cioè della valutazione messa in atto da autorità amministrative per fini specifici come la distribuzione delle risorse per la ricerca, il finanziamento di progetti, la concessione di tenure o promozioni ai ricercatori (Pievatolo, 2017).
Una valutazione corretta, secondo COARA, è in grado di riconoscere i diversi prodotti, pratiche e attività che massimizzano la qualità e l’impatto della ricerca. COARA concede che le tecniche corrette debbano essere adattate al livello di granularità della valutazione (individui, gruppi e istituzioni). COARA sostiene, implicitamente, che la definizione di tecniche corrette di valutazione può essere sviluppata indipendentemente dall’assetto istituzionale nel quale si svolge la valutazione e dal sistema di incentivi associati alla valutazione. Sostengono nella sostanza che le tecniche di valutazione sono separabili dalle politiche della ricerca.
Si tratta di un approccio “internalista” o “tecnocratico” alla valutazione della ricerca e al suo miglioramento. Spesso quando si parla di valutazione quantitativa della ricerca si fa riferimento alla metafora del termometro. COARA propone di sostituire il termometro bibliometrico con il giudizio informato dei pari. Dove i pari sono individui votati al bene della scienza, in grado, per loro natura, di riconoscerne qualità e impatto in quanto scienziati. Ci sono due ipotesi sottostanti, non esplicitate e che vale la pena chiarire. La prima è che la valutazione sia connaturata alla ricerca: tutti facciamo valutazione quando facciamo ricerca. La seconda è che la valutazione faccia bene alla ricerca.
COARA da questo punto di vista adotta un approccio consequenzialista o utilitarista alla valutazione. Se si migliorano le tecniche di valutazione, la ricerca migliora. Più precisamente: la scienza ha degli obiettivi da raggiungere. Questi obiettivi sono definiti dall’autorità politica, da politiche sovranazionali o da esperti, magari dopo aver consultato le parti interessate. Il sistema scientifico è concepito essenzialmente come un sistema di produzione di scienza. Il problema principale di questo sistema è l’efficienza della produzione. Le istituzioni della scienza desiderabili sono istituzioni efficienti. La distribuzione delle risorse a queste istituzioni dovrebbe avere l’obiettivo di massimizzare i risultati attesi. Le buone istituzioni scientifiche contribuiscono alla ricchezza scientifica delle Nazioni. Se si fissano obiettivi adeguati, se si modifica la progettazione istituzionale, se si fanno sistemi di finanziamento efficiente, si migliora la ricerca. All’interno di questo approccio, lo spazio per i diritti dei ricercatori e dei cittadini è ridotto, se non inesistente. D’altra parte, in una logica utilitarista, i diritti sono ostacoli al perseguimento dell’efficienza, o, in modo più netto, “sciocchezze sui trampoli”, per citare Jeremy Bentham. Non è un caso che COARA non spenda una sola parola sul tema dell’equità delle procedure per la valutazione, la certificazione e il finanziamento. Il tema è solo l’adeguatezza tecnica della valutazione. Ho fatto riferimento al consequenzialismo utilitarista. Avrei potuto dire in modo più sintetico: COARA adotta implicitamente una logica neoliberale, non si discosta cioè da quel modo di pensare l’organizzazione della scienza che si sviluppa a partire dagli anni 1980 e si concretizza nelle ricette del New Public Management.
LA SCIENZA BEN ORDINATA DI KITCHER. Propongo di provare a inquadrare diversamente COARA e la valutazione della ricerca, prendendo sul serio l’idea di scienza in una società democratica di Philip Kitcher (Kitcher, 2011), un filosofo della scienza che nel 2011 estende al sistema scientifico la teoria della giustizia di John Rawls. Così come Rawls delinea le caratteristiche di una società democratica ben ordinata, Kitcher definisce un sistema ideale di scienza, che lui chiama scienza ben ordinata, compatibile con gli istituti di una società democratica rawlsiana. Questo sistema di scienza ben ordinata è un’ideale che serve come punto di riferimento per misurare la distanza tra la scienza reale e il mondo ideale in cui la scienza funziona come dovrebbe funzionare.
Kitcher definisce la scienza come un sistema pubblico di conoscenze. I ricercatori vi contribuiscono con nuove scoperte. Il sistema pubblico della conoscenza è organizzato in quattro processi sequenziali: investigazione, sottoposizione, certificazione e trasmissione della conoscenza. Le fasi di sottoposizione e certificazione non vanno confusi rispettivamente con le procedure di sottoposizione di un articolo a una rivista per la pubblicazione e la sua accettazione a seguito della procedura di revisione dei pari. Per Kitcher sottoposizione e certificazione si riferiscono alla discussione pubblica cui sono sottoposti i risultati della scienza: una ricercatrice o un ricercatore produce un’idea nuova e la sottopone alla discussione pubblica nella comunità scientifica; il risultato della discussione può essere la certificazione di quell’idea, nel senso che la comunità scientifica la ritiene provvisoriamente valida. O, al contrario, può essere la confutazione dell’idea che viene certificata come provvisoriamente non valida.
Kitcher ha l’obiettivo di rendere compatibile questo ideale di funzionamento con le istituzioni di una società democratica. Il primo problema che si pone è definire quali sono i tipi di indagine scientifica “rilevanti” che dovrebbero essere perseguiti in una società democratica. La definizione di quali siano i temi rilevanti di ricerca richiede un giudizio di valore.
Chi ha l’autorità di decidere quali siano i problemi rilevanti di cui la scienza si dovrebbe occupare? Nella scienza ben ordinata i problemi rilevanti sono definiti attraverso una discussione ideale che comprenda tutti i punti di vista umani. L’introduzione dell’idea di una discussione ideale permette a Kitcher di introdurre i due pericoli emergenti nella definizione di quali siano i temi rilevanti da indagare. Secondo Kitcher nella scienza ben ordinata di una società democratica nessuno deve avere l’autorità di decidere quali sono i problemi rilevanti. I problemi rilevanti sono individuati nella discussione pubblica. Tale discussione non può essere conclusa con una semplice procedura di voto a maggioranza, perché questo potrebbe determinare l’emergere della “tirannia dell’ignoranza”. Il secondo pericolo è la “tirannia della competenza” che si verifica se si attribuisce ai ricercatori il diritto non solo di fare ricerca, ma anche di scegliere quali siano i temi rilevanti da indagare.
La scienza ben ordinata si preoccupa di evitare queste due tirannie. La scienza reale è molto diversa e distante dalla scienza ben ordinata, perché, come scrive Kitcher, la scienza reale è infettata “da interessi particolari presupposti ideologici e diseguaglianze di potere”. Non discuto queste considerazioni di Kitcher che mi porterebbero lontano dal focus di questo intervento.
Mi interessa invece discutere l’idea di certificazione perché ha a che fare con la valutazione. Nella scienza ben ordinata di Kitcher, la certificazione è la fase in cui le nuove scoperte vengono accettate o rifiutate provvisoriamente come parte del corpus della conoscenza pubblica. Secondo Kitcher “la certificazione è ben ordinata solo nel caso in cui una deliberazione ideale sostenga livelli di prossimità alla verità e di probabilità di generare verità”. La certificazione richiede una discussione pubblica in cui i ricercatori ed i cittadini possano riconoscere i metodi e le procedure che portano all’accettazione o al rifiuto della scoperta e possano accettarne gli esiti.
La certificazione è essa stessa sottoposta ai due pericoli della tirannia dell’ignoranza e della competenza. La prima consiste nell’inserimento della “democrazia volgare”, per esempio il voto a maggioranza, nel contesto della certificazione. La seconda nel prevalere all’interno di sotto-comunità scientifiche di agende ideologiche o pregiudizi pervasivi che spingano i membri a favorire particolari ipotesi, sopravvalutare certi tipi di prove o a fabbricare prove.
LA VALUTAZIONE AMMINISTRATIVA DELLA RICERCA E LA SCIENZA BEN ORDINATA. Nel sistema di scienza ben ordinata di Kitcher, quale è il ruolo o dove si posiziona la valutazione amministrativa della ricerca di individui, progetti e istituzioni? Detto in modo più esplicito, la domanda cui vorrei rispondere è quale sia il ruolo o il posizionamento in una logica alla Kitcher degli esercizi di valutazione massiva come la VQR italiana, il REF britannico, l’ERA australiana; della valutazione massiva condotta a livello individuale come nel caso dell’ASN in Italia, o delle procedure di valutazione dei progetti di ricerca. I risultati di queste varie forme di valutazione amministrativa sono utilizzati per decisioni relative al reclutamento, alle promozioni ed ai premi per singoli ricercatrici e ricercatori, per la ripartizione del finanziamento della ricerca nei sistemi cosiddetti PBRF (performace based research funding), e per il finanziamento di progetti.
Per rispondere alla domanda si può partire dalla constatazione che in queste procedure i valutatori sono accademici con autorità amministrativa: chi è sottoposto a valutazione amministrativa non può discutere pubblicamente gli esiti del giudizio con i valutatori. Per contestare il giudizio ricevuto si deve agire per via amministrativa o giurisdizionale. In Italia, per esempio, per contestare l’esito della valutazione di ANVUR nella VQR ci si deve rivolgere al TAR. Da questo punto di vista i valutatori nelle procedure amministrative agiscono come funzionari che svolgono la funzione di “guardiani della scienza” (gatekeepers) per i responsabili della politica.
Data questa caratterizzazione, si può sostenere che la valutazione amministrativa non produce una certificazione ordinata alla Kitcher. Per due motivi. I prodotti della ricerca oggetto della valutazione amministrativa fanno parte del corpo della conoscenza pubblica (provvisoriamente) accettata e sono quindi già (provvisoriamente) certificati: la discussione su di essi c’è stata ed è in corso poiché si tratta di pubblicazioni che, come tali, sono sottoposte al giudizio dei pari e del pubblico dei lettori. Il secondo motivo risiede in una ragione procedurale: l’esito della valutazione dei singoli prodotti della ricerca non solo non è discutibile, ma non è neanche di norma resa pubblica. Il che esclude formalmente che si tratti di una certificazione.
La valutazione amministrativa può essere caratterizzata come un’attività amministrativa post-certificazione carica di valore, dove l’espressione “carica di valore” indica che ciascun prodotto di ricerca è valutato in base ai criteri che sono definiti nel processo amministrativo direttamente dal “governo” o da accademici dotati di potere amministrativo. Il fatto che questi criteri imitino quelli utilizzati nelle procedure di revisione dei pari, e che siano applicati da accademici, non attribuisce alla valutazione un carattere di certificazione alla Kitcher. C’è di più: l’autorità dei valutatori deriva in ultima istanza da un atto governativo e non dalla partecipazione alla conversazione pubblica alla base della certificazione.
La valutazione amministrativa è ovviamente soggetta sia alla tirannia dell’ignoranza che della competenza. Per capire il punto propongo un esperimento mentale. Proviamo ad immaginare l’autorità amministrativa o di governo che decida di attribuire il potere di valutare i prodotti della ricerca a individui scelti a caso tra i cittadini, e che questi definiscano i giudizi sui prodotti della ricerca con votazioni a maggioranza. Saremmo di fronte ad una manifestazione di tirannia dell’ignoranza. Immaginiamo adesso che l’autorità governativa scelga i valutatori tra gli accademici e che questi attribuiscano i loro giudizi sui prodotti della ricerca con procedure più o meno complesse (media della valutazioni, voto a maggioranza o altro). In questo caso, parafrasando Kitcher, non è difficile pensare all’emergenza della tirannia della competenza: una particolare agenda ideologica, un pregiudizio pervasivo, spingono i membri di una sottocomunità scientifica cui è attribuita l’autorità di valutare a sopravvalutare qualità e impatto di certi prodotti e a sottovalutarne altri anche fabbricando l’evidenza necessaria. Ho passato gli ultimi dieci anni a documentare come questo sia accaduto in Italia con gli esercizi VQR.
Ne segue che la valutazione amministrativa della ricerca è da considerare in contrasto con i principi della scienza ben ordinata in una società democratica perché crea definizioni autoritarie di qualità e impatto, e perché attribuisce arbitrariamente a specifici ricercatori il potere di giudicare in modo autoritario la ricerca sulla base di quelle definizioni.
La valutazione amministrativa ha effetti rilevanti sul funzionamento della ricerca. Le definizioni autoritarie di qualità e impatto entrano in modo più o meno diretto nel disegno delle politiche della ricerca e degli incentivi per gli scienziati, attraverso i sistemi PBRF, attraverso le politiche di assunzione, promozione e carriera, sotto forma di premi monetari. In questo modo contribuiscono a definire le preferenze di scienziate e scienziati su quali problemi investigare, quali metodi utilizzare, attraverso quali canali diffondere i risultati della ricerca. Se si pensa agli scienziati come individui razionali, essi produrranno output di ricerca e metteranno in atto “pratiche e attività che massimizzano la qualità e l’impatto della ricerca”, proprio come auspicato da COARA. E quali sono la qualità e l’impatto della ricerca? Quelli definiti dai valutatori tirannici. Non è irragionevole pensare che questo abbia ricadute anche sui criteri che la comunità scientifica adotta per l’attività di certificazione della conoscenza provvisoriamente valida: le definizioni autoritarie di qualità e impatto possono per questa via sostituirsi ai criteri di valutazione costruiti dalle comunità scientifiche. In questo senso la valutazione amministrativa contribuisce ad allontanare la scienza reale dall’ideale di scienza ben ordinata.
Conclusioni. La valutazione amministrativa non è una componente della scienza ben ordinata, non è una certificazione, ma un’attività che attribuisce valore ai prodotti della ricerca sulla base di criteri decisi dall’autorità amministrativa e applicati da scienziati che sono trasformati in funzionari. Per il semplice fatto di essere realizzata, la valutazione amministrativa allontana la scienza dall’ideale di scienza ben ordinata in una società democratica. COARA, il manifesto di Leiden e DORA si concentrano sulla tecnologia di valutazione, ma non individuano il carattere autoritario della valutazione amministrativa. Da questo punto di vista si configurano come forme di “tecnocrazia”, per cui l’adozione della tecnologia corretta di valutazione permette di correggere le distorsioni della valutazione amministrativa. Come ho argomentato, la valutazione amministrativa è soggetta alla tirannia dell’ignoranza e alla tirannia della competenza: il cambiamento di tecnologia auspicato da COARA e manifesto di Leiden sono del tutto ininfluenti perché non permettono di evitare la tirannia della valutazione amministrativa. Addirittura, io direi che COARA e Leiden sono dannosi, perché non modificano la natura istituzionalmente autoritaria della valutazione, ma contribuiscono a nascondere, dietro lo schermo dell’adozione della revisione dei pari, la natura autoritaria della valutazione.
La ovvia obiezione al ragionamento svolto finora è che l’organizzazione delle istituzioni della scienza contemporanea richiede di fare valutazione amministrativa: la conversazione ideale di Kitcher è una impraticabile idealizzazione. La sostituzione della tecnologia proposta da COARA e Leiden è un miglioramento rispetto alla situazione attuale.
L’indicazione di politica della ricerca che traggo da questo ragionamento è diversa. Essa consiste nella necessità di limitare al minimo indispensabile la valutazione amministrativa, in sintesi alle sole procedure strettamente necessarie al funzionamento di base della scienza cioè alla fase di reclutamento dei ricercatori e al finanziamento della ricerca su progetti. Questo significa eliminare i meccanismi di finanziamento di base delle istituzioni basati sulla performance, le procedure massive di valutazione individuale (come la ASN italiana) ed aggregate (come VQR, REF etc.), eliminre le incentivazioni dirette in denaro per pubblicazioni e citazioni. In questo modo si ridurrebbero in modo considerevole i rischi di tirannia associati alla valutazione amministrativa e le distorsioni nei comportamenti indotte dai meccanismi di valutazione amministrativa.
Quando si usa la valutazione amministrativa per il reclutamento e il finanziamento di progetti è necessario rivolgere l’attenzione non tanto alla tecnologia, che è la sola dimensione considerata da COARA, quanto alle procedure amministrative adottate. Con una formula, è necessario adottare procedure che rispettino l’equità (procedural fairness). Nella selezione degli esperti è necessario considerare non solo le dimensioni facilmente osservabili come il genere o l’affiliazione dei membri dei panel, ma anche tenere conto della pluralità di approcci alla ricerca esistenti in un dato campo. Da questo punto di vista, le procedure adottate nella VQR italiana sono, per esempio, inaccettabili.
Nel caso della distribuzione delle risorse per progetti di ricerca, è auspicabile il disegno di procedure che riducano al massimo il potere degli esperti. Si potrebbe per esempio adottare la procedura in due stadi proposta qualche anno fa da Donald Gillies (Gillies, 2008): gli esperti selezionano un insieme di progetti finanziabili; i progetti finanziati sono estratti a caso da quell’insieme. Questo limita la possibilità che la procedura cada nella tirannia della competenza.
Riferimenti bibliografici
Gillies, D. (2008). How Should Research be Organized. College Publication.
Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520(7548), 429-431. https://doi.org/10.1038/520429a
Kitcher, P. (2011). Science in a Democratic Society. Prometheus books.
Pievatolo, M. C. (2017). La bilancia e la spada: scienza di stato e valutazione della ricerca. Bollettino telematico di filosofia politica. https://doi.org/https://doi.org/10.5281/zenodo.570042
Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R., Kerridge, S., Thelwall, M., Tinkler, J., Viney, I., Wouters, P., Hill, J., & Johnson, B. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management.
FONTE:
Commenti recenti