È ora di Presumere che la Ricerca Sanitaria sia Fraudolenta fino a Prova Contraria?

di Renata Pescatori · Pubblicato 10 Novembre 2021 · Aggiornato 10 Novembre 2021

di STILUM CURIAE (Marco Tosatti)

Cari amici e nemici di Stilum Curiae, lo Pfizer-Gate, di cui stranamente i giornali di regime di governo – quasi tutti – sembrano non volersi occupare a portato in primo piano il problema dell’onestà e della affidabilità delle industrie farmaceutiche e della loro capacità di influenzare con materiale non veritiero anche ambienti e organi di informazione presumibilmente “puri”. Forse qualcuno si ricorderà che ne avevamo parlato in questo articolo, citando una fonte eccellente, l’ex ministro della Sanità francese Douste-Blazy. Vi ricorderete anche lo scandalo dell’articolo contro l’idrossiclorchina il farmaco poco costoso ed efficace (Trump è guarito, e anche – ho letto di recente, anche Bertolaso) contro il Covid, che Lancet ha pubblicato e poi ha dovuto cancellare. Ci sembra interessante allora offrirvi nella mia traduzione questo commento di Richard Smith, già direttore del British Medicine Journal, apparso nel suo blog. Buona lettura.

§§§

È ora di presumere che la ricerca sanitaria sia fraudolenta fino a prova contraria?

La ricerca sanitaria si basa sulla fiducia. I professionisti della salute e i redattori delle riviste che leggono i risultati di uno studio clinico presumono che lo studio sia avvenuto e che i risultati siano stati riportati onestamente. Ma circa il 20% delle volte, ha detto Ben Mol, professore di ostetricia e ginecologia alla Monash Health, si sbaglierebbero. Dato che mi sono preoccupato delle frodi nella ricerca per 40 anni, non sono rimasto sorpreso come molti da questa cifra, ma mi ha portato a pensare che potrebbe essere giunto il momento di smettere di assumere che la ricerca sia realmente accaduta e riportata onestamente, e assumere che la ricerca sia fraudolenta fino a quando non ci sono alcune prove a sostegno che sia accaduta e sia stata riportata onestamente. La Cochrane Collaboration, che fornisce “informazioni affidabili”, ha ora fatto un passo in quella direzione.

Come ha descritto in un webinar la scorsa settimana, Ian Roberts, professore di epidemiologia alla London School of Hygiene & Tropical Medicine, ha iniziato ad avere dubbi sull’onesta segnalazione delle prove dopo che un collega gli ha chiesto se sapeva che la sua revisione sistematica che mostrava che il mannitolo dimezzava la morte per trauma cranico era basata su prove che non erano mai avvenute. Non lo sapeva, ma si mise a indagare sulle prove e confermò che non erano mai avvenute. Avevano tutti un autore principale che pretendeva di venire da un’istituzione che non esisteva e che si è ucciso qualche anno dopo. Gli studi erano tutti pubblicati in prestigiose riviste di neurochirurgia e avevano più co-autori. Nessuno dei co-autori aveva contribuito con pazienti agli studi, e alcuni non sapevano di essere co-autori fino a dopo la pubblicazione degli studi. Quando Roberts ha contattato una delle riviste, l’editore ha risposto che “non mi fiderei dei dati”. Perché, si è chiesto Roberts, ha pubblicato il trial? Nessuno dei trial è stato ritrattato.

Più tardi Roberts, che dirigeva uno dei gruppi Cochrane, fece una revisione sistematica dei colloidi rispetto ai cristalloidi solo per scoprire di nuovo che molti degli studi inclusi nella revisione non potevano essere attendibili. Ora è scettico su tutte le revisioni sistematiche, in particolare su quelle che sono per lo più revisioni di piccoli studi multipli. Ha paragonato l’idea originale delle revisioni sistematiche alla ricerca di diamanti, conoscenze che erano disponibili se riunite in revisioni sistematiche; ora pensa alla revisione sistematica come alla ricerca nella spazzatura. Ha proposto che i piccoli studi di un singolo centro dovrebbero essere scartati e non combinati in revisioni sistematiche.

Mol, come Roberts, ha condotto revisioni sistematiche solo per rendersi conto che la maggior parte degli studi inclusi o erano studi zombie fatalmente difettosi o erano inaffidabili. Qual è, ha chiesto, la portata del problema? Anche se le ritrattazioni stanno aumentando, solo circa lo 0,04% degli studi biomedici sono stati ritrattati, suggerendo che il problema è piccolo. Ma l’anestesista John Carlisle ha analizzato 526 studi presentati ad Anaesthesia e ha scoperto che 73 (14%) avevano dati falsi, e 43 (8%) li ha classificati come zombie. Quando ha potuto esaminare i dati dei singoli pazienti in 153 studi, 67 (44%) avevano dati inaffidabili e 40 (26%) erano trial zombie. Molti degli studi provenivano dagli stessi paesi (Egitto, Cina, India, Iran, Giappone, Corea del Sud e Turchia), e quando John Ioannidis, un professore della Stanford University, ha esaminato i dati dei singoli pazienti degli studi presentati da quei paesi ad Anaesthesia durante un anno ha scoperto che molti erano falsi: 100% (7/7) in Egitto; 75% (3/4) in Iran; 54% (7/13) in India; 46% (22/48) in Cina; 40% (2/5) in Turchia; 25% (5/20) in Corea del Sud; e 18% (2/11) in Giappone. La maggior parte delle sperimentazioni erano zombie.

Ioannidis ha concluso che ci sono centinaia di migliaia di studi zombie pubblicati solo da quei paesi.

Altri hanno trovato risultati simili, e la migliore ipotesi di Mol è che circa il 20% delle prove sono false. Pochissimi di questi articoli vengono ritrattati.

Sappiamo da tempo che la revisione tra pari è inefficace nel rilevare le frodi, soprattutto se i revisori iniziano, come la maggior parte ha fatto fino ad ora, assumendo che la ricerca sia riportata onestamente. Ricordo di aver fatto parte di una commissione negli anni ’90 che indagava su uno dei casi più scandalosi di frode in Gran Bretagna, quando il revisore statistico dello studio ci disse che aveva trovato molteplici problemi con lo studio e che sperava solo che fosse fatto meglio di come era stato riportato. Abbiamo chiesto se avesse mai considerato che lo studio potesse essere fraudolento, e lui ci ha risposto di no.

Ora abbiamo raggiunto un punto in cui coloro che fanno revisioni sistematiche devono iniziare assumendo che uno studio sia fraudolento fino a quando non possono avere qualche prova del contrario. Alcune prove a sostegno vengono dal fatto che lo studio è stato registrato e ha avuto l’approvazione del comitato etico. Andrew Grey, un professore associato di medicina all’Università di Auckland, e altri hanno sviluppato una lista di controllo con circa 40 elementi che possono essere utilizzati come strumento di screening per la frode (è possibile visualizzare la lista di controllo qui). La checklist REAPPRAISED (Research governance, Ethics, Authorship, Plagiarism, Research conduct, Analyses and methods, Image manipulation, Statistics, Errors, Data manipulation and reporting) copre questioni come “la supervisione etica e il finanziamento, la produttività della ricerca e il carico di lavoro del ricercatore, la validità della randomizzazione, la plausibilità dei risultati e la segnalazione di dati duplicati”. La lista di controllo è stata utilizzata per individuare studi che sono stati successivamente ritrattati, ma non è stata sottoposta alla valutazione completa che ci si aspetterebbe per uno strumento di screening clinico. (Ma devo congratularmi con gli autori per un acronimo intelligente: alcuni dicono che sognare l’acronimo per uno studio è la parte più difficile dell’intero processo).

Roberts e altri hanno scritto sul problema dei molti trial inaffidabili e zombie in The BMJ sei anni fa con il titolo provocatorio: “Il sistema di conoscenza alla base dell’assistenza sanitaria non è adatto allo scopo e deve cambiare”. Volevano che la Cochrane Collaboration e chiunque conducesse revisioni sistematiche prendesse molto seriamente il problema delle frodi. Forse è stata una coincidenza, ma poche settimane prima del webinar la Cochrane Collaboration ha prodotto delle linee guida sulla revisione degli studi dove c’è stata una ritrattazione, un’espressione di preoccupazione, o i revisori sono preoccupati per l’affidabilità dei dati.

Le ritrattazioni sono le più facili da gestire, ma sono, come ha detto Mol, solo una piccola frazione degli studi inaffidabili o zombie. Un editoriale nella Cochrane Library che accompagna le nuove linee guida riconosce che non c’è accordo su ciò che costituisce uno studio inaffidabile, gli strumenti di screening non sono affidabili, e “La classificazione errata potrebbe anche portare a danni di reputazione per gli autori, conseguenze legali, e questioni etiche associate ai partecipanti che hanno preso parte alla ricerca, solo per essere scontati”. La Collaborazione è prudente, ma rischia di perdere credibilità e reddito se il mondo cessa di fidarsi delle revisioni Cochrane perché si pensa che siano basate su prove inaffidabili.

La frode nella ricerca è spesso vista come un problema di “mele cattive”, ma Barbara K Redman, che ha parlato al webinar insiste sul fatto che non è un problema di mele cattive ma di barili cattivi se non, ha detto, di foreste o frutteti marci. Nel suo libro Research Misconduct Policy in Biomedicine: Beyond the Bad-Apple Approach sostiene che la cattiva condotta nella ricerca è un problema di sistema – il sistema fornisce incentivi per pubblicare ricerche fraudolente e non ha processi di regolamentazione adeguati. I ricercatori progrediscono pubblicando ricerche, e poiché il sistema di pubblicazione è costruito sulla fiducia e la revisione tra pari non è progettata per rilevare le frodi, è facile pubblicare ricerche fraudolente. Il modello di business delle riviste e degli editori dipende dalla pubblicazione, preferibilmente di molti studi nel modo più economico possibile. Hanno poco incentivo a controllare le frodi e un disincentivo positivo a subire un danno reputazionale – ed eventualmente un rischio legale – dalla ritrattazione degli studi. I finanziatori, le università e le altre istituzioni di ricerca hanno analogamente incentivi a finanziare e pubblicare studi e disincentivi a fare un polverone sulla ricerca fraudolenta che potrebbero aver finanziato o fatto intraprendere nella loro istituzione, magari da uno dei loro ricercatori di punta. I regolatori spesso non hanno la posizione legale e le risorse per rispondere a ciò che è chiaramente una frode estesa, riconoscendo che dimostrare che uno studio è fraudolento (al contrario del sospetto che sia fraudolento) è un processo abile, complesso e che richiede tempo. Un altro problema è che la ricerca è sempre più internazionale con partecipanti di molte istituzioni in molti paesi: chi si assume allora il compito poco invidiabile di indagare sulle frodi? La scienza ha davvero bisogno di una governance globale.

Tutti guadagnano dal gioco della pubblicazione, ha concluso Roberts, a parte i pazienti che soffrono per aver ricevuto trattamenti basati su dati fraudolenti.

Stephen Lock, il mio predecessore come direttore di The BMJ, si preoccupò delle frodi nella ricerca negli anni ’80, ma la gente pensava che le sue preoccupazioni fossero eccentriche. Le autorità di ricerca insistevano che le frodi erano rare, non importavano perché la scienza si auto-correggeva, e che nessun paziente aveva sofferto a causa delle frodi scientifiche. Tutte queste ragioni per non prendere sul serio le frodi nella ricerca si sono rivelate false e, a 40 anni dalle preoccupazioni di Lock, ci stiamo rendendo conto che il problema è enorme, il sistema incoraggia le frodi e non abbiamo un modo adeguato per rispondere. Potrebbe essere il momento di passare dal presupposto che la ricerca sia stata condotta e riportata onestamente al presupposto che sia inaffidabile fino a quando non c’è qualche prova del contrario.

Richard Smith è stato il direttore di The BMJ fino al 2004.