L’era della “sbobba accademica” è arrivata
da ROARS (Redazione)
Segnaliamo questo articolo di Seva Gunitsky pubblicato su https://hegemon.substack.com/p/the-age-of-academic-slop-is-upon?utm_medium=web e tradotto dalla redazione
L’era della “sbobba accademica” è arrivata
che cosa succede quando l’IA automatizza la “scienza normale”?
Seva Gunitsky
Lo scorso mese ho concluso un mandato triennale come associate editor di Security Studies, una rivista di relazioni internazionali. Ho iniziato all’inizio del 2023, all’alba dell’era dei modelli linguistici di grandi dimensioni (LLM), e ho terminato nel pieno di essa.
Una cosa che è cambiata in quel periodo relativamente breve è il volume stesso dei manoscritti. L’estate scorsa il direttore responsabile ci ha scritto per avvertirci che le sottomissioni erano raddoppiate o triplicate rispetto alle medie abituali. Molte avevano ben poco a che fare con il tema della rivista e si concentravano invece su informatica o sicurezza di Internet. Sembra che alcune persone stessero usando l’IA per generare pessimi manoscritti e poi li stessero sparando a raffica in tutto il mondo accademico, senza grande riguardo per la qualità o per l’aderenza alla rivista.
Di conseguenza, il nostro tasso di desk reject è salito al 75%. Il desk reject è il primo filtro delle riviste accademiche, in cui il direttore decide quali manoscritti inviare alla peer review. In questo caso ha funzionato come un efficace filtro anti‑sbobba, perché la sbobba era facilmente riconoscibile. Il nostro carico di lavoro è comunque aumentato, ma solo leggermente.
Ma che cosa succede quando politologi competenti iniziano a usare gli LLM per generare manoscritti pubblicabili? Articoli che superano non solo il vaglio iniziale dell’editor, ma anche la revisione tra pari?
Il politologo Andy Hall ha scritto di recente:
Claude Code e simili stanno arrivando nello studio della politica come un treno merci. Un singolo accademico sarà in grado di scrivere migliaia di articoli empirici all’anno (specialmente esperimenti su sondaggi o esperimenti con LLM)… Dovremo trovare nuovi modi di organizzare e diffondere la ricerca in scienza politica nel futuro molto prossimo per far fronte a questa ondata.
“Migliaia” sembra ottimistico, a meno di adottare uno stile di vita monastico; ma centinaia è assolutamente plausibile. E questi articoli non saranno brutti. Saranno utili in modo circoscritto, metodologicamente corretti e, per lo più, poco interessanti.
Il giorno dopo, Hall ha pubblicato una prova di concetto, producendo un articolo scritto quasi interamente con Claude Code:
Oggi ho fatto replicare e ampliare completamente a Claude Code un mio vecchio articolo che stimava l’effetto del voto universale per posta sull’affluenza e sugli esiti elettorali… praticamente in un colpo solo. Il tutto ha richiesto circa un’ora. È un cambiamento di paradigma folle nel modo in cui si fa lavoro empirico. [enfasi aggiunta]
Ho guardato l’articolo creato dall’IA e, pur non essendo qualificato per giudicarne il rigore metodologico, mi è sembrato il tipico articolo quantitativo che potrei trovare in una rivista con peer review. Io non lo leggerei mai, ma qualcuno interessato all’argomento potrebbe farlo.
Che cosa ne facciamo di tutto questo?
La prima cosa, probabilmente, è smettere di chiamarla “sbobba”. Come osserva Max Read, slop “suggerisce un insieme di qualità — dimenticabilità, prevedibilità, mancanza di originalità, assenza di vita — più che una particolare origine”. I prossimi articoli generati dall’IA possono essere poco originali, ma non sono privi di vita in quel senso. Sono tecnicamente competenti. Rispettano la forma. Sono adeguati. Sono facili da produrre e richiedono poca creatività, ma costituiscono anche quel tipo di lavoro incrementale legittimo che Thomas Kuhn chiamava “scienza normale”.
Come chiamarla allora? Slop‑Plus? Sbobbа premium? Forse è troppo duro. Il termine tedesco per la scienza normale di Kuhn è Normalwissenschaft, quindi magari Automatenwissenschaft?
Comunque la si chiami, che cosa significa la sua comparsa per il mondo accademico?
Sospetto che il valore della teoria originale o elegante diventerà più importante. Il buon lavoro quantitativo sta diventando economico e abbondante; la buona teoria resta difficile. Forse anche il lavoro etnografico acquisterà maggiore valore, così come la raccolta originale di dati che l’IA ancora non è in grado di fare.
Ma l’effetto più rilevante è che la peer review diventa sempre più una questione di discernimento o di gusto. Se chiunque può produrre un articolo empirico competente su qualsiasi tema, il collo di bottiglia si sposta sull’individuazione delle domande che vale la pena porre in primo luogo. Questo faceva già parte del mio lavoro di editor: dati due referee report, talvolta contraddittori e occasionalmente sconcertanti, come applicare il mio giudizio e la mia conoscenza del campo per decidere se l’articolo debba andare avanti.
In quel mondo, la domanda per revisori ed editor è meno “è corretto?” e più “perché è importante?”. È una domanda inevitabilmente soggettiva, ma non del tutto, perché richiede una solida conoscenza dei dibattiti in corso. Implica ancora conoscere le tensioni e le lacune produttive, gli enigmi interessanti e il senso comune apparentemente consolidato.
Questo concetto ha in realtà un nome: phronesis. È il termine con cui Aristotele indicava la saggezza pratica, cioè la capacità di discernere l’azione giusta in circostanze particolari. A differenza dell’episteme (conoscenza scientifica) o della techne (abilità tecnica), la phronesis non può essere ridotta a regole o algoritmi. Richiede esperienza, giudizio e ciò che Aristotele chiamava “percezione”. Non significa semplicemente intelligenza, ma la capacità intellettuale di cogliere gli elementi salienti di una situazione specifica.
Michael Polanyi ha fatto una distinzione simile con il concetto di “conoscenza tacita”. Sappiamo più di quanto possiamo dire. Un artigiano esperto non riesce a spiegare completamente perché un lavoro sia eccellente e un altro soltanto competente. Questa conoscenza è incarnata, contestuale e resistente alla formalizzazione. Ed è proprio questo che la rende difficile da automatizzare, almeno per ora.
Resterà una qualità umana? Forse sono antropocentrico. I sistemi di IA sono addestrati sui giudizi umani, dopotutto. Ma apprendono comunque una sorta di gusto medio, derivato. Di conseguenza, possono riconoscere ciò che è stato valorizzato, ma sospetto che faticheranno ad anticipare ciò che dovrebbe essere valorizzato. La questione di lungo periodo è se il gusto riguardi fondamentalmente un riconoscimento di pattern a livello profondo (facilmente automatizzabile) o qualcos’altro: contesto, posta in gioco, quel je ne sais quoi della ricerca accademica.
Isaiah Berlin chiamava questa qualità “senso della realtà” nel giudizio politico: la capacità di percepire ciò che è possibile e ciò che conta in un determinato momento storico. Non è affatto chiaro che gli LLM possiedano questo senso.
Ciò non significa che gli LLM siano solo marginalmente utili per le scienze sociali. Probabilmente si riveleranno davvero importanti per la replicazione, e in particolare per la replicazione pre‑pubblicazione, un lavoro cruciale ma anche ingrato e noioso, tanto che pochi se ne occupano. Se l’IA può rieseguire abitualmente le analisi e segnalare discrepanze, è già un contributo enorme all’integrità scientifica. Li ho trovati utili anche per riassumere testi brevi e, nel mio uso più frequente e frivolo, per produrre immagini per le mie lezioni (come quella in cima a questo pezzo). Non sono quindi un luddista dell’IA, quanto piuttosto qualcuno per cui la tecnologia non è ancora trasformativa.
Pubblica e scompari
Se il discernimento diventa l’arbitro ultimo della qualità, ci stiamo muovendo ancora di più verso un sistema a due livelli nella pubblicazione accademica. Le riviste di punta si concentreranno su articoli straordinariamente originali o su importanti svolte teoriche o empiriche, mentre tutti gli altri pubblicheranno articoli prodotti dall’IA che avanzano incrementalmente la nostra comprensione di aspetti ristretti. E forse la teoria acquisirà un prestigio crescente rispetto ai metodi sofisticati di analisi dei dati. Si può sognare.
Teoria ed empiria sono ovviamente entrambe parti fondamentali della scienza, ma il pericolo è che il diluvio di Automatenwissenschaft diventi una sorta di materia oscura accademica, che serve a gonfiare i CV e a soddisfare metriche burocratiche, ma che nessuno legge davvero o utilizza. In parte è già così, ma l’IA accelera enormemente il processo.
Per molti studiosi questo comporta il passaggio da un modello “Publish or Perish” a uno “Publish and Vanish”. E, nel consumare la letteratura, questa biforcazione costringe gli studiosi ad affidarsi ancora di più alle gerarchie di prestigio come euristica di importanza. Paradossalmente, l’effetto livellante dell’IA potrebbe rendere l’accademia più elitaria.
I professori sono stati in prima linea nel consumo di sbobba. Nuotavamo in temi prodotti dall’IA ben prima che la maggior parte delle persone sapesse cosa fosse ChatGPT. È ancora la principale lamentela dei miei colleghi. Abbiamo visto quanto fosse fastidiosamente efficace, quindi non sorprende che ci rivolgiamo agli stessi strumenti per la nostra ricerca, soprattutto per il coding o il lavoro quantitativo. La tecnologia che ci ha sommersi di elaborati studenteschi ora sommergerà noi con il nostro stesso lavoro, e avremo bisogno di ancora più di quel discernimento di cui ci siamo sempre lamentati che i nostri studenti non possedessero.
FONTE: https://www.roars.it/lera-della-sbobba-accademica-e-arrivata/
Commenti recenti