L’editoria scientifica si sta confrontando con una questione sempre più provocatoria: cosa fare con l’IA nella peer review?
L’ecologista Timothée Poisot ha recentemente ricevuto una revisione chiaramente generata da ChatGPT. Il documento conteneva la seguente stringa di parole rivelatrici: “Ecco una versione rivista della tua recensione con una maggiore chiarezza e struttura”
Poisot si è infuriato. “Sottopongo un manoscritto a revisione nella speranza di ricevere commenti dai miei colleghi”, ha scritto in un post sul blog. “Se questo presupposto non viene soddisfatto, l’intero contratto sociale della revisione paritaria viene meno”
L’esperienza di Poisot non è un caso isolato. Uno studio recente pubblicato su Nature ha rilevato che fino al 17% delle revisioni di articoli di conferenze sull’intelligenza artificiale nel 2023-24 mostrava segni di modifiche sostanziali da parte di modelli linguistici.
Inoltre, in un sondaggioseparato su Nature, quasi un ricercatore su cinque ha ammesso di utilizzare l’IA per accelerare e semplificare il processo di peer review.
Abbiamo anche assistito ad alcuni casi assurdi di ciò che accade quando i contenuti generati dall’IA sfuggono al processo di revisione paritaria, che è progettato per difendere la qualità della ricerca.
Nel 2024, un articolo pubblicato sulla rivista Frontiers, che esplorava alcuni percorsi di segnalazione cellulare molto complessi, è stato trovato contenente bizzarri diagrammi senza senso generati dallo strumento artistico dell’IA Midjourney.
Un’immagine raffigurava un topo deforme, mentre altre erano solo vortici e ghirigori casuali, riempiti di testo incomprensibile.
I commentatori su Twitter sono rimasti sconcertati dal fatto che figure così palesemente errate abbiano superato la revisione paritaria. “Ehm, come ha fatto la Figura 1 a superare la revisione paritaria?!”, ha chiesto uno di loro.
In sostanza, i rischi sono due: a) che i revisori paritari utilizzino l’intelligenza artificiale per esaminare i contenuti e b) che i contenuti generati dall’intelligenza artificiale riescano a superare l’intero processo di revisione paritaria.
Gli editori stanno rispondendo a questi problemi. Elsevier ha vietato del tutto l’IA generativa nella revisione paritaria. Wiley e Springer Nature ne consentono un “uso limitato” con obbligo di divulgazione. Alcuni, come l’American Institute of Physics, stanno sperimentando con cautela strumenti di IA per integrare – ma non sostituire – il feedback umano.
Tuttavia, il fascino dell’intelligenza artificiale è forte e alcuni ne vedono i benefici se applicata con criterio. Uno studio di Stanford ha rilevato che il 40% degli scienziati ritiene che le revisioni del loro lavoro da parte di ChatGPT possano essere utili quanto quelle umane, e il 20% di più.
Tuttavia, l’accademia si basa da millenni sul contributo umano, quindi la resistenza è forte. “Non combattere le revisioni automatizzate significa che ci siamo arresi”, ha scritto Poisot.
Molti sostengono che il punto centrale della revisione paritaria sia il feedback dei colleghi esperti, non un timbro algoritmico.
