La IA sta trasformando la ricerca scientifica, ma senza una corretta guida, potrebbe fare più male che bene.
Questa è la conclusione incisiva di un nuovo articolo pubblicato su Science Advances da un team interdisciplinare di 19 ricercatori guidato dai scienziati informatici dell’Università di Princeton Arvind Narayanan e Sayash Kapoor.
Il team sostiene che l’uso improprio dell’apprendimento automatico in varie discipline scientifiche sta alimentando una crisi di riproducibilità che minaccia di minare le stesse fondamenta della scienza.
“Quando passiamo dai metodi statistici tradizionali ai metodi di apprendimento automatico, ci sono molte più possibilità di commettere errori”, ha detto Narayanan, che dirige il Centro per la Politica Tecnologica dell’Informazione di Princeton.
“Se non interveniamo per migliorare i nostri standard scientifici e di reporting quando si tratta di scienza basata sull’apprendimento automatico, rischiamo non solo una disciplina ma molte diverse discipline scientifiche che riscoprono queste crisi una dopo l’altra”.
Secondo gli autori, il problema è che l’apprendimento automatico è stato rapidamente adottato da quasi tutti i campi scientifici, spesso senza chiari standard per garantire l’integrità e la riproducibilità dei risultati.
Sottolineano che migliaia di articoli che utilizzano metodi di apprendimento automatico difettosi sono già stati pubblicati.
Tuttavia, il team guidato da Princeton afferma che c’è ancora tempo per evitare questa crisi imminente. Hanno proposto una semplice checklist di migliori pratiche che, se adottate su larga scala, potrebbero salvaguardare l’affidabilità dell’apprendimento automatico nella scienza.
La checklist, chiamata REFORMS (Raccomandazioni per la Scienza basata sull’apprendimento automatico), consta di 32 domande in otto aree chiave:
- Obiettivi dello studio: Indicare chiaramente l’affermazione scientifica che si intende dimostrare e come l’apprendimento automatico sarà utilizzato per sostenerla. Giustificare la scelta dell’apprendimento automatico rispetto ai metodi statistici tradizionali.
- Riproducibilità computazionale: Fornire il codice, i dati, le specifiche dell’ambiente computazionale, la documentazione e lo script di riproduzione necessari per consentire ad altri di riprodurre i risultati dello studio in modo indipendente.
- Qualità dei dati: Documentare le fonti dei dati, il campione, le variabili di risultato, la dimensione del campione e la quantità di dati mancanti. Giustificare che il set di dati è appropriato e rappresentativo della questione scientifica.
- Pre-elaborazione dati: Riportare come i dati sono stati puliti, trasformati e suddivisi in set di addestramento e di test. Fornire una motivazione per eventuali dati esclusi.
- Modellazione: Descrivere e giustificare tutti i modelli provati, il metodo utilizzato per selezionare il modello finale(i) e il processo di tuning degli iperparametri. Confrontare le prestazioni con baseline appropriate.
- Perdita di dati: Verificare che il processo di modellazione non abbia utilizzato inavvertitamente informazioni provenienti dai dati di test e che le funzioni di input non rivelino i risultati.
“Questo è un problema sistemico con soluzioni sistemiche”, spiega Kapoor.
Tuttavia, i costi di commettere errori potrebbero essere immensi. Una scienza errata potrebbe affossare ricerche promettenti, scoraggiare i ricercatori e minare la fiducia del pubblico nella scienza.
Ricerche precedenti, come il grande sondaggio di Nature sugli accademici sull’AI generativa nella scienza, indicavano che l’integrazione più profonda e progressiva dell’AI nei flussi di lavoro scientifici è inevitabile.
I partecipanti hanno evidenziato molti benefici – il 66% ha notato che l’IA consente una più rapida elaborazione dei dati, il 58% crede che ne migliora i calcoli, e il 55% afferma che fa risparmiare tempo e denaro.
Tuttavia, il 53% ha riscontrato che i risultati potrebbero essere irripetibili, il 58% si è preoccupato per i pregiudizi, e il 55% ha creduto che l’IA potrebbe favorire la ricerca fraudolenta.
Abbiamo riscontrato prove di ciò quando i ricercatori hanno pubblicato un articolo con diagrammi AI generati senza senso sulla rivista Frontiers – un ratto con testicoli giganti, per l’appunto. Comico, ma ha mostrato come la revisione paritaria potrebbe non riuscire a rilevare usi ovviamente errati della AI.
In definitiva, come qualsiasi strumento, l’AI è sicura ed efficace solo quanto l’uomo che la gestisce. Un uso negligente, anche se involontario, può portare la scienza fuori strada.
Le nuove linee guida mirano a mantenere “onesti gli onesti”, come ha detto Narayanan.
L’adozione su larga scala da parte di ricercatori, revisori e riviste potrebbe stabilire un nuovo standard per l’integrità scientifica nell’era dell’IA.
Tuttavia, costruire un consenso sarà una sfida, soprattutto perché la crisi della riproducibilità sta già passando sotto il radar.
