L’Autoscience Institute, di recente costituzione, ha presentato “Carl”, il primo sistema di intelligenza artificiale che elabora documenti di ricerca accademici e che ha superato un rigoroso processo di peer-review in doppio cieco.
I documenti di ricerca di Carl sono stati accettati nella sezione Tiny Papers della Conferenza Internazionale sulle Rappresentazioni dell’Apprendimento (ICLR). In particolare, questi lavori sono stati generati con un coinvolgimento umano minimo, inaugurando una nuova era per la scoperta scientifica guidata dall’intelligenza artificiale.
Ti presentiamo Carl: il “ricercatore automatizzato”
Carl rappresenta un balzo in avanti nel ruolo dell’IA non solo come strumento, ma come partecipante attivo alla ricerca accademica. Descritto come “uno scienziato di ricerca automatizzato”, Carl applica modelli di linguaggio naturale per ideare, ipotizzare e citare accuratamente i lavori accademici.
In particolare, Carl è in grado di leggere e comprendere gli articoli pubblicati in pochi secondi. A differenza dei ricercatori umani, lavora ininterrottamente, accelerando così i cicli di ricerca e riducendo i costi di sperimentazione.
Secondo Autoscience, Carl è riuscito a “ideare nuove ipotesi scientifiche, progettare ed eseguire esperimenti e scrivere diversi articoli accademici che hanno superato la peer review dei laboratori”
Questo sottolinea il potenziale dell’IA non solo di integrare la ricerca umana ma, per molti versi, di superarla in velocità ed efficienza.
Carl è un lavoratore meticoloso, ma il coinvolgimento umano è ancora fondamentale
La capacità di Carl di generare lavori accademici di alta qualità si basa su un processo in tre fasi:
- Ideazione e formazione di ipotesi: Sfruttando le ricerche esistenti, Carl identifica potenziali direzioni di ricerca e genera ipotesi. La sua profonda comprensione della letteratura correlata gli permette di formulare idee innovative nel campo dell’IA.
- Sperimentazione: Carl scrive codice, testa le ipotesi e visualizza i dati risultanti attraverso figure dettagliate. Il suo lavoro instancabile accorcia i tempi di iterazione e riduce le attività ridondanti.
- Presentazione: Infine, Carl compila i suoi risultati in elaborati accademici, completi di visualizzazioni dei dati e conclusioni chiaramente articolate.
Sebbene le capacità di Carl lo rendano ampiamente indipendente, in alcuni punti del suo flusso di lavoro è necessario l’intervento umano per rispettare gli standard computazionali, di formattazione ed etici:
- L’avvio delle fasi di ricerca: Per evitare di sprecare risorse computazionali, i revisori umani forniscono segnali di “continua” o “ferma” durante fasi specifiche del processo di Carl. Queste indicazioni permettono a Carl di portare a termine i progetti in modo più efficiente, ma non influenzano le specifiche della ricerca stessa.
- Citazioni e formattazione: Il team di Autoscience si assicura che tutti i riferimenti siano citati correttamente e formattati in modo da rispettare gli standard accademici. Al momento si tratta di una fase manuale, ma garantisce che la ricerca sia in linea con le aspettative della sede di pubblicazione.
- Assistenza con i modelli pre-API: Carl si affida occasionalmente ai modelli OpenAI e Deep Research più recenti che non dispongono di API auto-accessibili. In questi casi, gli interventi manuali, come il copia-incolla degli output, colmano queste lacune. Autoscience prevede che in futuro questi compiti saranno completamente automatizzati quando le API saranno disponibili.
Per l’articolo di debutto di Carl, il team umano ha anche aiutato a creare la sezione “lavori correlati” e a perfezionare il linguaggio. Questi compiti, tuttavia, non sono stati necessari in seguito agli aggiornamenti applicati prima degli invii successivi.
Un rigoroso processo di verifica dell’integrità accademica
Prima di inviare qualsiasi ricerca, il team di Autoscience ha intrapreso un rigoroso processo di verifica per garantire che il lavoro di Carl rispondesse ai più alti standard di integrità accademica:
- Riproducibilità: Ogni riga del codice di Carl è stata esaminata e gli esperimenti sono stati ripetuti per confermare la riproducibilità. In questo modo abbiamo garantito che i risultati fossero scientificamente validi e non anomalie casuali.
- Controlli sull’originalità: Autoscience ha condotto approfondite valutazioni di novità per garantire che le idee di Carl fossero nuovi contributi al campo e non versioni rimaneggiate di pubblicazioni esistenti.
- Convalida esterna: Un hackathon che ha coinvolto ricercatori di importanti istituzioni accademiche, come il MIT, l’Università di Stanford e l’U.C. Berkeley, ha verificato in modo indipendente la ricerca di Carl. Sono stati effettuati ulteriori controlli sul plagio e sulle citazioni per garantire la conformità alle norme accademiche.
Un potenziale innegabile, ma che solleva questioni più ampie
Raggiungere l’accettazione da parte di un workshop rispettato come l’ICLR è una pietra miliare significativa, ma Autoscience si rende conto della conversazione più ampia che questa pietra miliare può innescare. Il successo di Carl solleva questioni filosofiche e logistiche più ampie sul ruolo dell’IA in ambito accademico.
“Crediamo che i risultati legittimi debbano essere aggiunti alla base di conoscenza pubblica, indipendentemente dalla loro origine”, ha spiegato Autoscience. “Se la ricerca soddisfa gli standard scientifici stabiliti dalla comunità accademica, chi – o cosa – l’ha creata non dovrebbe comportare una squalifica automatica”
“Tuttavia, riteniamo anche che una corretta attribuzione sia necessaria per una scienza trasparente e che il lavoro puramente generato dai sistemi di IA debba essere distinguibile da quello prodotto dagli esseri umani”
Data la novità dei ricercatori autonomi di IA come Carl, gli organizzatori della conferenza potrebbero aver bisogno di tempo per stabilire nuove linee guida che tengano conto di questo paradigma emergente, soprattutto per garantire una valutazione equa e standard di attribuzione intellettuale. Per evitare inutili polemiche, Autoscience ha ritirato i lavori di Carl dai workshop dell’ICLR in attesa di definire queste linee guida.
In futuro, Autoscience intende contribuire alla definizione di questi standard in evoluzione. L’azienda intende proporre un workshop dedicato al NeurIPS 2025 per accogliere formalmente le proposte di ricerca dei sistemi di ricerca autonomi.
Man mano che si sviluppa la narrativa sulla ricerca generata dall’intelligenza artificiale, è chiaro che i sistemi come Carl non sono semplici strumenti ma collaboratori nella ricerca della conoscenza. Tuttavia, poiché questi sistemi trascendono i confini tipici, la comunità accademica deve adattarsi per abbracciare pienamente questo nuovo paradigma, salvaguardando l’integrità, la trasparenza e la corretta attribuzione.
