I ricercatori hanno introdotto un nuovo approccio chiamato programmi incorporati in linguaggio naturale (NLEP) per migliorare le capacità di ragionamento numerico e simbolico dei grandi modelli linguistici (LLM). La tecnica prevede che gli LLM generino ed eseguano programmi Python per risolvere le domande degli utenti, per poi fornire le soluzioni in linguaggio naturale.
Sebbene gli LLM come ChatGPT abbiano dimostrato prestazioni impressionanti in vari compiti, spesso hanno difficoltà con i problemi che richiedono un ragionamento numerico o simbolico.
Gli NLEP seguono un modello di risoluzione dei problemi in quattro fasi: richiamano i pacchetti necessari, importano le rappresentazioni in linguaggio naturale delle conoscenze richieste, implementano una funzione di calcolo della soluzione e forniscono i risultati in linguaggio naturale con una visualizzazione opzionale dei dati.
Questo approccio offre diversi vantaggi, tra cui una maggiore precisione, trasparenza ed efficienza. Gli utenti possono analizzare i programmi generati e correggere gli errori direttamente, evitando di dover rieseguire interi modelli per la risoluzione dei problemi. Inoltre, un singolo NLEP può essere riutilizzato per più attività sostituendo alcune variabili.
I ricercatori hanno scoperto che i NLEP hanno permesso al GPT-4 di raggiungere un’accuratezza superiore al 90% su vari compiti di ragionamento simbolico, superando del 30% i metodi di prompting specifici per ogni compito
Oltre a migliorare l’accuratezza, gli NLEP potrebbero migliorare la privacy dei dati grazie all’esecuzione dei programmi in locale, eliminando la necessità di inviare i dati sensibili degli utenti a società esterne per l’elaborazione. Questa tecnica potrebbe anche aumentare le prestazioni dei modelli linguistici più piccoli senza dover ricorrere a un costoso retraining.
Tuttavia, gli NLEP si basano sulla capacità del modello di generare programmi e potrebbero non funzionare altrettanto bene con modelli più piccoli addestrati su set di dati limitati. La ricerca futura esplorerà metodi per far sì che i LLM più piccoli generino NLEP più efficaci e studierà l’impatto delle variazioni di prompt sulla robustezza del ragionamento.
La ricerca, sostenuta in parte dal Center for Perceptual and Interactive Intelligence di Hong Kong, sarà presentata alla conferenza annuale della sezione nordamericana dell’Association for Computational Linguistics alla fine del mese.
