Come riportato dalla testata Artificial Intelligence News, i ricercatori della società Motional e del laboratorio CSAIL del MIT hanno sviluppato un sistema chiamato CW-Net, in grado di far spiegare in tempo reale alle auto a guida autonoma le motivazioni alla base delle proprie decisioni, superando il problema della scatola nera nell’IA.
Il progetto, i cui dettagli sono stati pubblicati sulla rivista Nature, nasce dalla collaborazione tra un team guidato dal CEO di Motional, Laura Major, e i ricercatori del MIT. La metodologia ideata, denominata Concept-Wrapper Network (CW-Net), si propone di convertire l’elaborazione interna della rete neurale in concetti immediatamente comprensibili per l’uomo, evidenziando sul cruscotto gli elementi che influenzano la guida, come la presenza di un veicolo fermo o la vicinanza a un ciclista.
I tradizionali sistemi autonomi si basano su reti neurali addestrate su enormi quantità di dati, ma non mostrano il ragionamento logico che porta a un’azione, rendendo difficile capire la causa di una frenata improvvisa. A differenza di altre soluzioni che generano spiegazioni a posteriori, CW-Net garantisce una tracciabilità causale diretta: la decisione finale del veicolo viene presa basandosi espressamente su concetti interpretabili. Secondo Laura Major, l’approccio puramente end-to-end può coprire tra l’80% e il 95% delle situazioni, ma non basta a raggiungere la sicurezza necessaria per rimuovere completamente il conducente umano e conquistare la fiducia delle città e dei clienti.
I test su strada e le anomalie individuate a Las Vegas
Mentre la ricerca sull’IA spiegabile resta spesso limitata alle simulazioni di laboratorio, la sperimentazione di CW-Net è stata condotta su strada a Las Vegas e su tracciati privati, affiancando il sistema a un operatore di sicurezza. I test hanno permesso di far emergere difetti inaspettati nel software di pianificazione sperimentale. In un’occasione, il veicolo continuava a fermarsi nei pressi di un cono stradale: anche dopo la rimozione del cono, l’auto ha proseguito a frenare nello stesso punto. Il sistema CW-Net ha mostrato che l’IA stava “allucinando” la presenza di un veicolo fermo, un problema risalente ai dati di addestramento. In un altro test con un ciclista, l’interfaccia ha rivelato che la frenata non dipendeva dal modulo principale di deep learning, ma dall’attivazione di un sistema di sicurezza di riserva.
Introdurre livelli di spiegabilità nei modelli di intelligenza artificiale comporta di solito un rallentamento delle prestazioni, ma le valutazioni comparative indicano che CW-Net riduce la capacità di guida di meno dell’uno per cento. Questa visibilità consente agli ingegneri di diagnosticare rapidamente le anomalie e risponde alle richieste dei regolatori, sempre più orientati a pretendere trasparenza sui processi decisionali dei software autonomi. Le applicazioni potenziali di questa tecnologia riguardano anche settori critici come i droni e la chirurgia robotica.
È possibile approfondire i temi legati all’IA fisica durante il Physical AI Expo organizzato ad Amsterdam, Londra e in Nord America. Si veda anche come l’IA del MIT sia in grado di prevedere eventi meteorologici estremi senza dati storici.
