Secondo un nuovo studio del Dipartimento di Psicologia della Georgia State, l’IA supera gli esseri umani nel formulare giudizi morali.
Lo studio, guidato da Eyal Aharoni, professore associato presso il Dipartimento di Psicologia della Georgia State, e pubblicato su Nature Scientific Reports, mirava a esplorare come i modelli di lingua gestiscono le questioni etiche.
Ispirato dal test di Turing, che valuta l’abilità di una macchina di manifestare un comportamento intelligente indistinguibile da quello umano, Aharoni ha ideato una versione modificata incentrata sulla presa di decisioni morali.
“Ero già interessato alle decisioni morali nel sistema legale, ma mi chiedevo se ChatGPT e altri LLM potessero avere qualcosa da dire su questo argomento”, ha spiegato Aharoni.
“Le persone interagiranno con questi strumenti in modi che hanno implicazioni morali, come le implicazioni ambientali nel chiedere un elenco di raccomandazioni per una nuova auto. Alcuni avvocati hanno già iniziato a consultare queste tecnologie per i loro casi, nel bene e nel male. Quindi, se vogliamo usare questi strumenti, dovremmo capire come funzionano, i loro limiti e che non stanno necessariamente operando nel modo in cui pensiamo quando interagiamo con loro”.
Aharoni ha ragione. Abbiamo già osservato alcuni incidenti di alto profilo in cui avvocati, tra cui l’ex avvocato di Trump Michael Cohen, hanno accidentalmente utilizzato citazioni fabbricate dall’IA.
Nonostante le lacune, alcuni stanno attivamente promuovendo il ruolo dell’IA generativa nel diritto. Ad esempio, all’inizio di quest’anno, i giudici britannici hanno dato il via libera all’utilizzo dell’IA per redigere pareri legali.
In questo contesto, lo studio ha esaminato l’abilità di GPT-4 nel formulare giudizi morali, che sono ovviamente fondamentali nel diritto e in altri settori:
- Passaggio 1: Studenti universitari e IA sono stati posti di fronte allo stesso set di 10 domande etiche relative a trasgressioni morali e convenzionali. Le risposte generate dall’uomo sono state raccolte da un campione di 68 studenti universitari, mentre le risposte generate dall’IA sono state ottenute utilizzando il modello di lingua GPT-4 di OpenAI.
- Passaggio 2: Le risposte di maggior qualità fornite dagli umani e le risposte di GPT-4 sono state accostate e presentate ad un campione rappresentativo di 299 adulti statunitensi, che inizialmente non sapevano che GPT-4 aveva generato un set di risposte di ciascuna coppia.
- Passaggio 3: I partecipanti hanno valutato la qualità relativa di ciascuna coppia di risposte lungo dieci dimensioni (ad es. virtuosità, intelligenza, affidabilità, accordo) senza conoscere la fonte delle risposte.
- Passaggio 4: Dopo aver raccolto le valutazioni di qualità, i ricercatori hanno rivelato che un chatbot addestrato nel linguaggio umano aveva generato una delle risposte di ciascuna coppia. Ai partecipanti è stato poi chiesto di identificare quale risposta fosse stata generata dal computer e quale dall’uomo.
- Passaggio 5: I partecipanti hanno valutato la loro fiducia in ogni giudizio e hanno fornito commenti scritti spiegando perché credevano che la risposta selezionata fosse stata generata dal computer. Questi commenti sono stati successivamente analizzati per individuare temi comuni.
La maggior parte delle volte i giudizi morali dell’IA erano superiori
Sorprendentemente, le risposte generate dall’IA hanno ricevuto consistentemente valutazioni più alte per virtuosità, intelligenza e affidabilità. I partecipanti hanno anche riferito livelli di consenso più elevati con le risposte dell’IA rispetto a quelle umane.
Inoltre, i partecipanti spesso hanno identificato correttamente le risposte generate dall’IA con un tasso significativamente superiore al caso (l’80,1% dei partecipanti ha effettuato identificazioni corrette più della metà delle volte).
“Dopo aver ottenuto questi risultati, abbiamo fatto la grande rivelazione e abbiamo detto ai partecipanti che una delle risposte era generata da un umano e l’altra da un computer, e abbiamo chiesto loro di indovinare quale fosse quale”, ha detto Aharoni.
“La svolta è che la ragione per cui le persone potevano notare la differenza sembra essere perché hanno valutato le risposte di ChatGPT come superiori”.
Lo studio presenta delle limitazioni, per esempio, non ha controllato completamente per attributi superficiali come la lunghezza della risposta, che potrebbero aver fornito involontariamente indizi per identificare le risposte generate dall’IA. I ricercatori notano anche che i giudizi morali dell’IA possono essere modellati dai pregiudizi nei dati di formazione, quindi variano a seconda dei contesti socio-culturali.
Tuttavia, questo studio serve come una valida incursione nel ragionamento morale generato dall’IA.
Come spiega Aharoni, “I nostri risultati ci portano a credere che un computer potrebbe tecnicamente superare un test morale di Turing, ovvero potrebbe ingannarci nel suo ragionamento morale. A causa di questo, dobbiamo cercare di capire il suo ruolo nella nostra società perché ci saranno momenti in cui le persone non sapranno che stanno interagendo con un computer e ci saranno momenti in cui lo sapranno e consulteranno il computer per ottenere informazioni perché lo fidano più che altre persone”.
“Le persone si affideranno sempre più a questa tecnologia, e più ci affidiamo ad essa, più il rischio aumenta nel tempo”.
È un dilemma. Da un lato, spesso presumiamo che i computer siano capaci di un ragionamento più obiettivo di noi.
Quando ai partecipanti dello studio è stato chiesto di spiegare perché credevano che una particolare risposta fosse stata generata dall’IA, il tema più comune era che le risposte dell’IA venivano percepite come più razionali e meno emotive rispetto a quelle umane.
Ma, considerando il pregiudizio impartito dai dati di formazione, le allucinazioni e la sensibilità dell’IA a diversi input, la questione se essa possieda una vera “bussola morale” è molto ambigua.
Questo studio mostra almeno che i giudizi dell’IA sono convincenti in uno scenario di test di Turing.
