Vi è mai capitato di fare una domanda a ChatGPT e ricevere come risposta “non lo so”? La risposta è indubbiamente negativa, proprio per l’esistenza delle allucinazioni, cioè errori fattuali nelle sequenze di parole presentate su base statistica dagli LLM (Large Language Model). Quello che accade quando il chatbot non è in grado di dare una risposta corretta e coerente con la realtà, è generare delle risposte verosimili, provocando anche dei gravi danni. In questo modo si dà all’utente l’impressione di acquisire delle informazioni corrette, quando si tratta di tirare ad indovinare.
Come risolvere questo problema? OpenAI ha evidenziato che bisognerebbe cambiare la struttura dei sistemi delle tecnologie intelligenti, ma ciò decreterebbe la fine di esse stesse. Alcuni ricercatori propongono un cambiamento nella valutazione della qualità delle risposte, penalizzando severamente le risposte errate date con sicurezza. Questo tipo di approccio richiederebbe una revisione dei criteri di addestramento, basati sulla predizione della parola successiva in una sequenza linguistica.
Wei Xing, docente all’Università di Sheffield, sottolinea che ridurre le allucinazioni è possibile, utilizzando metodi già esistenti per quantificare l’incertezza. Tuttavia, l’utilizzo di questi sistemi in larga scala richiederebbe costi molto elevati.
Un simile investimento potrebbe essere fatto in settori come la sanità o la finanza, ma non è possibile per chatbot destinati al grande pubblico. Nella quotidianità, ricevere risposte incerte o esitanti potrebbe frustrare gli utenti, suscitando un senso di sfiducia e un conseguente minore utilizzo. Paradossalmente, una maggiore trasparenza sull’incertezza potrebbe danneggiare l’efficacia percepita del chatbot stesso.
Nel paper, realizzato dai ricercatori dell’azienda di Sam Altman, si evince come non esiste alcun modello che possa risolvere completamente il problema, perchè molte domande (soprattutto quelle legate alla realtà) non hanno risposte oggettive o calcolabili, anche se si hanno a disposizione tutti i dati.
C.Z.