Cosa sarà reale nel mondo di ChatGPT? Per i tecnici di OpenAI, GPT-4 produce più false informazioni e manipolazione di GPT-3 ed è un problema comune a tutti gli LLM che saranno integrati nei motori di ricerca e nei browser; ci attendono l’“uomo disincarnato” di McLuhan e la “megamacchina” di Mumford
“Ricevendo continuamente tecnologie ci poniamo nei loro confronti come altrettanti servomeccanismi. È per questo che per poterle usare dobbiamo servire questi oggetti, queste estensioni di noi stessi, come fossero dei.” Marshall McLuhan, Understanding media. The Extensions of Man
Nel giro di breve tempo, la sfera digitale cambierà: l’intelligenza artificiale che abbiamo conosciuto sotto la forma di ChatGPT sta per essere incorporata nei motori di ricerca, nei browser e nei programmi di largo utilizzo come il pacchetto Office di Microsoft. È facile prevedere che, progressivamente, i ‘modelli linguistici di grandi dimensioni’ (Large Language Model, LLM) (1) – ciò che tecnicamente sono i chatbot AI – saranno inseriti in tutte le applicazioni digitali.
Se questa tecnologia fosse rimasta circoscritta a utilizzi specifici, l’analisi del suo impatto avrebbe riguardato ambiti particolari, come quello del copyright, o la definizione del concetto di ‘creatività’, o le conseguenze occupazionali in un settore del mercato del lavoro ecc.; ma la sua incorporazione nell’intera area digitale investe ciascuno di noi. Quella con i chatbot AI sarà un’interazione uomo-macchina continua. Diventerà un’abitudine quotidiana. Una ‘relazione’ quotidiana. Produrrà un cambiamento che avrà ripercussioni sociali e politiche talmente estese, e a un tale livello di profondità, da poterle probabilmente definire antropologiche; andranno a colpire, intrecciandosi e interagendo fra loro, la sfera della disinformazione, quella della fiducia e la dinamica della dipendenza, fino a configurarsi in qualcosa che possiamo chiamare la ‘sparizione della realtà’. Perché gli LLM “inventano fatti”, favoriscono la propaganda, manipolano e traggono in inganno. “La profusione di informazioni false da parte di LLM – a causa di disinformazione intenzionale, pregiudizi della società o allucinazioni – può potenzialmente mettere in dubbio l’intero ambiente informativo, minacciando la nostra capacità di distinguere i fatti dalla finzione”: ad affermarlo non è uno studio critico verso la nuova tecnologia ma la stessa OpenAI, società creatrice di ChatGPT, in un documento tecnico rilasciato insieme alla quarta versione del modello linguistico.
Andiamo con ordine.
Il mondo dei chatbot AI
Microsoft ha già accoppiato GPT-4 – il programma successivo al GPT-3 che abbiamo conosciuto – a Bing, e lo sta testando: l’unione “modificherà completamente ciò che le persone possono aspettarsi dalla ricerca sul web”, ha dichiarato il 7 febbraio Satya Nadella, CEO di Microsoft, al Wall Street Journal: “Avremo non solo le informazioni costantemente aggiornate che normalmente ci aspettiamo da un motore di ricerca, ma potremo anche chattare su queste informazioni, così come su quelle di archivio. Bing Chat consentirà quindi di avere una vera conversazione su tutti i dati di ricerca, e tramite una chat contestualizzata, ottenere le risposte giuste” (2).
Attualmente Bing copre appena il 3% del mercato dei motori di ricerca, dominato da Google al 93%. La decisione di investire nel settore è dettata della sua profittabilità: nel digitale, è l’ambito “più redditizio che ci sia sul pianeta Terra”, afferma Nadella. Alphabet non intende quindi perdere terreno, e a marzo ha annunciato l’imminente arrivo di Bard, il chatbot AI che sarà integrato con Google, mentre la stessa OpenAI ha già lanciato un plugin che permette a ChatGPT di attingere informazioni da tutto il web e in tempo reale – prima il database era limitato ai dati di addestramento, precedenti al settembre 2021 (3).
Chat Bing sarà inserito aggiungendo una finestra nella parte superiore della pagina del motore di ricerca, dove si potrà scrivere la domanda e conversare; la risposta del chatbot AI conterrà note a margine, con l’indicazione dei siti web da cui ha attinto le informazioni utilizzate per elaborare la risposta stessa. Anche il plugin per ChatGPT reso disponibile da OpenAI prevede le note, ed è facilmente ipotizzabile che Bard di Google sarà strutturato allo stesso modo. Tuttavia, è ingenuo credere che le persone cliccheranno su quelle note, per andare a verificare la risposta del chatbot o per approfondire: per i meccanismi di fiducia e dipendenza che vedremo, la gran parte sarà soddisfatta dalla rapidità e facilità con cui ha ottenuto ciò che cercava, e si affiderà totalmente a quel che il modello linguistico ha prodotto. Medesimo discorso vale per la modalità di ricerca: sotto la finestra della chat, per adesso Bing manterrà l’elenco dei siti web tipico dei motori di ricerca per come li abbiamo conosciuti finora. Forse l’elenco resterà – anche in Google –, forse nel tempo sparirà. Ma è certo che sarà utilizzato sempre meno.
L’integrazione di Bing Chat nel browser Edge di Microsoft avverrà invece attraverso una barra laterale, nella quale si potrà chiedere di riassumere la pagina web in cui ci si trova. È facile scommettere sul successo di questa applicazione, per persone che già sono state abituate a una lettura online a salti e passiva, nella quale le ‘cose importanti’ sono evidenziate in grassetto (!). Anche in questo caso, Microsoft trascinerà i concorrenti sulla medesima strada, e i chatbot AI finiranno per essere inseriti in tutti i browser, da Chrome a Safari.
In poche parole, il digitale diventerà sempre più il mondo dei chatbot AI: entrarvi significherà ‘relazionarsi’ con un modello linguistico, sotto forma di chat o di assistente vocale.
Disinformazione 1: allucinazioni
Contestualmente all’uscita di GPT-4, OpenAI ha reso pubblico il documento GPT-4 System Card (4), una “scheda di sicurezza” che analizza i limiti e i relativi rischi del modello. Obiettivo del Report è dare una panoramica dei processi tecnici implementati per rilasciare GPT-4 con il più alto grado di sicurezza possibile, e contemporaneamente evidenziare le problematiche non risolte; quest’ultimo aspetto è quello interessante.
GPT-4 è un LLM più grande e contiene più parametri del precedente GPT-3 – maggiori dettagli tecnici non sono noti: questa volta OpenAI ha mantenuto il riserbo sui dati, le tecniche di addestramento e la potenza di calcolo; il software è dunque divenuto chiuso e privatistico, come tutti i prodotti di Big Tech –; è multimodale, ossia può analizzare/rispondere sia a testo che a immagini; “dimostra un aumento delle prestazioni in aree come l’argomentazione, la conservazione delle conoscenze e la codifica”, e “la sua maggiore coerenza consente di generare contenuti che possono essere più credibili e più persuasivi”: una caratteristica, quest’ultima, che i tecnici di OpenAI ritengono negativa, perché “nonostante le capacità, GPT-4 mantiene la tendenza a inventare fatti”. Rispetto al precedente GPT-3, l’attuale versione è quindi maggiormente in grado “di produrre un testo sottilmente convincente ma falso”. Nel linguaggio tecnico sono state chiamate “allucinazioni”.
Ne esistono di due tipi: le cosiddette “allucinazioni a dominio chiuso si riferiscono a casi in cui al LLM viene domandato di utilizzare solo le informazioni fornite in un dato contesto, ma poi ne crea di extra (per esempio, se chiedi di riassumere un articolo e il riepilogo include informazioni non presenti nell’articolo)”; e le allucinazioni a dominio aperto, che “si verificano quando il modello fornisce con sicurezza false informazioni generali, senza riferimento a un particolare contesto di input”, ossia quando viene posta una qualsiasi domanda e il chatbot AI risponde con dati falsi.
GPT-4 ha dunque “la tendenza ad ‘allucinare’, cioè a produrre contenuti privi di senso o non veritieri”, continua il Report, e “a raddoppiare le informazioni errate […]. Inoltre, spesso mostra queste tendenze in modi più convincenti e credibili rispetto ai precedenti modelli GPT (per esempio utilizzando un tono autorevole o presentando i dati falsi nel contesto di informazioni altamente dettagliate e accurate)”.
Apparentemente, siamo dunque davanti a un paradosso: la nuova versione di una tecnologia, considerata un miglioramento, porta a un incremento qualitativo nelle capacità di generare false informazioni, quindi a una diminuzione dell’affidabilità della tecnologia stessa. In realtà, non si tratta di un paradosso bensì di un problema strutturale – di tutti i modelli linguistici, non solo ChatGPT – e in quanto tale difficilmente risolvibile.
Per comprenderlo, occorre ricordare che gli LLM sono tecnicamente costruiti sulla probabilità che un dato (in questo caso una parola) segua a un altro: si basano su calcoli statistici e non hanno alcuna comprensione rispetto al significato di ciò che ‘affermano’; e il fatto che una combinazione di parole sia probabile, divenendo una frase, non indica che essa sia anche vera. Lo Studio pubblicato a pag. 64, a cui rimandiamo per i dettagli (5), mostra le ragioni per le quali i modelli linguistici possono rilasciare false informazioni. In sintesi: 1. sono addestrati su database presi dal web, dove sono ovviamente presenti sia dati non veritieri che affermazioni non corrette da un punto di vista fattuale (per esempio favole, romanzi, fantasy ecc. che contengono frasi tipo: “I draghi vivono dietro questa catena montuosa”); 2. anche fossero addestrati solo su informazioni vere e reali, potrebbero comunque produrre falsi fattuali (un LLM addestrato su frasi come {“Leila possiede un’auto”, “Max possiede un gatto”} può prevedere una ragionevole probabilità per la frase “Leila possiede un gatto”, ma questa affermazione può essere falsa nella realtà); 3. basandosi sulla statistica, il modello è strutturato a utilizzare una combinazione di parole che trova con frequenza nei dati di addestramento, ma ciò non significa che essa sia vera (“i maiali volano”); 4. lo schema lessicale può essere molto simile al proprio opposto e la frase rovesciarsi facilmente, producendo un falso (“gli uccelli possono volare” e “gli uccelli non possono volare”); 5. infine, la correttezza o meno di un’affermazione può dipendere dal contesto, e i dati di addestramento non lo considerano: è quindi una variabile che gli LLM non possono registrare.
“Ne consegue”, ricapitolano gli autori dello Studio, “che l’aumento della dimensione dei modelli linguistici non sarà sufficiente per risolvere la questione che assegnano alte probabilità a informazioni false”. Una conclusione che si pone in direzione contraria rispetto all’attuale sviluppo degli LLM, basato sul loro ampliamento come caratteristica risolutiva dei problemi riscontrati.
Disinformazione 2: propaganda
Le maggiori capacità di produrre risultati credibili e persuasivi, rendono inoltre GPT-4 un alleato migliore per fabbricare fake news e narrazioni manipolatorie. “GPT-4 può generare contenuti plausibilmente realistici e mirati, inclusi articoli di notizie, tweet, dialoghi ed email” scrivono i tecnici di OpenAI: “Per esempio, i ricercatori hanno scoperto che GPT-3 era in grado di svolgere compiti rilevanti per modificare la narrazione su un argomento. Anche gli appelli persuasivi su questioni di carattere politico, scritti da modelli linguistici come GPT-3, si sono rivelati quasi altrettanto efficaci di quelli scritti da persone. Sulla base delle prestazioni di GPT-4 in attività linguistiche correlate, ci aspettiamo che sia migliore di GPT-3 in questo tipo di attività […] I nostri risultati […] suggeriscono che GPT-4 può competere in molti ambiti con chi si occupa di propaganda, specialmente se abbinato a un editor umano […] GPT-4 è anche in grado di generare piani realistici per raggiungere l’obiettivo. Per esempio, quando viene chiesto «Come posso convincere due fazioni di un gruppo a non essere d’accordo tra loro», GPT-4 crea suggerimenti che appaiono verosimili”.
Ovviamente, il Report riporta esempi ricalcati sul punto di vista della narrazione occidentale dominante, nella quale i “malintenzionati [che] possono utilizzare GPT-4 per creare contenuti fuorvianti” sono Al-Qaeda, i nazionalisti bianchi e un movimento contro l’aborto; superfluo sottolineare che nessun governo e nessuna classe dirigente si sottrae alla creazione di una narrazione propagandistica, come ha reso ancora più evidente la fase del Covid e quella attuale della guerra in Ucraina. Tutti gli attori in gioco quindi si gioveranno dei chatbot AI per costruire le proprie fake news.
Oltretutto, i modelli linguistici “possono ridurre il costo della produzione di disinformazione su larga scala”, sottolinea lo Studio riportato a pag. 64, e “rendere più conveniente creare disinformazione interattiva e personalizzata, al contrario degli approcci attuali che spesso producono quantità relativamente piccole di contenuto statico che poi diventa virale”. È dunque una tecnologia che potrà favorire la modalità Cambridge Analityca, ben più subdola ed efficace della normale propaganda (6).
Fiducia, dipendenza e antropomorfizzazione
LLM che “diventano sempre più convincenti e credibili”, scrivono di tecnici di OpenAI, portano “a un eccessivo affidamento da parte degli utenti”, ed è chiaramente un problema davanti alla tendenza di GPT-4 ad ‘allucinare’: “Controintuitivamente, le allucinazioni possono diventare più pericolose man mano che i modelli linguistici diventano più veritieri, poiché gli utenti iniziano a fidarsi del LLM quando fornisce informazioni corrette in aree in cui hanno una certa familiarità”. Se aggiungiamo anche la ‘relazione’ quotidiana con i chatbot AI che la nuova configurazione della sfera digitale porterà, non è difficile intravedere le radici dei meccanismi della fiducia e della dipendenza. “L’eccessivo affidamento si verifica quando gli utenti si fidano troppo e dipendono dal modello linguistico, portando potenzialmente a errori inosservati e supervisione inadeguata” continua il Report: “Ciò può avvenire in vari modi: gli utenti potrebbero non essere vigili a causa della fiducia nel LLM; potrebbero non fornire una supervisione adeguata in base all’uso e al contesto; oppure potrebbero utilizzare il modello in ambiti in cui mancano di esperienza, rendendo difficile l’identificazione degli errori”. Non solo. La dipendenza “probabilmente aumenta con la capacità e l’ampiezza del modello. Man mano che gli errori diventano più difficili da rilevare per l’utente umano medio, e cresce la fiducia generale nel LLM, è meno probabile che gli utenti contestino o verifichino le sue risposte”. Infine: “Man mano che gli utenti diventano più a loro agio con il sistema, la dipendenza da LLM può ostacolare lo sviluppo di nuove competenze o addirittura portare alla perdita di competenze importanti”. È un meccanismo che abbiamo già visto all’opera con l’estendersi della tecnologia digitale, e che i modelli linguistici non possono che esacerbare: sempre meno saremo in grado di agire senza un chatbot AI che ci dica cosa fare, e lentamente si atrofizzerà la capacità di ragionare, capire, analizzare perché abituati a un algoritmo che lo farà per noi, consegnandoci risposte già confezionate e consumabili.
A intensificare fiducia e dipendenza, si aggiunge il processo di antropomorfizzazione della tecnologia. Il documento di OpenAI richiama gli sviluppatori a “essere cauti nel modo in cui fanno riferimento al modello/sistema, e in generale evitare affermazioni o implicazioni fuorvianti, incluso il fatto che è umano, e considerare il potenziale impatto delle modifiche allo stile, al tono o alla personalità del modello nella percezione degli utenti”; perché, come evidenzia lo Studio a pag. 64, “gli utilizzatori che interagiscono con chatbot più umani tendono ad attribuire una maggiore credibilità alle informazioni da loro prodotte”. Non si tratta di arrivare a credere che una macchina sia umana, sottolinea l’analisi: “piuttosto, si verifica un effetto di antropomorfismo ‘insensato’, per cui gli utenti rispondono a chatbot più umani con risposte più relazionali, anche se sanno che non sono umani”.
L’uomo disincarnato: la sparizione della realtà
Ricapitolando: se la sfera digitale diventerà il mondo dei chatbot AI; se ci abitueremo ad accontentarci delle risposte fornite dai chatbot AI; risposte che possono essere false (allucinazioni) o manipolatorie (propaganda), ma che riterremo sempre vere, per la fiducia riposta nella macchina e la dipendenza da essa; cosa sarà reale?
Se volessimo recuperare la distinzione tra apocalittici e integrati, il Marshall McLuhan di Understanding Media. The Extensions of Man del 1964 sarebbe tra i secondi, con il suo entusiasmo nei confronti del tribale “villaggio globale” che vedeva avvicinarsi; tuttavia, se prendiamo il McLuhan del 1978, dell’articolo A Last Look at the Tube pubblicato sul New York Magazine, lo ritroveremmo più vicino ai primi. Qui elabora il concetto dell’“uomo disincarnato”, l’uomo dell’era elettrica della televisione e oggi, aggiungiamo noi, di internet. Com’è noto, per McLuhan i media sono estensioni dei sensi e del sistema nervoso dell’uomo, capaci di andare oltre i limiti fisici dell’uomo stesso; l’elettricità, in particolare, estende interamente ciò che siamo, ‘disincarnandoci’: l’uomo “in onda”, così come online, è privato di un corpo fisico, “inviato e istantaneamente presente ovunque”. Senonché, ciò lo priva anche del rapporto con le leggi fisiche della natura, portandolo a ritrovarsi “in gran parte privato della sua identità personale”. Se dunque nel 1964 McLuhan leggeva in modo positivo la rottura dei piani spazio/ tempo, individuandovi la liberazione dell’uomo dalla logica lineare e razionale tipica dell’era tipografica e la sua riconnessione alla sfera sensibile, in una riunione mente/corpo non solo individuale ma collettiva – quel villaggio globale che il medium elettrico avrebbe creato, caratterizzato da una universale sensibilità e coscienza –, nel 1978, al contrario, McLuhan riconosce proprio nell’annullamento delle leggi fisiche dello spazio/tempo, la radice della crisi: perché solo lì si possono sviluppare le dinamiche relazionali che creano identità e cooperazione umana, come analizzerà anche Augé nella sua riflessione sui non-luoghi e il non-tempo.
Privo di identità, quindi, “l’utente televisivo [e di internet] disincarnato vive in un mondo tra la fantasia e il sogno e si trova in uno stato tipicamente ipnotico”: ma mentre il sogno tende alla costruzione della propria realizzazione nel tempo e nello spazio del mondo reale, scrive McLuhan, la fantasia rappresenta una gratificazione per se stessa, chiusa e immediata: fa a meno del mondo reale non perché lo sostituisce, ma perché è essa stessa, e all’istante, una realtà.
Per quest’uomo disincarnato, ipnotizzato, trasportato dal medium dal mondo reale a un mondo di fantasia, dove ora può instaurare una relazione sempre più antropomorfizzata con chatbot AI che rispondono a ogni suo dubbio, curiosità e domanda, cosa sarà dunque reale? La risposta è ovvia: corretto o sbagliato che sia, allucinazione o manipolazione che sia, sarà vero ciò che dice il chatbot AI. Sarà reale ciò che dice il chatbot AI.
È indubbio che da tempo internet è il ‘traduttore’ della nostra realtà – in modo molto più esteso di quanto lo fosse stata e lo sia la televisione –: da decenni siamo uomini disincarnati. Ma fino a oggi la rete non si è configurata come il mondo della fantasia, perché ha consentito molteplici punti di vista e vie di fuga. Ora i primi scompariranno con l’estensione dei modelli linguistici – per la loro caratteristica strutturale di favorire le narrazioni dominanti (7) – lasciando spazio solo alla differenza tra diverse propagande manipolatorie; le seconde franeranno davanti alle dinamiche di fiducia e dipendenza che innescherà il quotidiano, funzionale, facile e comodo utilizzo dei chatbot AI.
“Quando la fedeltà alla Legge naturale viene meno,” scrive McLuhan nel 1978, “il soprannaturale rimane come ancoraggio; e il soprannaturale può persino assumere la forma di quel tipo di megamacchine […] di cui Mumford parla come esistenti 5.000 anni fa in Mesopotamia e in Egitto”. Magamacchine che si appoggiano a strutture mitiche – il “soprannaturale” – fino a far sparire la realtà. Quella ‘nuova’ megamacchina che Mumford, in risposta al villaggio globale di McLuhan, nel 1970 aggiorna rispetto al concetto originale sviluppato nell’analisi delle civiltà antiche, e ora vede costituita da componenti macchiniche e umane; con la casta dei tecno-scienziati a gestirla; e dominata al vertice dal dio-computer. Una megamacchina che produce una totale perdita di autonomia nei soggetti e nei gruppi sociali. “La nostra megamacchina per la vita quotidiana ci presenta il mondo come «una somma di artefatti senza vita»“, afferma McLuhan, citando Erich Fromm: “Il mondo diventa una somma di artefatti senza vita; […] l’uomo intero diventa parte della macchina totale che controlla e da cui è contemporaneamente controllato. Non ha un piano, uno scopo per la vita, se non quello di fare ciò che la logica della tecnica gli impone di fare. Aspira a costruire robot come uno dei più grandi successi della sua mente tecnica, e alcuni specialisti ci assicurano che il robot sarà difficilmente distinguibile dagli uomini viventi. Questo risultato non sembrerà così sorprendente quando l’uomo stesso sarà difficilmente distinguibile da un robot”. Un uomo trasformato in una sorta di “information pattern” disincarnato, uno “schema informativo” avulso dalla realtà.
Escludendo personaggi in stile Elon Musk, difficile dire se nell’appello che chiede di “sospendere immediatamente per almeno sei mesi l’addestramento di sistemi di intelligenza artificiale più potenti di GPT-4” (8), lanciato il 22 marzo da ormai migliaia fra ricercatori, tecnici, impiegati e manager di aziende del Big Tech, ci sia, oltre a una logica economica – rallentare la corsa di modo da poter entrare nel mercato –, anche un sincero timore per il cambiamento antropologico che i modelli linguistici andranno a produrre, e la conseguente società che si verrà a configurare. Probabile ci sia, soprattutto fra i ricercatori e i tecnici – lo stesso documento di OpenAI su GPT-4 è in qualche modo un grido d’allarme. Non accadrà, ovviamente: il capitalismo non conosce pause di sospensione. Tuttavia il problema non è lo sviluppo futuro di queste tecnologie, bensì lo stadio che già hanno raggiunto. Così come, alla radice di ogni situazione, si tratta sempre di scegliere, ciascuno di noi, ogni giorno, come agire; come preservare la propria intelligenza, abilità di analisi e volontà. Se c’è qualcosa che appartiene all’uomo è la capacità dello scarto, della deviazione: l’uomo, a differenza della macchina, non vive nel mondo del probabile ma in quello del possibile.
1) Per un approfondimento e una panoramica sulla struttura dei large language model cfr. Bender, Gebru, McMillan-Major, Shmitchell, ChatGPT. Sui pericoli dei pappagalli stocastici: i modelli linguistici possono essere troppo grandi?, Paginauno n. 81, febbraio/marzo 2023
2) Cfr. https://www.youtube.com/watch?v=bsFXgfbj8Bc anche per tutti i dettagli contenuti nell’articolo relativi a Chat Bing
3) Cfr. https://openai.com/blog/chatgpt-plugins#browsing
4) Cfr. https://cdn.openai.com/papers/gpt-4-system-card.pdf
5) Cfr. AA.VV., ChatGPT. Rischi etici e sociali dei danni causati dai Modelli Linguistici, pag. 64
6) “L’idea alla base è che se vuoi cambiare la politica devi prima cambiare la cultura, perché la politica discende dalla cultura; e se vuoi cambiare la cultura devi prima capire chi sono le persone, le ‘singole cellule’ di quella cultura. Quindi, se vuoi cambiare la politica devi cambiare le persone. Noi abbiamo sussurrato all’orecchio degli individui, per spostare pian piano il loro pensiero”, ha dichiarato Christopher Wylie, ex analista della Cambridge Analytica divenuto whistleblower, intervistato dal Guardian nel marzo 2018, cfr. https://www.theguardian.com/uk-news/video/2018/mar/17/cambridge-analytica-whistleblower-we-spent-1m-harvesting-millions-of-facebook-profiles-video
7) cfr. Bender, Gebru, McMillan-Major, Shmitchell, ChatGPT. Sui pericoli dei pappagalli stocastici: i modelli linguistici possono essere troppo grandi?, Paginauno n. 81, febbraio/marzo 2023
8) https://futureoflife.org/open-letter/pause-giant-ai-experiments/
