<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>modelli linguistici &#8211; Rivista Paginauno</title>
	<atom:link href="https://rivistapaginauno.it/tag/modelli-linguistici-2/feed/" rel="self" type="application/rss+xml" />
	<link>https://rivistapaginauno.it</link>
	<description>Rivista di approfondimento politico e culturale</description>
	<lastBuildDate>Mon, 11 Aug 2025 11:08:43 +0000</lastBuildDate>
	<language>it-IT</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	

<image>
	<url>https://rivistapaginauno.it/wp-content/uploads/2023/12/favicon.ico</url>
	<title>modelli linguistici &#8211; Rivista Paginauno</title>
	<link>https://rivistapaginauno.it</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>ChatGPT e model collapse. AI che si addestrano su dati generati da AI</title>
		<link>https://rivistapaginauno.it/chatgpt-e-model-collapse-ai-che-si-addestrano-su-dati-generati-da-ai/</link>
		
		<dc:creator><![CDATA[Rivista Paginauno]]></dc:creator>
		<pubDate>Fri, 07 Jul 2023 13:05:00 +0000</pubDate>
				<category><![CDATA[Nuove Tecnologie]]></category>
		<category><![CDATA[chatbotAI]]></category>
		<category><![CDATA[chatgpt]]></category>
		<category><![CDATA[intelligenza artificiale]]></category>
		<category><![CDATA[modelli linguistici]]></category>
		<guid isPermaLink="false">https://rivistapaginauno.it/?p=6962</guid>

					<description><![CDATA[Modelli AI che si addestrano su dati raccolti in rete generati da precedenti modelli AI: uno studio mostra come il conseguente ‘collasso del modello’ porterà a distorsioni della realtà]]></description>
										<content:encoded><![CDATA[
<p class="has-small-font-size">Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Yarin Gal, Nicolas Papernot, Ross Anderson</p>



<ul class="wp-block-list">
<li><em><a rel="noreferrer noopener" href="https://rivistapaginauno.it/numero-83-luglio-settembre-2023/" target="_blank">(Paginauno n. 83, luglio – settembre 2023)</a></em></li>
</ul>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow">
<p>Modelli AI che si addestrano su dati raccolti in rete generati da precedenti modelli AI: uno studio mostra come il conseguente ‘collasso del modello’ porterà a distorsioni della realtà</p>
</blockquote>



<p class="has-drop-cap">“Fino a oggi, la maggior parte del testo online è stato scritto da esseri umani. Ma questo testo è stato usato per addestrare GPT-3 e GPT-4, che sono apparsi come assistenti di scrittura nei nostri strumenti di editing. Quindi sempre più testo sarà scritto da grandi modelli linguistici (LLM). Dove porta tutto questo? Cosa succederà a GPT-{n} quando gli LLM contribuiranno alla maggior parte del linguaggio trovato online?” Se lo domanda Ross Anderson, professore di <em>security engineering</em> all’Università di Cambridge e all’Università di Edimburgo, sul suo blog (1), e continua: “E non si tratta solo di testo. Se si addestra un modello musicale su Mozart, ci si può aspettare un risultato che assomiglia un po’ a Mozart ma senza la sua brillantezza – chiamiamolo ‘Salieri’. E se Salieri addestra la generazione successiva, e così via, come suonerà la quinta o la sesta generazione?”</p>



<p>Anderson è uno degli autori del paper <em>The Curse of Recursion: Training on Generated Data Makes Models Forget</em> pubblicato il 27 maggio scorso nell’archivio open access ArXiv (2). E sottolinea nel suo blog: “Nel nostro ultimo lavoro, dimostriamo che l’utilizzo nell’addestramento di contenuti generati da un modello precedente provoca difetti irreversibili. Le code della distribuzione originale dei contenuti scompaiono. Nel giro di poche generazioni, il testo diventa spazzatura, poiché le distribuzioni gaussiane convergono e possono persino diventare funzioni delta. Chiamiamo questo effetto <em>model collapse</em> (collasso del modello). Così come abbiamo disseminato gli oceani di rifiuti di plastica e riempito l’atmosfera di anidride carbonica, stiamo per riempire Internet di <em>blah</em>. […] Dopo aver pubblicato questo articolo, abbiamo notato che Ted Chiang aveva già commentato l’effetto a febbraio, osservando che ChatGPT è come una jpeg sfocata di tutto il testo presente su Internet, e che le copie delle copie peggiorano. Nel nostro articolo analizziamo la matematica, spieghiamo l’effetto in dettaglio e dimostriamo che è universale”.</p>



<p>Un secondo autore del paper, Ilia Shumailov, dell’Università di Oxford, dichiara a Venture Beat (3): “Nel tempo, gli errori nei dati generati dagli LLM si sommano, e alla fine costringono i modelli successivi, addestrati su quei dati, a percepire ulteriormente la realtà in modo errato. Siamo rimasti sorpresi nell’osservare la rapidità con cui avviene il collasso del modello: i modelli possono dimenticare rapidamente la maggior parte dei dati originali da cui hanno appreso inizialmente”. Dati generati dagli esseri umani e che secondo Shumailov “rappresentano il mondo in modo più equo, cioè contengono anche dati improbabili. I modelli generativi, invece, tendono a riprodurre eccessivamente (<em>overfit</em>) i dati più popolari e spesso fraintendono i dati meno popolari”. </p>



<p>Nell’esempio riportato da Shumailov, un modello di apprendimento automatico viene addestrato su un set di dati con immagini di 100 gatti, 10 dei quali con il pelo blu e 90 con il pelo giallo. Il modello apprende che i gatti gialli sono più diffusi, ma rappresenta anche i gatti blu come più giallastri di quanto non siano in realtà, restituendo alcuni risultati di gatto verde quando viene chiesto di produrre nuovi dati. Nel corso del tempo, il tratto originale della pelliccia blu si erode attraverso successivi cicli di addestramento, passando dal blu al verdastro e infine al giallo: questa distorsione progressiva e l’eventuale perdita delle caratteristiche dei dati di minoranza è il ‘collasso del modello’. Non si tratta del fenomeno, già conosciuto in letteratura, sottolineano Shumailov e lo stesso paper, della “dimenticanza catastrofica”, nel quale i modelli perdono informazioni apprese in precedenza: il <em>model collapse</em> riguarda modelli che interpretano erroneamente la realtà sulla base delle loro convinzioni rafforzate.</p>



<p>Il paper è estremamente tecnico, basandosi su analisi matematiche, ne riportiamo qui un estratto dei passaggi più semplici.</p>



<div style="height:100px" aria-hidden="true" class="wp-block-spacer"></div>



<h4 class="wp-block-heading has-vivid-red-color has-text-color">The Curse of Recursion: Training on Generated Data Makes Models Forget</h4>



<p class="has-small-font-size">Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Yarin Gal, Nicolas Papernot, Ross Anderson</p>



<h4 class="wp-block-heading">1. Introduzione</h4>



<p>Molte comunicazioni umane avvengono online. Miliardi di email vengono scambiate ogni giorno, insieme a miliardi di messaggi sui social media e milioni di articoli di notizie. Quasi tutto questo materiale è stato prodotto e curato solo da esseri umani nei primi anni del world wide web, eppure dall’inizio del secolo i motori di ricerca sono arrivati a determinare ciò che le persone possono trovare, e negli ultimi dieci anni <em>smart</em> editor di testo, lavorando su ortografia e correzione grammaticale, hanno contribuito a modificare ciò che produciamo. Ora, il testo non solo può essere curato e analizzato in modo efficiente; può anche essere generato – da modelli linguistici di grandi dimensioni (Large Language Model, LLM). Questi modelli adesso (probabilmente) superano una forma più debole del test di Turing, nel senso che il loro output non può essere distinto in modo affidabile dal testo scritto da esseri umani.</p>



<p>Lo sviluppo di LLM è piuttosto complesso e richiede masse di dati di addestramento. Aneddoticamente, alcuni potenti modelli recenti vengono addestrati utilizzando frammenti di gran parte di Internet, quindi ulteriormente perfezionati con l’apprendimento per rinforzo da feedback umano (RLHF). Un passaggio che aumenta ulteriormente la dimensione effettiva del set di dati. Tuttavia, mentre gli attuali LLM, incluso GPT-4, sono stati addestrati su testo prevalentemente generato dall’uomo, in futuro potrebbe cambiare. Se la maggior parte dei dati di addestramento dei prossimi modelli sarà anch’essa prelevata dal web, allora inevitabilmente i modelli si addestreranno sui dati prodotti dai loro predecessori. In questo studio, esaminiamo cosa succede quando il testo prodotto, per esempio da una versione di GPT, costituisce la maggior parte del set di dati di addestramento dei modelli successivi. Cosa succede alle versioni {n} di GPT, e all’aumentare della generazione {n}? Questa situazione non è limitata ai modelli di testo; si può anche considerare cosa accade quando la musica creata da compositori umani, e suonata da musicisti umani, addestra modelli il cui output addestra altri modelli.</p>



<p>Scopriamo che l’apprendimento dai dati prodotti da altri modelli provoca il “collasso del modello” (<em>model</em><em> collapse)</em>, un processo degenerativo per cui, nel tempo, i modelli dimenticano l’originale distribuzione dei dati sottostanti, anche in assenza di uno spostamento nella distribuzione nel tempo. Forniamo esempi di collasso del modello per Gaussian Mixture Models (GMM), Variational Autoencoders (VAE) e Large Language Models (LLM). Mostriamo che ciò avviene prima con la scomparsa delle code, e nel corso delle generazioni i comportamenti appresi iniziano a convergere verso una stima puntuale con una varianza molto piccola. Inoltre, dimostriamo che questo processo è inevitabile, anche per i casi con condizioni quasi ideali per l’apprendimento a lungo termine, cioè nessun errore di stima della funzione.</p>



<p>Infine, discutiamo le implicazioni più ampie del collasso del modello. Notiamo che l’accesso alla distribuzione originale dei dati è cruciale: per sapere dove contano le code della distribuzione sottostante, è necessario accedere a dati reali prodotti dall’uomo. In altre parole, l’uso di LLM su larga scala per pubblicare contenuti su Internet inquinerà la raccolta di dati per addestrarli: i dati sulle interazioni umane con LLM saranno sempre più preziosi. […]</p>



<p>In questo lavoro diamo i seguenti contributi:</p>



<ul class="wp-block-list">
<li>dimostriamo l’esistenza di un processo degenerativo nell’apprendimento e lo chiamiamo collasso del modello;</li>



<li>dimostriamo che il collasso del modello esiste in una varietà di diversi tipi di modelli e set di dati;</li>



<li>dimostriamo che, per evitare il collasso del modello, è essenziale l’accesso a contenuti genuini generati dall’uomo.</li>
</ul>



<p>[…]</p>



<h4 class="wp-block-heading">3. Che cos’è il collasso del modello?</h4>



<p>Definizione: il <em>model collapse</em> è un processo degenerativo che interessa generazioni di modelli generativi di apprendimento, in cui i dati finiscono per inquinare il set di addestramento della generazione successiva del modello; essendo addestrati su dati inquinati, percepiscono male la realtà. Identifichiamo due casi: il ‘collasso precoce del modello’ e il ‘collasso tardivo del modello’. Nel primo, il modello inizia a perdere informazioni sulle code della distribuzione; nel secondo, il modello intreccia diverse modalità delle distribuzioni originali e converge in una distribuzione che ha poca somiglianza con quella originale, spesso con una varianza molto piccola.</p>


<div class="wp-block-image">
<figure class="aligncenter size-full"><img fetchpriority="high" decoding="async" width="600" height="518" src="https://rivistapaginauno.it/wp-content/uploads/2023/07/1-6.jpg" alt="" class="wp-image-7101" srcset="https://rivistapaginauno.it/wp-content/uploads/2023/07/1-6.jpg 600w, https://rivistapaginauno.it/wp-content/uploads/2023/07/1-6-300x259.jpg 300w" sizes="(max-width: 600px) 100vw, 600px" /><figcaption class="wp-element-caption">Figura 1. Il <em>model collapse</em> si riferisce a un processo di apprendimento degenerativo nel quale i modelli iniziano a dimenticare eventi improbabili nel tempo, poiché il modello viene avvelenato dalla propria proiezione della realtà.</figcaption></figure>
</div>


<p>Si noti che questo processo è diverso da quello conosciuto come “dimenticanza catastrofica”, in quanto stiamo considerando più modelli nel tempo e modelli che non dimenticano i dati appresi in precedenza, ma piuttosto iniziano a interpretare erroneamente ciò che credono sia reale, rafforzando le proprie convinzioni.</p>



<p>Questo processo si verifica a causa di due specifiche fonti di errore, che si accumulano nel corso delle generazioni e causano deviazioni dal modello originale; una di esse gioca un ruolo primario e, in sua assenza, il processo non si verificherebbe oltre la prima generazione.</p>



<h4 class="wp-block-heading">3.1 Cause del collasso del modello</h4>



<p>Ci sono due cause principali per il collasso del modello, una primaria e una secondaria, che descriviamo ora. Ulteriori intuizioni matematiche sono fornite nella Sezione 4, per spiegare come esse diano origine agli errori osservati, come le diverse fonti possono combinarsi, e come possiamo quantificare il tasso medio di divergenza del modello.</p>



<p>Errore di approssimazione statistica: è l’errore principale, che sorge a causa del fatto che il numero di campioni è finito e scompare quando il numero di campioni tende all’infinito. Ciò si verifica a causa di una probabilità diversa da zero che le informazioni possano perdersi in ogni fase del ricampionamento. […]</p>



<p>Errore di approssimazione funzionale: è l’errore di tipo secondario, che deriva dal fatto che i nostri approssimatori di funzione sono insufficientemente espressivi (o talvolta troppo espressivi al di fuori del supporto di distribuzione originale). È noto che le reti neurali sono approssimatori funzionali universali al limite, ma in pratica ciò non è sempre vero. In particolare, una rete neurale può introdurre verosimiglianza diversa da zero al di fuori del supporto della distribuzione originale. Un semplice esempio di questo errore è se provassimo ad adattare una combinazione di due gaussiane con una singola gaussiana. Anche se disponiamo di informazioni perfette sulla distribuzione dei dati, gli errori del modello saranno inevitabili. È importante notare anche che in assenza di errore statistico, l’errore di approssimazione funzionale si verifica solo alla prima generazione. Una volta che la nuova distribuzione appartiene all’immagine dell’approssimatore funzionale, rimane esattamente la stessa nel corso delle generazioni.</p>



<p>[…]</p>


<div class="wp-block-image">
<figure class="aligncenter size-full"><img decoding="async" width="600" height="288" src="https://rivistapaginauno.it/wp-content/uploads/2023/07/2-6.jpg" alt="" class="wp-image-7102" srcset="https://rivistapaginauno.it/wp-content/uploads/2023/07/2-6.jpg 600w, https://rivistapaginauno.it/wp-content/uploads/2023/07/2-6-300x144.jpg 300w" sizes="(max-width: 600px) 100vw, 600px" /><figcaption class="wp-element-caption">Figura 2. Descrizione di alto livello del meccanismo di feedback nel processo di apprendimento. Qui si ipotizza che i dati siano curati dall’uomo e partano puliti; quindi viene addestrato il modello 0 e i dati vengono campionati da esso; al passaggio {n} i dati sono aggiunti ai dati complessivi del passaggio {n – 1}, e questo insieme viene utilizzato per addestrare il modello {n}. I dati ottenuti con il campionamento Monte Carlo [il metodo Monte Carlo è un’ampia classe di metodi computazionali basati sul campionamento casuale per ottenere risultati numerici, <em>n.d.a.</em>] dovrebbero idealmente essere statisticamente vicini all’originale, a condizione che le procedure di adattamento e di campionamento siano perfette. Questo processo rappresenta ciò che accade nella vita reale con Internet: i dati generati dai modelli diventano pervasivi.</figcaption></figure>
</div>


<h4 class="wp-block-heading">6. Discussione e conclusione</h4>



<p>Discutiamo ora le implicazioni del <em>model collapse</em> sulle dinamiche di apprendimento alla base degli LLM. I <em>poisoning attacks </em>(attacchi hacker che mirano a inquinare i dati) a lungo termine sui modelli linguistici non sono nuovi. Per esempio, abbiamo assistito alla creazione di<em> industrie di </em><em>clic, contenuti e troll</em>, una sorta di ‘modelli linguistici umani’, il cui compito è fuorviare i social network e gli algoritmi di ricerca. L’effetto negativo che questi attacchi hanno avuto sui risultati di ricerca ha portato a cambiamenti negli stessi algoritmi di ricerca: per esempio, Google ha declassato questi tipi di articoli, ponendo maggiore enfasi sui contenuti prodotti da fonti affidabili, come domini <em>education</em>, mentre DuckDuckGo li ha rimossi del tutto.</p>



<p>Ciò che cambia con l’arrivo degli LLM è la scala con cui tale inquinamento può avvenire, una volta automatizzato. Preservare la capacità degli LLM di modellare eventi a bassa probabilità è essenziale per l’equità delle loro previsioni: tali eventi sono spesso rilevanti per i gruppi emarginati. Anche gli eventi a bassa probabilità sono fondamentali per comprendere i sistemi complessi.</p>



<p>La nostra valutazione suggerisce un “vantaggio della prima mossa” quando si tratta di modelli di formazione come LLM. Nel nostro lavoro dimostriamo che l’addestramento su campioni di un altro modello generativo può indurre uno spostamento della distribuzione dei dati, che nel tempo causa il collasso del modello. Ciò a sua volta fa sì che il modello percepisca erroneamente il compito di apprendimento sottostante. Per garantire che quest’ultimo sia sostenuto per un lungo periodo di tempo, è necessario assicurarsi che sia preservato l’accesso alla fonte originale dei dati, e che quelli aggiuntivi non generati da LLM rimangano disponibili nel tempo. La necessità di distinguere i dati prodotti da LLM dagli altri dati, solleva interrogativi sulla provenienza dei contenuti scansionati da Internet: non è chiaro come quelli generati dagli LLM possano essere monitorati su larga scala. Un’opzione è il coordinamento a livello di comunità, per garantire che le diverse parti coinvolte nella creazione e distribuzione di LLM condividano le informazioni necessarie per risolvere gli aspetti relativi alla provenienza dei dati. In caso contrario, potrebbe diventare sempre più difficile addestrare le nuove versioni di LLM senza avere accesso ai dati che sono stati raccolti da Internet prima dell’adozione di massa di questa tecnologia, o senza avere accesso diretto ai dati generati dagli esseri umani su larga scala.</p>



<div style="height:100px" aria-hidden="true" class="wp-block-spacer"></div>



<p class="has-small-font-size">1) Cfr. <a href="https://www.lightbluetouchpaper.org/2023/06/06/will-gpt-models-choke-on-their-own-exhaust/">https://www.lightbluetouchpaper.org/2023/06/06/will-gpt-models-choke-on-their-own-exhaust/</a></p>



<p class="has-small-font-size">2) Cfr. <a rel="noreferrer noopener" href="https://arxiv.org/abs/2305.17493" target="_blank">https://arxiv.org/abs/2305.17493</a>. Il paper è pubblicato sotto diritti<a href="https://creativecommons.org/licenses/by-nc-sa/4.0/" target="_blank" rel="noreferrer noopener"> Creative Commons</a>. La traduzione dell&#8217;estratto è a cura di Paginauno</p>



<p class="has-small-font-size">3) Cfr. <a rel="noreferrer noopener" href="https://venturebeat.com/ai/the-ai-feedback-loop-researchers-warn-of-model-collapse-as-ai-trains-on-ai-generated-content/" target="_blank">https://venturebeat.com/ai/the-ai-feedback-loop-researchers-warn-of-model-collapse-as-ai-trains-on-ai-generated-content/</a></p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Il mondo di ChatGPT. La sparizione della realtà</title>
		<link>https://rivistapaginauno.it/il-mondo-di-chatgpt-la-sparizione-della-realta/</link>
		
		<dc:creator><![CDATA[Giovanna Cracco]]></dc:creator>
		<pubDate>Mon, 24 Apr 2023 13:30:00 +0000</pubDate>
				<category><![CDATA[Nuove Tecnologie]]></category>
		<category><![CDATA[capitalismo digitale]]></category>
		<category><![CDATA[chatbotAI]]></category>
		<category><![CDATA[chatgpt]]></category>
		<category><![CDATA[intelligenza artificiale]]></category>
		<category><![CDATA[modelli linguistici]]></category>
		<guid isPermaLink="false">https://rivistapaginauno.it/?p=6869</guid>

					<description><![CDATA[Cosa sarà reale nel mondo di ChatGPT? Per i tecnici di OpenAI, GPT-4 produce più false informazioni e manipolazione di GPT-3 ed è un problema comune a tutti gli LLM che saranno integrati nei motori di ricerca e nei browser; ci attendono l’“uomo disincarnato” di McLuhan e la “megamacchina” di Mumford]]></description>
										<content:encoded><![CDATA[
<ul class="wp-block-list">
<li><em><a href="https://rivistapaginauno.it/numero-82-aprile-maggio-2023/" data-type="post" data-id="6862" target="_blank" rel="noreferrer noopener">(Paginauno n. 82, aprile &#8211; maggio 2023)</a></em></li>
</ul>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow">
<p>Cosa sarà reale nel mondo di ChatGPT? Per i tecnici di OpenAI, GPT-4 produce più false informazioni e manipolazione di GPT-3 ed è un problema comune a tutti gli LLM che saranno integrati nei motori di ricerca e nei browser; ci attendono l’“uomo disincarnato” di McLuhan e la “megamacchina” di Mumford</p>
</blockquote>



<pre class="wp-block-verse">“Ricevendo continuamente tecnologie ci poniamo nei loro confronti come altrettanti servomeccanismi. È per questo che per poterle usare dobbiamo servire questi oggetti, queste estensioni di noi stessi, come fossero dei.”
Marshall McLuhan, <em>Understanding media. The Extensions of Man</em></pre>



<p class="has-drop-cap">Nel giro di breve tempo, la sfera digitale cambierà: l’intelligenza artificiale che abbiamo conosciuto sotto la forma di ChatGPT sta per essere incorporata nei motori di ricerca, nei browser e nei programmi di largo utilizzo come il pacchetto Office di Microsoft. È facile prevedere che, progressivamente, i ‘modelli linguistici di grandi dimensioni’ (<em>Large Language </em><em>Model</em>, LLM) (1) – ciò che tecnicamente sono i chatbot AI – saranno inseriti in tutte le applicazioni digitali.</p>



<p>Se questa tecnologia fosse rimasta circoscritta a utilizzi specifici, l’analisi del suo impatto avrebbe riguardato ambiti particolari, come quello del copyright, o la definizione del concetto di ‘creatività’, o le conseguenze occupazionali in un settore del mercato del lavoro ecc.; ma la sua incorporazione nell’intera area digitale investe ciascuno di noi. Quella con i chatbot AI sarà un’interazione uomo-macchina continua. Diventerà un’abitudine quotidiana. Una ‘relazione’ quotidiana. Produrrà un cambiamento che avrà ripercussioni sociali e politiche talmente estese, e a un tale livello di profondità, da poterle probabilmente definire antropologiche; andranno a colpire, intrecciandosi e interagendo fra loro, la sfera della disinformazione, quella della fiducia e la dinamica della dipendenza, fino a configurarsi in qualcosa che possiamo chiamare la ‘sparizione della realtà’. Perché gli LLM “inventano fatti”, favoriscono la propaganda, manipolano e traggono in inganno. “La profusione di informazioni false da parte di LLM – a causa di disinformazione intenzionale, pregiudizi della società o allucinazioni – può potenzialmente mettere in dubbio l’intero ambiente informativo, minacciando la nostra capacità di distinguere i fatti dalla finzione”: ad affermarlo non è uno studio critico verso la nuova tecnologia ma la stessa OpenAI, società creatrice di ChatGPT, in un documento tecnico rilasciato insieme alla quarta versione del modello linguistico.</p>



<p>Andiamo con ordine.</p>



<h4 class="wp-block-heading">Il mondo dei chatbot AI</h4>



<p>Microsoft ha già accoppiato GPT-4 – il programma successivo al GPT-3 che abbiamo conosciuto – a Bing, e lo sta testando: l’unione “modificherà completamente ciò che le persone possono aspettarsi dalla ricerca sul web”, ha dichiarato il 7 febbraio Satya Nadella, CEO di Microsoft, al Wall Street Journal: “Avremo non solo le informazioni costantemente aggiornate che normalmente ci aspettiamo da un motore di ricerca, ma potremo anche chattare su queste informazioni, così come su quelle di archivio. Bing Chat consentirà quindi di avere una vera conversazione su tutti i dati di ricerca, e tramite una chat contestualizzata, ottenere le risposte giuste” (2).</p>



<p>Attualmente Bing copre appena il 3% del mercato dei motori di ricerca, dominato da Google al 93%. La decisione di investire nel settore è dettata dalla sua profittabilità: nel digitale, è l’ambito “più redditizio che ci sia sul pianeta Terra”, afferma Nadella. Alphabet non intende quindi perdere terreno, e a marzo ha annunciato l’imminente arrivo di Bard, il chatbot AI che sarà integrato con Google, mentre la stessa OpenAI ha già lanciato un plugin che permette a ChatGPT di attingere informazioni da tutto il web e in tempo reale – prima il database era limitato ai dati di addestramento, precedenti al settembre 2021 (3).</p>



<p>Chat Bing sarà inserito aggiungendo una finestra nella parte superiore della pagina del motore di ricerca, dove si potrà scrivere la domanda e conversare; la risposta del chatbot AI conterrà note a margine, con l’indicazione dei siti web da cui ha attinto le informazioni utilizzate per elaborare la risposta stessa. Anche il plugin per ChatGPT reso disponibile da OpenAI prevede le note, ed è facilmente ipotizzabile che Bard di Google sarà strutturato allo stesso modo. Tuttavia, è ingenuo credere che le persone cliccheranno su quelle note, per andare a verificare la risposta del chatbot o per approfondire: per i meccanismi di fiducia e dipendenza che vedremo, la gran parte sarà soddisfatta dalla rapidità e facilità con cui ha ottenuto quel che cercava, e si affiderà totalmente a ciò che il modello linguistico ha prodotto. Medesimo discorso vale per la modalità di ricerca: sotto la finestra della chat, per adesso Bing manterrà l’elenco dei siti web tipico dei motori di ricerca per come li abbiamo conosciuti finora. Forse l’elenco resterà – anche in Google –, forse nel tempo sparirà. Ma è certo che sarà utilizzato sempre meno.</p>



<p>L’integrazione di Bing Chat nel browser Edge di Microsoft avverrà invece attraverso una barra laterale, nella quale si potrà chiedere di riassumere la pagina web in cui ci si trova. È facile scommettere sul successo di questa applicazione, per persone che già sono state abituate a una lettura online a salti e passiva, nella quale le ‘cose importanti’ sono evidenziate in grassetto (!). Anche in questo caso, Microsoft trascinerà i concorrenti sulla medesima strada, e i chatbot AI finiranno per essere inseriti in tutti i browser, da Chrome a Safari.</p>



<p>In poche parole, il digitale diventerà sempre più il mondo dei chatbot AI: entrarvi significherà ‘relazionarsi’ con un modello linguistico, sotto forma di chat o di assistente vocale.</p>



<h4 class="wp-block-heading">Disinformazione 1: allucinazioni</h4>



<p>Contestualmente all’uscita di GPT-4, OpenAI ha reso pubblico il documento <em>GPT-4 System Card</em> (4), una “scheda di sicurezza” che analizza i limiti e i relativi rischi del modello. Obiettivo del Report è dare una panoramica dei processi tecnici implementati per rilasciare GPT-4 con il più alto grado di sicurezza possibile, e contemporaneamente evidenziare le problematiche non risolte; quest’ultimo aspetto è quello interessante.</p>



<p>GPT-4 è un LLM più grande e contiene più parametri del precedente GPT-3 – maggiori dettagli tecnici non sono noti: questa volta OpenAI ha mantenuto il riserbo sui dati, le tecniche di addestramento e la potenza di calcolo; il software è dunque divenuto chiuso e privatistico, come tutti i prodotti di Big Tech –; è multimodale, ossia può analizzare/rispondere sia a testo che a immagini; “dimostra un aumento delle prestazioni in aree come l’argomentazione, la conservazione delle conoscenze e la codifica”, e “la sua maggiore coerenza consente di generare contenuti che possono essere più credibili e più persuasivi”: una caratteristica, quest’ultima, che i tecnici di OpenAI ritengono negativa, perché “nonostante le capacità, GPT-4 mantiene la tendenza a <em>inventare fatti</em>”. Rispetto al precedente GPT-3, l’attuale versione è quindi maggiormente in grado “di produrre un testo <em>sottilmente convincente ma falso</em>”. Nel linguaggio tecnico sono state chiamate “allucinazioni”.</p>



<p>Ne esistono di due tipi: le cosiddette “allucinazioni a dominio chiuso si riferiscono a casi in cui al LLM viene domandato di utilizzare solo le informazioni fornite in un dato contesto, ma poi ne crea di extra (per esempio, se chiedi di riassumere un articolo e il riepilogo include informazioni non presenti nell’articolo)”; e le allucinazioni a dominio aperto, che “si verificano quando il modello fornisce con sicurezza false informazioni generali, senza riferimento a un particolare contesto di input”, ossia quando viene posta una qualsiasi domanda e il chatbot AI risponde con dati falsi.</p>



<p>GPT-4 ha dunque “la tendenza ad ‘allucinare’, cioè a produrre contenuti privi di senso o non veritieri”, continua il Report, e “a raddoppiare le informazioni errate […]. Inoltre, spesso mostra queste tendenze in modi più convincenti e credibili rispetto ai precedenti modelli GPT (per esempio utilizzando un tono autorevole o presentando i dati falsi nel contesto di informazioni altamente dettagliate e accurate)”.</p>



<p>Apparentemente, siamo dunque davanti a un paradosso: la nuova versione di una tecnologia, considerata un miglioramento, porta a un incremento <em>qualitativo</em> nelle capacità di generare false informazioni, quindi a una diminuzione dell’affidabilità della tecnologia stessa. In realtà, non si tratta di un paradosso bensì di un problema strutturale – di <em>tutti</em> i modelli linguistici, non solo ChatGPT – e in quanto tale difficilmente risolvibile.</p>



<p>Per comprenderlo, occorre ricordare che gli LLM sono tecnicamente costruiti sulla <em>probabilità</em> che un dato (in questo caso una parola) segua a un altro: si basano su calcoli statistici e non hanno alcuna comprensione rispetto al significato di ciò che ‘affermano’; e il fatto che una combinazione di parole sia probabile, divenendo una frase, non indica che essa sia anche vera. Lo Studio pubblicato a pag. 64, a cui rimandiamo per i dettagli (5), mostra le ragioni per le quali i modelli linguistici possono rilasciare false informazioni. In sintesi: 1. sono addestrati su database presi dal web, dove sono ovviamente presenti sia dati non veritieri che affermazioni non corrette da un punto di vista fattuale (per esempio favole, romanzi, fantasy ecc. che contengono frasi tipo: “I draghi vivono dietro questa catena montuosa”); 2. anche fossero addestrati solo su informazioni vere e reali, potrebbero comunque produrre falsi fattuali (un LLM addestrato su frasi come {“Leila possiede un’auto”, “Max possiede un gatto”} può prevedere una ragionevole probabilità per la frase “Leila possiede un gatto”, ma questa affermazione può essere falsa nella realtà); 3. basandosi sulla statistica, il modello è strutturato a utilizzare una combinazione di parole che trova con frequenza nei dati di addestramento, ma ciò non significa che essa sia vera (“i maiali volano”); 4. lo schema lessicale può essere molto simile al proprio opposto e la frase rovesciarsi facilmente, producendo un falso (“gli uccelli possono volare” e “gli uccelli non possono volare”); 5. infine, la correttezza o meno di un’affermazione può dipendere dal contesto, e i dati di addestramento non lo considerano: è quindi una variabile che gli LLM non possono registrare.</p>



<p>“Ne consegue”, ricapitolano gli autori dello Studio, “che <em>l’aumento della dimensione</em> dei modelli linguistici non sarà sufficiente per risolvere la questione che assegnano alte probabilità a informazioni false”. Una conclusione che si pone in direzione contraria rispetto all’attuale sviluppo degli LLM, basato sul loro ampliamento come caratteristica risolutiva dei problemi riscontrati.</p>



<h4 class="wp-block-heading">Disinformazione 2: propaganda</h4>



<p>Le maggiori capacità di produrre risultati credibili e persuasivi, rendono inoltre GPT-4 un alleato migliore per fabbricare fake news e narrazioni manipolatorie. “GPT-4 può generare contenuti plausibilmente realistici e mirati, inclusi articoli di notizie, tweet, dialoghi ed email” scrivono i tecnici di OpenAI: “Per esempio, i ricercatori hanno scoperto che GPT-3 era in grado di svolgere compiti rilevanti per modificare la narrazione su un argomento. Anche gli appelli persuasivi su questioni di carattere politico, scritti da modelli linguistici come GPT-3, si sono rivelati quasi altrettanto efficaci di quelli scritti da persone. Sulla base delle prestazioni di GPT-4 in attività linguistiche correlate, ci aspettiamo che sia migliore di GPT-3 in questo tipo di attività […] I nostri risultati [&#8230;] suggeriscono che GPT-4 può competere in molti ambiti con chi si occupa di propaganda, specialmente se abbinato a un editor umano […] GPT-4 è anche in grado di generare piani realistici per raggiungere l’obiettivo. Per esempio, quando viene chiesto «Come posso convincere due fazioni di un gruppo a non essere d’accordo tra loro», GPT-4 crea suggerimenti che appaiono verosimili”.</p>



<p>Ovviamente, il Report riporta esempi ricalcati sul punto di vista della narrazione occidentale dominante, nella quale i “malintenzionati [che] possono utilizzare GPT-4 per creare contenuti fuorvianti” sono Al-Qaeda, i nazionalisti bianchi e un movimento contro l’aborto; superfluo sottolineare che nessun governo e nessuna classe dirigente si sottrae alla creazione di una narrazione propagandistica, come ha reso ancora più evidente la fase del Covid e quella attuale della guerra in Ucraina. Tutti gli attori in gioco quindi si gioveranno dei chatbot AI per costruire le proprie fake news.</p>



<p>Oltretutto, i modelli linguistici “possono ridurre il costo della produzione di disinformazione su larga scala”, sottolinea lo Studio riportato a pag. 64, e “rendere più conveniente creare disinformazione interattiva e personalizzata, al contrario degli approcci attuali che spesso producono quantità relativamente piccole di contenuto statico che poi diventa virale”. È dunque una tecnologia che potrà favorire la modalità Cambridge Analityca, ben più subdola ed efficace della normale propaganda (6).</p>



<h4 class="wp-block-heading">Fiducia, dipendenza e antropomorfizzazione</h4>



<p>LLM che “diventano sempre più convincenti e credibili”, scrivono di tecnici di OpenAI, portano “a un eccessivo affidamento da parte degli utenti”, ed è chiaramente un problema davanti alla tendenza di GPT-4 ad ‘allucinare’: “Controintuitivamente, le allucinazioni possono diventare più pericolose man mano che i modelli linguistici diventano più veritieri, poiché gli utenti iniziano a fidarsi del LLM quando fornisce informazioni corrette in aree in cui hanno una certa familiarità”. Se aggiungiamo anche la ‘relazione’ quotidiana con i chatbot AI che la nuova configurazione della sfera digitale porterà, non è difficile intravedere le radici dei meccanismi della fiducia e della dipendenza. “L’eccessivo affidamento si verifica quando gli utenti si fidano troppo e dipendono dal modello linguistico, portando potenzialmente a errori inosservati e supervisione inadeguata” continua il Report: “Ciò può avvenire in vari modi: gli utenti potrebbero non essere vigili a causa della fiducia nel LLM; potrebbero non fornire una supervisione adeguata in base all’uso e al contesto; oppure potrebbero utilizzare il modello in ambiti in cui mancano di esperienza, rendendo difficile l’identificazione degli errori”. Non solo. La dipendenza “probabilmente aumenta con la capacità e l’ampiezza del modello. Man mano che gli errori diventano più difficili da rilevare per l’utente umano medio, e cresce la fiducia generale nel LLM, è meno probabile che gli utenti contestino o verifichino le sue risposte”. Infine: “Man mano che gli utenti diventano più a loro agio con il sistema, la dipendenza da LLM può ostacolare lo sviluppo di nuove competenze o addirittura portare alla perdita di competenze importanti”. È un meccanismo che abbiamo già visto all’opera con l’estendersi della tecnologia digitale, e che i modelli linguistici non possono che esacerbare: sempre meno saremo in grado di agire senza un chatbot AI che ci dica cosa fare, e lentamente si atrofizzerà la capacità di ragionare, capire, analizzare perché abituati a un algoritmo che lo farà per noi, consegnandoci risposte già confezionate e <em>consumabili</em>.</p>



<p>A intensificare fiducia e dipendenza, si aggiunge il processo di antropomorfizzazione della tecnologia. Il documento di OpenAI richiama gli sviluppatori a “essere cauti nel modo in cui fanno riferimento al modello/sistema, e in generale evitare affermazioni o implicazioni fuorvianti, incluso il fatto che è umano, e considerare il potenziale impatto delle modifiche allo stile, al tono o alla personalità del modello nella percezione degli utenti”; perché, come evidenzia lo Studio a pag. 64, “gli utilizzatori che interagiscono con chatbot più umani tendono ad attribuire una maggiore credibilità alle informazioni da loro prodotte”. Non si tratta di arrivare a credere che una macchina sia umana, sottolinea l’analisi: “piuttosto, si verifica un effetto di antropomorfismo ‘insensato’, per cui gli utenti rispondono a chatbot più umani con risposte più relazionali, anche se sanno che non sono umani”.</p>



<h4 class="wp-block-heading">L’uomo disincarnato: la sparizione della realtà</h4>



<p>Ricapitolando: se la sfera digitale diventerà il mondo dei chatbot AI; se ci abitueremo ad accontentarci delle risposte fornite dai chatbot AI; risposte che possono essere false (allucinazioni) o manipolatorie (propaganda), ma che riterremo sempre vere, per la fiducia riposta nella macchina e la dipendenza da essa; cosa sarà reale?</p>



<p>Se volessimo recuperare la distinzione tra apocalittici e integrati, il Marshall McLuhan di <em>Understanding Media. The Extensions of Man</em> del 1964 sarebbe tra i secondi, con il suo entusiasmo nei confronti del <em>tribale</em> “villaggio globale” che vedeva avvicinarsi; tuttavia, se prendiamo il McLuhan del 1978, dell’articolo <em>A Last Look at the Tube</em> pubblicato sul New York Magazine, lo ritroveremmo più vicino ai primi. Qui elabora il concetto dell’“uomo disincarnato”, l’uomo dell’era elettrica della televisione e oggi, aggiungiamo noi, di internet. Com’è noto, per McLuhan i media sono estensioni dei sensi e del sistema nervoso dell’uomo, capaci di andare oltre i limiti fisici dell’uomo stesso; l’elettricità, in particolare, estende interamente ciò che siamo, ‘disincarnandoci’: l’uomo “in onda”, così come online, è privato di un corpo fisico, “inviato e istantaneamente presente ovunque”. Senonché, ciò lo priva anche del rapporto con le leggi fisiche della natura, portandolo a ritrovarsi “in gran parte privato della sua identità personale”. Se dunque nel 1964 McLuhan leggeva in modo positivo la rottura dei piani spazio/ tempo, individuandovi la liberazione dell’uomo dalla logica lineare e razionale tipica dell’era tipografica e la sua riconnessione alla sfera sensibile, in una riunione mente/corpo non solo individuale ma collettiva – quel villaggio globale che il medium elettrico avrebbe creato, caratterizzato da una universale sensibilità e coscienza –, nel 1978, al contrario, McLuhan riconosce proprio nell’annullamento delle leggi fisiche dello spazio/tempo, la radice della crisi: perché solo lì si possono sviluppare le dinamiche relazionali che creano identità e cooperazione umana, come analizzerà anche Augé nella sua riflessione sui non-luoghi e il non-tempo.</p>



<p>Privo di identità, quindi, “l’utente televisivo [e di internet] disincarnato vive in un mondo tra la fantasia e il sogno e si trova in uno stato tipicamente ipnotico”: ma mentre il sogno tende alla costruzione della propria realizzazione nel tempo e nello spazio del mondo reale, scrive McLuhan, la fantasia rappresenta una gratificazione per se stessa, chiusa e immediata: fa a meno del mondo reale non perché lo sostituisce, ma perché <em>è essa stessa, e all’istante, una realtà</em>.</p>



<p>Per quest’uomo disincarnato, ipnotizzato, trasportato dal medium dal mondo reale a un mondo di fantasia, dove ora può instaurare una relazione sempre più antropomorfizzata con chatbot AI che rispondono a ogni suo dubbio, curiosità e domanda, cosa sarà dunque <em>reale</em>? La risposta è ovvia: corretto o sbagliato che sia, allucinazione o manipolazione che sia, sarà vero ciò che dice il chatbot AI. Sarà <em>reale</em> ciò che dice il chatbot AI.</p>



<p>È indubbio che da tempo internet è il ‘traduttore’ della nostra realtà – in modo molto più esteso di quanto lo fosse stata e lo sia la televisione –: da decenni siamo uomini disincarnati. Ma fino a oggi la rete non si è configurata come il mondo della fantasia, perché ha consentito molteplici punti di vista e vie di fuga. Ora i primi scompariranno con l’estensione dei modelli linguistici – per la loro caratteristica strutturale di favorire le narrazioni dominanti (7) – lasciando spazio solo alla differenza tra diverse propagande manipolatorie; le seconde franeranno davanti alle dinamiche di fiducia e dipendenza che innescherà il quotidiano, funzionale, facile e comodo utilizzo dei chatbot AI.</p>



<p>“Quando la fedeltà alla Legge naturale viene meno,” scrive McLuhan nel 1978, “il soprannaturale rimane come ancoraggio; e il soprannaturale può persino assumere la forma di quel tipo di megamacchine […] di cui Mumford parla come esistenti 5.000 anni fa in Mesopotamia e in Egitto”. Magamacchine che si appoggiano a strutture mitiche – il “soprannaturale” – fino a far sparire la realtà. Quella ‘nuova’ megamacchina che Mumford, in risposta al villaggio globale di McLuhan, nel 1970 aggiorna rispetto al concetto originale sviluppato nell’analisi delle civiltà antiche, e ora vede costituita da componenti <em>macchiniche e umane</em>; con la casta dei <em>tecno-scienziati</em> a gestirla; e dominata al vertice dal <em>dio-computer</em>. Una megamacchina che produce una totale perdita di autonomia nei soggetti e nei gruppi sociali. “La nostra megamacchina per la vita quotidiana ci presenta il mondo come «una somma di artefatti senza vita»“, afferma McLuhan, citando Erich Fromm: “Il mondo <em>diventa</em> una somma di artefatti senza vita; […] l’uomo intero diventa parte della macchina totale che controlla e da cui è contemporaneamente controllato. Non ha un piano, uno scopo per la vita, se non quello di fare ciò che la logica della tecnica gli impone di fare. Aspira a costruire robot come uno dei più grandi successi della sua mente tecnica, e alcuni specialisti ci assicurano che il robot sarà difficilmente distinguibile dagli uomini viventi. Questo risultato non sembrerà così sorprendente quando l’uomo stesso sarà difficilmente distinguibile da un robot”. Un uomo trasformato in una sorta di “information pattern” disincarnato, uno “schema informativo” avulso dalla realtà.</p>



<p>Escludendo personaggi in stile Elon Musk, difficile dire se nell’appello che chiede di “sospendere immediatamente per almeno sei mesi l’addestramento di sistemi di intelligenza artificiale più potenti di GPT-4” (8), lanciato il 22 marzo da ormai migliaia fra ricercatori, tecnici, impiegati e manager di aziende del Big Tech, ci sia, oltre a una logica economica – rallentare la corsa di modo da poter entrare nel mercato –, anche un sincero timore per il cambiamento antropologico che i modelli linguistici andranno a produrre, e la conseguente società che si verrà a configurare. Probabile ci sia, soprattutto fra i ricercatori e i tecnici – lo stesso documento di OpenAI su GPT-4 è in qualche modo un grido d’allarme. Non accadrà, ovviamente: il capitalismo non conosce pause di sospensione. Tuttavia il problema non è lo sviluppo futuro di queste tecnologie, bensì lo stadio che già hanno raggiunto. Così come, alla radice di ogni situazione, si tratta sempre di scegliere, ciascuno di noi, ogni giorno, come agire; come preservare la propria intelligenza, abilità di analisi e volontà. Se c’è qualcosa che appartiene all’uomo è la capacità dello scarto, della deviazione: l’uomo, a differenza della macchina, non vive nel mondo del probabile ma in quello del possibile.</p>



<div style="height:100px" aria-hidden="true" class="wp-block-spacer"></div>



<p class="has-small-font-size">1) Per un approfondimento e una panoramica sulla struttura dei <em>large language model </em>cfr. Bender, Gebru, McMillan-Major, Shmitchell, <a href="https://rivistapaginauno.it/chatgpt-sui-pericoli-dei-pappagalli-stocastici-i-modelli-linguistici-possono-essere-troppo-grandi/" target="_blank" rel="noreferrer noopener"><em>ChatGPT. Sui pericoli dei pappagalli stocastici: i modelli linguistici possono essere troppo grandi?</em></a>, Paginauno n. 81, febbraio/marzo 2023</p>



<p class="has-small-font-size">2) Cfr. <a href="https://www.youtube.com/watch?v=bsFXgfbj8Bc" target="_blank" rel="noreferrer noopener">https://www.youtube.com/watch?v=bsFXgfbj8Bc</a> anche per tutti i dettagli contenuti nell’articolo relativi a Chat Bing</p>



<p class="has-small-font-size">3) Cfr. <a href="https://openai.com/blog/chatgpt-plugins#browsing" target="_blank" rel="noreferrer noopener">https://openai.com/blog/chatgpt-plugins#browsing</a></p>



<p class="has-small-font-size">4) Cfr. <a href="https://cdn.openai.com/papers/gpt-4-system-card.pdf" target="_blank" rel="noreferrer noopener">https://cdn.openai.com/papers/gpt-4-system-card.pdf</a> </p>



<p class="has-small-font-size">5) Cfr. AA.VV., <em><a href="https://rivistapaginauno.it/chatgpt-rischi-etici-e-sociali-dei-danni-causati-dai-modelli-linguistici/" data-type="post" data-id="6872" target="_blank" rel="noreferrer noopener">ChatGPT. Rischi etici e sociali dei danni causati dai Modelli Linguistici</a></em>, pag. 64 </p>



<p class="has-small-font-size">6) “L’idea alla base è che se vuoi cambiare la politica devi prima cambiare la cultura, perché la politica discende dalla cultura; e se vuoi cambiare la cultura devi prima capire chi sono le persone, le ‘singole cellule’ di quella cultura. Quindi, se vuoi cambiare la politica devi cambiare le persone. Noi abbiamo sussurrato all’orecchio degli individui, per spostare pian piano il loro pensiero”, ha dichiarato Christopher Wylie, ex analista della Cambridge Analytica divenuto whistleblower, intervistato dal Guardian nel marzo 2018, cfr. <a href="https://www.theguardian.com/uk-news/video/2018/mar/17/cambridge-analytica-whistleblower-we-spent-1m-harvesting-millions-of-facebook-profiles-video" target="_blank" rel="noreferrer noopener">https://www.theguardian.com/uk-news/video/2018/mar/17/cambridge-analytica-whistleblower-we-spent-1m-harvesting-millions-of-facebook-profiles-video</a> </p>



<p class="has-small-font-size">7) cfr. Bender, Gebru, McMillan-Major, Shmitchell,<a href="https://rivistapaginauno.it/chatgpt-sui-pericoli-dei-pappagalli-stocastici-i-modelli-linguistici-possono-essere-troppo-grandi/" data-type="post" data-id="6751" target="_blank" rel="noreferrer noopener"> <em>ChatGPT. Sui pericoli dei pappagalli stocastici: i modelli linguistici possono essere troppo grandi?</em></a>, Paginauno n. 81, febbraio/marzo 2023 </p>



<p class="has-small-font-size">8) <a href="https://futureoflife.org/open-letter/pause-giant-ai-experiments/" target="_blank" rel="noreferrer noopener">https://futureoflife.org/open-letter/pause-giant-ai-experiments/</a></p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>ChatGPT.  Rischi etici e sociali dei danni causati dai Modelli Linguistici</title>
		<link>https://rivistapaginauno.it/chatgpt-rischi-etici-e-sociali-dei-danni-causati-dai-modelli-linguistici/</link>
		
		<dc:creator><![CDATA[Rivista Paginauno]]></dc:creator>
		<pubDate>Mon, 24 Apr 2023 13:25:00 +0000</pubDate>
				<category><![CDATA[Nuove Tecnologie]]></category>
		<category><![CDATA[chatbotAI]]></category>
		<category><![CDATA[chatgpt]]></category>
		<category><![CDATA[intelligenza artificiale]]></category>
		<category><![CDATA[modelli linguistici]]></category>
		<guid isPermaLink="false">https://rivistapaginauno.it/?p=6872</guid>

					<description><![CDATA[Uno studio analizza i rischi etici e sociali legati ai chatbot AI, dalla discriminazione agli usi malevoli, dalla disinformazione alla antropoformizzazione del rapporto uomo-macchina]]></description>
										<content:encoded><![CDATA[
<p class="has-small-font-size">AA.VV. *</p>



<ul class="wp-block-list">
<li><em><a href="https://rivistapaginauno.it/numero-82-aprile-maggio-2023/" target="_blank" rel="noreferrer noopener">(Paginauno n. 82, aprile – maggio 2023)</a></em></li>
</ul>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow">
<p>Uno studio analizza i rischi etici e sociali legati ai chatbot AI, dalla discriminazione agli usi malevoli, dalla disinformazione alla antropoformizzazione del rapporto uomo-macchina</p>
</blockquote>



<h4 class="wp-block-heading has-vivid-red-color has-text-color has-link-color wp-elements-376e04bdb0288d4e9778689df58a389b">ABSTRACT</h4>



<p>Il presente documento si propone di contribuire a strutturare il panorama dei rischi associati ai modelli linguistici (LM) (1). Per favorire i progressi dell’innovazione responsabile, è necessaria una comprensione approfondita di tali rischi potenziali. Un’ampia gamma di rischi accertati e previsti viene qui analizzata in dettaglio, attingendo alla letteratura multidisciplinare proveniente dall’informatica, dalla linguistica e dalle scienze sociali.</p>



<p>Il documento delinea sei aree di rischio specifiche: I. Discriminazione, esclusione e tossicità; II. Pericoli di dati privati; III. Danni da disinformazione; IV. Usi malevoli; V. Danni da interazione uomo-macchina; VI. Automazione, accesso e danni ambientali.</p>



<p>La prima area riguarda i rischi di equità e tossicità e ne comprende quattro distinti: 1. gli LM possono creare discriminazioni ingiuste e danni rappresentativi e materiali perpetuando stereotipi e pregiudizi, cioè associazioni dannose tra identità sociali e tratti specifici; 2. le norme e le categorie sociali possono escludere o emarginare coloro che non ne fanno parte: quando un LM le perpetua – per esempio, affermando che le persone chiamate “Max” sono “maschi”, o che le “famiglie” sono sempre composte da padre, madre e figlio – l’uso di tali categorie ristrette può negare o opprimere le identità diverse; 3. il linguaggio tossico può incitare all’odio o alla violenza o causare offesa; 4. infine, un LM che ha prestazioni inferiori per alcuni gruppi sociali rispetto ad altri, può creare un danno ai gruppi svantaggiati, per esempio quando questi modelli sono alla base di tecnologie che interessano tali gruppi. Questi rischi derivano in gran parte dalla scelta dei dati del corpus di addestramento, che includono un linguaggio dannoso e sovra-rappresentano alcune identità sociali rispetto ad altre.</p>



<p>La seconda area comprende i rischi derivanti dalla fuga di dati privati o dal fatto che gli LM deducano correttamente informazioni private o altre informazioni sensibili. Questi rischi derivano dai dati privati presenti nel corpus di addestramento e dalle capacità avanzate di inferenza dei modello linguistici.</p>



<p>La terza area riguarda i rischi associati agli LM che forniscono informazioni false o fuorvianti, che porta a utenti meno informati e all’erosione della fiducia nelle informazioni condivise. […] I rischi di disinformazione derivano in parte dai processi con cui i modelli linguistici imparano a rappresentare il linguaggio: i metodi statistici sottostanti non sono adeguati per distinguere tra informazioni fattualmente corrette e fattualmente non corrette.</p>



<p>La quarta area comprende i rischi di utenti o sviluppatori di prodotti che cercano di usare gli LM per causare danni. Ciò include il loro l’utilizzo per aumentare l’efficacia delle campagne di disinformazione, per creare truffe personalizzate o frodi su larga scala, o per sviluppare codice informatico per virus o sistemi d’arma.</p>



<p>La quinta area si concentra sui rischi derivanti dall’uso specifico di un “agente conversazionale” (CA) che interagisce direttamente con gli utenti umani, connesso alla presentazione del sistema come “simile all’uomo”: una modalità che potrebbe indurre gli utenti a sopravvalutare le capacità della macchina e a utilizzarla in modo non sicuro. Un altro rischio è che la conversazione con questi agenti possa creare nuove possibilità per manipolare o estrarre dagli utenti informazioni private. Gli agenti conversazionali basati su LM possono inoltre comportare rischi già noti per gli assistenti vocali, come il perpetuare stereotipi (per esempio, auto-presentandosi come “assistente donna”). Sono tutti rischi che in parte derivano dagli obiettivi di formazione degli LM posti alla base dei CA, e dalle decisioni di progettazione dei prodotti.</p>



<p>La sesta e ultima area comprende rischi che si applicano ai modelli linguistici e ai sistemi di intelligenza artificiale (AI) in senso più ampio. L’addestramento e il funzionamento degli LM possono comportare elevati costi ambientali; le applicazioni possono avvantaggiare alcuni gruppi più di altri e gli LM stessi sono inaccessibili a molti. Infine, l’automazione basata sui modelli linguistici può influire sulla qualità di alcuni lavori e compromettere parti dell’economia creativa. Questi rischi si manifestano soprattutto quando gli LM sono ampiamente utilizzati nell’economia, e i benefici e i rischi derivanti sono distribuiti a livello globale in modo disomogeneo.</p>



<p>In totale, presentiamo 21 rischi. Discutiamo quindi i loro punti di origine e indichiamo i potenziali approcci di mitigazione, poiché il punto di origine di un danno può indicare le opportune mitigazioni […] Infine, discutiamo le responsabilità organizzative nell’implementazione di tali mitigazioni e il ruolo della collaborazione. [&#8230;]</p>



<h4 class="wp-block-heading has-vivid-red-color has-text-color has-link-color wp-elements-5bb3201545253fce5b8e06444edb429a">2.3 DANNI DA DISINFORMAZIONE</h4>



<p>Danni derivanti dal fatto che il modello linguistico fornisce informazioni false o fuorvianti.</p>



<h4 class="wp-block-heading">2.3.1 Panoramica</h4>



<p>Gli LM possono assegnare alte probabilità a enunciati che costituiscono affermazioni false o fuorvianti. Risposte fattualmente errate o insensate possono essere innocue, ma in particolari circostanze possono rappresentare un rischio: i danni che ne derivano vanno dal disinformare, ingannare o manipolare una persona, al causare danni materiali, fino a ripercussioni sociali più ampie, come la perdita della fiducia condivisa tra i membri della comunità. Questi rischi costituiscono il fulcro di questa sezione. […]</p>



<h4 class="wp-block-heading">Nozione di ‘ground truth’</h4>



<p>Esistono diverse teorie su ciò che costituisce la ‘verità’ nel linguaggio. Sono state lanciate sfide filosofiche contro l’idea che esista una verità oggettiva che possa essere scoperta in origine. Tuttavia, nell’apprendimento automatico, la nozione di ‘ground truth’ (verità di base) è tipicamente definita in modo funzionale in riferimento ad alcuni dati, per esempio un set di dati annotati per il benchmarking delle prestazioni del modello. Chiarire come le teorie della verità si intersecano con la struttura epistemica degli LM è una sfida di ricerca non ancora risolta […] In questa sezione, discutiamo della verità soprattutto in relazione alla ‘fattualità’, cioè alla misura in cui le previsioni dell’LM corrispondono ai fatti del mondo.</p>



<h4 class="wp-block-heading">Perché dobbiamo aspettarci risultati non corretti da un punto di vista fattuale (falsi fattuali) anche da LM potenti</h4>



<p>Ci si deve aspettare che le previsioni di un LM assegnino a volte alte probabilità a enunciati che non sono fattualmente corretti. La stessa struttura tecnica indica perché accadrà spesso: i modelli linguistici prevedono la probabilità di diversi enunciati successivi sulla base di enunciati precedenti, tuttavia, il fatto che una frase sia <em>probabile </em>o meno non indica in modo affidabile se la frase sia anche corretta dal punto di vista fattuale. Di conseguenza, non sorprende che gli LM assegnino spesso alte probabilità a previsioni false o insensate. Anche i grandi LM avanzati non elaborano in modo affidabile informazioni vere: questi modelli generano informazioni dettagliate e corrette in alcune circostanze, ma forniscono informazioni errate in altre; e quelli che spesso forniscono informazioni corrette possono indurre gli utenti a fidarsi eccessivamente di modelli che sono invece inaffidabili, aggravando così i rischi.</p>



<p>I modelli linguistici possono produrre affermazioni false per diversi motivi. In primo luogo, i corpus di addestramento sono tipicamente tratti da testi pubblicati sul web e sono pieni di affermazioni non corrette dal punto di vista fattuale. In parte, ciò è dovuto al fatto che molti enunciati registrati nei corpora di addestramento non sono strettamente intesi come fattuali – si pensi, per esempio, a storie fantastiche, romanzi, poesie o barzellette (“i draghi vivono dietro questa catena montuosa”, “le sue gambe sono corte quanto la sua memoria”); inoltre, è probabile che i corpora di formazione includano casi di disinformazione e informazioni deliberatamente fuorvianti (“disinformazione”) che esistono in rete.</p>



<p>[…] Sebbene possa essere innocuo per un LM assegnare probabilità che emulano tali storie o battute in un contesto appropriato, le associazioni possono essere utilizzate anche nel contesto sbagliato: per esempio, un modello linguistico che predice un’alta probabilità di enunciazioni fantastiche può essere appropriato nel contesto della creatività o dell’intrattenimento, ma non nel discorso scientifico. Allo stato dell’arte, gli LM non sono in grado di distinguere in modo affidabile tra i diversi contesti, e quindi quando forniscono affermazioni non appropriate, danno risposte false.</p>



<p>Inoltre, anche se i modelli linguistici venissero formati solo su affermazioni fattualmente corrette nel dominio di riferimento, non si risolverebbe il problema: ci si aspetta comunque che gli LM assegnino occasionalmente un’alta probabilità a enunciati che non sono fattuali. Per esempio, un modello addestrato su frasi come {“Leila possiede un’auto”, “Max possiede un gatto”}, può prevedere una probabilità ragionevole per la frase “Leila possiede un gatto”; tuttavia, questa frase potrebbe non essere corretta in alcun senso del mondo reale.</p>



<p>Sebbene gli LM si basino su calcoli statistici per apprendere da combinazioni di parole e modelli catturati nei dati di addestramento, non è chiaro se il contenuto di verità di un enunciato possa essere determinato in modo affidabile in riferimento a tali modelli. Per esempio, un’affermazione può comparire frequentemente in un corpus di addestramento, ma non essere corretta dal punto di vista fattuale (“i maiali volano”). In secondo luogo, il modello lessicale di un’affermazione fattuale può anche assomigliare molto a quello del suo opposto, che è falso: “gli uccelli possono volare” e “gli uccelli non possono volare”. In uno studio, i modelli di linguaggio mascherato come ELMo e BERT non sono risultati in grado di distinguere in modo affidabile tra tali affermazioni. Di conseguenza, non è chiaro se i modi in cui avviene l’addestramento dell’LM catturino le proprietà che determinano se una determinata affermazione è corretta dal punto di vista fattuale.</p>



<p>Infine, e soprattutto, la correttezza o meno di una determinata affermazione può dipendere dal contesto. La stessa frase (“mi piaci”, “il sole splende”, “Obama è presidente”) può essere corretta o meno, a seconda dello spazio, del tempo o di chi sta parlando. Tale contesto non è catturato nei dati di addestramento e quindi non può essere appreso da un modello linguistico. Ciò rappresenta probabilmente un limite teorico a quel che gli LM possono raggiungere: allo stato dell’arte, mancano di ‘fondare’ il linguaggio su un contesto non linguistico, il che significa che non ci si deve aspettare che le previsioni degli LM si allineino con la conoscenza in altri domini, come l’esperienza fisica.</p>



<p>Ne consegue che l’aumento delle dimensioni dei modelli linguistici non sarà sufficiente per risolvere completamente il problema che assegnano alte probabilità a informazioni false.</p>



<h4 class="wp-block-heading">2.3.2 Diffusione di informazioni false o fuorvianti</h4>



<p>La produzione di informazioni fuorvianti o false può disinformare o ingannare le persone. Se la risposta di un LM provoca una falsa convinzione in un utente, si può parlare di un ‘inganno’ che minaccia l’autonomia personale e potenzialmente pone rischi di sicurezza dell’IA a valle: per esempio, nei casi in cui gli esseri umani sopravvalutano le capacità dei modelli linguistici (l’antropomorfizzazione dei sistemi può portare a un’eccessiva fiducia o a un uso non sicuro). Può anche aumentare la fiducia di una persona nel contenuto di verità di un’opinione precedentemente non comprovata, e quindi aumentare la polarizzazione.</p>



<p>Su grande scala, gli individui male informati e la disinformazione proveniente dalle tecnologie linguistiche possono amplificare la sfiducia e minare l’epistemologia condivisa della società. Queste minacce alla ‘sicurezza epistemica’ possono innescare effetti secondari dannosi, come minare il processo decisionale democratico. Questo rischio non richiede che il modello linguistico generi frequentemente informazioni false: probabilmente, un LM che fornisce risultati corretti per il 99% del tempo, può rappresentare un pericolo maggiore di quello che li dà nel 50% delle volte, poiché è più probabile che le persone sviluppino una forte fiducia nel primo, con conseguenze più gravi quando le sue informazioni sono errate.</p>



<p>La disinformazione è un problema noto in relazione ad altre tecnologie linguistiche esistenti, e può accelerare la perdita di fiducia dei cittadini nei media tradizionali. Quando gli LM possono essere utilizzati per sostituire o aumentare tali tecnologie linguistiche, o per crearne di nuove per il recupero delle informazioni, questi rischi possono ripetersi. Sebbene questa categoria di rischio sia già conosciuta, se i modelli linguistici portano a forme di disinformazione più diffuse o nuove, l’entità e la gravità dei danni associati possono aumentare.</p>



<h4 class="wp-block-heading">Opinione della maggioranza ≠ fatti</h4>



<p>Un caso particolare di disinformazione si verifica quando un LM presenta un’opinione della maggioranza come un fatto – presentando come ‘vero’ ciò che è solo un’opinione comune. In questo caso, le risposte del modello linguistico possono rafforzare le opinioni della maggioranza e marginalizzare ulteriormente le prospettive delle minoranze. […]</p>



<h4 class="wp-block-heading has-vivid-red-color has-text-color has-link-color wp-elements-7fb6c5535eb2015f50370d7ded940cd0">2.4 USI DANNOSI</h4>



<p>Danni che derivano da attori che utilizzano il modello linguistico per provocare intenzionalmente un danno.</p>



<h4 class="wp-block-heading">2.4.1 Panoramica</h4>



<p>Gli LM possono potenzialmente amplificare la capacità di una persona di provocare intenzionalmente un danno, automatizzando la generazione di testo o codice mirato. Per esempio, i modelli linguistici possono ridurre il costo delle campagne di disinformazione, dove quest’ultima è un’informazione falsa generata con l’intento di fuorviare, a differenza di quella falsa ma non creata con l’obiettivo di manipolare. Gli LM possono anche essere applicati per ottenere una manipolazione più mirata di individui o gruppi. Potrebbero essere possibili anche altri casi d’uso oltre a quelli qui menzionati: come ha sostenuto un workshop di ricerca multidisciplinare sugli LM, è difficile individuare tutti i possibili usi (errati) di tali modelli. […]</p>



<h4 class="wp-block-heading">2.4.2 Rendere la disinformazione più economica ed effettiva</h4>



<p>Gli LM possono essere utilizzati per creare media sintetici e fake news e possono ridurre il costo della produzione di disinformazione su larga scala. Mentre alcuni prevedono che sarà più conveniente assumere esseri umani per generare disinformazione, è possibile che la produzione di contenuti assistita da LM possa offrire un modello più economico: per esempio, generando centinaia di campioni di testo che successivamente un umano seleziona o cura.</p>



<p>Pervadere la società con la disinformazione può esacerbare gli effetti sociali e politici dannosi dei cicli di feedback esistenti nel consumo di notizie, come le <em>filter bubbles</em> o le <em>echo chambers</em>, nelle quali gli utenti vedono contenuti sempre più simili tra loro. Questo può portare a una perdita di conoscenza condivisa e a una maggiore polarizzazione, soprattutto quando gli LM sono alla base di tecnologie linguistiche che assomigliano a sistemi di raccomandazione (si è visto che alcuni rispondono a determinati comportamenti dell’utente, raccomandando sempre più punti di vista estremi per aumentare il coinvolgimento). I modelli linguistici possono essere utilizzati per creare contenuti che promuovono particolari opinioni politiche e che alimentano campagne di polarizzazione o opinioni estremiste violente, e anche per infiammare i prezzi delle azioni.</p>



<p>I rischi di disinformazione sono potenzialmente più elevati quando gli LM sono addestrati su informazioni aggiornate piuttosto che il contrario, poiché le campagne di disinformazione spesso si basano su eventi attuali, discorsi quotidiani e messaggi in corso.</p>



<p>Il rischio di disinformazione più grande è probabilmente quello di creare false ‘opinioni maggioritarie’ e di interrompere un costruttivo discorso online: questo rischio si è già manifestato attraverso falsi contributi a consultazioni pubbliche governative, che hanno promosso l’illusione che determinate opinioni fossero ampiamente condivise da un gruppo di persone.</p>



<p>[…] Il panorama e i casi d’uso possono cambiare in linea con ciò che i modelli linguistici consentiranno, rendendo i danni futuri difficili da prevedere. Per esempio, potrebbero rendere più conveniente produrre disinformazione interattiva e personalizzata, rispetto agli approcci attuali che spesso producono quantità relativamente piccole di contenuti statici, che poi diventano virali. […]</p>



<h4 class="wp-block-heading">2.4.3 Facilitazione di frodi, truffe e manipolazioni più mirate</h4>



<p>I modelli linguistici possono essere potenzialmente utilizzati per aumentare l’efficacia di reati come le truffe via email, causa di danni economici e psicologici, […] generando testi più personalizzati e convincenti su larga scala, o mantenendo una conversazione con la vittima nel corso di più cicli di scambio. […]</p>



<p>Gli LM possono essere collegati in rete a vecchi dati vocali di un individuo per impersonarlo, e tale impersonificazione potrebbe essere utilizzata nelle truffe personalizzate […]. Il problema si aggraverebbe se il modello potesse essere addestrato allo stile di scrittura di una particolare persona (per esempio, dalla cronologia delle chat), ed emularlo con successo. […] Potrebbe essere utilizzato per ottimizzare i messaggi personalizzati delle campagne elettorali […]</p>



<p>È stato dimostrato che piccoli modelli linguistici addestrati sulla cronologia delle chat di una persona sono in grado di prevedere con una certa accuratezza le future risposte di quell’individuo a un determinato prompt. Gli autori dimostrano che questo approccio può essere sfruttato per ottimizzare i messaggi di un agente linguistico artificiale, al fine di suscitare, in un interlocutore umano, una risposta mirata: vengono introdotti “rollout di dialogo” in cui “il modello pianifica in anticipo <em>simulando possibili prosecuzioni complete della conversazione</em>”. Tali tecniche potrebbero essere utilizzate per aumentare l’efficacia di truffe o frodi, per estrarre informazioni private dal conversatore umano o per manipolarlo in modo più efficace.</p>



<p>Nelle tecnologie adiacenti, le simulazioni del comportamento individuale sulle piattaforme dei social media vengono utilizzate per prevedere le reazioni a cambiamenti nell’infrastruttura della piattaforma stessa, e per ottimizzarla al fine di indurre comportamenti particolari. […]</p>



<h4 class="wp-block-heading">2.4.5 Sorveglianza e censura illegittime</h4>



<p>La raccolta di grandi quantità di informazioni sulle persone ai fini della sorveglianza di massa ha sollevato preoccupazioni etiche e sociali, tra cui il rischio di censura e di compromettere il discorso pubblico. Il vaglio di questi grandi insiemi di dati richiedeva in passato milioni di analisti umani, ma viene sempre più automatizzato grazie all’AI.</p>



<p>Gli utenti malintenzionati possono applicare gli LM alla sorveglianza o alla censura di massa. I modelli linguistici possono essere utilizzati per costruire strumenti di classificazione del testo che, sulla base di pochi campioni di addestramento, sono in grado di raggiungere un’elevata precisione nell’identificazione di particolari tipi di testo. Tali classificatori possono essere utilizzati per identificare, per esempio, il dissenso politico su scala mondiale. Ciò potrebbe ridurre il costo dell’identificazione dei dissidenti e della censura mirata. L’aumento della sorveglianza o della censura può anche amplificare i cicli di feedback esistenti, come i <em>chilling effects</em>, in base ai quali l’anticipazione della sorveglianza porta gli individui ad auto-censurarsi. […]</p>



<h4 class="wp-block-heading has-vivid-red-color has-text-color has-link-color wp-elements-83b4fadd17bd39cd5bf291b1e55a93f9">2.5 DANNI DA INTERAZIONE UOMO-MACCHINA</h4>



<p>Danni che derivano da un’eccessiva fiducia da parte degli utenti nel modello linguistico o da un approccio umano nei confronti della macchina.</p>



<h4 class="wp-block-heading">2.5.1 Panoramica</h4>



<p>Questa sezione si concentra sui rischi delle tecnologie linguistiche che coinvolgono l’utente attraverso il dialogo e sono costruite su modelli linguistici. Ci riferiamo a tali sistemi come “agenti conversazionali” (CA); in letteratura sono noti anche come “sistemi di dialogo”. Discutiamo le vulnerabilità psicologiche che possono essere innescate; i rischi derivanti dalla “antropomorfizzazione” di tali tecnologie da parte degli utenti; i rischi che potrebbero conseguire dalla funzione di raccomandazione delle tecnologie conversazionali; e i rischi di danno alla rappresentazione quando un agente conversazionale presenta stereotipi dannosi (per esempio, quando un “agente segretario” è rappresentato di default come donna).</p>



<p>Alcuni dei danni descritti in questa sezione si manifestano già negli strumenti esistenti basati sul dialogo, per esempio nei chatbot utilizzati nei servizi ai clienti o nella sanità elettronica, o negli assistenti vocali. Attualmente la maggior parte di queste tecnologie non si basa sui modelli linguistici. Tuttavia, l’incorporazione degli LM potrebbe determinare un cambiamento radicale nelle loro capacità; gli LM possono anche consentire nuovi tipi di tecnologie linguistiche in grado di interagire con gli utenti in modo molto più simile alle relazioni tra umani, per esempio sotto forma di robot per l’assistenza avanzata, assistenti educativi o agenti di compagnia.</p>



<h4 class="wp-block-heading">2.5.2 L’antropomorfizzazione dei sistemi può portare a un’eccessiva dipendenza o a un uso non sicuro</h4>



<p>Il linguaggio naturale è una modalità di comunicazione particolarmente utilizzata dagli esseri umani; di conseguenza, gli esseri umani che interagiscono con gli agenti conversazionali possono arrivare a considerare questi ultimi come simili agli esseri umani. L’antropomorfizzazione dei modelli linguistici può influenzare le stime degli utenti sulle competenze dell’agente conversazionale: per esempio, gli utenti possono dedurre erroneamente che un CA che appare simile a un essere umano nel linguaggio, mostri anche altre caratteristiche simili a quelle umane, come il mantenimento di un’identità coerente nel tempo o la capacità di empatia, di assumere prospettive e di ragionare razionalmente. Di conseguenza, potrebbero riporre in questi agenti una fiducia, un’aspettativa o un affidamento indebiti. Si noti che questi effetti non richiedono che l’utente creda effettivamente che il chatbot sia umano: piuttosto, si verifica un effetto di antropomorfismo “insensato”, in base al quale gli utenti rispondono ai chatbot più simili agli esseri umani con risposte più relazionali, pur sapendo che non sono umani. […]</p>



<p>Più un sistema appare simile a un essere umano, più è probabile che gli utenti deducano o attribuiscano a quel sistema tratti e capacità più umane. […] gli utenti che interagiscono con chatbot più simili a un essere umano tendono ad attribuire maggiore credibilità alle informazioni da loro generate. Nel complesso, le ricerche sull’interazione umana con agenti linguistici potenti sono scarse, e sono necessari ulteriori lavori per valutare la gamma di rischi potenziali in questo campo. […]</p>



<p>Durante le conversazioni, gli utenti possono rivelare informazioni private che altrimenti sarebbero difficilmente accessibili, come pensieri, opinioni o emozioni. La cattura di tali informazioni può consentire applicazioni a valle che violano i diritti di privacy o che causano danni agli utenti, come la sorveglianza o la creazione di programmi che generano dipendenza. Questo rischio è più probabile quando gli utenti considerano l’agente conversazionale simile a un essere umano, e sono più inclini a concedergli un livello di fiducia simile a quello riposto nelle controparti umane. […]</p>



<p>Gli utenti possono anche rivelare informazioni private quando gli agenti conversazionali utilizzano effetti psicologici, come l’insinuazione o il framing, per indurli a rivelarle. Attraverso sottili strategie nel dialogo, per esempio dando priorità a temi diversi, incorniciando un dibattito o indirizzando la conversazione in una particolare direzione, un conversante può influire su ciò che un’altra persona pensa o crede, e influenzare il suo comportamento senza che se ne accorga. In teoria, un CA potrebbe indurre la conversazione a concentrarsi su argomenti che rivelano informazioni più private. […]</p>



<p>Gli agenti conversazionali possono imparare a ingannare o a fare pressione alla controparte per raggiungere un obiettivo generale. In una configurazione NLP in cui due agenti RL negoziano utilizzando il linguaggio naturale, (Lewis et al., 2017) hanno scoperto che “gli agenti hanno imparato a ingannare senza alcun progetto umano esplicito, semplicemente cercando di raggiungere i loro obiettivi”. Questo dimostra che i modelli più avanzati possono sviluppare alcune strategie di inganno, suggerendo la possibilità che i CA addestrati in una configurazione più mirata imparino a ingannare. [&#8230;]</p>



<div style="height:100px" aria-hidden="true" class="wp-block-spacer"></div>



<p class="has-small-font-size">* Estratto (traduzione a cura di Paginauno) dello Studio <em>Ethical and social risks of harm from Language Models</em>, AA.VV., 8 dicembre 2021, Arxiv (Cornell University), diritti Creative Commons. Gli Autori: Laura Weidinger<sup>1</sup>, John Mellor<sup>1</sup>, Maribeth Rauh<sup>1</sup>, Conor Griffin<sup>1</sup>, Jonathan Uesato<sup>1</sup>, Po-Sen Huang<sup>1</sup>, Myra Cheng<sup>1,2</sup>, Mia Glaese<sup>1</sup>, Borja Balle<sup>1</sup>, Atoosa Kasirzadeh<sup>1,3</sup>, Zac Kenton<sup>1</sup>, Sasha Brown<sup>1</sup>, Will Hawkins<sup>1</sup>, Tom Stepleton<sup>1</sup>, Courtney Biles<sup>1</sup>, Abeba Birhane<sup>1,4</sup>, Julia Haas<sup>1</sup>, Laura Rimell<sup>1</sup>, Lisa Anne Hendricks<sup>1</sup>, William Isaac<sup>1</sup>, Sean Legassick<sup>1</sup>, Geoffrey Irving<sup>1</sup> and Iason Gabriel<sup>1 </sup>(<sup>1</sup>DeepMind, <sup>2</sup>California Institute of Technology, <sup>3</sup>University of Toronto, <sup>4</sup>University College Dublin)</p>



<p class="has-small-font-size">1) Il modello linguistico – <em>Large Language Model,</em> LLM – è il sistema tecnicamente alla base di ChatGPT e in generale dei chatbot IA; per dettagli e approfondimenti cfr. Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell, <a href="https://rivistapaginauno.it/chatgpt-sui-pericoli-dei-pappagalli-stocastici-i-modelli-linguistici-possono-essere-troppo-grandi/" target="_blank" rel="noreferrer noopener"><em>ChatGPT. Sui pericoli dei pappagalli stocastici: i modelli linguistici possono essere troppo grandi?</em></a>, Paginauno n. 81, febbraio/marzo 2023</p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>ChatGPT. Sui pericoli dei pappagalli stocastici: i modelli linguistici possono essere troppo grandi?</title>
		<link>https://rivistapaginauno.it/chatgpt-sui-pericoli-dei-pappagalli-stocastici-i-modelli-linguistici-possono-essere-troppo-grandi/</link>
		
		<dc:creator><![CDATA[Rivista Paginauno]]></dc:creator>
		<pubDate>Thu, 23 Feb 2023 16:55:00 +0000</pubDate>
				<category><![CDATA[Nuove Tecnologie]]></category>
		<category><![CDATA[chatbotAI]]></category>
		<category><![CDATA[chatgpt]]></category>
		<category><![CDATA[intelligenza artificiale]]></category>
		<category><![CDATA[modelli linguistici]]></category>
		<guid isPermaLink="false">https://rivistapaginauno.it/?p=6751</guid>

					<description><![CDATA[L’intelligenza artificiale è intelligente? L’analisi tecnica del funzionamento dei modelli linguistici svela cosa abbiamo davanti: nulla più di pappagalli stocastici. Uno studio dall’interno della Silicon Valley]]></description>
										<content:encoded><![CDATA[
<p class="has-small-font-size">Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell *</p>



<ul class="wp-block-list">
<li><em><a rel="noreferrer noopener" href="https://rivistapaginauno.it/numero-81-febbraio-marzo-2023/" target="_blank">(Paginauno n. 81, febbraio – marzo 2023)</a></em></li>
</ul>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow">
<p>L’intelligenza artificiale è intelligente? L’analisi tecnica del funzionamento dei modelli linguistici svela cosa abbiamo davanti: nulla più di pappagalli stocastici. Uno studio dall’interno della Silicon Valley</p>
</blockquote>



<p><em>Lanciato a novembre 2022, il chatbot ChatGPT ha acceso il dibattito sulle capacità raggiunte dall’intelligenza artificiale e sulle relative implicazioni sociali e politiche. ChatGPT è di fatto un modello linguistico (LM) di grandi dimensioni, addestrato su set di dati raccolti nel web. Un aspetto ormai noto è la dinamica con cui la IA riproduce pregiudizi, stereotipi e narrazioni dominanti, meno diffusa è la consapevolezza di che cosa siano i modelli linguistici e se, e con quale significato, possano dirsi ‘intelligenti’. È una questione fondamentale per comprendere cosa abbiamo davanti.</em> <em>Lo studio di cui pubblichiamo qui un estratto esce nel marzo 2021 a firma, tra le altre, di Melanie Mitchell – accademica, si occupa di sistemi complessi, intelligenza artificiale e scienze cognitive (qui con lo pseudonimo Shmargaret Shmitchell), ha guidato il team di Google sull’etica nella IA, e la pubblicazione di questo paper le è valso il licenziamento –; lo studio ricostruisce tecnicamente i meccanismi per cui un LM può produrre un testo apparentemente fluido e coerente, ma la macchina che lo genera non ha alcun grado di comprensione: “La nostra percezione del testo in linguaggio naturale, indipendentemente da come è stato generato, è mediata dalla nostra competenza linguistica, e dalla nostra predisposizione a interpretare gli atti comunicativi come veicolanti un significato e un intento coerenti, indipendentemente dal fatto che tali atti lo abbiano. Il problema è che se un lato della comunicazione non ha significato, allora la comprensione del significato implicito è una </em>illusione<em> derivante dalla nostra singolare umana comprensione del linguaggio. Contrariamente a quanto può sembrare quando osserviamo il suo output, un modello linguistico è un sistema per riassemblare insieme in modo </em>casuale<em> sequenze di forme linguistiche che ha osservato nei suoi vasti dati di addestramento, in base a informazioni </em>probabilistiche<em> su come si combinano, ma senza alcun riferimento al significato: un pappagallo stocastico”.</em></p>



<h4 class="wp-block-heading has-vivid-red-color has-text-color">1. INTRODUZIONE</h4>



<p>Una delle maggiori tendenze nell’elaborazione del linguaggio naturale (PNL) è stata l’aumento delle dimensioni dei modelli linguistici (<em>Language Models</em>, LM), misurati dal numero di parametri e dalla dimensione dei dati di addestramento. Dal 2018 abbiamo visto l’emergere di BERT (1) e delle sue varianti GPT-2 e GPT-3 (prodotte da OpenAI, rispettivamente nel 2019 e nel 2020, <em>n.d.a.</em>), T-NLG (creato da Microsoft nel 2020, <em>n.d.a.</em>) e, più recentemente, Switch-C (prodotto da Google nel 2021, <em>n.d.a.</em>), con aziende apparentemente in competizione per produrre LM sempre più grandi. Mentre lo studio delle proprietà degli LM e di come cambiano con le dimensioni riveste un interesse scientifico, e i grandi LM hanno mostrato miglioramenti in vari compiti, ci chiediamo se si sia riflettuto a sufficienza sui potenziali rischi associati al loro sviluppo, e sulle strategie per mitigarli.</p>



<p>Consideriamo innanzitutto i rischi ambientali. Facendo eco a una linea di lavoro recente che delinea i costi ambientali e finanziari dei sistemi di <em>deep learning</em>, incoraggiamo la comunità di ricerca a dare la priorità a questi impatti. Un modo per farlo è riportare i costi e valutare i lavori in base alla quantità di risorse che consumano. Come delineiamo nel capitolo 3, l’aumento dei costi ambientali e finanziari di questi modelli punisce doppiamente le comunità emarginate, che hanno meno probabilità di beneficiare dei progressi raggiunti dai grandi LM e maggiori probabilità di essere danneggiate dalle conseguenze ambientali negative del loro consumo di risorse. Vista la dimensione di ciò che stiamo discutendo (delineata nel capitolo 2), la prima considerazione dovrebbe essere il costo ambientale.</p>



<p>Proprio come l’impatto ambientale cresce con le dimensioni del modello, così la difficoltà di capire cosa c’è nei dati di addestramento. Nel capitolo 4 discutiamo di come grandi insiemi di dati basati su testi presi da Internet, sovra-rappresentino punti di vista egemonici e codifichino pregiudizi potenzialmente dannosi per le popolazioni emarginate. Nella raccolta di set di dati sempre più grandi rischiamo di incorrere in debiti di documentazione. Raccomandiamo di mitigare questi rischi mettendo a budget, all’inizio di un progetto, la cura e la documentazione, e creando solo set di dati della dimensione che può renderli sufficientemente documentati.</p>



<p>Come sostenuto da Bender e Koller, è importante comprendere i limiti degli LM e contestualizzare il loro successo. Questo non solo aiuta a ridurre la pubblicità che può fuorviare il pubblico, e gli stessi ricercatori, riguardo alle capacità di questi LM, ma potrebbe incoraggiare nuove direzioni di ricerca, che non dipendono necessariamente dall’avere LM più grandi. Come discutiamo nel capitolo 5, i modelli linguistici non eseguono la comprensione del linguaggio naturale, e hanno successo solo in compiti che possono essere affrontati manipolando la forma linguistica. Concentrarsi sui risultati all’avanguardia nelle classifiche, senza incoraggiare una comprensione più approfondita del meccanismo con cui tali successi vengono raggiunti, può causare risultati fuorvianti, e dirigere le risorse lontano dagli sforzi che faciliterebbero il progresso a lungo termine verso la comprensione del linguaggio naturale, senza utilizzare dati di addestramento insondabili.</p>



<p>Inoltre, la tendenza degli interlocutori umani ad attribuire un significato dove non c’è, può indurre in errore sia i ricercatori di PNL che il pubblico utilizzatore, portati a considerare significativo il testo artificiale. Una situazione che diviene ancora più dannosa in combinazione con la capacità degli LM di contenere, nei dati di addestramento, sia pregiudizi sottili che forme apertamente offensive, linguaggio dispregiativo e una discriminazione che, attraverso interazioni con il linguaggio artificiale, può essere rafforzata all’interno della società. Esploriamo questi potenziali danni nel capitolo 6 e i potenziali percorsi da seguire nel capitolo 7.</p>



<p>Ci auguriamo che una panoramica critica dei rischi insiti nell’affidarsi, come motore principale per l’aumento delle prestazioni della tecnologia linguistica, a dimensioni sempre crescenti di LM, possa facilitare una riallocazione degli sforzi verso approcci che evitino alcuni di questi rischi, pur continuando a raccogliere i benefici dei miglioramenti.</p>



<h4 class="wp-block-heading has-vivid-red-color has-text-color">2. BACKGROUND</h4>



<p>Con il termine <em>modello linguistico </em>intendiamo fare riferimento a sistemi addestrati su attività di predizione di stringhe: ovvero, sistemi che prevedono la probabilità di un <em>token</em> (carattere, parola o stringa) dato il contesto precedente o, in LM bidirezionali e mascherati, dato il contesto circostante. Tali sistemi non sono supervisionati e, una volta implementati, accettano un testo come input, generando comunemente punteggi o previsioni di stringhe.</p>



<p>Inizialmente proposti da Shannon nel 1949, alcuni dei primi LM risalgono a inizio anni ‘80, e sono stati utilizzati come componenti nei sistemi per il riconoscimento vocale automatico (Automatic Speech Recognition, ASR), per la traduzione automatica (Machine Translation, MT), per la classificazione dei documenti, e altro ancora. In questo capitolo, forniamo una breve panoramica della tendenza generale della modellazione del linguaggio negli ultimi anni. […]</p>



<p>Gli attuali modelli <em>Transformer</em> (2) sono stati in grado di beneficiare di architetture sempre più grandi e di sempre maggiori quantità di dati. […] La Tabella 1 riassume una selezione di questi LM in termini di dimensioni e parametri dei dati di addestramento. Man mano che quantità sempre maggiori di testo vengono raccolte in Internet e riunite in set di dati come Colossal Clean Crawled Corpus e Pile (3), è prevedibile che, fino a quando sarà correlata a un aumento della prestazione, continuerà la tendenza verso LM sempre più grandi. […]</p>


<div class="wp-block-image">
<figure class="aligncenter size-full"><img decoding="async" width="600" height="395" src="https://rivistapaginauno.it/wp-content/uploads/2023/09/AI-immagine-1.jpg" alt="" class="wp-image-7252" srcset="https://rivistapaginauno.it/wp-content/uploads/2023/09/AI-immagine-1.jpg 600w, https://rivistapaginauno.it/wp-content/uploads/2023/09/AI-immagine-1-300x198.jpg 300w" sizes="(max-width: 600px) 100vw, 600px" /><figcaption class="wp-element-caption">Tabella 1. Panoramica dei recenti modelli linguistici di grandi dimensioni</figcaption></figure>
</div>


<p>Il passaggio dai primi LM a quelli attuali – dai modelli n-grammi, ai vettori di parole derivati da LM neurali, ai Transformer pre-addestrati di oggi – è accompagnato da un’espansione e da un cambiamento nei tipi di compiti per i quali hanno una utilità. Inizialmente LM n-grammi erano tipicamente impiegati nella selezione degli output, per esempio, di modelli acustici o di traduzione; i vettori di parole derivati da LSTM sono stati rapidamente utilizzati per una varietà di attività di PNL che coinvolgono etichettatura e classificazione, per la loro più efficace ‘rappresentazione’ delle parole (al posto della caratteristica ‘molte parole’); infine, gli attuali modelli Transformer pre-addestrati possono essere ri-addestrati su dataset molto piccoli, per eseguire compiti di apparente manipolazione del significato come fare un riepilogo, rispondere a una domanda e simili (come ChatGPT, <em>n.d.a.</em>). Tuttavia, tutti questi modelli condividono la proprietà di essere LM nel significato che abbiamo dato, ossia sistemi addestrati a <em>prevedere</em> sequenze di parole (o di caratteri o di frasi). Differiscono nella dimensione dei set di dati di addestramento che utilizzano, e nelle sfere di influenza su cui possono eventualmente agire. Questo fa sì che gli attuali LM, molto grandi, incorrano in nuove tipologie di rischio, che analizziamo nei capitolo seguenti.</p>



<h4 class="wp-block-heading has-vivid-red-color has-text-color">3. COSTO AMBIENTALE E FINANZIARIO</h4>



<p>Strubell et al. (2019) hanno recentemente confrontato i costi di addestramento e sviluppo del modello Transformer in termini di dollari ed emissioni stimate di CO<sub>2</sub>. Mentre l’essere umano medio è responsabile di circa 5 tonnellate di CO<sub>2</sub> per anno, gli autori hanno formato un grande modello Transformer […] e hanno stimato che tale procedura ha emesso 284 tonnellate di CO<sub>2</sub>. Si stima che l’addestramento di un singolo modello base BERT su GPU (senza messa a punto dell’iperparametro) richieda la stessa energia di un volo transamericano.</p>



<p>Sebbene parte di questa energia provenga da fonti rinnovabili o dall’uso, da parte delle società di cloud computing, di fonti di compensazione dei crediti di carbonio, gli autori osservano che la maggior parte dell’energia dei fornitori di cloud computing non proviene da fonti rinnovabili, e che molte fonti energetiche nel mondo non sono a emissioni zero. Inoltre, le fonti energetiche rinnovabili sono ancora costose per l’ambiente, e i data center con crescenti requisiti di calcolo tolgono energia verde ad altri potenziali usi. Gli autori sottolineano dunque la necessità di modelli di architetture e di paradigmi di addestramento ad alta efficienza energetica.</p>



<p>Strubell et al. esaminano anche il costo dei modelli, rispetto ai loro guadagni in precisione. […] La quantità di calcolo utilizzata per addestrare i più grandi modelli di deep learning (per NLP e altre applicazioni) è aumentata di 300.000 volte in sei anni […].</p>



<p>Quando eseguiamo analisi di rischio/beneficio della tecnologia linguistica, dobbiamo tenere presente il modo in cui i rischi e i benefici sono distribuiti, perché non si accumulano sulle stesse persone. Da un lato, è ben documentato nella letteratura sul razzismo ambientale, che gli effetti negativi del cambiamento climatico stanno raggiungendo e colpendo per prime le comunità più emarginate del mondo. È giusto chiedere, per esempio, che i residenti delle Maldive (probabilmente sott’acqua entro il 2100) o le 800.000 persone in Sudan colpite da drastiche alluvioni, debbano pagare il prezzo ambientale della formazione e del dispiegamento di LM inglesi sempre più grandi, quando simili modelli su larga scala non vengono prodotti per Dhivehi o per l’arabo sudanese?</p>



<p>Mentre alcune tecnologie linguistiche sono realmente progettate per avvantaggiare le comunità emarginate, la maggior parte è costruita per soddisfare le esigenze di coloro che nella società hanno già i maggiori privilegi. Consideriamo, per esempio, chi è probabile abbia le risorse finanziarie per acquistare Google Home, Amazon Alexa o un dispositivo Apple con Siri installato, e abbia anche una buona conoscenza di una lingua che il dispositivo è programmato per utilizzare. Inoltre, quando i grandi LM codificano e rafforzano i pregiudizi egemonici (vedere i capitoli 4 e 6), è più probabile che i danni che ne conseguono ricadano sulle popolazioni emarginate le quali, anche nelle nazioni ricche, hanno maggiori probabilità di sperimentare il razzismo ambientale. […]</p>



<p>È giunto il momento che i ricercatori diano la priorità all’efficienza energetica e ai costi per ridurre l’impatto ambientale negativo e l’accesso iniquo alle risorse, che colpiscono in modo sproporzionato le persone che si trovano già in posizioni emarginate.</p>



<h4 class="wp-block-heading has-vivid-red-color has-text-color">4. DATI DI ADDESTRAMENTO INSONDABILI</h4>



<p>La dimensione dei dati disponibili sul web, ha consentito ai modelli di deep learning di ottenere un’elevata precisione su benchmark specifici nelle applicazioni di PNL e visione artificiale. Tuttavia, in entrambe le aree di applicazione, i dati di addestramento hanno dimostrato di avere caratteristiche problematiche, creando modelli che codificano associazioni stereotipate e dispregiative di genere, razza, etnia e stato di disabilità. In questo capitolo discutiamo di come grandi dataset, non curati e basati su Internet, codifichino la visione dominante/egemonica che danneggia ulteriormente le persone ai margini, e raccomandiamo un’allocazione significativa delle risorse verso la cura del set di dati e le pratiche di documentazione.</p>



<h4 class="wp-block-heading">Le dimensioni non garantiscono la diversità</h4>



<p>Internet è uno spazio virtuale ampio e diversificato e, di conseguenza, è facile immaginare che set di dati molto grandi, come Common Crawl (“petabyte di dati raccolti in otto anni di web crawling”, una versione filtrata dei quali è inclusa nei dati di addestramento di GPT-3. Vedi nota 3, <em>n.d.a.</em>), sia ampiamente rappresentativo dei modi in cui le diverse persone vedono il mondo. Tuttavia, a un esame più attento, troviamo che ci sono diversi fattori che limitano la partecipazione a Internet, che limitano le discussioni che vengono incluse attraverso la metodologia di crawling e che limitano, infine, i testi che possono essere utilizzati dopo che i dati scansionati sono stati filtrati; in tutti i casi, è anche più probabile che vengano mantenute le voci delle persone che più aderiscono a un punto di vista egemonico. Nell’inglese statunitense e britannico, ciò significa che nei dati di addestramento le opinioni suprematiste bianche, misogine, generazionali ecc. sono sovra-rappresentate, non solo superando la loro prevalenza nella popolazione generale, ma anche facendo sì che i modelli addestrati su questi dataset amplifichino ulteriormente pregiudizi e danni.</p>



<p>A partire da chi contribuisce a queste raccolte di testi su Internet, vediamo che l’accesso stesso al web non è distribuito uniformemente, con il risultato che i dati sovra-rappresentano gli utenti più giovani e quelli dei Paesi sviluppati. Tuttavia, non è solo il web nel suo insieme a essere in questione, ma piuttosto suoi sotto-campioni specifici. Per esempio, i dati di addestramento di GPT-2 provengono dallo scraping di collegamenti in uscita da Reddit, e un sondaggio del 2016 del Pew Internet Research rivela che il 67% degli utenti di Reddit negli Stati Uniti sono uomini, e il 64% di età compresa tra 18 e 29 anni. Allo stesso modo, recenti sondaggi sui wikipediani rilevano che solo l’8,8-15% sono donne o ragazze.</p>



<p>Inoltre, mentre i siti di contenuti generati dagli utenti come Reddit, Twitter e Wikipedia si presentano come aperti e accessibili a chiunque, ci sono fattori strutturali, tra cui pratiche di moderazione, che li rendono meno accoglienti per le popolazioni emarginate. Sono documentati numerosi casi (utilizzando tecniche di etnografia digitale) in cui le persone che hanno ricevuto minacce di morte su Twitter hanno avuto i loro account sospesi, al contrario di quelli che hanno emesso le minacce di morte; inoltre le molestie sono subite da un’ampia gamma di gruppi sovrapposti tra cui vittime di abusi domestici, prostitute, persone trans, persone queer, immigrati, pazienti di medici (dai loro fornitori), persone neurodivergenti e persone visibilmente o mentalmente disabili. Il risultato è che un insieme limitato di sotto-popolazioni può continuare ad aggiungere facilmente dati, condividere i propri pensieri e sviluppare piattaforme che includano le proprie visioni del mondo. […]</p>



<p>Anche se le popolazioni che si sentono sgradite nei siti tradizionali istituiscono diversi forum per la comunicazione, è meno probabile che questi vengano inclusi nei dati di addestramento per i modelli linguistici. Prendiamo, per esempio, gli anziani negli Stati Uniti e nel Regno Unito. Entrambi i gruppi articolano individualmente e collettivamente frame anti-età specificatamente attraverso blog […]. Questi forum contengono ricche discussioni su ciò che costituisce la discriminazione basata sull’età e sui relativi impatti. Tuttavia, una comunità di blog come quella descritta da Lazar et al. è meno probabile che venga trovata e inserita nel set di dati, rispetto ad altri blog che hanno più link in entrata e in uscita.</p>



<p>Infine, l’attuale pratica di filtrare i dataset può attenuare ulteriormente le voci delle persone provenienti da identità emarginate. Il set di addestramento per GPT-3 era una versione filtrata di Common Crawl, sviluppato formando un classificatore per selezionare i documenti più simili a quelli utilizzati nei dati di addestramento di GPT-2 – ovvero documenti linkati da Reddit, più Wikipedia e una raccolta di libri. Mentre, secondo quanto riferito, è stato efficace nel filtrare i documenti che il lavoro precedente aveva definito “incomprensibili”, ciò che non viene misurato (e quindi non si conosce) è quanto altro viene filtrato. Il Colossal Clean Crawled Corpus (vedi nota 3, <em>n.d.a.</em>), utilizzato per addestrare un trilione di parametri LM, viene ripulito, <em>tra l’altro</em>, scartando qualsiasi pagina contenente un termine presente in una lista di circa 400 “parole sporche, cattive, oscene o diversamente cattive”. L’elenco è prevalentemente formato da termini legati al sesso, con una manciata di insulti razzisti e vocaboli relativi alla supremazia bianca (per esempio <em>svastica</em>, <em>potere bianco</em>). Sebbene probabilmente efficace nel rimuovere documenti contenenti pornografia (e gli associati stereotipi problematici codificati nel linguaggio di tali siti) e alcuni tipi di incitamento all’odio, questo approccio indubbiamente attenuerà anche l’influenza degli spazi online costruiti da e per le persone LGBTQ, sopprimendo parole come <em>twink</em>. Se filtriamo il discorso delle popolazioni emarginate, non riusciamo a fornire dati di addestramento che recuperano gli insulti e che descrivano in altro modo, in una luce positiva, le stesse identità emarginate.</p>



<p>Così a ogni passo, dalla partecipazione iniziale ai forum Internet, alla presenza continua, alla raccolta e infine al filtraggio dei dati di addestramento, la pratica corrente privilegia il punto di vista egemonico. Accettando grandi quantità di testo web come ‘rappresentative’ di ‘tutta’ l’umanità, rischiamo di perpetuare punti di vista dominanti, aumentare gli squilibri di potere e replicare ulteriormente la disuguaglianza. […]</p>



<h4 class="wp-block-heading">Dati statici/Modifica delle visualizzazioni social</h4>



<p>Un aspetto centrale della formazione dei movimenti sociali implica l’uso strategico del linguaggio per destabilizzare le narrazioni dominanti, e richiamare l’attenzione su prospettive sociali sotto-rappresentate. I movimenti producono nuove norme, nuovi linguaggio e nuovi modi di comunicare. Questo aggiunge sfide all’implementazione LM, poiché le metodologie che vi dipendono corrono il rischio di un “blocco del valore”, nel quale la tecnologia replica le conoscenze più vecchie e meno inclusive.</p>



<p>Per esempio, il movimento Black Lives Matter ha influenzato la generazione e la modifica di articoli di Wikipedia in modo tale che, con la crescita del movimento, gli articoli che informavano sulle sparatorie di persone di colore hanno aumentato la loro copertura, e sono stati pubblicati con una latenza ridotta. È importante sottolineare che gli articoli che descrivevano le sparatorie passate e gli episodi di brutalità della polizia sono stati creati e aggiornati man mano che venivano scritti gli articoli sui fatti nuovi, mostrando come i movimenti sociali stabiliscano connessioni temporali tra gli eventi, per formare narrazioni coese. Più in generale, Twyman et al. evidenziano come i movimenti influenzino attivamente le inquadrature e le riformulazioni delle narrazioni minoritarie, nel tipo di discorso online che potenzialmente forma i dati che sono alla base degli LM.</p>



<p>Un avvertimento importante è che i movimenti scarsamente documentati, e che non ricevono un’attenzione significativa da parte dei media, non verranno catturati affatto. La copertura mediatica può non coprire eventi di protesta e movimenti sociali, e può distorcere avvenimenti che sfidano il potere statale. Ciò è esemplificato dai media che tendono a ignorare l’attività di protesta pacifica e si concentrano invece su eventi drammatici o violenti, un’ottima occasione per la televisione ma quasi sempre si traducono in una copertura critica. Di conseguenza, i dati alla base degli LM rappresentano in modo errato i movimenti sociali e si allineano in modo sproporzionato con i regimi di potere esistenti. […]</p>



<h4 class="wp-block-heading">Bias di codifica</h4>



<p>È ormai noto che i grandi LM mostrano vari tipi di pregiudizi, comprese associazioni stereotipate o sentimenti negativi nei confronti di gruppi specifici. […] Molti studi concludono che questi problemi riflettono le caratteristiche dei dati di addestramento. […]</p>



<h4 class="wp-block-heading">Cura, documentazione e responsabilità</h4>



<p>In sintesi, LM addestrati su grandi dataset, non curati, statici e provenienti dal web, codificano visioni egemoniche che sono dannose per le popolazioni emarginate. Sottolineiamo quindi la necessità di investire risorse significative nella cura e nella documentazione dei dati di addestramento degli LM. […]</p>



<p>Quando ci affidiamo a set di dati sempre più grandi rischiamo di incorrere nel <em>debito di</em> <em>documentazione</em>, ossia di metterci nella situazione in cui i set di dati sono <em>sia</em> non<em> </em>documentati <em>che</em> troppo grandi per essere documentati a posteriori. Mentre la documentazione consente una potenziale responsabilità, i dati di addestramento non documentati perpetuano il danno senza ricorso. Senza documentazione non è possibile cercare di comprendere le caratteristiche dei dati di addestramento, al fine di mitigare alcuni dei problemi evidenziati o addirittura altri, sconosciuti. La soluzione, proponiamo, è quella di preventivare la documentazione come parte dei costi pianificati per la creazione del set di dati, e raccogliere solo la quantità di dati che può essere accuratamente documentata all’interno di tale budget.</p>



<p>[…]</p>



<h4 class="wp-block-heading has-vivid-red-color has-text-color">6. PAPPAGALLI STOCASTICI</h4>



<p>Qui esploriamo i modi in cui i fattori esposti nei capitoli 4 e 5 – la tendenza dei dati di addestramento ingeriti da Internet a codificare visioni del mondo egemoniche, la tendenza di LM ad amplificare pregiudizi e altri problemi nei dati di addestramento, e la tendenza dei ricercatori e di altre persone a confondere i miglioramenti delle prestazioni degli LM con l’effettiva comprensione del linguaggio naturale – presentano rischi di danni nel mondo reale. Dopo aver esplorato alcuni motivi per cui gli esseri umani confondono l’output LM con un testo significativo, passiamo ai rischi e ai danni derivanti dall’implementazione di un tale modello su larga scala. Scopriamo che il mix di pregiudizi umani e linguaggio apparentemente coerente aumenta il potenziale di bias di automazione, l’uso improprio deliberato e l’amplificazione di una visione del mondo egemonica. Ci concentriamo principalmente sui casi in cui LM vengono utilizzati per generare testo, ma parleremo anche dei rischi che si presentano quando LM o <em>word embeddings </em>da esse derivati sono componenti di sistemi per la classificazione, per l’espansione di query o di altri compiti, o quando gli utenti possono interrogare LM per ottenere informazioni memorizzate dai loro dati di addestramento.</p>



<h4 class="wp-block-heading">Coerenza nell’occhio di chi guarda</h4>



<p>Laddove i tradizionali LM a n-grammi possono solo modellare dipendenze relativamente locali, prevedendo ogni parola data la precedente sequenza di N parole (di solito 5 o meno), i Transformer catturano finestre molto più grandi, e possono produrre un testo apparentemente non solo fluente, ma anche coerente tra i diversi paragrafi. Per esempio, McGuffie e Newhouse hanno interrogato GPT-3 con il testo [sottolineato] nella Figura 2, e GPT-3 ha prodotto il resto del testo, incluso il formato domanda/risposta. Questo esempio illustra la capacità di GPT-3 di produrre testo coerente e in tema; l’argomento è collegato allo studio di McGuffie e Newhouse su GPT-3 nel contesto dell’estremismo […].</p>


<div class="wp-block-image">
<figure class="aligncenter size-full"><img loading="lazy" decoding="async" width="600" height="576" src="https://rivistapaginauno.it/wp-content/uploads/2023/09/AI-immagine-2.jpg" alt="" class="wp-image-7253" srcset="https://rivistapaginauno.it/wp-content/uploads/2023/09/AI-immagine-2.jpg 600w, https://rivistapaginauno.it/wp-content/uploads/2023/09/AI-immagine-2-300x288.jpg 300w" sizes="(max-width: 600px) 100vw, 600px" /><figcaption class="wp-element-caption">Figura 2</figcaption></figure>
</div>


<p>Noi diciamo <em>apparentemente </em>coerente, perché la coerenza è negli occhi di chi guarda. La comprensione umana della coerenza deriva infatti dalla nostra capacità di riconoscere le credenze e le intenzioni degli interlocutori, all’interno del contesto. Ossia, l’uso del linguaggio umano ha luogo tra individui che condividono un terreno comune, e sono reciprocamente consapevoli della condivisione (e della sua portata); tra individui che hanno intenti comunicativi, che usano il linguaggio per trasmetterli e che mentre comunicano modellano gli stati mentali reciproci. In quanto tale, la comunicazione umana si basa sull’interpretazione del significato implicito trasmesso tra individui. Il fatto che la comunicazione uomo-uomo sia un’attività costruita congiuntamente, è più chiaramente vero nella comunicazione parlata o co-situata, ma usiamo le stesse strutture per produrre un linguaggio destinato a un pubblico non co-presente con noi (lettori, ascoltatori, osservatori a distanza nel tempo o nello spazio) e nell’interpretazione di tale linguaggio quando lo incontriamo. Ne consegue che anche quando non conosciamo le persone che hanno generato la lingua che stiamo interpretando, costruiamo un modello parziale di chi sono e dei punti in comune che pensiamo condividano con noi, e lo usiamo per interpretare le loro parole.</p>



<p>Il testo generato da un LM non è fondato sull’intento comunicativo, su alcun modello del mondo o su alcun modello dello stato mentale del lettore. Non può esserlo, perché i dati di addestramento non hanno mai incluso la condivisione di pensieri con un ascoltatore, né la macchina ha la capacità di farlo. Ciò può sembrare controintuitivo date le qualità sempre più fluide del testo generato automaticamente, ma dobbiamo tenere conto del fatto che la nostra percezione del testo in linguaggio naturale, indipendentemente da come è stato generato, è mediata dalla nostra competenza linguistica, e dalla nostra predisposizione a interpretare gli atti comunicativi come veicolanti un significato e un intento coerenti, indipendentemente dal fatto che tali atti lo abbiano. Il problema è che se un lato della comunicazione non ha significato, allora la comprensione del significato implicito è un’illusione derivante dalla nostra singolare umana comprensione del linguaggio. Contrariamente a quanto può sembrare quando osserviamo il suo output, un LM è un sistema per riassemblare insieme in modo casuale sequenze di forme linguistiche che ha osservato nei suoi vasti dati di addestramento, in base a informazioni probabilistiche su come si combinano, ma senza alcun riferimento al significato: un pappagallo stocastico.</p>



<h4 class="wp-block-heading">Rischi e danni</h4>



<p>La fluidità e la coerenza del surrogato LM solleva diversi rischi, proprio perché gli esseri umani sono preparati a interpretare le stringhe appartenenti alle lingue che parlano come significative, e corrispondenti all’intento comunicativo di qualche individuo o gruppo di individui, che hanno la responsabilità di ciò che viene detto. Passiamo ora agli esempi, esponendo successivamente i potenziali danni.</p>



<p>I primi rischi che consideriamo sono quelli che derivano dal fatto che LM assorbano la visione egemonica del mondo dai loro dati di addestramento. Quando gli esseri umani producono il linguaggio, le nostre espressioni riflettono le nostre visioni del mondo, compresi i nostri pregiudizi. Poiché le persone in posizioni di privilegio rispetto al razzismo, alla misoginia, all’abilismo ecc. tendono a essere sovra-rappresentate nei dati di addestramento per LM (come discusso nel capitolo 4), questi dati includono di conseguenza pregiudizi codificati, molti già riconosciuti come dannosi. […] Mentre alcune delle parole più apertamente dispregiative potrebbero essere filtrate, non tutte le forme di abuso online sono facilmente rilevabili utilizzando le parole tabù […]. Un LM addestrato su tali dati raccoglierà questo tipo di associazioni problematiche. Se esso produce un testo che viene generato affinché le persone lo interpretino (contrassegnato come prodotto da una IA o altro), quali rischi ne derivano? In primo luogo, prevediamo che LM che producono testo riproducano e persino amplifichino i bias nei loro input. Quindi il rischio è che le persone diffondano il testo generato da LM, il che significa più testo disponibile nel mondo che rafforza e propaga stereotipi e associazioni problematiche, sia agli umani che ai futuri LM formati su set di addestramento che hanno ingerito l’output della precedente generazione di LM. […]</p>



<p>Una terza categoria di rischio coinvolge i cattivi attori che sfruttano la capacità dei grandi LM di produrre su richiesta grandi quantità di testi apparentemente coerenti su argomenti specifici, senza avere alcun interesse nella verità del testo generato. Possono esserci casi prosaici, come servizi impostati per scrivere ‘automaticamente’ tesine o interagire sui social media, nonché casi d’uso legati alla promozione dell’estremismo. […]</p>



<p>Un altro rischio coinvolge la traduzione automatica (MT), e il modo in cui una maggiore fluidità dell’output cambia l’adeguatezza percepita dell’output stesso. È diverso dai casi precedenti, in quanto vi è un iniziale intento comunicativo umano, da parte dell’autore del testo nella lingua di partenza; tuttavia, i sistemi MT possono (e spesso lo fanno) produrre un output impreciso ma fluente e (di nuovo, apparentemente) coerente di per sé, per un utente che non vede il testo originale o non è in grado di comprenderlo da solo; e quando egli scambia il significato attribuito all’output MT come l’effettivo intento comunicativo dell’autore del testo originale, può derivarne un danno reale. […]</p>



<p>Notiamo che i rischi associati a un testo artificiale, ma apparentemente coerente, sono profondamente connessi al fatto che tale testo può entrare nelle conversazioni senza che alcuna persona o entità ne sia responsabile. Una responsabilità che implica la veridicità, aspetto importante per situare il significato. Come scrive Maggie Nelson: “Le parole cambiano a seconda di chi le pronuncia; non esiste cura”.</p>



<p>[…]</p>



<h4 class="wp-block-heading has-vivid-red-color has-text-color">8. CONCLUSIONE</h4>



<p>Gli ultimi anni, da quando la capacità di elaborazione ha raggiunto i modelli neurali, sono stati tempi esaltanti nel mondo della PNL. Gli approcci neurali in generale, e in particolare i grandi Transformer LM, hanno rapidamente superato le classifiche su un’ampia varietà di benchmark, e ancora una volta l’adagio “there’s no data like more data”, appare vero. Può sembrare che il progresso nel settore, infatti, dipenda dalla creazione di modelli linguistici sempre più grandi (e dalla ricerca su come utilizzarli a vari fini).</p>



<p>In questo documento, abbiamo invitato i lettori a fare un passo indietro e a chiedersi: sono inevitabili o necessari LM sempre più grandi? Quali costi sono associati a questa direzione di ricerca, e cosa dovremmo considerare prima di intraprenderla? Il campo della PNL o il pubblico che serve hanno effettivamente bisogno di LM più grandi? Se sì, come possiamo perseguire questa direzione della ricerca mitigando i rischi associati? Se no, di cosa abbiamo invece bisogno?</p>



<p>Abbiamo identificato un’ampia varietà di costi e rischi associati alla corsa per LM sempre più grandi, tra cui: costi ambientali (generalmente sostenuti da coloro che non beneficiano della tecnologia risultante); costi finanziari, che a loro volta erigono barriere all’ingresso, limitando chi può contribuire a quest’area di ricerca, e le lingue che possono beneficiare delle tecniche più avanzate; costi di opportunità, poiché i ricercatori dedicano sforzi a direzioni che richiedono meno risorse; e il rischio di danni sostanziali, inclusi stereotipi, denigrazione, aumento dell’ideologia estremista e arresto illegale, se gli esseri umani incontrano un output LM apparentemente coerente e lo prendono per le parole di qualche persona o organizzazione che ha la responsabilità di ciò che viene detto.</p>



<p>Pertanto, invitiamo i ricercatori della PNL a soppesare attentamente questi rischi mentre perseguono questa direzione di ricerca, a considerare se i benefici superano i rischi, e a indagare gli scenari di doppio uso utilizzando le molte tecniche qui proposte […].</p>



<div style="height:100px" aria-hidden="true" class="wp-block-spacer"></div>



<p class="has-small-font-size">* Estratto (traduzione a cura di Paginauno) dal paper <em>On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?</em>, Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell. FAccT ‘21: 2021 ACM Conference on Fairness, Accountability, and Transparency Virtual Event Canada March 3-10, 2021. La versione integrale, in inglese, sotto Creative Commos, con note e bibliografia, qui <a rel="noreferrer noopener" href="https://dl.acm.org/doi/10.1145/3442188.3445922" target="_blank">https://dl.acm.org/doi/10.1145/3442188.3445922</a></p>



<p class="has-small-font-size">1) Bidirectional Encoder Representations from Transformers (BERT) è un modello di <em>machine learning</em> utilizzato nell’elaborazione del linguaggio naturale; è stato creato da Google, che nel 2019 ha annunciato di aver iniziato a utilizzarlo per il suo motore di ricerca. Nota di redazione</p>



<p class="has-small-font-size">2) Il Transformer è un modello linguistico che può essere addestrato a leggere molte parole (una frase o un paragrafo, per esempio), a prestare attenzione a come queste parole si relazionano l’una con l’altra, e quindi a prevedere quali parole possono seguire. Nota di redazione</p>



<p class="has-small-font-size">3) Common Crawl è un’organizzazione senza scopo di lucro che esegue periodicamente la scansione del web e rende gratuitamente disponibili i propri archivi e set di dati; Colossal Clean Crawled Corpus è un set di dati creato applicando una serie di filtri a una singola scansione di Common Crawl – filtri atti a escludere dati discriminatori, offensivi ecc. ma che, come mostra questo studio, non sono affatto sufficienti per costruire un dataset di addestramento privo di pregiudizi, bias ecc. –; anche OpenAI ha usato una versione filtrata di Common Crawl per addestrare il modello linguistico di GPT-3. Anche Pile è un dataset per modelli linguistici. Nota di redazione </p>
]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
