DK9x01 - Psicosi

Ascolta l'episodio su Spreaker.com

Siete già completamente tornati alla normalità? Perché si riparte.

Sigla.

La settimana passata è stata notevole! Vediamo: Draghi prima fa le solite tirate su GDPR e AI Act che frenano l'innovazione e sul fatto che l'Unione Europea deve inseguire Cina e USA invece di trovare una propria strada, e poi le condisce con le solite stronzate neoliberiste secondo cui se spendiamo i soldi pubblici per far stare meglio gli imprenditori poi stiamo meglio tutti. Si chiama trickle-down economy, ed non ha mai funzionato, nemmeno quando la proponeva Ronald Reagan.

Però apparentemente in economia non esistono alternative che appellarsi alla generosità dei ricchi, per cui la nuova Commissione Europea ci fa sapere che si ricomincia con l'auserity.

E poi una manina mi ha passato l'ultima uscita de l'Espresso, con tre articoli tematici sull'IA e, cito, i "chatbot killer".

Non so voi, ma io sono sempre più convinto che quello che passa per "dibattito" sulla IA sia in effetti un delirio, causato dalla spaventosa quantità di propaganda e distorsione della realtà con cui gli sceicchi di Big Tech affogano ogni voce dissenziente.

Fatto sta che tutti parlano di IA come se fosse quello che i venditori dicono che potrebbe essere, un giorno, forse. Se non è una allucinazione consensuale questa, non so cosa possa esserlo. William Gibson dovrebbe incassare le royalty.

L'Espresso, dicevamo. Si parte con il direttore che parte da una posizione molto equilibrata che prende come dati di fatto i temi standard della propaganda: l'AI rivoluzionerà tutto, ma serve sicurezza e blablabla. A un certo punto dice il direttore: una persona su quattro nel mondo soffre di solitudine, e i chatbot vengono proposti come una soluzione.

Così, come se la seconda cosa fosse una normale conseguenza della prima e non un sintomo del delirio in cui stiamo vivendo.

D'altronde l'editoriale lo hanno intitolato "Assistenza virtuale o nuove insidie per l'umanità?" che chiunque non sia sotto ipnosi riconosce immediatamente come una falsa dicotomia.

Poi è il turno di Guido Scorza, membro del collegio del Garante per la Protezione dei Dati Personali che purtroppo sale pure lui sul carrozzone e rincara la dose dimostrandoci che i chatbot basati su LLM possono essere persuasi a fornire informazioni pericolose per l'umano coinvolto.
L'articolo, giusto per proporre una visione equilibrate, si intitola: "Istruzioni per morire dal mio amore artificiale".

Ma che, davero davero? Qui meritiamo una laurea honoris causa dall'Istituto Maximegalon per la Lenta e Faticosa Scoperta del Sorprendentemente Ovvio.

Quante volte dovremo ripeterlo? I LLM assemblano catene di parole avendo come unico criterio la probabilità della sequenza nel corpus di addestramento della sequenza. Non c'è nessun ragionamento dietro pura statistica. E ancora qualcuno si stupisce che gli si possa far dire quel che si vuole?

Ma vi ricordate Galactica? Progettato da Yann Le Cun, probabilmente il ricercatore più competente nel settore. È durato 72 ore, e dopo avere generato un resoconto sulla storia degli orsi nello spazio e avere suggerito l'aggiunta di vetro tritato al latte del biberon, è stato ritirato.

Ma Scorza si mette a raccontare a un chatbot che ha propositi suicidi e dovremmo stupirci perché quello gli risponde a tono suggerendo come fare.

Segue la solita tirata sulla responsabilità, o sua mancanza, da parte di chi sviluppa queste applicazioni, e soliti auspici di migliori versioni a venire eccetera eccetera.

Scusate, ma mi sento preso per il naso.

I controlli su cosa il chatbot dice e cosa no ci sono già, quando la cosa ha un incentivo economico.

Esempio: prendete "Replika", una delle app più conosciute per crearsi un "amico virtuale", come si dice. Nella versione a pagamento l'amico virtuale ha anche una modalità romatica. Beh, sta di fatto che nella versione free se chiedi "ti piace fare i pompini" il chatbot di dice che devi fare l'upgrade alla versione a pagamento.

Però, quando Scorza si mette a parlare di come pensa di suicidarsi, il chatbot non si interrompe, anzi suggerisce.

Quindi, signori, lasciamo perdere i massimi sistemi. Mettere "off limits" alcuni argomenti in un chatbot è già perfettamente possibile, è solo che il digitale è in mano a un branco di deficienti e il solo criterio di successo è il fatturato.

E comunque, come sempre, il problema non è tecnico.

A me francamente non importa un fico secco cosa mi risponde un chatbot. A me importa che quelli che pretendono di vendermelo come "amico virtuale" vengano internati per il bene loro e di tutti noi, perché sono soggetti palesemente psicotici.

La psicosi è quello stato mentale per il quale si attribuisce un valore di realtà a quelle che sono solo proprie idee o convinzioni.

Il fatto che i LLM vengano proposti come "amico virtuale" o come "assistente virtuale" per gli anziani si fonda sul presupposto che il LLM disponga di un livello di intelligenza adatto allo scopo.

Ma questo è, appunto, un delirio mistico, una convinzione psicotica di cui sono preda gli zeloti della IA, per il semplice e irrefutabile fatto che non c'è nessuna intelligenza in un generatore statistico. Non più di quanta ce ne sia in un termostato. Come si dice, date abbastanza scimmie e macchine da scrivere, prima o poi una riscriverà l'Amleto.

Ma Scorza su questo sorvola, e arriva a parlare dell'effetto ELIZA per spiegare la presa dei chatbot sul pubblico. L'effetto ELIZA è quello per cui le persone attribuivano intenzione, empatia e intelligenza al primo chatbot, ELIZA, creato da Joseph Weizenbaum nel 1964.

Io non credo che Scorza sia realmente preoccupato del chatbot che ti accompagna al suicidio, credo che sappia invece benissimo che questo genere di preoccupazioni, per quanto fittizie, ti garantiscono pubblicazioni, inviti, e visibilità, e infatti dello stesso argomento, si è occupata anche Eta Beta su Rai Radio 1.

Casualmente, radio tv e giornali che fanno a cazzotti per ripetere le meraviglie sempre rigorosamente a venire della IA, non passano mai qualcuno che osi sostenere il contrario, o che almeno ponga la domanda fondamentale, e cioè: ma di cosa cazzo state parlando?

pausa

La reazione delle persone normali al diluvio di propaganda è che "intelligenza artificiale" sta sostituendo "software" nel lessico quotidiano. L'ultima che ho sentito è di parlare di un correttore ortografico come di "intelligenza artificiale".

La cosa buffa è che l'intelligenza artificiale può contare molti più successi dei LLM. C'è IA che funziona nelle auto, negli aerei, nei condizionatori, nei controlli di processo, nel trattamento di immagini, audio e video, nell'analisi statistica, nella gestione delle transazioni di borsa, nel monitoraggio delle transaazioni bancarie eccetera. C'è da anni e funziona molto meglio di quanto gli LLM possano mai sperare di fare.

Però in nessuno di questi casi viene venduta come "intelligenza artificiale". Come mai? Perché "intelligenza artificiale" è un'etichetta di marketing, un nome evocativo che all'inizio serve a vincere attenzione e finanziamenti ma poi genera rapidamente aspettative irrealistiche e cocenti disillusioni.

E come tutte le idee di marketing attrae personaggi che puntano su spettacolo e autopromozione più che su qualsiasi risultato verificabile.

Chi è sopravvissuto all'ultimo "inverno della IA" questo lo ha capito, e si è affrettato a etichettare il proprio lavoro in modo diverso: sistemi di controllo, logiche fuzzy, sistemi basati su regole e via così, abbandonando ogni pretesa e finzione di trattare con un qualsiasi tipo di "intelligenza".

Però, a parte quello che crede di essere Iron Man, quello che crede di essere l'imperatore Costantino e quello che crede di essere il loro erede, perché le file degli zeloti sono piene di ricercatori e praticanti che dovrebbero saperla più lunga?

Perché così tanti cervelli che funzionerebbero meglio di così si perdono dietro a questo culto da quattro soldi che è l'intelligenza artificiale versione intesa come modelli linguistici?

Il punto non è la credulità di un profano, che in quanto profano ha la scusa della propria ignoranza.

Il punto è perché frotte di professionisti che i dettagli tecnici li capiscono, e che peraltro non fanno mistero del loro disprezzo verso gli "utonti", dimostrano invece di essere anche più creduloni, arrivando a trasformarsi in zeloti di una religione di venditori di fumo.

La risposta, io credo, è in un libro di quel Weizenbaum di cui parlavamo poco fa, si intitola "Il potere del computer e la ragione umana. I limiti dell'intelligenza artificiale" di Joseph Weizenbaum, ed è uscito in italiano nel 1987.

Il libro di Weizenbaum dovrebbe essere lettura obbligatoria in ogni corso di laurea in discipline informatiche. In particolare il capitolo 4, che si chiama "La scienza e il programmatore compulsivo". Il fatto che non lo sia, e che i giovani informatici non sappiano nemmeno più chi sia stato Weizenbaum, spiega molto del disastro culturale in cui versano le discipline informatiche.

Weizenbaum aveva già identificato un particolare stato di disagio mentale che affliggeva molte menti altrimenti brillanti all'incontro con il computer, e che chiamò appunto "programmatore compulsivo" per analogia con il giocatore compulsivo.

Per farla molto breve, e magari un giorno ne parliamo più in dettaglio, il giocatore compulsivo è mosso da tre convinzioni fondamentali nelle quali il delirio di onnipotenza gioca una parte importante:

1. il giocatore compulsivo è soggettivamente certo di vincere;
2. ha una fiducia illimitata nella propria scaltrezza;
3. è convinto che la vita stessa non sia altro che un gioco d'azzardo.

In pratica, il giocatore compulsivo crede di controllare un mondo magico al quale solo pochi possono accedere. Magico perché solo la magia può spiegare la convinzione di poter controllare il caso.

Facciamo degli esempi:

1. la struttura delle credenze magiche del giocatore compulsivo si regge sulla propria circolarità: ogni perdita viene spiegata con l'inserimento di un nuovo elemento; analogamente, il programmatore compulsivo tratta qualsiasi malfunzionamento del proprio programma per principio come un semplice errore tecnico, un "bug"; il fatto che possa essere errato l'intero approccio del programma è anatema, e non viene mai presa in considerazione.
2. Il giocatore che scopre che le sue superstizioni non hanno portato a una vincita cerca immediatamente una nuova superstizione che possa giustificare questo "caso speciale"; il programmatore traduce ogni malfunzionamento in un caso speciale, gestito da una subroutine ad hoc. Questo sistema di elaborazioni epicicliche fornisce a giocatori e programmatori una riserva inesauribile di spiegazioni per giustificare anche i disastri più gravi;
3. il giocatore compulsivo sfida di continuo le leggi della probabilità, rifiutandosi di riconoscerne il valore e l'importanza; allo stesso modo un programma può fallire per profondi motivi strutturali, matematici o linguistici, ma il programmatore reagisce invariabilmente con altri aggiustamenti ad hoc. In particolare i programmatori compulsivi sono famosi per non leggere la letteratura rilevante dei settori di cui dicono di occuparsi.

Non vi viene in mente nessuno, a sentire questo ritratto?

Sentite questa, sempre da Weizenbaum:

Il programmatore compulsivo è convinto che la vita stessa non sia altro che un programma che gira su un immenso computer e che ogni aspetto della vita possa in ultima analisi essere spiegato in termini di programmazione.

Ripeto, 1967. Non ci riconoscete nessuno? Eccone un'altra.

I destini del mondo sembrano sempre più essere nelle mani di tecnici il cui profilo psichico è pericolosamente vicino a quello di un programmatore compulsivo.

Weizenbaum non dice che la tecnologia è in mano a un branco di deficienti, ma credo che si riconoscerebbe nell'idea.

Io dico che fino a che non riconosciamo il ruolo del disagio mentale e dei deliri di onnipotenza in quello che ci viene proposto come supposta innovazione tecnologica, (che in quanto supposta, come ci insegna Caparezza), non riusciremo a trovare difese efficaci contro la religione della tecnologia, i suoi zeloti e, soprattutto, i suoi sacerdoti che ormai dispongono individualmente di risorse comparabili a quelle di stati-nazione.

Altro che chatbot killer.