DK 11x03 - Rimbecilliti dall'IA

Ascolta l'episodio su Spreaker.com

Oggi un po' d'infilata, sono tornato domenica sera e non vorrei arrivare lungo già la terza settimana.

Venerdì ho avuto l'occasione di spiegare i modelli linguistici alla Camera Penale Veneziana, ed è stato energizzante vedere prima lo stupore e poi quasi il sollievo per una presentazione dell'Intelligenza Artificiale diversa da quelle che si vedono sui media.

E sa il cielo se ce n'è bisogno. Qui ogni mattina apri i giornali e ti becchi in faccia una nuova secchiata di stronzate. Ero ancora sulla via del ritorno, domenica, e bam! leggo questa chicca:

Secondo un servizio della CNN, gli Stati Uniti hanno evitato per un soffio di abbordare una nave cinese sulla base di un rapporto dei servizi segreti statunitensi “del tutto falso”, generato con l’ausilio di strumenti di intelligenza artificiale.

Tale informazione errata, presentata da un analista del Comando delle Operazioni Speciali degli Stati Uniti, suggeriva che la nave cinese stesse trasportando componenti per un programma di armi nucleari attraverso il Medio Oriente, secondo “quattro fonti a conoscenza dell’episodio” citate dalla CNN. L’esercito statunitense si stava preparando a intercettare e abbordare la nave, con il supporto aereo, prima che i funzionari scoprissero che un chatbot utilizzato per generare il rapporto aveva «identificato in modo errato il materiale trasportato dalla nave».

Una fonte ha dichiarato alla CNN che il fiasco causato dall’intelligenza artificiale «ha quasi scatenato una guerra».

Non iniziamo nemmeno a chiedere che minchia di diritto avrebbero comunque avuto gli Stati Uniti se la notizia fosse stata vera, perché ormai credo sia chiaro a tutti che il diritto internazionale dipende da chi c'è in gioco, vale per l'invasore Putin ma non per l'invasore genocida Netanyahu, vale per la Cina ma non vale per gli Stati Uniti.

Quindi non poniamoci nemmeno la questione della legalità, che risparmiamo fegato. Invece ragioniamo sulle cose che sappiamo.

OK, un tizio ha presentato un rapporto scritto con la Intelligenza Artificiale pieno di fregnacce. Fin qui nulla di insolito.

Quello che è insolito è che non lo ha presentato a un distretto scolastico, o a una sottocommissione provinciale per l'urbanistica. Lo ha presentato al fottuto Comando per le Operazioni Speciali degli Stati Uniti d'America, quello che dopo il 2001 coordina le truppe d'élite di tutte le armi, le istruisce con il budget della NSA ed è in pratica l'estensione della CIA.

Il fatto che un analista possa avere presentato un rapporto "completamente falso", che il rapporto abbia risalito la catena di comando, sia passato da rapporto a piano operativo e che il piano operativo sia stato approvato salvo venire bloccato all'ultimo momento non è un "errore dell'Intelligenza Artificiale".

È il fallimento completo della catena di comando del braccio più sofisticato del primo apparato militare del mondo.

È la CIA che si fa trovare con le mani in mano dall'undici settembre, un'altra volta.

In un mondo normale, l'intera catena gerarchica che ha gestito quell'operazione, fino al generale a quattro stelle in cima, verrebbe raccolta separatamente e riciclata in un compostore.

Ma non nel mondo in cui viviamo.

Non so voi, io sono preoccupato. Perché errare è umano, ma questo errore non ha niente di umano. Questo è il tipico errore di un'organizzazione resa completamente idiota dalla narrativa dell'Intelligenza Artificiale. Qui c'è l'analista che non ha controllato, i suoi superiori che non hanno verificato, ogni livello decisionale si è limitato a vedere una conclusione che gli piaceva e l'ha mandata avanti.

Il professor Quattrociocchi della Sapienza la chiama "epistemia", lo scambiare la plausibilità con l'accuratezza. Che è poi la proposizione di vendita dell'Intelligenza Artificiale formato modelli linguistici.

Perché sì, ci sono le scritte in piccolo e le clausole contrattuali che ti dicono che l'Intelligenza Artificiale può commettere errori e che devi controllare. Ma questi sono avvertimenti per le maestranze. Il messaggio che arriva ai manager è "di più, più in fretta, con meno discussioni".

Dice, eh ma come la fai lunga. Certo. Perché io metto assieme i pezzi, e l'immagine che ne risulta è terrificante.

Qualche giorno prima di questa notizia mi ero segnato quest'altra:

Il Dipartimento della Difesa ha chiesto a OpenAI di fornire alle forze armate statunitensi una versione speciale della sua tecnologia di intelligenza artificiale progettata per respingere le richieste del Pentagono il meno frequentemente possibile, secondo i documenti ottenuti da The Intercept.

Il desiderio di uno strumento di IA personalizzato con «tassi di rifiuto minimi» nei confronti dei comandi del Pentagono è emerso dai file consegnati a The Intercept nell’ambito di una causa intentata ai sensi del Freedom of Information Act volta a ottenere informazioni sugli accordi segreti tra le forze armate e le aziende specializzate in IA.

Vi risparmio la sceneggiata di OpenAI che dice che il testo era una bozza che non compare nella versione finale, e il Pentagono che dice

"Potrebbero esserci alcune discrepanze o incongruenze tra le informazioni ottenute tramite il FOIA, ciò che effettivamente esiste e ciò che costituisce di per sé un contratto stipulato"

perché palesemente vogliono prenderci per scemi, visto che la richiesta di The Intercept si riferiva esplicitamente solo a documenti finali, escludendo per principio qualsiasi versione in bozza.

Ora, secondo gli espertoni di Intelligenza Artificiale, i "tassi di rifiuto minimi" si riferirebbero a sistemi quasi del tutto privi dei famosi "guardrail", che dovrebbero impedire gli utilizzi illeciti.

Teoricamente abbiamo visto i guardrail all'opera due settimane fa con il caso openAI/HuggingFace: funzionano così bene che Altman, Amodei e Musk sono d'accordo che occorra rallentare lo sviluppo perché l'Intelligenza Artificiale gli scappa da tutte le parti.

Non è, ovviamente, vero nulla: il caso HuggingFace è un banalissimo caso di esperimento progettato male e controllato peggio. Parlare di Intelligenza Artificiale che vìola il contenimento è come dire che il latte che ho messo sul fuoco ha autonomamente deciso di uscire dal bricco mentre io mi facevo la doccia e impiastrarmi la cucina.

I richiami a "rallentare il passo" sono solo un trucco di chi ha i conti in rosso da sempre per arrivare a quotarsi in Borsa un attimo prima che scoppi la bolla.

I guardrail sono lì da vedere nel codice di Claude: sono patetici inviti a "non allucinare" e "controllare i risultati" che il programma interpreta in modo statistico, come qualsiasi altra cosa; e comunque due ora dopo il rilascio di un nuovo modello i forum sono pieni di istruzioni dettagliate su come superarli.

Quindi, secondo me, gli espertoni di Intelligenza Artificiale ammerigani non ce la raccontano giusta. Anche perché sono, praticamente tutti, ex manager o ex ricercatori di openAI e Anthropic, allevati nella narrazione millenaristica della singolarità, che hanno scoperto che passare le giornate a farsi i film mentali e a seminare terrore per la Grande Intelligenza Artificiale prossima ventura davanti a una stampa sdraiata è molto meglio che lavorare.

Gente che non riuscirebbe a pulire i cancellini in una scuola.

Ma non divaghiamo. Secondo i cervelloni ammerigani, abbiamo detto, "tassi di rifiuto minimi" sarebbe un modello senza guardrail.

A me, francamente, sembra una favoletta per anime semplici, visto che i forum sono pieni di istruzioni su come superare o perfino disattivare i guardrail. Ma gli statunitensi, si sa, sono dei sempliciotti.

Io credo però che "tassi di rifiuto minimi" si riferisca invece a qualcosa di diverso, e più in linea con la narrazione che ha catturato l'immaginario di ogni manager dall'uscita del primo chatGPT. Credo che il rifiuto di cui si parla non sia quello della macchina, ma quello del manager.

Credo che il Pentagono voglia Reason, il programma immaginato da Douglas Adams nel libro "Agenzia Investigativa Olistica Dirk Gently", ve l'ho raccontato nell'episodio 6 della passata stagione, ma vale la pena ripeterci perché, secondo me, ormai la collisione fra realtà e fantasia è perfetta. Sentite come lo descrive:

"...sono già stati scritti diversi programmi che aiutano a prendere decisioni ordinando e analizzando correttamente tutti i fatti rilevanti, in modo che questi portino naturalmente alla decisione giusta. Lo svantaggio di questi programmi è che la decisione a cui portano tutti i fatti correttamente ordinati e analizzati non è necessariamente quella che si desidera."
"...la grande intuizione [...] è stata quella di progettare un programma che consentisse di specificare in anticipo quale decisione si desiderava prendere e solo allora fornirgli tutti i fatti. Il compito del programma, che svolgeva in modo impeccabile, era semplicemente quello di costruire una serie plausibile di passaggi logici per collegare le premesse alla conclusione.
"E devo dire che ha funzionato alla grande. Gordon è riuscito a comprarsi una Porsche quasi immediatamente, nonostante fosse completamente al verde e un pilota senza speranza. Nemmeno il suo direttore di banca è riuscito a trovare difetti nel suo ragionamento. Perfino quando Gordon l'ha distrutta tre settimane dopo."
..."L'intero progetto è stato acquistato, in blocco, dal Pentagono. L'accordo ha posto WayForward su una base finanziaria molto solida. La sua base morale, d'altra parte, non è qualcosa su cui mi appoggerei troppo.

Ecco qui. Secondo me il Pentagono non vuole un modello "senza guardrail": gente capace di far esplodere una scuola elementare in Iran e ammazzare più di cento studentesse nel primo giorno di una guerra illegale non si preoccupa certo delle remore che possono farsi gli smidollati di openAI.

No, secondo me il Pentagono vede i modelli linguistici per quello che sono: generatori di plausibilità. Un modello linguistico può generare argomentazioni così convincenti, e così dettagliate, da sconfiggere qualsiasi revisore, per stanchezza o per esaustione.

E uno strumento del genere dà a chi è pagato per decidere la cosa che desidera di più: decidere senza che ci siano obiezioni. Perché diciamolo, se devi davvero considerare tutti i dati, non è che ti rimanga molto spazio di manovra. Non per niente uno dei mantra della data science è che i dati portano naturalmente alla decisione.

Ma se hai lottato tutta la vita per poter finalmente comandare, la decisione deve essere la tua, quella che ti senti nella tua pancia di guerriero.

E adesso arrivano i modelli linguistici, e con loro la possibilità di zittire finalmente tutti quei pallosissimi analisti, esperti di settore, bastiancontrari che cercano sempre di mettere i bastoni fra le ruote e che mettono in dubbio il nostro istinto geniale. Puoi prendere tutti i loro dati, e tutte le loro conclusioni "naturali", e con un modello che abbia "minimi tassi di rifiuto" ottenere la risposta che vuoi.
Questo sì, è comandare.

Magari mi sbaglio, ma non credo. Con gli anni credo di avere capito una cosa o due della psicologia manageriale, e una cosa che il manager vuole più di ogni altra è avere ragione. Il che è tanto più difficile quanto più il manager è lontano dalle decisioni sul campo, dal lavoro effettivo.

Il manager vive nell'illusione di essere al posto di guida e nel terrore di essere invece sul posto dietro con in mano un volante giocattolo, come dice sempre Ed Zitron. I modelli linguistici sono lo strumento ideale per il manager: offrono la possibilità, o almeno l'illusione, di avere il lavoro senza i lavoratori, e di far valere finalmente il proprio punto di vista.

Non per niente i manager sono molto più presi dalla narrativa dell'Intelligenza Artificiale di quanto lo siano i lavoratori. Un lavoratore vede lo sforzo extra necessario per passare da una bozza del modello linguistico a qualcosa di finito. Il manager no, il manager vede che già la prima versione è plausibile, e procede da lì.

Ve lo ricordate il fast prototyping? Tutte le volte lo sforzo maggiore era spiegare che il modello era un proof of concept usa e getta, e che se l'idea andava bene lo sviluppo doveva partire da zero. Non ci si riusciva quasi mai.

Oggi accade la stessa cosa, ma applicata a tutto, non solo al software.

Se non fosse così, se il management non fosse ipnotizzato dall'idea di più lavoro, più in fretta, senza più obiezioni, non si spiegherebbe l'insistenza con cui i consigli di amministrazione impongono l'uso dei modelli linguistici anche contro il desiderio dei lavoratori, che dite?

pausa

Questo era DataKnightmare. Io sono Walter Vannini, la voce che rende tollerabile il collasso è di Alessia Racci Chini.

Per oggi è tutto, alla prossima.