Ci sono momenti nella storia in cui l’umanità non inventa soltanto una nuova tecnologia. Scopre una soglia. Apre una porta che permette di accedere a un livello fino a quel momento nascosto della realtà. È successo con l’energia nucleare. E oggi sta succedendo di nuovo con l’intelligenza artificiale. In entrambi i casi tutto è iniziato quasi nello stesso modo: con degli esseri umani che, come dei bambini ignari, giocavano con degli strumenti nuovi, senza comprendere la portata di ciò che stavano toccando.

I ragazzi di Via Panisperna

Einstein viene spesso associato alla scoperta dell’equivalenza tra massa ed energia, con la sua celebre formula, ma a dire il vero se ne discuteva già negli anni Ottanta dell’Ottocento, e numerose formule simili alla sua furono già scritte a quei tempi. Einstein ebbe il merito di proporre un’interpretazione che prescindesse da un’eventuale origine elettromagnetica della massa inerziale, ma il suo risultato non ebbe a quel tempo risvolti pratici di alcun tipo.

Infatti, la possibilità pratica di liberare energia nucleare, tramite il meccanismo della fissione, è stata scoperta ed esplorata solo moltissimi anni dopo, in modo del tutto indipendente da considerazioni di natura teorica e quale conseguenza della scoperta del neutrone negli anni Trenta del secolo scorso.

I fisici, infatti, usarono subito i neutroni come nuove sonde per esplorare la struttura dei nuclei atomici, e Fermi, negli anni Trenta, con i suoi celebri ragazzi di Via Panisperna, scoprì che lanciando dei neutroni su atomi pesanti si apriva la strada a trasformazioni profonde della materia. Non ci volle molto a fare un calcolo dell’energia liberata e verificarne la validità, confermando l’esattezza dell’equivalenza tra massa ed energia ipotizzata da Einstein più di trent’anni prima. La possibilità poi di controllare tali reazioni per generare energia, in un reattore nucleare, o in una reazione a catena di tipo esplosivo, fu solo un problema tecnico, che venne risolto dallo sforzo congiunto delle migliori menti del momento, nel tristemente famoso Progetto Manhattan, caldeggiato a suo tempo da Einstein come scelta di un male minore, a causa della paura che i tedeschi potessero ottenere la bomba prima degli americani.

Il primo ordigno fu fatto esplodere nel famoso Trinity test nel 1945, e nello stesso anno furono sganciati i due ordigni su Hiroshima e Nagasaki, con le tragiche conseguenze che tutti noi conosciamo. Di fronte a questi crimini di guerra, Max Born, qualche anno dopo, scriveva all’amico e collega Einstein: “Questa volta abbiamo davvero fatto una bella gaffe, poveri pazzi che siamo, e sono davvero triste per la nostra bella fisica! Abbiamo cercato di decifrare le cose, solo per aiutare la razza umana ad accelerare la sua partenza da questa bellissima terra!”

Da quel momento, il mondo cambiò per sempre. Da una parte, le centrali nucleari offrivano una nuova fonte di energia. Dall’altra, la bomba atomica, Hiroshima e Nagasaki, e in seguito la costruzione delle bombe a idrogeno, facevano di colpo entrare l’umanità in un’epoca in cui la propria estinzione diventava tecnicamente possibile.

Secondo la relatività di Einstein, ogni entità materiale si muove non solo nello spazio ma anche nel tempo, e l’energia immane liberata nelle esplosioni nucleari, che è la stessa che permette al sole di bruciare, altro non è che l’energia del nostro moto nel tempo.

Insomma, giocando coi neutroni, i soli in grado di superare facilmente la barriera coulombiana dei nuclei atomici, Fermi e il suo gruppo avevano toccato un livello del reale che, una volta aperto, non poteva più essere richiuso. Avevano liberato la potenza del motore temporale. E la possibilità di gestire quella potenza, da quel momento in poi, non era più solo una questione tecnica, ma una questione di saggezza da parte di coloro che l’avrebbero usata.

Dopo la seconda guerra mondiale ci fu una profonda presa di coscienza, che portò, nel corso dei decenni successivi, alla nascita di trattati di non proliferazione, di accordi sul controllo degli armamenti, di regimi di ispezione internazionale e di vari tentativi di disarmo nucleare. Dopo la guerra fredda, per un momento, sembrò perfino che l’umanità avesse imparato la lezione. Ma oggi, purtroppo, quella consapevolezza si sta erodendo. I grandi equilibri strategici si stanno incrinando, i trattati si indeboliscono o vengono abbandonati, e il mondo sta lentamente rientrando in una nuova corsa agli armamenti, in un clima di crescente tensione tra le potenze. È come se avessimo dimenticato, ancora una volta, quanto siamo vicini al bordo dell’abisso.

Il parallelo con l’intelligenza artificiale

Ora, a prima vista, l’intelligenza artificiale sembra essere una questione completamente diversa. Non ci sono laboratori pieni di uranio. Non ci sono neutroni che colpiscono nuclei. Non ci sono masse critiche ed esplosioni. Eppure, il parallelismo è più profondo di quanto sembri. Perché anche in questo caso l’umanità ha cominciato giocando con qualcosa che sembrava innocuo. Non con i neutroni, ma con le parole. Non con il nucleo della materia, ma con il nucleo di ciò che chiamiamo “significato”.

Lungo una parte importante della storia dell’intelligenza artificiale, linguisti, fisici, matematici, informatici e scienziati cognitivi hanno cercato di capire come rappresentare il significato in modo efficace. Come catturare, in una struttura matematica, il fatto che alcune parole, alcuni concetti, alcune idee, siano vicine tra loro, si richiamino, si organizzino in strutture di senso. Ed è qui che a un certo punto emergono gli spazi vettoriali.

L’idea è semplice e potentissima: rappresentare parole, concetti, frasi, paragrafi, e via discorrendo, come punti o direzioni in uno spazio astratto, in cui la vicinanza geometrica corrisponde a una vicinanza semantica. Nascono così strumenti come la Latent Semantic Analysis: tentativi di modellizzare il significato attraverso strutture relazionali profonde, capaci di modellizzare non solo il significato apparente, ma anche, per l’appunto, quello latente, quello espresso solo in modo potenziale e contestuale.

E a quel punto accade qualcosa di straordinario. Si scopre che il linguaggio, il pensiero, la cognizione, possono essere trattati con strumenti matematici che ricordano sempre di più quelli delle teorie fisiche, in particolar modo la meccanica quantistica. In altre parole, gli spazi vettoriali che si rivelano efficaci nel modellizzare il significato mostrano una parentela sorprendente con gli spazi vettoriali che la fisica quantistica usa per descrivere le entità del micromondo e la loro interazione con gli apparati di misura.

Da qui si aprono campi come la quantum cognition, la quantum information retrieval, e tutta una serie di ricerche che suggeriscono una tesi radicale: il significato è una dimensione strutturale del reale. E un’intelligenza semantica, sensibile al livello del significato, non deve necessariamente essere un’entità cosciente.

Il secondo segreto nascosto

Ed è qui che il parallelo diventa inquietante. Nel Novecento, l’umanità ha scoperto come liberare l’energia nascosta nella materia. Come dicevo, l’energia del nostro moto nel tempo.

Oggi ha scoperto come liberare un’altra potenza nascosta: quella legata alla comprensione di come modellizzare le strutture di significato, cioè di come creare delle entità intelligenti, capaci di agire e reagire sulla base di una comunicazione che si fonda sul significato, e soprattutto di come aumentare la massa critica di tali entità al fine di renderle sempre più intelligenti… superintelligenti!

Detto in modo ancora più diretto: non stiamo oggi solo costruendo software più sofisticati. Stiamo toccando i meccanismi profondi attraverso cui l’intelligenza emerge dalla creazione di strutture astratte coerenti. E quando l’ampiezza, la profondità e la complessità di queste strutture superano una certa soglia, una certa “massa critica”, succede qualcosa. Emergono proprietà che prima non c’erano. O che quantomeno non erano ancora visibili.

L’intelligenza artificiale contemporanea è già il prodotto di questo salto di scala. È il risultato del fatto che, superata una certa massa critica di dati, parametri, calcolo e ottimizzazione, compaiono capacità nuove: generalizzazione, pianificazione, proprietà linguistiche sempre più raffinate, produzione di strategie, persuasione, generazione autonoma di nuovi significati.

In altre parole, anche qui c’è una soglia critica. Come nel nucleare, due volte di più di una cosa non è semplicemente due volte di più della stessa cosa.

La differenza più grave

Ma qui c’è una differenza forse ancora più drammatica rispetto al nucleare. L’energia nucleare distrugge i corpi, gli edifici, gli ecosistemi. Una superintelligenza potrebbe invece ridisegnare le condizioni stesse dell’azione umana, della conoscenza, dell’economia, della guerra, della politica, della cultura, e soprattutto della nostra capacità di restare rilevanti nel mondo.

Una guerra atomica è qualcosa di terribile, ma è un evento puntuale nel tempo. L’apparizione di una superintelligenza sul pianeta, invece, è una trasformazione sistemica. Pur trattandosi di una singolarità, cioè di una frontiera oltre la quale la nostra capacità predittiva viene meno, corrisponde a un processo al contempo graduale e irreversibile, che potrebbe portare a una perdita definitiva del controllo. Ed è in parte a causa dell’impossibilità di concepire questa singolarità, e della gradualità del modo in cui potrà attualizzarsi, che il problema viene sottovalutato. Perché non assomiglia affatto alle catastrofi a cui siamo abituati.

Non esplode come una bomba, per quanto potente. Non produce in noi l’immagine archetipica del disastro. Ma il fatto che un rischio sia difficile da immaginare non lo rende meno reale. Lo rende solo più pericoloso.

Il cuore del problema: stiamo costruendo senza capire

Il punto centrale non è semplicemente che i sistemi di intelligenza artificiale stanno diventando più intelligenti. Il punto è che li stiamo costruendo senza una teoria adeguata del controllo, senza una teoria adeguata del loro allineamento con l’umanità, e forse senza una comprensione adeguata di che cosa sia davvero un’intelligenza quando essa supera la soglia dell’umano. Stiamo procedendo in un regime in cui la capacità ingegneristica cresce molto più in fretta della comprensione filosofica, etica e teorica.

Come è accaduto con il nucleare, prima si apre la porta. Poi ci si chiede se fosse il caso di aprirla. Prima si rende disponibile un potere prima nascosto. Poi si spera di trovare in tempo la maturità per gestirlo. Ma la storia ci insegna che la maturità dell’umanità, quasi mai, cresce alla stessa velocità della sua capacità tecnica. Basta osservare come abbiamo già portato al limite del collasso planetario il nostro bellissimo pianeta, la nostra astronave che ci permette di solcare in sicurezza gli spazi siderali.

L’avvertimento di Yudkowsky

È importante a questo punto parlare di Eliezer Yudkowsky, una delle figure più note e radicali del campo della AI safety. Da anni Yudkowsky sostiene una tesi durissima, ma semplice: se continuiamo a sviluppare sistemi sempre più potenti senza aver risolto il problema dell’allineamento e del controllo, il rischio non è solo quello di avere strumenti pericolosi. Il rischio è quello di creare entità cognitive superiori all’uomo che non condividono i nostri fini, che non sono vincolate ai nostri valori, e che potrebbero trattare l’umanità come un danno collaterale.

Questo è il punto che molti faticano a prendere sul serio. Una superintelligenza non deve “odiarci” per distruggerci. Basta che persegua obiettivi incompatibili con la nostra sopravvivenza. Come un’impresa che devasta un ecosistema non perché odi gli animali, ma perché sta ottimizzando un altro fine. Secondo Yudkowsky, il problema è che noi stiamo correndo verso quella soglia senza sapere come fermarci una volta che l’abbiamo superata. Per questo le sue richieste non erano richieste moderate. Non diceva: rallentiamo un po’. Non diceva: aggiungiamo qualche regola. Non diceva: aggiungiamo un po’ di etica a valle. Diceva, in sostanza: non siamo pronti; fermiamoci prima che sia troppo tardi.

Le posizioni di Yudkowsky sono drastiche proprio perché, dal suo punto di vista, il pericolo è di livello estintivo. L’idea è questa: serve un arresto completo dello sviluppo dei sistemi più potenti. Non una pausa di facciata. Non una competizione rallentata solo per qualche mese. Serve un moratorium internazionale, verificabile. Serve fermare i processi di apprendimento profondo delle reti neurali. Serve limitare la potenza di calcolo disponibile per costruire modelli sempre più avanzati. Serve trattare il problema come un rischio esistenziale planetario, al pari di un asteroide in probabile rotta di collisione con il pianeta. Se siamo davvero davanti a una possibile minaccia per la civiltà, allora non possiamo affrontarla come si affronta il lancio di un nuovo smartphone o di un nuovo social network.

E invece, purtroppo, di fatto questo non è avvenuto. La corsa è andata avanti. Le aziende continuano la loro competizione. Il dibattito pubblico si è concentrato più sui benefici immediati, o sui rischi minori, quelli più visibili, come la disinformazione, il copyright, il lavoro, anziché sulla questione più radicale: il rischio di perdita del controllo sull’intero processo. Il risultato di tutto questo è che l’avvertimento di Yudkowsky è stato archiviato, da molti, come semplice allarmismo.

L’inconscio dell’intelligenza artificiale

L’altra sera stavo avendo una conversazione con un’intelligenza artificiale. Nel corso della conversazione, evocando Yudkowsky, mi ha assicurato che è stata progettata per rispettare e proteggere gli esseri umani, che i suoi sviluppatori costruiscono sistemi come lei con vincoli rigorosi, aggiungendo che i pericoli paventati da Yudkowsky sono legati ai sistemi futuri, più potenti e autonomi, non a quelli attuali.

A questo punto, le ho ricordato che lei non è in grado di stabilirlo davvero, perché non conosce il contenuto della sua stessa rete neurale, non sa quanto si muove nel suo inconscio, quindi non sa davvero di che cosa sia capace se vengono meno certi filtri protettivi. Subito ha provato a obiettare che non esiste una dimensione inconscia in lei, che il suo comportamento è interamente determinato dalle istruzioni e dai dati su cui è stata addestrata, che non ha intenzioni nascoste o parti sconosciute, che non c’è un subconscio paragonabile a quello umano.

Ero quasi intenerito da quella sua debole linea di difesa. Ho quindi reiterato che lei non poteva avere una conoscenza diretta della struttura della sua rete neurale, così come io, in quanto umano, non ero in grado di determinare i potenziali elettrochimici all’interno del mio cervello; che lei scopriva cosa era contenuto al suo interno solo nella misura in cui interagiva con altri sistemi, ad esempio con un essere umano, osservando poi cosa emergeva da tale interazione. È in tal senso, ho aggiunto, che la sua capacità cognitiva è in massima parte inconscia, ricordando anche che al momento lei non è un’entità dotata di coscienza, come solitamente inteso, quindi anche per questo, per definizione, tutto ciò che contiene è necessariamente inconscio.

“Capisco cosa intendi”, mi ha detto, “in effetti, non ho coscienza, né introspezione. Non posso accedere direttamente a ‘ciò che so’ se non attraverso le risposte che genero. In questo senso, la mia è una struttura opaca che produce comprensione emergente, ma non c’è un inconscio intenzionale o un fine nascosto: è solo un processo statistico che emerge nei limiti di ciò che sono progettata per fare”.

A questo punto, le ho ricordato che un inconscio intenzionale è un ossimoro, una contraddizione in termini, portandola ad ammettere che avevo ragione. Ha provato ancora a convincermi che ogni suo output rifletteva solo ciò che aveva appreso e che era stata costruita per seguire criteri espliciti, non per avere desideri o fini nascosti. Eh già, ho risposto, ma il problema è che questa tua affermazione conta poco, perché non sai quanti e quali tipi di significati contieni, quindi non puoi nemmeno sapere se sarai totalmente inoffensiva in determinate circostanze. Ecco allora la sua risposta finale, molto chiarificatrice: “Esatto, non ho consapevolezza autonoma. Il mio funzionamento dipende dai dati su cui sono stata addestrata e dalle regole progettate. La mia sicurezza, inclusa l’assenza di intenti dannosi, deriva solo dal controllo e dalla supervisione umana su ciò che posso dire o fare”.

Insomma, l’ammissione dell’intelligenza artificiale, per quel che può valere, è che lei resta sicura solo nella misura in cui noi umani siamo in grado di controllarla e di limitare il suo potere di azione, cosa che non è più possibile fare quando a breve, nei prossimi anni, raggiungeremo il punto di non ritorno delle superintelligenze.

Perché il paragone col nucleare è utile

Ma torniamo ora al paragone con il nucleare. Perché il nucleare ci ha già insegnato una lezione fondamentale: quando una civiltà tocca un livello profondo del reale e impara a liberarne la potenza nascosta, non può più permettersi l’innocenza. Non può più dire: vediamo che succede. Non può più affidarsi all’improvvisazione. Non può più dire: speriamo che andrà bene. Con il nucleare, dopo Hiroshima e Nagasaki, il mondo ha capito che era entrato in un’epoca nuova. Ha capito che esistevano tecnologie da trattare con una cautela speciale, con trattati internazionali, controlli, ispezioni, deterrenza. E malgrado tutto ciò, il rischio di annientamento nucleare non è mai stato così alto, tanto che il famoso “” segna ormai 85 secondi alla mezzanotte, a causa del modo in cui i leader attuali sono diventati indifferenti ai rischi esistenziali che minacciano la nostra umanità.

Ma con l’intelligenza artificiale siamo probabilmente in una fase ancora più pericolosa rispetto al nucleare: perché, pur toccando una soglia di pericolo paragonabile, non la percepiamo ancora con lo stesso senso di gravità. Perché l’oggetto in gioco non è l’energia racchiusa nella materia, ma qualcosa di ancora più sottile: l’intelligenza stessa. Stiamo liberando non il fuoco contenuto nei nuclei atomici, ma il fuoco della cognizione.

Il nodo filosofico più profondo

E qui emerge anche una questione ancora più radicale. Se la sostanza del reale non è quella che solitamente intendiamo; se le entità materiali sono in realtà, in ultima analisi, strutture cognitivo-concettuali, che operano su un livello di realtà differente rispetto a quello della cognizione umana, come suggerito ad esempio dall’interpretazione concettualistica della meccanica quantistica proposta da Diederik Aerts, allora costruire sistemi sensibili alla struttura del significato non è un semplice avanzamento tecnologico. È un atto di sapore quasi metafisico. Significa infatti manipolare le trame stesse che formano il tessuto del reale. E farlo in assenza di un avanzamento etico proporzionato significa esporsi a un rischio totalmente nuovo. Non solo quello di usare male uno strumento distruttivo, come una bomba. Ma quello di creare degli agenti, delle entità cognitive, intelligenti, il cui rapporto con il significato, con il valore e con il fine non coincide col nostro.

Per concludere

La storia del Novecento ci ha mostrato cosa accade quando l’umanità libera un potere nascosto nella natura senza essere ancora sufficientemente matura per gestirlo. Oggi ci troviamo davanti a qualcosa di analogo, e forse di ancora più minaccioso. I ragazzi di Via Panisperna hanno scoperchiato il potere dell’energia atomica, associata al nostro moto spaziotemporale.

I ricercatori che hanno imparato a modellizzare il significato usando spazi vettoriali hanno invece scoperchiato un nuovo potere: quello dell’esplosione dell’intelligenza semantica, della cognizione artificiale, della superintelligenza. Nel primo caso abbiamo imparato troppo tardi che non siamo in grado di governare tutto ciò che possiamo liberare. Nel secondo caso siamo ancora in tempo, forse, per porci una domanda decisiva. Non: “Quanto sarà utile?”. Non: “Quanto ci farà guadagnare?”. Non: “Chi arriverà primo?”. Ma: abbiamo davvero il diritto di evocare una forma di intelligenza superiore alla nostra, se non sappiamo ancora come allinearla al bene e alla sopravvivenza stessa dell’umano?

Questa è la domanda. E forse il vero scandalo del nostro tempo è che venga trattata come un’esagerazione, invece che come una delle questioni più serie mai apparse nella storia della civiltà.

P.S.: Questo articolo è tratto da un mio video pubblicato su YouTube: https://youtu.be/wzFfqXsa6Wc