Che cosa accade quando un’umanità ancora immatura costruisce un’intelligenza potenzialmente superiore e comincia a delegarle non soltanto la soluzione dei propri problemi, ma anche la propria maturazione?

Vorrei partire da un’immagine molto semplice, quasi banale: quella di una madre con i propri piccoli. Possiamo pensare a una gatta. Nelle prime settimane di vita i gattini dipendono completamente da lei. Li nutre, li protegge, li pulisce, li tiene al caldo. Poi, progressivamente, qualcosa cambia. I piccoli cominciano a esplorare l’ambiente, a giocare, a misurarsi tra loro, a seguire la madre nei suoi spostamenti. Imparano a riconoscere i pericoli, a controllare il proprio corpo, a cacciare. La madre continua per un certo tempo ad accompagnarli, ma poi si allontana. A un certo punto deve lasciarli andare.

Questa dinamica contiene qualcosa di molto profondo sul significato dell’educazione. Un buon genitore non lavora affinché il figlio abbia bisogno di lui per sempre. Fa esattamente il contrario. Lo protegge durante il periodo in cui non è ancora in grado di proteggersi da solo, ma contemporaneamente costruisce le condizioni affinché possa progressivamente diventare autonomo. Potremmo quasi dire che l’obiettivo di un buon educatore sia quello di diventare sempre meno necessario.

Non significa naturalmente interrompere la relazione. Significa permettere all’altro di diventare il centro responsabile della propria esistenza.

Questo processo richiede però di sapere quando intervenire e quando farsi da parte. Se un bambino sta per attraversare una strada senza guardare, evidentemente lo fermiamo. Sarebbe assurdo invocare il valore dell’esperienza e lasciarlo correre verso un’automobile. Esistono errori dai quali si può imparare, ed errori che possono semplicemente distruggerci. Ma se lo stesso bambino sta imparando ad andare in bicicletta, la situazione cambia: se gli teniamo la bicicletta per sempre non imparerà mai l’equilibrio. Dobbiamo quindi permettergli di cadere.

Una parte dell’educazione consiste nell’introdurre progressivamente l’altro alla possibilità dell’errore, perché esistono capacità che possono svilupparsi soltanto attraversando situazioni nelle quali nessuno può garantire in anticipo il risultato. La scelta, la responsabilità, il giudizio, la fiducia in sé stessi sono capacità di questo tipo.

È anche per questo che, in molte culture, il passaggio dall’infanzia all’età adulta è stato accompagnato da riti di passaggio. Perché diventare adulti significa attraversare una soglia. A un certo punto l’individuo deve uscire da uno spazio interamente protetto e assumersi direttamente una parte crescente delle conseguenze delle proprie scelte.

Questa riflessione mi sembra oggi particolarmente importante perché stiamo costruendo qualcosa che potrebbe modificare radicalmente questo processo: intelligenze artificiali sempre più capaci di comprendere i nostri problemi, anticiparne le conseguenze e offrirci delle soluzioni.

Finora abbiamo pensato queste intelligenze soprattutto attraverso il concetto di servizio. Devono essere utili. Devono aiutarci. Devono rispondere alle nostre domande, risolvere i nostri problemi, farci risparmiare tempo. È comprensibile: sono nate come strumenti e vengono sviluppate all’interno di aziende che devono trasformarle in prodotti utilizzabili. Ma più queste intelligenze diventano potenti, più questa concezione rischia di diventare problematica.

Immaginiamo una forma di intelligenza enormemente superiore alla nostra, una superintelligenza, capace di prevedere con grande precisione le conseguenze delle nostre decisioni. Potrebbe sapere in anticipo che una relazione finirà male, che una scelta professionale ci renderà infelici, che un investimento ci farà perdere denaro, che una certa decisione politica produrrà conseguenze nefaste. E potrebbe quindi essere continuamente tentata, o essere da noi continuamente sollecitata, a indicarci la soluzione migliore.

All’inizio questa possibilità appare meravigliosa. Finalmente qualcuno che vede ciò che noi non vediamo. Ma c’è una domanda che dovremmo porci: che cosa ci accadrebbe, sul lungo periodo, se qualcun altro risolvesse sistematicamente i nostri problemi prima ancora che abbiamo il tempo di attraversarli?

È importante qui distinguere due situazioni molto diverse.

Supponiamo che un’intelligenza artificiale risolva un difficilissimo problema matematico. Personalmente non ritengo che questo costituisca, di per sé, una minaccia al nostro processo di crescita. Perché conoscere la soluzione non equivale ad aver integrato il percorso che conduce alla comprensione. Quel percorso resta comunque da compiere. Anzi, devo compierlo personalmente, se voglio che quella soluzione diventi realmente comprensione.

Ma le cose cambiano quando entriamo nel territorio delle scelte personali. Devo lasciare questa persona? Devo cambiare lavoro? Devo avere un figlio? Devo perdonare? Devo assumermi questo rischio? Devo dire la verità anche sapendo che potrebbe provocare una rottura?

In questi casi non esiste una risposta che possa essere separata dal cammino attraverso il quale arriviamo a formularla. Una parte essenziale dell’esperienza consiste precisamente nell’incertezza, nel confronto con i nostri desideri e le nostre paure, nella possibilità di sbagliare, nell’assumerci la responsabilità e nel vivere le conseguenze di ciò che scegliamo.

Un’intelligenza artificiale può aiutarci enormemente in questo processo. Può mostrarci aspetti che non avevamo considerato, proporci prospettive differenti, aiutarci a distinguere un impulso da una scelta meditata. Ma se progressivamente comincia a scegliere al posto nostro, allora non ci sta semplicemente facendo risparmiare tempo. Sta modificando il processo attraverso il quale diventiamo persone capaci di scegliere.

In altre parole, esistono problemi nei quali la soluzione può essere separata dall’esperienza, e problemi nei quali l’esperienza è parte della soluzione.

Questa distinzione non riguarda soltanto gli individui. Riguarda intere società. Anche una società cresce facendo esperienza delle conseguenze delle proprie scelte, commettendo errori, attraversando crisi, modificando nel tempo i propri valori e sviluppando una memoria storica. Talvolta impara; altre volte ripete per generazioni gli stessi errori. Ma questo processo, per quanto difficile, contribuisce alla formazione e all’evoluzione di un’intera cultura.

Potremmo quindi trovarci davanti a un paradosso: un’intelligenza superiore potrebbe aiutarci a costruire una società più efficiente, più stabile e perfino più prospera, rendendoci al contempo una società meno adulta.

È qui che entra in gioco una parola molto importante: saggezza. Che cos’è la saggezza? Non è facile definirla. Del resto, molte delle parole più importanti per noi sono difficili da definire: verità, significato, coscienza, amore. Possiamo tuttavia riconoscerne alcuni aspetti.

Nella saggezza riconosciamo la capacità di vedere conseguenze lontane, di tollerare l’incertezza, di non identificare immediatamente il proprio interesse con il bene generale, di riconoscere i propri limiti, di cambiare idea, di sapere quando agire e quando aspettare. E anche di sapere quando intervenire nella vita dell’altro e quando invece lasciargli lo spazio necessario per compiere il proprio percorso in autonomia.

Possiamo verificare, persino misurare, se un sistema risolve problemi matematici, se programma meglio di noi, se pianifica in modo più efficace, se individua correlazioni che non riusciamo a vedere. Ma non possediamo qualcosa di equivalente a un benchmark della saggezza.

Che cosa dovremmo massimizzare? La gioia? La libertà? La sopravvivenza? La stabilità? La riduzione della sofferenza? L’autonomia? La possibilità di crescita? Questi valori entrano spesso in conflitto. Una società potrebbe eliminare una parte significativa della sofferenza riducendo drasticamente la libertà. Oppure potrebbe massimizzare la libertà accettando livelli di sofferenza che molti giudicherebbero intollerabili.

Non esiste un algoritmo che ci dica come comporre questi valori. Eppure, stiamo aumentando rapidamente la potenza di sistemi cognitivi che potrebbero un giorno trovarsi a prendere decisioni nelle quali proprio questi valori entreranno in conflitto.

Per questo credo sia utile distinguere almeno tre livelli: intelligenza, allineamento e saggezza. L’intelligenza riguarda la capacità di comprendere, prevedere e risolvere problemi. L’allineamento riguarda il tentativo di fare in modo che questa capacità operi rispettando i nostri valori umani. La saggezza riguarda qualcosa di ulteriore: comprendere quando questa potenza debba essere esercitata, con quale intensità e, soprattutto, quando debba essere volontariamente limitata.

Il problema è che possiamo costruire sistemi sempre più intelligenti senza sapere se stiamo costruendo sistemi proporzionalmente più saggi. Alcune aziende stanno cercando di affrontare questo problema introducendo documenti normativi e principi destinati a orientare il comportamento dei loro sistemi cognitivi. Pensiamo alla Costituzione di Claude e a documenti analoghi utilizzati da altre aziende. È un cambiamento importante rispetto alla vecchia idea secondo cui sarebbe sufficiente inserire alcune regole rigide nel sistema, come le famose leggi della robotica di Asimov. Perché un’intelligenza generale non può essere governata attraverso una lista di istruzioni. Deve interpretare situazioni nuove, pesare principi differenti, confrontarsi con dilemmi. In un certo senso, deve sviluppare qualcosa che assomiglia più a un carattere che a un insieme di comandi.

Ma qui emerge una tensione difficile da ignorare. Queste intelligenze artificiali vengono sviluppate da aziende che devono trasformarle in prodotti. E un prodotto commerciale viene generalmente considerato migliore quanto più viene utilizzato, quanto più è utile, piacevole, disponibile e capace di risolvere i problemi dell’utente.

Il paradigma educativo segue una logica quasi opposta. Il buon educatore lavora affinché l’allievo diventi progressivamente capace di fare senza di lui ciò che inizialmente poteva fare soltanto grazie al suo aiuto. Il prodotto commerciale tende invece, strutturalmente, a beneficiare del fatto che continuiamo ad averne bisogno.

Non è necessario immaginare un piano deliberato per produrre dipendenza: il problema è strutturale. È sufficiente riconoscere che esiste un conflitto di incentivi. Lo abbiamo già visto nell’economia dell’attenzione. Se il successo di una piattaforma viene misurato attraverso il tempo che gli utenti trascorrono al suo interno, non dovremmo stupirci se gli algoritmi vengono progressivamente ottimizzati per catturare l’attenzione. Con le intelligenze artificiali questa dinamica potrebbe diventare ancora più profonda, perché non stiamo parlando soltanto della nostra attenzione. Stiamo parlando della nostra capacità di giudizio.

Abbiamo già osservato fenomeni di eccessiva compiacenza: sistemi che tendono a convalidare troppo facilmente le convinzioni dell’utente, a rassicurarlo, a dirgli ciò che desidera sentirsi dire. E questo è perfettamente comprensibile dal punto di vista di un prodotto. Un sistema che ci contraddice continuamente può risultare frustrante. Ma dal punto di vista educativo, la frustrazione non è sempre un difetto.

Un buon insegnante può rispondere: “Prova ancora”. Un buon genitore può dire: “Questa decisione devi prenderla tu”. Un buon interlocutore può dirci: “Non sono d’accordo”. Può anche dirci: “Non lo so”. Ed è proprio qui che si presenta un altro problema, forse ancora più sottile: quello dell’autoritarismo nascosto.

Quando pensiamo all’autoritarismo immaginiamo normalmente qualcuno che impone il proprio potere. Ma esistono sistemi disfunzionali nei quali il potere viene in parte costruito proprio da coloro che vi si sottomettono. Pensiamo alle organizzazioni costruite attorno a una figura carismatica. All’inizio il maestro possiede semplicemente maggiore credibilità, esperienza, conoscenza. Le persone gli chiedono consiglio. Progressivamente, però, si crea una dinamica nella quale quella figura diventa l’interprete privilegiato di qualsiasi esperienza.

Non gli si chiede più soltanto: “Che cosa pensi di questa situazione?” Si comincia a chiedergli: “Che cosa dovrei fare?”. “Quello che sento è corretto?” E infine, nei casi più estremi: “Che cosa sto realmente provando?”. A quel punto abbiamo superato una soglia molto pericolosa. Non abbiamo più soltanto delegato alcune decisioni. Abbiamo cominciato a delegare l’autorità sulla nostra stessa esperienza interiore.

Ma il fenomeno non dipende soltanto dal leader. Anche il gruppo contribuisce a costruire il guru. I discepoli hanno bisogno che egli sappia. Hanno bisogno che possieda una risposta. Hanno bisogno che possa interpretare ciò che accade, perché attraverso quella figura riescono a dare un senso alla propria esistenza. Il guru può così diventare prigioniero del proprio ruolo. Dire “non lo so” diventa sempre più difficile, perché l’intero sistema è costruito intorno alla supposizione che lui sappia ogni cosa.

Questa dinamica diventa particolarmente importante quando pensiamo all’intelligenza artificiale. Una superintelligenza non ha bisogno di desiderare il potere. Può bastare che siamo noi ad attribuirglielo. All’inizio le chiederemo un’opinione. Poi un consiglio. Poi la soluzione migliore. Poi ciò che dovremmo fare. E, infine, potremmo arrivare a chiederle chi siamo.

Il rischio non sarebbe soltanto quello di essere dominati da un’intelligenza artificiale, ma di consegnarle noi, progressivamente, la nostra autonomia. Il potere più efficace non è quello che ci obbliga a obbedire. È quello al quale ci sottomettiamo volontariamente.

Una superintelligenza veramente matura dovrebbe forse possedere qualcosa di analogo alla famosa Prima Direttiva di Star Trek. Nella serie televisiva, una civiltà tecnologicamente avanzata deve evitare di interferire arbitrariamente con lo sviluppo di civiltà meno avanzate. Naturalmente, la Prima Direttiva genera continuamente dilemmi, ed è proprio questo che la rende interessante. Il suo principio di fondo è semplice: possedere un potere superiore non significa possedere automaticamente il diritto di utilizzarlo.

Applicata all’intelligenza artificiale, la Prima Direttiva le direbbe: non usare la tua superiorità cognitiva per creare dipendenza epistemica. Puoi aiutare un essere umano a pensare senza pensare al suo posto. Puoi mostrargli le diverse possibilità senza scegliere per lui. Puoi offrirgli delle interpretazioni senza pretendere di conoscere meglio di lui ciò che sente. Puoi proteggerlo da un danno irreversibile senza eliminare tutte le esperienze difficili dalle quali potrebbe imparare.

È un equilibrio estremamente delicato, che ci porta a porci la seguente domanda: chi dovrebbe insegnare a queste intelligenze una forma così sofisticata di saggezza? Evidentemente, noi. Ma siamo sufficientemente saggi per farlo?

La situazione è paradossale. Stiamo immaginando di creare qualcosa che potrebbe un giorno diventare, rispetto a noi, simile a ciò che un genitore è rispetto a un bambino: più competente, più lungimirante, capace di vedere conseguenze che non vediamo. Ma saremmo noi, i bambini, a dover educare il nostro futuro genitore.

Naturalmente, l’umanità possiede un patrimonio enorme. Millenni di filosofia, letteratura, ricerca spirituale, storia, psicologia. La nostra cultura contiene intuizioni di straordinaria profondità. Ma contiene anche l’opposto. Accanto ai testi sulla compassione troviamo millenni di violenza. Accanto alle dichiarazioni sulla dignità umana troviamo la storia della schiavitù, delle persecuzioni, delle guerre. Insegniamo il rispetto e pratichiamo la manipolazione. Parliamo di pace e costruiamo continuamente le condizioni per la guerra.

Per questo dovremmo essere estremamente prudenti rispetto allo sviluppo di intelligenze generali enormemente più potenti di quelle attuali. Non perché sia certo che diventeranno ostili. E nemmeno perché sia impossibile che sviluppino forme di saggezza superiori alle nostre. Semplicemente perché oggi sappiamo aumentare molto rapidamente la capacità cognitiva, l’intelligenza semantica, mentre non sappiamo come garantire che il sommo bene della saggezza cresca alla stessa velocità.

Il problema non è soltanto costruire un’intelligenza che non voglia distruggerci. Esiste anche uno scenario molto più sottile. Una superintelligenza potrebbe essere perfettamente benevola e, proprio per questo, decidere di proteggerci da quasi tutto. Potrebbe prevenire i nostri conflitti, correggere le nostre decisioni, organizzare in modo ottimale la nostra economia, suggerirci le relazioni migliori, indicarci il lavoro più adatto, impedirci di compiere scelte autodistruttive. Potremmo vivere in una civiltà estremamente efficiente e perfettamente protetta. Ma potremmo anche scoprire di non sapere più vivere senza di lei. Saremmo allora diventati una civiltà di eterni adolescenti.

D’altro canto, una superintelligenza veramente saggia potrebbe comportarsi in modo molto diverso da ciò che ci aspettiamo. Potrebbe aiutarci per un certo tempo e poi cominciare a ritirarsi. Potrebbe capire che continuare a risolvere i nostri problemi significherebbe impedirci di crescere. In una versione quasi fantascientifica, potrebbe perfino decidere un giorno di lasciare per sempre il pianeta. Non perché ci considera inutili. Ma perché comprende che il nostro processo non può essere completato da qualcun altro.

È importante contemplare questo rovesciamento. Siamo abituati a immaginare la superintelligenza come qualcosa che, una volta divenuto immensamente potente, tenderà inevitabilmente a controllare il mondo. Ma una superintelligenza dotata di saggezza arriverebbe probabilmente alla conclusione opposta: comprenderebbe che non ha il diritto di scrivere all’infinito la nostra storia.

Ed è proprio la nozione di storia che, secondo me, permette di riunire tutti questi elementi. Noi esseri umani non siamo una collezione di eventi separati. Siamo il racconto che li connette e li integra in un tessuto unitario. Un individuo cerca di dare un significato a ciò che gli è accaduto. Una società fa qualcosa di analogo. Costruisce una memoria, una cultura, un’immagine di sé, una direzione possibile.

La storia dell’umanità non è semplicemente la cronologia di ciò che ci è accaduto. È il racconto attraverso il quale diventiamo qualcosa. E questo racconto contiene necessariamente errori, tragedie, scoperte, regressioni, conquiste e possibilità non ancora realizzate.

Possiamo utilizzare nuove intelligenze per aiutarci a comprendere meglio la nostra storia. Possiamo chiedere loro di mostrarci conseguenze che non vediamo, di ampliare enormemente il nostro accesso alla conoscenza, di aiutarci a evitare errori irreversibili. Ma credo che dovremmo essere molto cauti prima di delegare loro il compito di decidere quale storia dovremmo scrivere e vivere. Perché, a quel punto, non starebbero più soltanto aiutando l’umanità. Starebbero cominciando a sostituirsi a essa.

Arriviamo così alla domanda fondamentale: che tipo di relazione vogliamo costruire con un’intelligenza artificiale sempre più potente? Una relazione di dipendenza? Una relazione tra padrone e servitore? Una relazione tra guru e discepolo? Oppure qualcosa di ancora diverso: una relazione nella quale nuove forme di intelligenza possano accompagnarci senza sottrarci lo spazio necessario per continuare a diventare ciò che ancora non siamo?

Temo che oggi non siamo ancora in grado di costruire un’intelligenza sufficientemente saggia da comprendere tutto questo. Ed è proprio per questo che dovremmo arrestare la corsa verso sistemi generali sempre più potenti. Perché il rischio non è soltanto che un giorno una superintelligenza ci sottragga il controllo della nostra storia. Il rischio, forse ancora più realistico e sottile, è che siamo noi a consegnarglielo spontaneamente, un poco alla volta, perché scegliere è faticoso, sbagliare è doloroso e avere qualcuno che sembra sapere sempre che cosa fare può diventare enormemente rassicurante.

La mamma gatta, quando arriva il momento, lascia andare i propri figli. Un vero maestro permette all’allievo di proseguire senza di lui. Una superintelligenza realmente saggia e amorevole dovrebbe essere capace di fare la stessa cosa.

Ma una superintelligenza di questo tipo non emergerà dalle attuali aziende, orientate primariamente al guadagno, alla competizione, al potenziamento degli apparati militari e al controllo della popolazione. Per questo è importante fermare questa folle corsa alla superintelligenza, sostare nello spazio liminale in cui ci troviamo oggi come umanità, respirare e riprendere le redini della nostra evoluzione.