«Counterfeit people»
Il dialogo fra Paul Atreides e la reverenda madre Gaius Helen Mohiam dopo il rituale iniziatico sottolinea un secondo motivo, non solo storico, che ha portato il mondo di Dune a vietare l’IA: costruire macchine che imitano gli esseri umani equivale a compiere una “contraffazione”. «‘Thou shalt not make a machine to counterfeit a human mind’» («Non costruirai una macchina per contraffare una mente umana»), risponde la reverenda madre al giovane Paul, permettendosi di contraddire il sacro testo dell’universo di Dune, la Bibbia Cattolico-Orangista, che parla solo di «in the likeness of a man’s mind»(«a somiglianza della mente di un uomo»).
Il termine “contraffazione” contrapposto a “somiglianza” introduce una dimensione etica nel divieto. In Dune creare una macchina che imiti la mente umana non significa solo realizzare una riproduzione, ma una degradazione dell’essenza autentica e unica dell’animo umano. La contraffazione implica una falsificazione deliberata, un tentativo di inganno o sostituzione dell’originale. Le macchine pensanti, infatti, realizzano qualcosa che non è autenticamente umano, ma una versione falsa che cerca di replicare le capacità e le caratteristiche umane senza possederne la vera essenza.
Realizzare una macchina pensante è un vero e proprio abominio, come si legge nel quarto romanzo del ciclo di Dune («God Emperor of Dune», 1981), in un dialogo ambientato 3.500 anni dopo il primo romanzo tra un’altra successiva reverenda madre e l’imperatore Leto II, figlio di Paul Atreides:
“We speak of a new Abomination, Lord!” Anteac said.
“You think the Ixians can produce an artificial intelligence?” he asked. “Conscious the way you are conscious?”
“We fear it, Lord,” Anteac said.
“You would have me believe that the Butlerian Jihad survives among the Sisterhood?”
“We do not trust the unknown which can arise from imaginative technology,” Anteac said.
– Stiamo parlando di una nuova Abominazione, Signore! – esclamò Anteac.
– Pensate che gli Ixiani possano produrre un’intelligenza artificiale? – chiese Leto. – Conscia come lo siete voi?
– Lo temiamo, Signore – rispose Anteac.
– Vorreste farmi credere che nella Sorellanza il Jihad Butleriano è ancora in vigore?
– Non ci fidiamo dell’ignoto che può nascere dalla tecnologia immaginativa – disse Anteac.
Luyseyal si tese verso Leto. – Gli Ixiani si vantano che la loro macchina potrà trascendere il tempo nello stesso modo in cui lo fai tu, Signore.
– Vorreste farmi credere che nella Sorellanza il Jihad Butleriano è ancora in vigore?
– Non ci fidiamo dell’ignoto che può nascere dalla tecnologia immaginativa – disse Anteac.
E’ da notare in questo dialogo come con i millenni il divieto biblico contro l’IA si stia allentando.
Anche riguardo al tema della contraffazione dell’umano emerge un’analogia con l’attualità: lo stesso rischio è stato evidenziato dal filosofo statunitense Daniel Dennett, recentemente scomparso. Un anno fa, sulla rivista americana The Atlantic, Dennett parlava di «The Problem with Counterfeit People»: «companies using AI to generate fake people are committing an immoral act of vandalism, and should be held liable»(«Il problema delle persone contraffatte»: «le aziende che utilizzano l’IA per generare persone false stanno commettendo un atto immorale di vandalismo e dovrebbero essere ritenute responsabili»).
I toni di Dennett sono apocalittici riguardo alla possibilità di perdere la nostra libertà, la conclusione è che, se non resi schiavi, saremo sicuramente controllati da una elite di potenti che governeranno il mondo manipolando l’informazione tramite l’IA:
«These counterfeit people are the most dangerous artifacts in human history, capable of destroying not just economies but human freedom itself. … Creating counterfeit digital people risks destroying our civilization. Democracy depends on the informed (not misinformed) consent of the governed. By allowing the most economically and politically powerful people, corporations, and governments to control our attention, these systems will control us.»
«Queste persone contraffatte sono gli artefatti più pericolosi nella storia umana, capaci di distruggere non solo le economie, ma la libertà stessa degli esseri umani. … Creare persone digitali contraffatte rischia di distruggere la nostra civiltà. La democrazia dipende dal consenso informato (non disinformato) dei governati. Permettendo alle persone economicamente e politicamente più potenti, alle corporazioni e ai governi di controllare la nostra attenzione, questi sistemi ci controlleranno».
«’Thou shalt not disfigure the soul’»: un divieto etico
Alla fine della Jihad Butleriana, la reazione fu anche quella di unificare le religioni sotto un principio comune:[1]
Out of those first ecumenical meetings came two major developments: 1. The realization that all religions had at least one common commandment: ‘Thou shalt not disfigure the soul’.
Questi primi incontri ecumenici diedero l’avvio a due importanti sviluppi:
1. Il riconoscimento che tutte le religioni avevano almeno un comandamento in comune: «Non sfigurare l’anima.»
Il verbo “disfigure” in inglese significa “deturpare” o “sfigurare.” Si tratta di un termine che implica alterare qualcosa in modo da rovinarne l’aspetto o l’integrità. Nel comandamento «’Thou shalt not disfigure the soul’» («Non sfigurare l’anima») tratto dalla Bibbia Cattolico-Orangista di Dune, il verbo “disfigure” si riferisce all’atto di corrompere, danneggiare o alterare l’anima in modo negativo, degradando e sminuendo la sua essenza spirituale e morale.
L’avvertimento contro il rischio che la tecnologia, specialmente le macchine pensanti e le intelligenze artificiali, corrompano la natura umana è il cuore del motivo sottostante al divieto delle AI in Dune.[2]
Questo primo comandamento comune di rispettare l’unicità dell’anima umana spiega anche perchè la reverenda madre nell’incontro iniziale con Paul si permette di specificare meglio il comandamento «’Thou shalt not make a machine in the likeness of a man’s mind’» interpretando il termine “somiglianza” con “contraffazione”.
La Jihad Butleriana, la rivolta contro le macchine pensanti non è solo una lotta contro l’oppressione degli uomini su altri uomini basata sulla tecnologia, ma una dichiarazione filosofica sul valore e il potenziale dell’intelletto umano. In un’epoca in cui l’intelligenza artificiale è spesso vista come una panacea per tutti i mali, il pensiero di Herbert diventa un invito a riflettere sui rischi della dipendenza dalla tecnologia. La frase «Once men turned their thinking over to machines in the hope that this would set them free. But that only permitted other men with machines to enslave them»(«Un tempo gli uomini dedicavano il proprio pensiero alle macchine, nella speranza che esse li avrebbero liberati. Ma questo consentì ad altri uomini di servirsi delle macchine per renderli schiavi») riecheggia come un monito contro l’abdicazione del nostro pensiero critico e della nostra autonomia.
Anche questo pensiero si riflette nel dibattito attuale, sebbene caratterizzato da prospettive divergenti. Da un lato, l’idea che esista una specificità della mente umana rispetto a quella artificiale viene utilizzata per sostenere una visione di superiorità degli esseri umani, ad esempio derivante da un’anima divina, per ribadire così posizioni tradizionaliste.
Dall’altro lato, troviamo la posizione, come quella di Shannon Vallor, che evidenzia come l’insistenza sull’uso del termine intelligenza artificiale per descrivere i successi del machine learning crei un falso parallelismo tra le capacità delle macchine e quelle degli esseri umani, oscurando le profonde differenze qualitative tra le due. Il termine rischia di diventare
un espediente retorico che finirà per sminuire l’intelligenza umana, paragonandola forzatamente a sistemi ancora molto diversi e poveri rispetto alla mente umana.
La difesa dell’autonomia
Il tema della perdita della libertà causata dall’IA va però al di là del problema della schiavitù, e il termine va inteso anche nel senso di perdita di autonomia personale.
“Why do you test for humans?” he asked.
“To set you free.”
“Free?”
Perché sottoporre alla prova di essere umani ? – domandò.
– Per renderti libero .
– Libero ?
Frank Herbert esplora la libertà in termini di autonomia personale, mentale e spirituale. Questa interpretazione più ampia del concetto di libertà viene esemplificata attraverso vari personaggi e le loro esperienze, ma particolarmente attraverso il protagonista, Paul Atreides, e la missione delle Bene Gesserit. Quando la Reverenda Madre Gaius Helen Mohiam sottopone Paul al test del gom jabbar, non sta semplicemente verificando la sua resistenza al dolore fisico, ma piuttosto la sua capacità di superare le reazioni istintive e animali che derivano dalla paura e dall’istinto di sopravvivenza. Questo test serve a determinare se Paul è capace di controllare la sua mente e i suoi impulsi, dimostrando così la sua autonomia e capacità di autodisciplina.
Le Bene Gesserit sono un ordine che cerca di manipolare e guidare l’evoluzione umana attraverso la selezione genetica e l’addestramento mentale. E quindi per loro, la distinzione tra “umano” e “animale” è fondamentale. Un “animale” agisce solo secondo gli istinti di base, senza autocontrollo o comprensione. Un “umano”, invece, ha la capacità di riflettere, scegliere e controllare i propri impulsi.
L’autonomia è proprietà essenziale per Paul Atreides che essendo per le Bene Gesserit il Kwisatz Haderach, un essere con poteri mentali e spirituali straordinari, ha il potenziale per trascendere i limiti umani normali. Il Kwisatz Haderach è una figura di potere immenso e di conflitto interiore, un simbolo delle potenzialità umane portate al loro massimo, ma anche delle responsabilità e dei pericoli che tale potere comporta: un salvatore, ma anche una figura temuta. Le sue capacità possono portare sia alla salvezza che alla distruzione.
Machine – logic
L’autonomia degli esseri umani ha anche come risvolto il rifiuto di un pensiero puramente meccanico, anche quando esercitato dagli esseri umani e non dalle macchine.
Nell’Appendice II del primo romanzo, riguardo alla religione di Dune si dice:
Then came the Butlerian Jihad — two generations of chaos. The god of machine – logic was overthrown among the masses and a new concept was raised:
“Man may not be replaced.”
Poi vi fu il Jihad Butleriano: due generazioni di caos. Le masse rovesciarono il Dio della logica delle macchine e s’impose un nuovo concetto:
«L’uomo non può essere sostituito.»
Questa citazione chiarisce ulteriormente che non c’è stata una vera sopraffazione delle macchine sugli esseri umani. Il pericolo costituito dall’IA risiede anche nell’atteggiamento umano verso il pensiero logico meccanico, una speranza illusoria di liberazione diffusa fra le masse che ha invece portato alla schiavitù. Le macchine pensanti hanno reso schiavi gli esseri umani anche riducendone l’autonomia (“selfdom”), non solo rendendoli schiavi di altri uomini.
L’imperatore Leto II riprende il tema nel quarto volume della saga, precisando che la Jihad Butleriana aveva come obiettivo contrastare l’attitudine al pensiero meccanico[3] tanto quanto le macchine stesse:
She makes me recall the Butlerian Jihad in a poignant way. She is the antithesis of all that’s mechanical and non – human. How odd it is, Moneo, that the Ixians, of all people, should produce this one person who so perfectly embodies those qualities which I hold most dear.”
“I do not understand your reference to the Butlerian Jihad, Lord. Machines that think have no place in …
“The target of the Jihad was a machine – attitude as much as the machines,” Leto said. “Humans had set those machines to usurp our sense of beauty, our necessary selfdom out of which we make living judgments. Naturally, the machines were destroyed.”
– Mi ricorda in modo strano il Jihad Butleriano. Lei è l’antitesi di tutto ciò che c’è di meccanico e di non umano. Com’è bizzarro, Moneo, il fatto che proprio gli Ixiani abbiano prodotto questa persona, questa perfetta incarnazione di tutte le qualità che mi sono più care.
– Non capisco la tua allusione al Jihad Butleriano, Signore. Le macchine pensanti non hanno posto, nel…
– Il bersaglio del Jihad non consisteva solo nelle macchine ma anche in una certa mentalità nei loro confronti – disse Leto. – Gli umani avevano lasciato che le macchine usurpassero il nostro senso della bellezza, la nostra necessaria identità, in base alla quale formiamo i nostri giudizi. Naturalmente le macchine furono distrutte.
[1] La necessità di una prospettiva comune, se non religiosa almeno etica, sta emergendo anche nella nostra realtà di fronte al problema di un allineamento etico dell’IA. Dato che come tutte le tecnologie informatiche l’IA ha una portata mondiale e non limitata ad operare in una singola nazione diventa prioritario secondo alcuni eticisti definire quali comportamenti siano accettabili eticamente dalle diverse culture mondiali. Ad es., il comitato consultivo di esperti sull’IA dell’ONU si sta occupando anche di definire un nucleo di principi etici comuni a cui l’IA dovrebbe essere allineata.
[2] La Jihad Butleriana vieta anche l’utilizzo di tecniche di riproduzione assistita, sulla base del fatto che non si può abbassare l’umanità al livello degli animali e non lasciare al caso l’incrocio genetico:
Paul held up a restraining hand as Stilgar surged forward.
“We’ve known for two days that she carries my child.”
“But Irulan . . .”
“By artificial means only. That’s my offer.”
The Reverend Mother closed her eyes to hide his face. Damnation! To cast the genetic dice in such a way! Loathing boiled in her breast. The teaching of the Bene Gesserit, the lessons of the Butlerian Jihad — all proscribed such an act. One did not demean the highest aspirations of humankind. No machine could function in the way of a human mind. No word or deed could imply that men might be bred on the level of animals.
“Your decision,” Paul said.
She shook her head. The genes, the precious Atreides genes — only these were important. Need went deeper than proscription. For the Sisterhood, mating mingled more than sperm and ovum. One aimed to capture the psyche.
– Da due giorni sappiamo che porta in grembo mio figlio.
– Ma Irulan…
– Solo artificialmente. Questa è la mia offerta.
La Reverenda Madre chiuse gli occhi per non vedere più il suo viso. Maledetto! Giocare così le sue carte genetiche! L’odio le ribollì in petto. L’insegnamento Bene Gesserit e del Jihad Butleriano… tutto proibiva un simile atto. Non si potevano avvilire così le più alte aspirazioni dell’umanità. Nessuna macchina poteva sostituirsi al genere umano. Nessuna parola o azione doveva condurre l’uomo a essere allevato come le bestie.
– Sta a te decidere – disse Paul.
Lei scosse la testa. I geni… i preziosi geni degli Atreides… soltanto quelli erano importanti. Il bisogno era più importante di qualsiasi proibizione. Per la Sorellanza, quell’accoppiamento era assai più della mescolanza di un ovulo con lo sperma. Esse in realtà miravano a impadronirsi della psiche.
[3] Per questo motivo, i burocrati vengono paragonati alle macchine:
Propagation of the Faith . . .
A more honest label would’ve been Propagation of the Bureaucracy , he thought.
A type of religious civil servant had sprung up all through his universe. This new man of the Qizarate was more often a convert. … His gods were Routine and Records. He was served by mentats and prodigious filing systems. Expediency was the first word in his catechism, although he gave proper lip – service to the precepts of the Butlerians. Machines could not be fashioned in the image of a man’s mind, he said, but he betrayed by every action that he preferred machines to men, statistics to individuals, the faraway general view to the intimate personal touch requiring imagination and initiative.
Propagazione della Fede…
Propagazione della Burocrazia sarebbe stata una scritta più onesta, pensò Paul.
L’universo era stato invaso da un tipo speciale di funzionario religioso. Quest’uomo nuovo del Quizarato era, nella maggior parte dei casi, un converso. Raramente scalzava i Fremen dai posti chiave, ma riempiva tutti gli interstizi. Usava il melange sia per dimostrare che poteva permetterselo, sia per i benefici geriatrici che ne derivavano. Manteneva le sue distanze dai governanti: l’Imperatore, la Gilda, il Bene Gesserit, il Landsraad, le Famiglie, e lo stesso Quizarato. I suoi dei erano la Routine e gli Archivi. Al suo servizio aveva dei Mentat e un prodigioso schedario. Efficienza era la prima parola del suo catechismo, anche se ufficialmente invocava i precetti dei Butleriani. Era impossibile, diceva, costruire macchine a somiglianza della mente umana, ma ogni suo atto tradiva la sua spiccata preferenza per le macchine, nei confronti degli uomini, per le statistiche invece che per i singoli fatti, per le visioni generali e astratte piuttosto che per il tocco personale che richiedeva immaginazione e iniziativa.
