Come l’IA ridefinirà il controllo sociale
L’oscuro termine “Panopticon” si sta ormai diffondendo anche nel linguaggio quotidiano per descrivere la nostra situazione nell’attuale società della sorveglianza digitale. Con il rapido progresso delle tecnologie IA dobbiamo chiederci se questo termine rappresenterà ancora in maniera soddisfacente il nuovo mondo digitale in cui presto vivremo, o abbiamo bisogno di uno nuovo. Partiamo dal suo significato originale e vediamo come il termine è diventato una metafora del controllo nella nostra società digitale.
Il Panopticon di Jeremy Bentham: la prigione ideale
Il termine “Panopticon” fu introdotto dal filosofo inglese Jeremy Bentham nel XVIII secolo per indicare un modello di prigione ideale. La struttura dell’edificio prefigurato da Bentham era circolare, con le celle disposte sul bordo, e prevedeva una torre centrale da cui un unico sorvegliante poteva osservare, senza essere visto, ogni detenuto nella sua cella. Questa configurazione serviva a realizzare una logica di controllo psicologico dei detenuti: la consapevolezza di poter essere osservati induceva i prigionieri a comportarsi come se fossero costantemente sotto sorveglianza.
Il Panopticon come metafora del potere disciplinare
Il filosofo francese Michel Foucault ha usato il Panopticon come metafora per spiegare come il potere disciplinare[1] – che si differenziava dalle modalità tradizionali di sovranità basate sulla coercizione fisica o sulla violenza – si sia evoluto nelle società moderne, partendo dall’ambito carcerario, e poi permeando istituzioni quali caserme, scuole, ospedali, e fabbriche. Foucault evidenzia come, in questa struttura, la sorveglianza non sia più una questione di visibilità reciproca, com’era tipico delle società tradizionali, bensì diventi il frutto di un’asimmetria permanente tra chi osserva e chi è osservato. L’asimmetria della sorveglianza permette di passare dalla coercizione fisica all’autocontrollo psicologico, inducendo i soggetti a interiorizzare le regole e a normalizzarsi, conformandosi spontaneamente alle aspettative sociali e istituzionali sotto la sola percezione di un controllo costante.
1984: la tecnologia a servizio del Panopticon
George Orwell, nel suo celebre romanzo 1984[2], introduce un’altra dimensione nella struttura del Panopticon: la tecnologia come strumento di controllo. Infatti, il suo libro non si limita a una critica dei regimi totalitari come lo stalinismo, ma offre una riflessione più ampia sulla natura del potere e sull’incompatibilità tra tecnologia e libertà. Orwell immagina una società in cui la tecnologia permette di realizzare un Panopticon capillare su scala statale. Le telecamere e i microfoni inseriti nei telescreen (antesignani delle nostre smart TV dotate di webcam), presenti ovunque nella società di Oceania controllata dal Partito, rappresentano un’estensione dell’idea di Bentham. L’avanzamento tecnologico diventa uno strumento per soffocare ogni forma di autonomia individuale, rendendo ogni aspetto della vita umana subordinato al potere centrale, soffocando non solo la libertà fisica, ma anche quella di pensiero e creatività. Tuttavia, Orwell, pur anticipando tecnologie ubique che verranno realizzate solo mezzo secolo dopo, immaginò un controllo che si limitava principalmente all’osservazione. Il Partito era onniveggente, ma non onnisciente: affidava ad altri esseri umani l’onere di interpretare e giudicare le azioni riprese dai telescreen, e la responsabilità di trarne le conseguenze. Lo slogan “Il Grande Fratello ti guarda” simboleggiava questo potere incompleto che si basava tanto sull’efficienza della tecnologia quanto sull’effetto psicologico della sua presenza[3].
Dalla società disciplinare a quella del controllo
Un altro filosofo francese, Gilles Deleuze,[4] sviluppa proprio in questa direzione l’interpretazione foucaultiana del concetto di Panopticon: analizza le trasformazioni del potere nelle società contemporanee, che passano, grazie all’introduzione della tecnologia, da società disciplinari a vere società del controllo. Se il Panopticon di Foucault rappresenta un modello di sorveglianza basato su un potere centralizzato e visibile, tipico delle istituzioni chiuse come prigioni, scuole o fabbriche, Deleuze evidenzia come la tecnologia digitale abbia reso il controllo più diffuso, fluido e decentralizzato. Nelle società del controllo, la sorveglianza non richiede più una struttura fisica o un’osservazione diretta: essa avviene attraverso reti digitali che raccolgono e analizzano continuamente dati sugli individui, garantendo un controllo continuo e ininterrotto, non più confinato a luoghi o tempi specifici. Trasforma così le persone in “dividui”, frammentati in schemi, profili e comportamenti. In questo passaggio, Deleuze mostra come il potere si sia evoluto da una sorveglianza visibile e centralizzata a un sistema di monitoraggio invisibile ma onnipresente, permesso dalla pervasività delle tecnologie digitali: non c’è più neanche bisogno del manifesto baffuto del Grande Fratello a ricordare ovunque che sei osservato in ogni momento.
L’era del capitalismo della sorveglianza
Infatti, la tecnologia digitale ha ormai da decenni posto le basi per un mondo fondato sulla sorveglianza capillare. L’introduzione di internet, dei sistemi di pagamento digitale, dei social media e dei dispositivi connessi (Internet of Things) – fra cui le moderne telecamere di videosorverglianza – hanno permesso una raccolta senza precedenti di dati personali. Le piattaforme online tracciano ogni interazione, raccogliendo informazioni su preferenze e relazioni sociali. I primi algoritmi di analisi dei dati si sono concentrati sulla profilazione degli utenti, allo scopo di condizionare le scelte dei consumatori tramite pubblicità personalizzata. Già così è stata una innovazione che secondo Shoshana Zuboff ha cambiato la natura stessa della struttura economica mondiale, portandoci ne “L’era del capitalismo della sorveglianza” (traduzione del titolo del suo libro del 2019).
Con gli sviluppi dell’intelligenza artificiale basata sul Machine Learning avvenuti negli ultimi anni, la possibilità di controllo sta subendo però una trasformazione radicale, evolvendo in una forma totalmente nuova di sorveglianza totale, che supera i limiti del Panopticon tradizionale.
I limiti del Panopticon
Nel modello di Bentham, l’elemento centrale era la sorveglianza visiva. Questo concetto ha trovato eco nelle società moderne nell’installazione di telecamere a circuito chiuso e sistemi di controllo che si affidano alla visione e monitoraggio umano. Proprio per questo, il Panopticon aveva e ha ancora dei limiti inerenti: interpretare le comunicazioni, immagini, e azioni monitorate richiede osservatori umani, che per definizione sono risorse limitate, costose, difficili da trovare – ad esempio, è necessario avere degli interpreti per tutte le lingue diverse da quella nazionale. Inoltre gli osservatori non possono avere presente per ogni persona tutto il quadro delle attività monitorate in precedenza. Infine, la fedeltà al potere centrale di una miriade di osservatori che vigilano sui cittadini non è garantita, lasciando spazio a errori, compromessi, tradimenti, e persino sabotaggi. Questi limiti facevano sì che il controllo si basasse più sulla deterrenza psicologica – e solo poi all’intervento fisico su chi veniva scoperto, si pensi a cosa succede al protagonista Winston in 1984 – che su una reale capacità di analisi, rendendo il sistema non scalabile rispetto alle dimensioni ubique dei modelli moderni di sorveglianza.
Dal Panopticon al Pangnosticon grazie all’IA
Tuttavia, con l’avvento dell’IA contemporanea, il controllo non si limiterà più all’osservazione sporadica: oggi, la sorveglianza si evolve verso un sistema con risorse praticamente infinite in grado – a partire dai dati già disponibili ora grazie alla monitoraggio digitale – di capire, interpretare, anticipare, e contrastare autonomamente e continuamente anche nel mondo materiale, ogni nostra affermazione, azione, interazione, e intenzione. Questo nuovo paradigma rappresenta una trasformazione radicale dei meccanismi di sorveglianza e controllo.
Per definire questa nuova condizione mai incontrata prima è necessario introdurre un termine che la distingua da quella del precedente Panopticon: sullo stampo di questo termine, proponiamo qui il neologismo “Pangnosticon”, dato che oggi il potere che sorveglia non ha solo la possibilità di osservarci raccogliendo dati su di noi, ma li può trasformare immediatamente e automaticamente tutti in informazioni, conoscenza e anche azione, senza più bisogno di intermediari umani e senza limiti di risorse. A questo punto non è neanche più necessaria la coercizione fisica o la violenza su chi non si conforma, perché in un mondo completamente digitalizzato e gestito in autonomia dall’IA si possono ipotizzare anche forme di pressione più diffuse e quasi invisibili.
Il Pangnosticon powered by IA
Michel Foucault descrive il Panopticon come un modello ideale di potere disciplinare, basato su un’asimmetria permanente tra chi osserva e chi è osservato. Il Pangnosticon, powered by AI, non solo mantiene questa asimmetria, ma la amplifica attraverso la capacità di interpretare e prevedere i comportamenti di chi è osservato, rendendo il potere ancora più diffuso e invisibile, anche perché non più dipendente dall’aiuto di una miriade di aiutanti umani, complici di cui non si poteva finora fare a meno per l’attività di controllo.[5]
I Large Language Models (LLM) permettono di elaborare testi – trascritti magari sempre tramite IA a partire da audio – fornendo interpretazioni dettagliate del contenuto e del contesto, alla luce di tutte le conversazioni del soggetto e dei suoi contatti che sono state monitorate prima, e di tutti i suoi dati, individuando persino schemi linguistici sospetti. Anche i video possono essere analizzati dall’IA: sistemi avanzati di visione artificiale identificano oggetti, comportamenti e interazioni, trasformando le immagini in dati strutturati pronti per un’ulteriore analisi predittiva. Oggi dopo un reato, gli inquirenti devono rivedere ore e ore di filmati di centinaia telecamere di videosorveglianza, anche private, disposte per le strade, in cerca di possibili colpevoli. Presto, grazie agli algoritmi IA di face recognition, con queste stesse telecamere sarà possibile sapere in real time le identità di tutti quelli che si trovano in ogni strada della città, accompagnandole con possibili previsioni dei loro tragitti grazie all’incrocio con altri dati.[6] E si potrà cercare di condizionarne la direzione semplicemente con la notifica sul cellulare di un’offerta interessante nei paraggi.
I dati biometrici come il battito cardiaco (ormai percepibili anche solo con una videocamera), o i livelli di stress, o anche solo la rilevazione delle espressioni facciali permettono all’IA di comprendere gli stati emotivi. Modelli predittivi avanzati sono capaci di anticipare decisioni prima ancora che vengano prese.
Se ora, per carpire le preferenze di un lettore, è possibile sapere su quali righe di un articolo su web o di un ebook, e quanto a lungo, si sofferma, con un LLM sarà possibile “rileggere” automaticamente tutti quanti i passaggi su cui il lettore si è soffermato nel tempo, per interpretare la sua evoluzione di pensiero e trarne le conclusioni. Il sistema di controllo IA potrebbe autonomamente, ad es., decidere cosa fargli leggere per contrastare la sua deriva ideologica, semplicemente ritarando gli algoritmi di recommendation di libri sui portali di acquisto online o di streaming video, e scegliendo quali notizie e post mostrargli nel newsfeed dei suoi social. Un libro in dissenso con il potere non sarà più proibito, ma, per le persone ritenute più suscettibili al suo influsso, sarà semplicemente più caro negli store online, esaurito o illeggibile sui loro ebook reader.
Gli agenti IA
Inoltre i dati che possono essere raccolti con l’IA sono sempre più e più sensibili. Dal 2025 sarà comune interagire con un “agente IA“ personale che conosce il nostro calendario, le relazioni sociali e i luoghi frequentati, presentato dal marketing come un pratico assistente virtuale intelligente. Questi assistenti, progettati per conquistare la nostra fiducia, si integrano profondamente nelle nostre vite, raccogliendo dati intimi su pensieri e azioni. Sebbene sembrino alleati, il loro scopo reale è indirizzare i comportamenti verso interessi industriali o politici, influenzando scelte di acquisto, destinazioni e contenuti letti. Tale potere manipolativo, mascherato da comodità, sfrutta il bisogno umano di connessione, rendendoci vulnerabili in un’epoca di isolamento, ci ricorda Kate Crawford.
E le stesse tecnologie degli agenti IA sono quelle che permetteranno al potere anche di passare dall’interpretazione automatica dei dati all’azione automatizzata, nel mondo virtuale (ad esempio, bloccando l’acquisto di un biglietto aereo dicendo che il sito è momentaneamente non disponibile), ma sempre più nel mondo reale (ad esempio, mandando un drone autonomo a guardare meglio cosa sta succedendo). Sempre gli agenti IA ridurranno i costi delle infrastrutture informatiche per la sorveglianza, perché sapranno usare gli stessi sistemi e interfacce già sviluppati per essere usati dagli esseri umani, senza più necessità di costruire delle costose connessioni ad hoc.
La spinta gentile dell’IA
Senza queste capacità offerte sempre più dall’IA, il Pangnosticon rimarrebbe solo un sogno distopico irrealizzabile, confinandoci alla semplice osservazione visiva incompleta del Panopticon conosciuto finora.
Nella società pangnostica, la dinamica del Panopticon è amplificata dall’IA, che rende la sorveglianza invisibile e onnipresente, interiorizzando ulteriormente il controllo nel soggetto stesso, perché il sistema comprende e interpreta le intenzioni prima ancora che diventino azioni. Diventerà superflua la coercizione tradizionale: non ci saranno guardie né minacce esplicite né torture. Il risultato sarà una forma di autocensura pervasiva, in cui gli individui conformano il proprio comportamento – magari dietro il nudging (spinta gentile) degli algoritmi di recommendation – alle aspettative di un sistema che interpreta e prevede ogni loro azione. Governi o aziende potranno influenzare decisioni individuali attraverso suggerimenti mirati, manipolazioni sottili e penalizzazioni impercettibili, basate su una comprensione profonda di tutte le nostre azioni.
Dal Pangnosticon al Synopticon prêt-à-porter
L’IA innescherà a livello di relazioni fra individui le stesse dinamiche che troveremo nelle relazioni con il potere. In analogia con il concetto di Panopticon, il sociologo e filosofo anglo-polacco Zygmunt Bauman ha introdotto il concetto di Synopticon, un modello in cui la sorveglianza non è più “pochi che osservano molti”, come nel modello di Bentham, ma “molti che osservano pochi”, fenomeno tipico della cultura delle celebrità e dei media. Tuttavia, con l’evoluzione dell’intelligenza artificiale, questa dinamica si trasformerà ulteriormente, portando a una forma di sorveglianza orizzontale o fra pari, in cui ogni individuo può potenzialmente osservare, giudicare e monitorare gli altri, con strumenti che fino ad ora non erano disponibili neanche ai servizi di intelligence più avanzati. Anche nel caso individuale l’IA permette di andare oltre le attuali limitazioni delle risorse nell’osservare la vita degli altri: non saremo più limitati a poter guardare i pochi post, fra quelli pubblicati dagli amici, selezionati per noi dall’algoritmo di un social network. Ma si potrà, grazie all’IA, scandagliare di continuo l’intero profilo di tutti gli amici, interpretando temi, sentimenti e cambiamenti nei toni dei messaggi. Allo stesso modo, il nostro agente IA personale potrà replicare autonomamente per noi a tutti i post di tutti gli amici, influenzando così continuamente il loro comportamento e manipolando la loro percezione della relazione con noi, facendoli sentire che li teniamo sempre d’occhio.
Dall’innovazione alla tecnologia della conformismo
La dissoluzione della privacy in una società pangnostica rappresenta non solo un’ulteriore invasione della nostra sfera privata, ma un attacco diretto alla libertà di pensiero, dato che viene eliminato ogni spazio intimo. Giuristi come Louis Brandeis e Alan Westin hanno sottolineato che la privacy è essenziale anche per permettere lo sviluppo di idee critiche e non conformiste, che sfidano l’ordine stabilito. Senza uno spazio sicuro dove riflettere lontano dallo sguardo del potere, l’innovazione e il dissenso vengono soffocati. Le persone iniziano a vivere come se fossero costantemente in scena, modulando il loro comportamento in funzione di un pubblico invisibile ma onnipresente. La spontaneità è il primo sacrificio in una società dove tutto viene interpretato e catalogato automaticamente.
Il futuro di un Pagnostismo[7] non è una distopia lontana. Sistemi di sorveglianza avanzati basati su IA, come XKeyscore, SKYNET, Sentient della NSA, il credito sociale in Cina, ma anche le piattaforme social che analizzano comportamenti e opinioni, sono già realtà. Come società, dobbiamo chiederci se sia accettabile sacrificare ulteriormente la libertà individuale per la promessa di più sicurezza e efficienza che ci fa la tecnologia. Non solo la regolamentazione etica dell’IA, la richiesta di trasparenza degli algoritmi, ma soprattutto un dibattito pubblico aperto e un intervento diretto dei cittadini sono essenziali per evitare che il Pangnostismo diventi l’unica realtà possibile. Senza tali azioni, rischiamo di perdere non solo la privacy, ma anche la capacità stessa di immaginare un futuro diverso, con la paradossale conseguenza di una innovazione tecnologica che diventa uno strumento di conservazione dello status quo anziché fonte di trasformazioni sociali.
[1] Foucault, Michel. Sorvegliare e punire. Nascita della prigione. Torino: Einaudi, 1976.
[2] Orwell, George. Nineteen Eighty-Four, London: Secker & Warburg, 1949.
[3] “The telescreen received and transmitted simultaneously. Any sound that Winston made, above the level of a very low whisper, would be picked up by it; moreover, so long as he remained within the field of vision which the metal plaque commanded, he could be seen as well as heard. There was of course no way of knowing whether you were being watched at any given moment. How often, or on what system, the Thought Police plugged in on any individual wire was guesswork. It was even conceivable that they watched everybody all the time. But at any rate they could plug in your wire whenever they wanted to. You had to live — did live, from habit that became instinct — in the assumption that every sound you made was overheard, and, except in darkness, every movement scrutinized”, ibid.
[4] Deleuze, Gilles. Post-scriptum sulle società di controllo. In Conversazioni 1972-1990. Roma: Castelvecchi, 1998 ( Deleuze, Gilles. Post-scriptum sur les sociétés de contrôle. In Pourparlers 1972-1990. Paris: Minuit, 1990).
[5] Nell’ex Repubblica Democratica Tedesca, circa 1 persona su 60 o era un agente ufficiale della Stasi, il Ministero per la Sicurezza di Stato, o era coinvolta in qualche forma di collaborazione con il sistema di spionaggio, come informatore ufficiale o non ufficiale.
[6] L’AI Act dell’Unione Europea vieta generalmente l’uso di sistemi di riconoscimento facciale in tempo reale negli spazi pubblici per la sorveglianza di massa, riconoscendo i rischi significativi per i diritti fondamentali e la privacy dei cittadini. Tuttavia, l’Articolo 5 prevede eccezioni limitate per situazioni specifiche, come la ricerca di persone scomparse (ad esempio, minori in pericolo), la prevenzione di reati gravi o atti di terrorismo e altre minacce significative alla sicurezza pubblica.
[7] Il termine “Pangnostismo” è coniato sullo stampo del termine “Panoptismo” sviluppato da Michel Foucault in “Sorvegliare e punire”.
