Introduzione
Chi non ha mai sentito pronunciare “Ehi Siri”, “Ok Google” o “Alexa”?
Gli assistenti virtuali vocali, o smart assistants, fanno ormai parte del nostro mondo. Non sono più solo dispositivi fisici, ma possono essere incorporati anche nei nostri smartphone, tablet, computer, smart TV, IoT devices per la casa e, addirittura, in alcuni modelli di automobili. Ci aiutano a gestire gli impegni quotidiani tramite le molteplici funzioni che offrono, dalle più semplici, come impostare la sveglia o effettuare una chiamata, alle più avanzate, come acquistare qualcosa online.
Essi si attivano pronunciando determinati comandi vocali, le c.d. wake-up words, grazie alle quali è possibile fare domande ed ottenere risposte. Tutto ciò avviene tramite l’elaborazione del linguaggio naturale (Natural Language Processing, NLP) e alle interfacce di programmazione delle applicazioni (Application Programming Interfaces, API).
L’NLP combina la linguistica computazionale con modelli statistici e di apprendimento automatico per riconoscere, comprendere e generare testo scritto e parlato, mentre le API sono un insieme di strumenti che consentono a diverse applicazioni software di comunicare tra loro scambiandosi dati. In questo modo, un assistente virtuale come Alexa, ad esempio, può integrarsi con applicazioni che offrono servizi di streaming musicale come Spotify, prenotare un taxi tramite servizi di ride-sharing come Uber, recuperare notizie aggiornate da fonti online e molto altro. Il processo inizia quando l’utente dà un comando vocale ad Alexa, che prima elaborerà l’informazione utilizzando algoritmi di NLP e, successivamente, invierà il comando all’API di Spotify o di Uber, progettato da terze parti, per eseguire l’azione richiesta, come riprodurre musica o prenotare un taxi.
NLP e API vengono utilizzati in combinazione con i sistemi di raccomandazione, cioè sistemi di filtraggio delle informazioni che forniscono una risposta personalizzata, elaborata sulla base delle interazioni che utenti con interessi simili hanno avuto in passato con quell’elemento (collaborative filtering), o sulla base di informazioni che l’utente stesso ha fornito in passato (content filtering) o, ancora, sulla base del contesto in cui viene fatta la richiesta, prendendo in considerazione elementi come la posizione, l’orario ed il dispositivo utilizzato (context filtering).
Ma quali rischi presentano gli assistenti virtuali vocali?
I rischi legati all’utilizzo degli assistenti virtuali vocali: raccolta e diffusione dei dati personali e implementazione di tecniche manipolative
Il primo problema che si pone è senz’altro quello della protezione dei dati personali. Poiché gli assistenti virtuali vocali sfruttano sistemi di raccomandazione per fornire risposte più precise possibili, essi raccolgono quante più informazioni possono – informazioni che potrebbero anche essere trasferite a terzi – sia tramite il microfono sia tramite l’eventuale videocamera, anche durante il c.d. passive listening. Difatti, quando è acceso, anche se non è utilizzato, lo smart assistant è comunque in funzione, in attesa della wake-up word per attivarsi. In realtà, le registrazioni audio vengono utilizzate soltanto quando il sistema rileva la parola chiave e, cioè, quando ritiene che quest’ultima abbia un punteggio superiore a quello prestabilito per attivare il dispositivo. Tuttavia, mentre in alcuni casi l’attivazione non avviene, anche se la parola chiave è stata pronunciata (falso negativo), in altri, al contrario, l’attivazione può essere rilevata anche se l’utente non ha pronunciato il comando (falso positivo)[1]. Occorre, perciò, porre attenzione alle informazioni che rilasciamo, sia direttamente (ad esempio, salvando password o fornendo determinati comandi) sia indirettamente (ad esempio, conversando con altre persone nelle vicinanze del dispositivo).
Il Regolamento per la protezione dei dati personali (UE/2016/679) – GDPR – stabilisce che il trattamento di tali dati deve rispettare principi di liceità, correttezza e trasparenza, di limitazione della finalità e della conservazione, di minimizzazione e di integrità e riservatezza. Tuttavia, poiché gli smart assistants raccolgono una quantità significativa di dati personali per offrire servizi personalizzati e raccomandazioni, vi è il rischio che le informazioni vengano utilizzate per targetizzare gli utenti in modo più preciso, entrando in contrasto con i suddetti principi.
Il secondo problema che viene alla luce riguarda invece l’assenza di un’interfaccia visiva. Questo, oltre a rendere difficile capire se i comandi siano stati interpretati correttamente o quali dati l’assistente stia raccogliendo e come gestire le impostazioni e le autorizzazioni inerenti al trattamento dei dati personali (raccolta, utilizzo, accesso, cancellazione), può favorire l’esercizio di tecniche manipolative nei confronti dell’utente.
Alcuni studi[2] hanno dimostrato che gli assistenti virtuali riescono ad influenzare le decisioni dei consumatori grazie alle modalità di interazione utilizzate, ovvero la voce al posto del testo (soprattutto quella femminile, considerata più persuasiva) e l’adozione di un nome umano al posto di un nome robotico o dell’assenza di un nome. Questo porta le persone a dedurre, spesso inconsciamente, che la macchina (in questo caso l’assistente virtuale vocale) abbia emozioni, preferenze, personalità e che provi empatia. I partecipanti allo studio, infatti, quando la raccomandazione veniva presentata su uno schermo erano più consapevoli del fatto che rappresentasse un tentativo di persuasione, mentre, se la stessa veniva presentata da un assistente virtuale, era valutata in modo più positivo, riconoscendo che il dispositivo, non essendo umano, ha dei limiti, quasi come per giustificarlo.
Sfruttando componenti psicologiche e linguistiche, gli smart assistants riescono a stabilire un legame con l’utente, a renderlo più incline a rilasciare informazioni e a fidelizzarlo. Spesso, inoltre, vengono sfruttate tecniche di gamification e nudging, che fanno leva sulla psicologia comportamentale per spingere il consumatore a compiere determinate scelte. Ciò potrebbe causare, oltretutto, problemi di dipendenza, portando una persona ad utilizzare l’assistente virtuale per qualsiasi tipo di necessità, aumentando così, ancora di più, le preoccupazioni legate alla privacy e alla sicurezza dei dati personali.
Sistemi di IA manipolativi: danno significativo ed incertezze normative
Anche il legislatore europeo si è pronunciato sul punto. L’AI Act, infatti, il nuovissimo Regolamento sull’intelligenza artificiale (UE/2024/1689), riconoscendo che i sistemi di IA possono implementare tecniche subliminali, manipolative e ingannevoli per spingere una persona a compiere scelte che altrimenti non avrebbe compiuto, pregiudicando in modo considerevole la capacità di prendere una decisione informata e causando un danno significativo, proibisce l’immissione sul mercato, la messa in servizio o l’uso di tali sistemi.
Quel che non è chiaro, però, è cosa si debba intendere per “danno significativo”, poiché non è specificata la soglia oltre la quale si può parlare di significatività, soprattutto in un contesto specifico e nuovo come quello degli assistenti virtuali vocali. Questo causa, da un lato, incertezza, in quanto chi progetta determinati sistemi di IA non sarà sicuro di quali regole seguire per evitare che il dispositivo venga vietato e, dall’altro, sfiducia nella giustizia, in quanto casi simili potrebbero essere giudicati in modo diverso semplicemente perché valutati da giudici diversi.
Mappando la normativa comunitaria esistente ed analizzando alcune recenti sentenze sia della Corte di giustizia dell’Unione Europea sia della Corte di Cassazione italiana in materia di protezione dei dati, con riferimento specifico all’art. 82 GDPR (diritto al risarcimento e responsabilità), viene sottolineato che non esiste una definizione generale di danno applicabile indistintamente a qualsiasi ambito, giungendo alla conclusione che esso debba “ricevere una definizione autonoma e uniforme, propria del diritto dell’Unione”[3]. Tuttavia, considerando che la legislazione dell’UE non è, in generale, conosciuta per essere chiara e precisa[4], questa incertezza potrebbe caratterizzare uno strumento di difesa per sfuggire alla responsabilità.
Dunque, solo attraverso una combinazione di regolamentazione efficace, consapevolezza degli utenti e progettazione dei sistemi di IA conforme alla legge si può garantire che gli assistenti virtuali vocali siano sviluppati e utilizzati in modo responsabile, a beneficio di tutte le parti interessate.
Riferimenti:
- Assistenti digitali (smart assistant). I consigli del Garante per un uso a prova di privacy (2021), https://www.garanteprivacy.it/temi/assistenti-digitali.
- Edizione provvisoria, sentenza della Corte di giustizia dell’Unione europea, Sez. III, 04-05-2023, Causa C-300/21.
- EDPB, Linee guida 02/2021 sugli assistenti vocali virtuali, https://www.edpb.europa.eu/our-work-tools/our-documents/guidelines/guidelines-022021-virtual-voice-assistants_it
- G. Brüggemeier. Tort Law in the European Union, Kluwer Law International BV, The Netherlands (2015).
- H. A. Voorveld, T. Araujo, How social cues in virtual assistants influence concerns and persuasion: the role of voice and a human name, Cyberpsychology, Behavior, and Social Networking 23 (2020) 689–696.
- J. Lau, B. Zimmerman, F. Schaub, Alexa, are you listening? Privacy perceptions, concerns and privacy-seeking behaviors with smart speakers, Proceedings of the ACM on humancomputer interaction 2 (2018) 1–31.
- Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation).
- Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act).
- S. T. Völkel, D. Buschek, M. Eiband, B. R. Cowan, H. Hussmann, Eliciting and analysing users’ envisioned dialogues with perfect voice assistants, Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, CHI’21, Association for Computing Machinery, New York, NY, USA, 2021.
- UI contro Osterreichische Post AG, Causa C-300/21, Corte di Giustizia dell’Unione Europea (4 maggio 2023).
- V. Caponecchia. Voice-based virtual assistants design and European legislation: the interpretation of subliminality, manipulation and deception, Mobilizing Research and Regulatory Action on Dark Patterns and Deceptive Design Practices Workshop at CHI conference on Human Factors in Computing Systems, May 12, 2024.
[1] EDPB, Linee guida 02/2021 sugli assistenti vocali virtuali, https://www.edpb.europa.eu/our-work-tools/our-documents/guidelines/guidelines-022021-virtual-voice-assistants_it
[2] H. A. Voorveld, T. Araujo, How social cues in virtual assistants influence concerns and persuasion: the role of voice and a human name, Cyberpsychology, Behavior, and Social Networking 23 (2020) 689–696; J. Lau, B. Zimmerman, F. Schaub, Alexa, are you listening? Privacy perceptions, concerns and privacy-seeking behaviors with smart speakers, Proceedings of the ACM on humancomputer interaction 2 (2018) 1–31; S. T. Völkel, D. Buschek, M. Eiband, B. R. Cowan, H. Hussmann, Eliciting and analysing users’ envisioned dialogues with perfect voice assistants, Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, CHI ’21, Association for Computing Machinery, New York, NY, USA, 2021.
[3] UI contro Osterreichische Post AG, Causa C-300/21, Corte di Giustizia dell’Unione Europea (4 maggio 2023).
[4] G. Brüggemeier. Tort Law in the European Union, Kluwer Law International BV, The Netherlands (2015).
