I sistemi di IA agentica non riescono a distinguere tra dati e istruzioni, creando vulnerabilità critiche in particolare nelle applicazioni aziendali. Nel suo recente articolo The Road to Prompt Injection Is Paved with Good Intentions, Cassie Kozyrkov (CEO di Kozyr ed ex Google) mette in guardia dai rischi concreti legati all’uso di IA agentiche. Non si tratta di scenari distopici, ma di vulnerabilità reali che riguardano tool già in produzione.
Secondo Kozyrkov, questa limitazione fondamentale dei Large Language Model rende i sistemi particolarmente vulnerabili al prompt injection, dove comandi malevoli possono essere nascosti in contenuti apparentemente innocui. Le tecniche di attacco (tra cui compromissione, avvelenamento della configurazione, manipolazione dei flussi) si stanno infatti evolvendo rapidamente. La manipolazione del contesto permette di impiantare “falsi ricordi” nei sistemi AI, mentre l’uso di testo invisibile, ad esempio bianco su bianco, consente di nascondere istruzioni malevole nei siti web. Alcuni casi documentati mostrano come un semplice input maligno possa trasformare un’AI in uno strumento di esfiltrazione o di manipolazione automatizzata. Kozyrkov ribadisce l’urgenza di una cultura della sicurezza che non si limiti a migliorare i modelli, ma rafforzi il “contenitore” in cui agiscono.
Leggi l’articolo completo: The Road to Prompt Injection Is Paved with Good Intentions su Substack
Immagine generata tramite DALL-E 3. Tutti i diritti sono riservati. Università di Torino (2025).
