Un esperimento con sei strumenti diversi per testo, audio e video
Nel mondo creativo i sentimenti nei confronti delle intelligenze artificiali sono contrastanti: la paura di essere depredati del proprio lavoro e la paura della sostituzione sono evidenti. È evidente anche il fatto che, in un mercato del lavoro e con un’industria creativa puramente estrattiva, la presenza di macchine che potrebbero sostituire chi fa musica, testi, disegni, video, chi recita, chi crea sono un pericolo tangibile.
Eppure, le intelligenze artificiali sono anche strumenti di sperimentazione creativa. Possono trasformare idee astratte in quelle che in gergo si chiamano proof of concept (dimostrazioni di come potrebbe essere una creazione artistica o, più in generale, un prodotto o un’idea).
Ragionando su questi temi ho provato a costruire un esempio che potesse servire come prototipo.
Da un oggetto a un mondo narrativo
Tutto è iniziato con un semplice esperimento. Ho realizzato molte foto con un oggetto con intelligenza artificiale incorporata chiamato Rabbit r1. Sperimentare con questi strumenti lasciandosi guidare anche dalla serendipity è un ottimo modo per iniziare a familiarizzare con essi. Il Rabbit r1 contiene al suo interno una macchina fotografica che modifica la realtà che fotografa. In pratica, utilizza tecnologie multimodali per elaborare le immagini e risponde sia agli oggetti che fotografa sia a comandi vocali. il “prompt” per il Rabbit non è solo testuale, ma si sviluppa attraverso un’interazione visiva e sonora: ciò che scegli di fotografare e ciò che dici influenzano il risultato. Questo approccio crea un’immagine modificata in tempo quasi reale: c’è un po’ di ritardo e bisogna aspettare che l’immagine si generi, un po’ come quando si attendeva lo sviluppo di un rullino, anche se in questo caso passano da pochi secondi a qualche minuto prima di poter vedere l’immagine, che può contenere elementi di fantasia o interpretazioni inaspettate della scena fotografata.
Le prime impostazioni del Rabbit facevano sì che ogni scatto diventasse un’immagine a 8 o 16 bit, con un’estetica vintage.
Fotografando dei pupazzi su sfondi diversi, ad un certo punto il Rabbit ha generato qualcosa di diverso: ha mantenuto l’estetica a 8 bit, ma ha proposto un personaggio con accanto un coniglio in tre dimensioni.
L’immagine era quadrata. L’ho espansa con la funzione di espansione AI di un programma molto popolare che si chiama Canva, per farla diventare in un formato 16:9.
Da questo primo spunto è nata l’idea di creare una storia. Ho fatto un po’ di brainstorming conversando con ChatGPT e ho deciso che i nomi dei due personaggi erano Nox (personaggio femminile, alla ricerca di sé stessa), e Polvere (il coniglio). Pensando alle saghe che amano i miei figli ho pensato che potessero essere due giocattoli vivi. Che Nox può rappresentare i cambiamenti dell’infanzia e dell’adolescenza. E ho cominciato a costruire la proof of concept di un immaginario universo narrativo.
Ho scritto un breve teaser che potesse raccontare la storia di Nox e Dust.
Lavorare con i limiti dell’AI
Utilizzando un’intelligenza artificiale da testo a immagine, MidJourney, ho provato a fare un po’ di variazioni di Nox e Polvere, inquadrature diverse con azioni diverse. Tuttavia, MidJourney, quando ci ho lavorato, presentava un limite: non riusciva a mantenere la coerenza visiva di personaggi così complessi (è un limite parzialmente superato con figure più umanoidi ed è lecito pensare che col tempo si supererà anche con altre figure. Avrei potuto iniziare a lavorare con un LoRa (Low-Rank Adaptation), che consente di raffinare la generazione da parte di AI per far mantenere coerenza, ma sarebbe stato troppo lungo e comunque avevo una sola immagine buona di partenza di Nox e Dust. Così ho deciso di trasformare l’ostacolo in un espediente narrativo: Nox è una mutaforme, cambia aspetto spesso e non sa perché: questa incoerenza diventa un elemento centrale della storia e metafora dei cambiamenti di cui potrebbero parlare le storie.
Questo passaggio è stato fondamentale per comprendere una delle lezioni più importanti del lavoro creativo con l’AI: non bisogna farsi bloccare dai paletti, ma cercare di integrarli nel progetto in modo originale.
L’ecosistema di strumenti AI
Per sviluppare la proof of concept ho utilizzato un’intera suite di strumenti AI, ognuno con un ruolo specifico.
MidJourney per lo storyboard
MidJourney è un generatore di immagini basato su AI che utilizza il testo come input. Si può descrivere una scena, un’atmosfera, o persino uno stile artistico, e l’AI produce immagini che rispondono a quel prompt. Nel mio caso, ho usato MidJourney per generare le inquadrature dello storyboard, sperimentando con stili visivi e scenari.
Runway per il video
Runway, invece, è una piattaforma di AI generativa di video per creare animazioni a partire da comandi testuali o immagini statiche o video. Permette di generare movimenti, effetti visivi e persino di combinare diversi stili in modo intuitivo. Ho utilizzato Runway per animare Nox e Polvere, dando vita ai personaggi e trasformando lo storyboard in un teaser dinamico, come se fosse stato girato o animato.
Suno per la musica
Suno è uno strumento AI che genera musica e colonne sonore in base a descrizioni testuali. Basta indicare il tipo di atmosfera o emozione che si vuole evocare (ad esempio, “musica misteriosa e avventurosa”) e l’AI compone una traccia personalizzata.
Eleven Labs: voci e suoni realistici
Eleven Labs è una piattaforma di text-to-speech che crea voci realistiche a partire da testi scritti. Ho utilizzato questo strumento per generare le voci dei personaggi. Non solo: si può usare anche per gli effetti sonori, come il “suono di un clown che ridacchia cattivo”.
ChatGPT: il supervisore creativo
A ChatGPT ho attribuito il ruolo di assistente-supervisore creativo. Ho utilizzato il modello per perfezionare i prompt destinati agli altri strumenti AI, assicurandomi che fossero chiari ed efficaci. Ad esempio, ChatGPT mi ha aiutato a trasformare richieste vaghe in istruzioni dettagliate ed è stato molto utile soprattutto con Runway, Grazie a questa integrazione, sono riuscito a combinare immagini, suoni e animazioni per dare vita a un piccolo teaser della storia di Nox e Dust. Poi ho dovuto montare tutti gli elementi usando un software di editing: questo processo non si può ancora fare con un’intelligenza artificiale. Il risultato non è un prodotto finito, ma un’idea tangibile che posso ora sviluppare ulteriormente e che posso mostrare a interlocutori potenzialmente interessati,
Il risultato si può vedere qui.
<iframe width=”560″ height=”315″ src=”https://www.youtube.com/embed/sRoRwlA3j8A?si=gamWPe-HZCs8y4UC” title=”YouTube video player” frameborder=”0″ allow=”accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share” referrerpolicy=”strict-origin-when-cross-origin” allowfullscreen></iframe>
Le macchine come partner creativo
In questo processo, le AI non sono state solo uno strumento passivo, ma un partner creativo. Senza l’AI, Nox e Dust sarebbero rimasti solo un’idea raccontata a voce. Con l’integrazione di questi strumenti, invece, sono diventati una proof of concept visivo e sonoro, un piccolo universo narrativo che posso condividere e testare.
Non avrei mai avuto le risorse per produrre qualcosa del genere con mezzi tradizionali. L’AI, invece, mi ha permesso di creare qualcosa di concreto, esplorando contemporaneamente i confini del possibile e del pratico.
Le AI e la creatività: una nuova frontiera
La storia di Nox e Dust non è solo la storia di un esperimento o di un progetto personale, ma un esempio di come le AI possano ridefinire il concetto di creatività. Invece di sostituire l’artista, l’AI amplifica le sue capacità, permettendogli di trasformare idee embrionali in progetti tangibili.
Con il dialogo tra persone e macchina, l’essere umano mantiene il controllo creativo e utilizza l’AI per superare limiti e scoprire nuovi territori. Questo è un futuro possibile per la creatività: non la tecnologia contro chi fa arte, ma le persone che creano insieme alle AI.
