Come fa un ragno appena nato a tessere una ragnatela perfetta senza alcuna esperienza? Come possono i cuccioli di balena nuotare abilmente pochi istanti dopo la nascita? Queste domande affascinano scienziati e appassionati da decenni. Un recente studio intitolato “Encoding innate ability through a genomic bottleneck” di Sergey Shuvaev e colleghi offre una risposta rivoluzionaria a questo enigma.
Il collo di bottiglia genomico
Gli autori hanno esplorato come un genoma relativamente piccolo possa codificare comportamenti innati complessi attraverso un processo che chiamano “collo di bottiglia genomico”. Questo concetto potrebbe avere implicazioni profonde non solo nella biologia evolutiva ma anche nell’intelligenza artificiale, suggerendo nuovi metodi per sviluppare algoritmi più efficienti e adattabili.
La chiave dello studio risiede in un apparente paradosso: il genoma di molti animali è troppo piccolo per contenere istruzioni dettagliate per la formazione di connessioni neuronali complesse che danno origine a comportamenti innati sofisticati. Ad esempio, il genoma umano contiene circa 109 bit di informazione, mentre il cervello umano ha circa 1015 sinapsi. Ciò significa che non c’è abbastanza spazio nel genoma per codificare esplicitamente ogni connessione sinaptica. Nonostante questa limitazione, gli animali nascono con abilità avanzate. Il mistero è come queste abilità possano emergere da un genoma con capacità informativa così limitata.
Gli autori propongono che il genoma non codifichi ogni connessione neuronale, ma piuttosto una serie di regole semplici che guidano lo sviluppo delle reti neurali durante la crescita dell’animale. Una regola come “connettiti ai tuoi quattro vicini più prossimi” può generare una rete neurale grigliata di qualsiasi dimensione, con pochissime informazioni. Utilizzando le reti neurali, gli studiosi hanno modellato questo concetto, creando un “collo di bottiglia genomico” che comprime le informazioni necessarie per costruire una rete neurale complessa.
Metodo
Nella loro formalizzazione, hanno utilizzato 2 tipi di reti: la p-network e la g-network:
- Phenotype Network (p-network): Rappresenta la rete neurale completa che esegue un determinato compito, simile al cervello sviluppato di un animale.
- Genomic Network (g-network): Una rete molto più piccola che contiene le regole o modelli per generare i pesi (connessioni) della p-network, analoga al genoma.
Gli input di questa rete sono coppie di identificatori di neuroni, identificati come stringhe binarie, l’output è il peso tra i neuroni (che rappresenta la forza della connessione), e il processo è computazionalmente intrigante: il g-network deve generare tutti i pesi della p-network utilizzando un set “compatto” di parametri, comprimendo efficacemente la rete più grande. Se questo vi accende una lampadina, vuol dire che siete sulla strada giusta! Le reti latenti come quelle utilizzate da Stable Diffusion per generare immagini fanno più o meno la stessa cosa.
Gli autori hanno sviluppato un metodo iterativo per addestrare sia il g-network che il p-network: il p-network viene addestrato su un compito specifico per ottenere i pesi iniziali. Poi, il g-network viene addestrato per approssimare questi pesi. Successivamente, il g-network genera nuovi pesi per il p-network, e poi il processo si ripete per perfezionare entrambe le reti.
Negli esperimenti condotti, gli autori hanno inizialmente focalizzato l’attenzione sul dataset MNIST, un insieme di immagini di cifre scritte a mano comunemente utilizzato nel machine learning. Hanno costruito il p-network in grado di classificare queste immagini, composto da oltre 600.000 parametri. Per affrontare il problema della limitata capacità informativa del genoma, hanno introdotto una seconda rete più piccola (g-network), progettata per generare i pesi del p-network attraverso una serie di regole semplici, analoghe alle istruzioni genetiche. L’innovazione chiave consiste nel fatto che il g-network, pur avendo una dimensione significativamente inferiore, è in grado di comprimere la complessità del p-network riducendo il numero di parametri da oltre 600.000 a circa 2.000, una compressione di oltre 300 volte. Nonostante questa drastica riduzione, la rete compressa ha raggiunto un’accuratezza del 94% nell’identificazione delle cifre senza necessità di ulteriore addestramento, rispetto al 98% della rete completamente addestrata. Questo risultato dimostra che è possibile rappresentare e trasmettere comportamenti complessi attraverso regole semplici e codifiche compatte, mimando il funzionamento del genoma nel processo di sviluppo neurale.
Gli autori hanno poi applicato il loro modello a compiti di apprendimento per rinforzo, che implicano l’interazione con un ambiente dinamico e l’apprendimento attraverso tentativi ed errori. Nel caso del gioco BeamRider, in cui l’agente controlla una navicella spaziale e deve evitare ostacoli e sconfiggere nemici, hanno ottenuto una compressione di oltre 400 volte senza perdita significativa di prestazioni. La rete compressa ha mostrato buone capacità fin dall’inizio, senza necessità di un lungo processo di addestramento. Questo risultato conferma che il collo di bottiglia genomico può essere efficace anche in contesti in cui il comportamento si sviluppa attraverso l’interazione con ambienti complessi e non strutturati.
Un meccanismo che potrebbe essere alla base delle abilità innate
Il collo di bottiglia genomico funziona come un potente meccanismo di regolarizzazione, costringendo le reti neurali a imparare rappresentazioni più generalizzate e meno suscettibili all’overfitting. Questo processo riflette il modo in cui gli organismi biologici possono sviluppare abilità innate complesse a partire da informazioni genetiche limitate, sfruttando regole di sviluppo semplici ma efficaci. Gli autori suggeriscono che le limitazioni fisiche della dimensione del genoma abbiano guidato l’evoluzione verso meccanismi di codifica che enfatizzano la semplicità e la riproducibilità, permettendo allo stesso tempo la flessibilità necessaria per adattarsi a ambienti variabili.
Applicazioni e impatto
Dal punto di vista applicativo, questo approccio ha implicazioni significative per l’intelligenza artificiale. L’idea di comprimere reti neurali complesse attraverso regole semplici potrebbe portare allo sviluppo di algoritmi più efficienti, capaci di generalizzare meglio e di adattarsi rapidamente a nuovi compiti o ambienti. Questo è particolarmente rilevante nel contesto del transfer learning e del riutilizzo di modelli esistenti in nuovi domini. Inoltre, l’approccio potrebbe ispirare nuove architetture di reti neurali artificiali che imitano i processi di sviluppo biologico, avvicinando ulteriormente l’IA ai meccanismi dell’intelligenza naturale.
Immagine in copertina generata tramite Flux.
Leggi l’articolo completo su Proceedings of the National Academy of Sciences
