Una svolta innovativa nel campo dell’intelligenza artificiale sta emergendo grazie all’approccio “Mixture of Agents” (MoA), frutto di un recente studio condotto da un team di ricercatori di “Together AI”. Questa nuova metodologia mira a potenziare le capacità dei sistemi di IA sfruttando la sinergia tra diversi modelli linguistici di grandi dimensioni (LLM).
Il cuore pulsante di MoA è la collaborazione tra modelli di linguaggio. I ricercatori hanno scoperto che un LLM tende a generare risposte di qualità superiore quando esposto agli output di altri modelli, anche se questi sono intrinsecamente meno avanzati. Questa caratteristica, definita “collaborativeness” degli LLM, ha gettato le basi per lo sviluppo di MoA.
L’architettura MoA si articola in una struttura stratificata, dove ogni livello ospita diversi agenti LLM con ruoli specifici:
- Propositori: generano una varietà di risposte iniziali, offrendo prospettive diverse e sfumature.
- Aggregatori: fondono le varie proposte in un’unica risposta di alta qualità.
Questo processo iterativo si ripete attraverso diversi strati, culminando in una risposta finale più completa e robusta.
L’implementazione di riferimento, denominata “Together MoA”, ha dimostrato risultati sorprendenti. Utilizzando esclusivamente modelli open source, ha raggiunto un punteggio del 65,1% sul benchmark AlpacaEval 2.0, superando nettamente il precedente leader GPT-4o (57,5%). Together MoA ha inoltre brillato in altri benchmark standard come MT-Bench e FLASK.
Nonostante l’incremento dell’accuratezza, Together MoA presenta tempi di risposta più lunghi rispetto ad altri modelli. La riduzione di questa latenza rappresenta una delle principali sfide future per i ricercatori.
Lo studio ha anche esplorato l’impatto del numero di propositori e di strati sulle prestazioni del sistema, dimostrando che l’aumento di entrambi porta a miglioramenti significativi.
Un aspetto cruciale emerso dalla ricerca è l’efficienza economica di MoA. Mentre la configurazione completa di Together MoA offre le migliori prestazioni assolute, una versione più snella (Together MoA-Lite) raggiunge un equilibrio ottimale tra qualità e costo, superando le prestazioni di GPT-4o a parità di spesa.
Leggi l’articolo completo: Together MoA — collective intelligence of open-source models pushing the frontier of LLM capabilities
