I parametri sono i numeri che permettono a un modello di intelligenza artificiale di funzionare. In un LLM (Large Language Model), ogni parola viene prima trasformata in un embedding, ovvero una lista di numeri che rappresentano il significato della parola in relazione a tutte le altre.
Gli embedding, insieme a pesi e bias, formano i parametri principali del modello. I pesi determinano quanto ogni parola influenza le altre nel contesto di una frase, mentre i bias regolano le soglie di attivazione per catturare informazioni anche dai segnali più deboli.
Tutti questi parametri vengono inizialmente impostati a caso e poi modificati migliaia di volte durante l’addestramento, grazie a calcoli che riducono progressivamente l’errore del modello. Oltre ai parametri interni, ci sono gli iperparametri, come temperatura, top-p e top-k, che influenzano il comportamento creativo o preciso del modello nella scelta delle parole successive.
La dimensione del modello non è l’unico fattore determinante: quantità e qualità dei dati di addestramento, tecniche come distillazione o mixture of experts possono far sì che modelli più piccoli superino quelli più grandi.
I parametri sono leve numeriche che codificano il linguaggio e il contesto, trasformando sequenze di parole in risposte coerenti e complesse.
Leggi l’articolo completo: LLMs contain a LOT of parameters. But what’s a parameter? su technologyreview.com
Immagine generata tramite DALL-E 3. Tutti i diritti sono riservati. Università di Torino (13/05/2025).
