> I LLM hanno risolto il problema in modo radicalmente diverso: invece di
> codificare
> regole, apprendono pattern statistici da enormi quantità di testo.
Se venisse da me un ragazzino a chiedermi il funzionamento base di una rete
neurale gli farei questo esempio.
Vuoi tirare il rigore perfetto all'incrocio dei pali? Vieni con me.
Ti porto nei pressi del dischetto e ti bendo.
"Tira il pallone in una direzione a caso, poi io ti dirò come aggiustare il
tiro".
Un po' più a destra, un po' più alto, ancora più in alto, no, troppo, ora
abbassa, e così per tutto il giorno.
Io prenderò nota solo dei movimenti corretti.
Dopo 10.000 rigori, non avrai più bisogno che io ti guidi. Avrai memorizzato
esattamente la tensione muscolare e
la potenza necessaria per colpire l'incrocio. A quel punto, toglieremo la benda
e farai gol al primo colpo.
Quindi abbiamo:
1) Il calciatore (la rete neurale): È lui che agisce, ma all'inizio non sa
nulla.
2) Il tiro a caso (forward propagation): La rete neurale fa una previsione
basandosi su pesi casuali.
3) Tu che correggi ("più a destra/alto") (Funzione di perdita/loss function):
misuri l'errore tra dove è andata la palla e l'incrocio dei pali.
4) Aggiustare il tiro (backpropagation): Il calciatore capisce l'errore e
modifica la posizione del corpo per il prossimo tiro.
5) Tirare tutto il giorno (addestramento/training): La rete impara iterando
migliaia di volte finché non azzecca il tiro
6) Prendere nota (aggiornamento dei parametri della rete): I "pesi" sinaptici"
vengono consolidati quando portano ad un risultato migliore.
Bene, ora sostituisci quel "migliaia di volte" con questo numero:
38.000.000.000.000.000.000.000.000
e "tutto il giorno" con 54 giorni.
(Il training di Llama 3.1 405B ha richiesto circa 3,8 * 10^25 FLOP utilizzando
16.384 GPU H100 per 54 giorni)
p.s. forse è meglio citare De Gregori:
Ma Nino non aver paura
Di sbagliare un calcio di rigore
Non è mica da questi particolari
Che si giudica un giocatore
Un giocatore lo vedi dal coraggio
Dall'altruismo e dalla fantasia
A.
