se cerchi di fare backprop con un flip flop hai dei problemi...
On 12/05/26 08:32, Giuseppe Attardi via nexa wrote:
Non esattamente: ti sfugge che il calciatore (la rete neurale) ha una
sua capacità di apprendere legata alla struttura del suo modello: la
backpropagation stimola l’apprendimento ma non basta se il modello è
inadeguato.
Sostituisci al calciatore una rete fatta di un singolo perceptron e il
meccanismo non funziona.
Proprio sul ruolo cruciale dell’architettura dei modelli sta la
differenza con l’interpretazione di macchina-statistica.
I successi del Deep Learning sono dovuti proprio ai progressi nelle
architetture dei modelli.
— Beppe
On 11 May 2026, at 13:09, [email protected] wrote:
From: antonio <[email protected] <mailto:[email protected]>>
Subject: [nexa] Re: Una visione realistica dell’Intelligenza
Artificiale - Lettera aperta alla società
To:[email protected] <mailto:[email protected]>
Message-ID: <[email protected]
<mailto:[email protected]>>
Content-Type: text/plain; charset=ISO-8859-1
I LLM hanno risolto il problema in modo radicalmente diverso: invece
di codificare
regole, apprendono pattern statistici da enormi quantità di testo.
Se venisse da me un ragazzino a chiedermi il funzionamento base di una
rete neurale gli farei questo esempio.
Vuoi tirare il rigore perfetto all'incrocio dei pali? Vieni con me.
Ti porto nei pressi del dischetto e ti bendo.
"Tira il pallone in una direzione a caso, poi io ti dirò come
aggiustare il tiro".
Un po' più a destra, un po' più alto, ancora più in alto, no, troppo,
ora abbassa, e così per tutto il giorno.
Io prenderò nota solo dei movimenti corretti.
Dopo 10.000 rigori, non avrai più bisogno che io ti guidi. Avrai
memorizzato esattamente la tensione muscolare e
la potenza necessaria per colpire l'incrocio. A quel punto, toglieremo
la benda e farai gol al primo colpo.
Quindi abbiamo:
1) Il calciatore (la rete neurale): È lui che agisce, ma all'inizio
non sa nulla.
2) Il tiro a caso (forward propagation): La rete neurale fa una
previsione basandosi su pesi casuali.
3) Tu che correggi ("più a destra/alto") (Funzione di perdita/loss
function): misuri l'errore tra dove è andata la palla e l'incrocio dei
pali.
4) Aggiustare il tiro (backpropagation): Il calciatore capisce
l'errore e modifica la posizione del corpo per il prossimo tiro.
5) Tirare tutto il giorno (addestramento/training): La rete impara
iterando migliaia di volte finché non azzecca il tiro
6) Prendere nota (aggiornamento dei parametri della rete): I "pesi"
sinaptici" vengono consolidati quando portano ad un risultato migliore.
Bene, ora sostituisci quel "migliaia di volte" con questo numero:
38.000.000.000.000.000.000.000.000
e "tutto il giorno" con 54 giorni.
(Il training di Llama 3.1 405B ha richiesto circa 3,8 * 10^25 FLOP
utilizzando 16.384 GPU H100 per 54 giorni)
p.s. forse è meglio citare De Gregori:
Ma Nino non aver paura
Di sbagliare un calcio di rigore
Non è mica da questi particolari
Che si giudica un giocatore
Un giocatore lo vedi dal coraggio
Dall'altruismo e dalla fantasia
A.
--
You can reach me on Signal: @quinta.01 (no Whatsapp, no Telegram)
