Il 02/10/23 12:58, Antonio ha scritto:
[...] No, aspettate, forse mi sono perso qualche puntata precedente. I testi non sono per nulla presenti nell'LLM, neanche in forma "compressa". Il "model" non è altro che un enorme contenitore di "numeri". Nel caso di GPT3-175B, 175 miliardi di numeri, fine. Questi numeri si chiamano "pesi" ma sempre numeri sono. Provo con qualche esempio.Prompt: Quante lune ha Giove? La prima operazione che fa un LLM è la tokenizzazione, nel caso dell'esempio: Token array: Array ( [Qu] => 4507 [ante] => 12427 [Ġl] => 300 [une] => 1726 [Ġha] => 387 [ĠGi] => 8118 [ove] => 659 [?] => 30 ) Il dizionario usato da OpenAI è pubblico e contiene 50257 token, quindi i numeri qui sopra sono quelli che realmente entrano nel processo di "inferenza" di ChatGPT. Quello che ChatGPT fa non è altro che aggiungere UN numero a quella sequenza (ovviamente sulla base di migliaia di calcoli che non sto qui a dettagliare). Il numero trovato (su una versione mininale di ChatGPT) è 33704. ChatGPT prende questo numero e lo accoda a 30, e così via ... Alla fine, la sequenza completa di ChatGPT sarà: 33704, 659, 387, 334, 2108, 498, 434, 68, 9225, 300, 1726, 1013, 7780, 378, che "detokenizzato", diventa: "Giove ha ufficialmente 79 lune confermate".
Nell'ipotesi che i non-addetti ai lavori (o anche quegli "addetti" che --come me-- sono ignoranti in materia) vogliano cercare di approfondire il funzionamento degli LLM... segnalo che finora la migliore spiegazione che ho trovato, non-tecnicissima, è quella circolata in lista lo scorso 16/09, da Luigi Scorca - https://server-nexa.polito.it/pipermail/nexa/2023-September/051521.html:
Nella sua mail, Luigi segnalava questo link: https://ig.ft.com/generative-ai/che, fra tutto quello che ho letto e visto finora, in giro, on-line (e off-line), ritengo sia la migliore presentazione al riguardo. Raro esempio di utilizzo di un sito web nel pieno delle sue potenzialita', e non semplicemente la trasposizione di un foglio di carta...
Saluti,
DV
--
Damiano Verzulli
e-mail:dami...@verzulli.it
---
possible?ok:while(!possible){open_mindedness++}
---
"...I realized that free software would not generate the kind of
income that was needed. Maybe in USA or Europe, you may be able
to get a well paying job as a free software developer, but not
here [in Africa]..." -- Guido Sohne - 1973-2008
http://ole.kenic.or.ke/pipermail/skunkworks/2008-April/005989.html
OpenPGP_signature.asc
Description: OpenPGP digital signature
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
