quello che 'scarichi' sono i parametri della rete, ed è ovviamente un
'blob' molto molto oscuro
poi c'è l'architettura della rete, generalmente OS: se volete divertirvi a
dare un'occhiata fate pure, ad es: https://github.com/ggerganov/llama.cpp
quanto ai dataset: alcuni modelli li prendono da quello che si trova in
giro, ad es: CommonCrawl: https://commoncrawl.org/
soggetti come Meta e Google ovviamente usano quello che hanno in casa, non
lo esportano, è vero, ma è anche vero che glielo diamo noi spontaneamente
(ci finirà dentro anche questa mail)
quello che è veramente 'proprietario' sono le procedure di filtering e di
alignment.
alcune sono note e fattibili con risorse pubbliche, si veda ad es. la
Direct Preference Optimization (DPO):
https://huggingface.co/collections/argilla/preference-datasets-for-dpo-656f0ce6a00ad2dc33069478
ma si vede a occhio nudo che quelli di DeepMind hanno di (molto) meglio:
non so se si tratti del lavoro di schiavi sottopagati o di cose ottenute
con garbo e prodigalità, in ogni caso è ben difficile che questa roba sia
resa disponibile
hope that helps :-)
G.
On Sat, 29 Jun 2024 at 09:11, 380° via nexa <nexa@server-nexa.polito.it>
wrote:
> Giacomo Tesio <giac...@tesio.it> writes:
>
> > Il 28 Giugno 2024 21:45:36 UTC, Guido Vetere <vetere.gu...@gmail.com>
> ha scritto:
> >> 'aperti' nel senso di huggingface, cioè li puoi scaricare e
> l'architettura
> >> della rete è pubblica, ma certo che non ti danno i dataset di
> addestramento
> >
> > Perché "certo"?
> >
> > Da quando un binario opaco è "aperto" per il solo fatto di essere
> > scaricabile?
>
> perché dopo 30 anni a qualcuno piace _ancora_ giochicchiare
> terminologicamente e siamo _ancora_ qui a menar il can per l'aia con
> 'sto cavolo di "aperto" ("open")... declinato in mille tipi di
> virgolette, tipo 'aperto'; declinato in mille sensi, tipo "nel senso di
> huggingface"
>
> che noia.
>
> saluti, 380°
>
> --
> 380° (Giovanni Biscuolo public alter ego)
>
> «Noi, incompetenti come siamo,
> non abbiamo alcun titolo per suggerire alcunché»
>
> Disinformation flourishes because many people care deeply about injustice
> but very few check the facts. Ask me about <https://stallmansupport.org>.
>
