quello che 'scarichi' sono i parametri della rete, ed è ovviamente un 'blob' molto molto oscuro poi c'è l'architettura della rete, generalmente OS: se volete divertirvi a dare un'occhiata fate pure, ad es: https://github.com/ggerganov/llama.cpp quanto ai dataset: alcuni modelli li prendono da quello che si trova in giro, ad es: CommonCrawl: https://commoncrawl.org/ soggetti come Meta e Google ovviamente usano quello che hanno in casa, non lo esportano, è vero, ma è anche vero che glielo diamo noi spontaneamente (ci finirà dentro anche questa mail) quello che è veramente 'proprietario' sono le procedure di filtering e di alignment. alcune sono note e fattibili con risorse pubbliche, si veda ad es. la Direct Preference Optimization (DPO): https://huggingface.co/collections/argilla/preference-datasets-for-dpo-656f0ce6a00ad2dc33069478 ma si vede a occhio nudo che quelli di DeepMind hanno di (molto) meglio: non so se si tratti del lavoro di schiavi sottopagati o di cose ottenute con garbo e prodigalità, in ogni caso è ben difficile che questa roba sia resa disponibile
hope that helps :-) G. On Sat, 29 Jun 2024 at 09:11, 380° via nexa <nexa@server-nexa.polito.it> wrote: > Giacomo Tesio <giac...@tesio.it> writes: > > > Il 28 Giugno 2024 21:45:36 UTC, Guido Vetere <vetere.gu...@gmail.com> > ha scritto: > >> 'aperti' nel senso di huggingface, cioè li puoi scaricare e > l'architettura > >> della rete è pubblica, ma certo che non ti danno i dataset di > addestramento > > > > Perché "certo"? > > > > Da quando un binario opaco è "aperto" per il solo fatto di essere > > scaricabile? > > perché dopo 30 anni a qualcuno piace _ancora_ giochicchiare > terminologicamente e siamo _ancora_ qui a menar il can per l'aia con > 'sto cavolo di "aperto" ("open")... declinato in mille tipi di > virgolette, tipo 'aperto'; declinato in mille sensi, tipo "nel senso di > huggingface" > > che noia. > > saluti, 380° > > -- > 380° (Giovanni Biscuolo public alter ego) > > «Noi, incompetenti come siamo, > non abbiamo alcun titolo per suggerire alcunché» > > Disinformation flourishes because many people care deeply about injustice > but very few check the facts. Ask me about <https://stallmansupport.org>. >