che in cose come Common Crawl ci sia mondezza lo sanno tutti, il problema è verificare se e come viene filtrata, e torniamo al tema della GPU. ma poi: che garanzie pensi di ottenere così? a meno che non setti la temperatura a zero, la generazione basata su LLM è aleatoria: lo stesso prompt può darti cose un po' diverse a seconda di come gli gira il random generator. continuo a non capire lo scopo di questo discorso G.
On Wed, 3 Jul 2024 at 11:05, Stefano Zacchiroli <z...@upsilon.cc> wrote: > On Wed, Jul 03, 2024 at 10:29:39AM +0200, Guido Vetere wrote: > > C'è poi un piccolo particolare che rende la nozione di 'Open Source' > > difficilmente applicabile ai LLM: se pure uno avesse tutti i dataset > > eccetera, gli mancherebbe ancora quel mesetto di GPU che serve per fare > > training anche di pochi miliardi di parametri. Cioè: servirebbe ancora > > Leonardo, o in alternativa un grosso conto in banca. > > Questo è un argomento ricorrente e comprensibile, ma che personalmente > non condivido. Propongo alcuni (contro)argomenti: > > - un dataset aperto permette (a costi molto inferiori a quelli di > addestramento) di verificare cosa c'è dentro, per esempio, per > verificare la presenza di eventuali bias di selezione > > - in ambito software: che il codice sorgente del kernel Linux sia > disponibile è un bene per tutta i suoi utilizzatori, compresi quelli > che non hanno ne le competenze ne il tempo di capire come funziona o > metterci mano > > - in ambito hardware: l'esistenza di open hardware (che prevede che gli > schemi di design siano liberamente disponibili) è un bene per tutti, > anche se in pochi dispongono delle fabbriche per costruire microchip o > (ancora più difficile) dei laboratori per verificare che il chip che > hanno in mano corrisponde a quei design > > Saluti > -- > Stefano Zacchiroli . z...@upsilon.cc . https://upsilon.cc/zack _. ^ ._ > Full professor of Computer Science o o o \/|V|\/ > Télécom Paris, Polytechnic Institute of Paris o o o </> <\> > Co-founder & CTO Software Heritage o o o o /\|^|/\ > https://twitter.com/zacchiro . https://mastodon.xyz/@zacchiro '" V "' >
