in realtà gli array di gpu servono in training, ma per far girare in inferenza o anche in fine-tuning un LLM aperto decente bastano schede da poche migliaia di euro. il problema è la scalabilità per applicazioni 'consumer', tipo GPT, ed è il motivo per cui Mistral ha fatto l'accordo con Microsoft per il suo modello 'large' alla fine il collo di bottiglia è proprio il cloud, perché per il training, una tantum, ce la possiamo cavare anche con Leonardo tutto questo nella situazione attuale, poi domani chissà che succede, magari nuove architetture tipo 'mixture of experts' saranno più scalabili, magari il mercato consumer si differenzia la risorsa scarsa che mi preoccupa di più è quella delle competenze G.
On Sat, 16 Mar 2024 at 12:53, Antonio <anto...@piumarossa.it> wrote: > Immaginate che il prossimo primo d'aprile, le BigTech facciano al mondo un > bel pesce d'aprile. > Si mettano d'accordo e spengano i loro server. Una disconnessione, non di > un paio d'ore come è successo il 5 marzo con Facebook e consorelle [1], ma > per sempre, o comunque per un periodo molto lungo. > A parte lo shock iniziale, la comunità di sviluppatori open source sarebbe > in grado, nel giro di poco tempo, di mettere su delle alternative valide, > considerata l'enorme quantità di software libero in grado di coprire la > quasi totalità dei servizi "offerti" dalle Big. > Già, la quasi ... Ma con l'intelligenza artificiale come la mettiamo? > Non è questione di software, l'AI è basata su una manciata di linee di > codice (v. il mio nanoLLaMA [2]) disponibile in rete liberamente. > Non è questione di dati in input. Common Crawl [3] è lì per questo, basta > una connessione ed un hard disk decente e i dati sono pronti. > E' ovviamente una questione di potenza di calcolo e di corrente elettrica, > insomma, dei "chip" che riescano ad effettuare miliardi di miliardi di > "moltiplicazioni" al secondo e accesi per mesi e mesi [4]. > Quindi ... siamo "bloccati". Il miglior lock-in che l'industria del > hardware (Nvidia) e del software è riuscita a mettere in atto. > > A. > > [1] https://notizie.tiscali.it/cronaca/articoli/anomalie-siti-meta/ > [2] https://github.com/opensignature/stories > [3] https://commoncrawl.org/ > [4] https://www.saela.eu/flops/ > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
