Mistral ha ricevuto un primo investimento di 120 milioni per sviluppare sistemi di AI, il governo italiano ha investito 120 milioni per l’acquisto di Leonardo (raddoppiando i 120 della Commissione Europea). Qual è stata la decisione più furba? BTW, Leonardo è semplicemente un prodotto commerciale di Athos, industria francese. A quel tempo, consultando il MISE, cercai di suggerire che il CINECA facesse uno sforzo per progettare un’architettura di computer dedicato all’AI.
Per gennaio sono stato convocato di nuovo per un’audizione sull’AI alla Camera e sono andato a rileggere il mio intervento analogo al Senato del 2020. Dicevo cose che state dicendo adesso: che ci vorrebbe un’iniziativa di dimensione europea sull’AI, la chiamavo un CERN for AI e citavo le capacità di GPT-3 come indicatore di possibili traguardi. https://www.senato.it/Leg18/3557?indagine=1809 Comunque, Mixtral7B è un primo risultato promettente. Il confronto con gli altri modelli SotA però è un po’ deludente. https://arxiv.org/pdf/2312.11444.pdf Per accrescere la dimensione del modello, occorre arrivare a utilizzare oltre un miliardo di MIPS, che nemmeno Allen Artificial Intelligenge riesce a permettersi per allenare il loro modello OLMo. Ossia, Leonardo andrebbe interamente dedicato ad allenare un LLM per circa un mese. Qualcuno deve pagare per tutte quelle risorse e per l’energia elettrica. Inoltre la strada da percorrere porta verso i modelli multimodali, tipo Gemini, e lì il compito si fa ancora più arduo. Se i francesi non fossero così sciovinisti e lo stesso i tedeschi e gli italiani, si dovrebbero mettere tutti insieme per lavorare ad un obiettivo comune. OpenAI ha 770 dipendenti, circa 200 hanno firmato l’articolo su GPT-4. La foto del team di Mistral mostra una dozzina di persone. BTW, la Commissione ha annunciato un finanziamento di 100 milioni per un progetto sui LLM nell’ambito dell’iniziativa Interesting Projects of Common European Interest, di cui è capofila Tiscali (https://ec.europa.eu/commission/presscorner/detail/en/IP_23_6246). C’è poi un finanziamento di 4 milioni (H4LM) per fare una raccolta di testi multilingue per allenare LLM (https://hplt-project.org/) — Beppe > On 27 Dec 2023, at 09:06, nexa-requ...@server-nexa.polito.it wrote: > From: Damiano Verzulli <dami...@verzulli.it> > To: "nexa@server-nexa.polito.it" <nexa@server-nexa.polito.it> > Subject: [nexa] AI/LLM a trazione europea... > Message-ID: <42dcc85e-6452-4255-9ddd-7f67a1e6f...@verzulli.it> > Content-Type: text/plain; charset="utf-8"; Format="flowed" > > In questo gruppo si parla spesso di AI/LLM e... spesso ho notato mani > alzate a mo' di: "Eh! Ma servono 'risorse'... servono 'soldi'.... > servono 'infrastrutture'... perché senza, non si va da nessuna parte". > > Ricordo, ad esempio, un paio di thread incentrati sul fatto che UniPisa > avesse investito ~1M€ (se ricordo bene...) per acquistare un paio di > "cluster" [di cui almeno uno acquistato con fondi PNRR], specializzati > sul GPU-computing.... > > Bene... dico questo perché qualche settimana fa ho incrociato un POST di > Vincenzo Di Nicola [1] il quale evidenziava come Mistral [2], una > startup francese partita a maggio 2023, fosse valutata 2G€ e... stesse > rapidissimamente diventando una entita' di spicco nel panorama AI mondiale. > > Ripeto: è una startup francese. > > La cosa che piu' di tutte mi ha colpito, pero', è un'altra. Vincenzo > scriveva: "...E Mistral, in pochi mesi, ha gia’ prodotto un LLM > addestrato velocemente grazie al nostro supercomputer Leonardo del > Cineca..." > > Ecco: finalmente trovavo una evidenza concreta di un utilizzo di risorse > --finanziate e gestite dal nostro Paese-- che andasse a beneficio di > altre risorse/entita'... mainstream e, soprattutto, made-in-Europe. > > La notizia mi era nuova... e quindi ho chiesto a Vincenzo una conferma. > Oltre a confermarla, mi ha girato un ulteriore riferimento (paywalled > [3]) e, successivamente è anche andato a farsi un giro in Cineca [4] > > Cercando in giro, ho trovato quest'altra fonte ([5] in francese) che > cita sia Leonardo che EuroHPC... > > Insomma: a dispetto di quanto si pensi nei corridoi di molti nostri > Atenei... è perfettamente possibile utilizzare Leonardo per addrestare > un LLM... e tra l'altro in tempi rapidissimi. > > Mi chiedo perché dei Francesi abbiano potuto farlo... e degli Italiani > no. Ma è un dettaglio :-) > > Un saluto, > DV > > [1] > https://www.linkedin.com/posts/dinicola_openai-rival-mistral-nears-2-billion-value-activity-7137853575195410432-qVc1 > [2] https://mistral.ai/ > [3] > https://www.theinformation.com/articles/why-do-we-need-an-openai-of-europe > [4] > https://www.linkedin.com/posts/dinicola_supercomputer-francescoubertini-cineca-activity-7139201768969736192-kCmD > [5] https://www.silicon.fr/mistral-ai-llm-471793.html > > -- > Damiano Verzulli > e-mail:dami...@verzulli.it > --- > From: Damiano Verzulli <dami...@verzulli.it> > To: "nexa@server-nexa.polito.it" <nexa@server-nexa.polito.it> > Subject: [nexa] AI/LLM a trazione europea... > Message-ID: <42dcc85e-6452-4255-9ddd-7f67a1e6f...@verzulli.it> > Content-Type: text/plain; charset="utf-8"; Format="flowed" > > In questo gruppo si parla spesso di AI/LLM e... spesso ho notato mani > alzate a mo' di: "Eh! Ma servono 'risorse'... servono 'soldi'.... > servono 'infrastrutture'... perché senza, non si va da nessuna parte". > > Ricordo, ad esempio, un paio di thread incentrati sul fatto che UniPisa > avesse investito ~1M€ (se ricordo bene...) per acquistare un paio di > "cluster" [di cui almeno uno acquistato con fondi PNRR], specializzati > sul GPU-computing.... > > Bene... dico questo perché qualche settimana fa ho incrociato un POST di > Vincenzo Di Nicola [1] il quale evidenziava come Mistral [2], una > startup francese partita a maggio 2023, fosse valutata 2G€ e... stesse > rapidissimamente diventando una entita' di spicco nel panorama AI mondiale. > > Ripeto: è una startup francese. > > La cosa che piu' di tutte mi ha colpito, pero', è un'altra. Vincenzo > scriveva: "...E Mistral, in pochi mesi, ha gia’ prodotto un LLM > addestrato velocemente grazie al nostro supercomputer Leonardo del > Cineca..." > > Ecco: finalmente trovavo una evidenza concreta di un utilizzo di risorse > --finanziate e gestite dal nostro Paese-- che andasse a beneficio di > altre risorse/entita'... mainstream e, soprattutto, made-in-Europe. > > La notizia mi era nuova... e quindi ho chiesto a Vincenzo una conferma. > Oltre a confermarla, mi ha girato un ulteriore riferimento (paywalled > [3]) e, successivamente è anche andato a farsi un giro in Cineca [4] > > Cercando in giro, ho trovato quest'altra fonte ([5] in francese) che > cita sia Leonardo che EuroHPC... > > Insomma: a dispetto di quanto si pensi nei corridoi di molti nostri > Atenei... è perfettamente possibile utilizzare Leonardo per addrestare > un LLM... e tra l'altro in tempi rapidissimi. > > Mi chiedo perché dei Francesi abbiano potuto farlo... e degli Italiani > no. Ma è un dettaglio :-) > > Un saluto, > DV > > [1] > https://www.linkedin.com/posts/dinicola_openai-rival-mistral-nears-2-billion-value-activity-7137853575195410432-qVc1 > [2] https://mistral.ai/ > [3] > https://www.theinformation.com/articles/why-do-we-need-an-openai-of-europe > [4] > https://www.linkedin.com/posts/dinicola_supercomputer-francescoubertini-cineca-activity-7139201768969736192-kCmD > [5] https://www.silicon.fr/mistral-ai-llm-471793.html > > -- > Damiano Verzulli > e-mail:dami...@verzulli.it > ---
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
