> La stima di 10^23 FLOPS, come qualcuno ha capito, è il conto totale dei FLOPS > necessari per allenare GPT-3. > Si tratta di stime, riportate ad esempio su > https://www.hyro.ai/glossary/gpt-3/#:~:text=To%20be%20exact%2C%20GPT%2D3,amount%20of%20time%20is%20unimaginable., > e riguardano le risorse necessarie per UN SINGOLO run. I costi complessivi > delle risorse sono stimati in diverse centinaia di milioni di $, in quanto > occorrono diversi run ...
Il link purtroppo non aiuta (conferma solo il 10^23 moltiplicandolo per 3,14), ma, quanti sarebbero questi "training run" ? 10/100/1000 ? Vengono eseguite in parallelo? Una di seguito all'altra? E se fosse così, perché non indicare il totale generale? Sarebbe un numero ancora maggiore, 10^24, 10^25 ... Antonio _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
