Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi di NLP che si sono dimostrati praticamente inattaccabili con tecniche tradizionali, tipo summarization o semantic role labelling. Per questo, sono già largamente impiegati per compiti relativamente 'modesti' di estrazione, elaborazione e ricerca di informazione da documenti, ad esempio archivistici. In questi impieghi, la pappagallagine è un beneficio e le allucinazioni, se ci sono, sono nei documenti sorgente, non nelle piattaforme (pseudo) linguistiche. Questa roba è qui per restare, facciamocene una ragione. Ma non esistono solo le Big Tech US in questa storia: escono LLM dalle maledette pareti! Molte di queste pareti sono europee, accademiche o pubblico-private. Insomma i margini di manovra ci sono, ma bisogna capire meglio quali siano le manovre. Non credo che andremo lontano a colpi di regolamenti, certificazioni e relativi enti, simposi e convegni, comitati etici, et ceteris.
G. On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giac...@tesio.it> wrote: > Salve Daniela, > > come avrai certamentr notato il postmortem può essere diviso in 3 parti: > > 1. L'elenco di fatti non negabili > > > On February 20, 2024, an optimization to the user experience introduced > a bug [...] > > > > LLMs generate responses by randomly sampling words based in part on > probabilities. [...] > > > > In this case, the bug was in the step where the model chooses these > numbers. [...] > > > > Upon identifying the cause of this incident, we rolled out a fix and > confirmed that > > the incident was resolved. > > > 2. L'antropomorfizzazione del modello > > > [... a bug] with how the model processes language. > > > > [...] Their “language” consists of numbers that map to tokens. > > > > [...] Akin to being lost in translation, the model chose slightly wrong > numbers, which > > produced word sequences that made no sense. > > Povero! Povero modellino! :-D > > Notare le espressioni "processes language", "language consists", "lost in > translation" > e soprattutto "choose". > > E notare come quando gli output non supportano la loro narrazione sulla > "intelligenza artificiale" > diventano subito "word sequences that made no sense". > > L'output passa da "language" a "word sequences". > > Come se gli output prodotti "randomly sampling words based in part on > probabilities" > avessero un avuto senso prima del bug! > > > 3. La supercazzola magica > > > More technically, inference kernels produced incorrect results when used > in certain > > GPU configurations. > > Data la menzione delle probabilità e delle configurazioni delle GPU, > scommetterei > un caffé che il bug era riconducibile ad un overflow numerico o qualcosa > di simile. > > Il software si rivela semplicemente per quello che è, privo di qualsiasi > intelligenza. > > > > Come hanno osservato in molti, la definizione di chatGPT fornita dai > tecnici di OpenAI > > è quella a cui ci si riferisce con "pappagallo stocastico". > > Ed è anche quella considerata blasfema dai "believers" della AI. > > Che però si aggrapperanno a quell'innocente "in part" per continuare a > credere alle favole. > > > Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità? > > Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice delle > varie parti > dell'applicazione, dalla selezione dei contenuti, alle configurazioni, ai > prefiltri e ai post filtri. > > Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, in > tutti gli output rilevanti. > > > Giacomo > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
