> On 12 Oct 2023, at 12:00, <nexa-requ...@server-nexa.polito.it> > <nexa-requ...@server-nexa.polito.it> wrote: > > From: "M. Fioretti" <mfiore...@nexaima.net <mailto:mfiore...@nexaima.net>> > To: nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > Subject: Re: [nexa] IA, lavoro, immaginari > Message-ID: <zse3bma66wunz...@nexaima.net > <mailto:zse3bma66wunz...@nexaima.net>> > Content-Type: text/plain; charset=utf-8 > > On Thu, Oct 12, 2023 10:26:32 AM +0200, Giuseppe Attardi wrote: > >> il termine spregiativo di “stochastic parrot” che è stato affibbiato >> ai LLM da Timnit Gebru e colleghi. L’articolo è molto controverso ed >> è costato a Gebru il posto a Google. Nell’articolo si sostiene che: >> >> An LM is a system for haphazardly stitching together sequences of linguistic >> forms it has observed in its vast training data, according to probabilistic >> information about how they combine, but without any reference to meaning: a >> stochastic parrot. >> >> Questa affermazione è superficiale e inesatta, perché non tiene conto di >> alcune >> cose: >> >> 1. Alla base dei LLMs ci sono i word embedding, un modo per assegnare un >> significato alle parole, un problema che ha eluso la filosofia e la >> linguistica >> per due millenni e che il Deep Learning ha risolto. Questo è quanto afferma >> Hinton in proposito: >> “Many people who think it’s just statistics are thinking in terms of program >> models or counting the co-occurrence frequencies of words. We think this >> process of creating features of the embeddings and then interactions between >> features is actually understanding. Once you’ve taken the raw data of symbol >> strings and you can now predict the next symbol not by things like trigrams, >> but the huge number of features interacting in very complicated way to >> predict >> the features of the next word and from that make a prediction about the >> probability of the next word, the point is that is understanding, at least I >> believe that is understanding. I believe that is what our brains are doing. >> But >> that’s an issue to be discussed by the research community and it would be >> great >> if we could convince people that they are not just stochastic parrots.” > > questa cosa mi confonde un po': a chi/a chi sta parlando Hinton? È tratto da una conversazione con Andrew Ng, che si dichiara d’accordo.
> > Perche' le critiche a certi discorsi vengono da quelli che non hanno > alcun bisogno di essere convinti di non essere semplici pappagalli, ma > sono LORO a dire di essere molto di piu'. A dire che il cervello umano > e' solo un'altra macchina sono altri. E dimostrare che gli esseri > umani non sono pappagalli stocastici mica esclude che lo siano gli > LLM. Ambiguità della lingua: “they” in “they are not just stochastic parrots” non si riferisce a “people”, ma ai LLM. — Beppe > > Sicuramente questo sara' piu' chiaro nel dibattito. Ne sara' > disponibile una trascrizione? > > Grazie, > Marco > -- > https://mfioretti.substack.com <https://mfioretti.substack.com/>
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
