Concordo pienamente. Forse manca un riferimento al meccanismo dell’attention, la parte cruciale dei Transformer (Attention is all you need), oltre ai word embedding al loro primo livello, che forniscono la rappresentazione frattale del significato delle parole.
La attention è quella che esprime relazioni tra le parole, come quelle a lungo raggio che citi. Sono relazioni sia di tipo sintattico che semantico (anafora) e contestuali. Ad esempio con le sonde sintattiche, Hewitt e Manning mostrano che dalle matrici di attention del livello 6 di un Transformer si può ricostruire l’albero sintattico a dipendenze. Quindi i LLM acquisiscono conoscenze linguistiche, diverse da quelle proposte dai linguisti e in modo diverso da come le insegnamo noi ai bambini e tentavamo di fare coi programmi. Ho seguito discussioni infinite tra linguisti su come scegliere POS e Dependency tags e come annotare questo e quel fenomeno, che alla fine sono risultate del tutto inutili, perché i LLM ne fanno del tutto a meno. Stiamo uscendo dalla fase dell’imitazione da parte delle macchine, quando si cercava di insegnare a loro di imitarci. Ora siamo nella fase della scoperta autonoma, dove le macchine imparano da sole, a modo loro, cose che non conosciamo e che quindi non potremmo insegnargli. — > On 26 Feb 2025, at 12:00, nexa-requ...@server-nexa.polito.it wrote: > > From: Guido Boella <guido.boe...@unito.it> > To: nexa@server-nexa.polito.it > Subject: [nexa] Tutto quello che i linguisti computazionali avrebbero > voluto sapere sul linguaggio ma non hanno avuto il coraggio di > chiedere > Message-ID: > <CAA8c75V1gv4z7Uuoe2qVBLUyM0BoC0YSK=TnNqhu3Y6ba=m...@mail.gmail.com> > Content-Type: text/plain; charset="utf-8" > > Carissime e carissimi > > segnalo articolo su TuttoScienze > https://www.lastampa.it/tuttoscienze/2025/02/26/news/tutto_quello_che_i_linguisti_computazionali_avrebbero_voluto_sapere_sul_linguaggio-15015239/ > > la cui versione completa potete trovare sul Magazine Intelligenza > Artificiale magia.news > https://magia.news/tutto-quello-che-i-linguisti-computazionali-avrebbero-voluto-sapere-sul-linguaggio-ma-non-hanno-avuto-il-coraggio-di-chiedere/ > > saluti > Guido
