Per anni ho pensato che per capire il linguaggio si dovesse passare attraverso l’analisi sintattica e poi per quella semantica, perché così dicevano i testi di linguistica. Ho sviluppato un parser a dipendenze multiligua basato su word embedding e rete neurale che funzionava molto bene. L’ultima incarnazione si chiama DiaParser e si trova su GitHub: Tuttavia John Hewitt ha scoperto, usando un probe sintattico, che le matrici di attention dei transformer contengono una rappresentazione dell’albero sintattico della frase. Altri layer delle metrici corrispondono ad altri fenomeni, come l’anafora. I word embedding, che sono al primo livello del transformer, danno una rappresentazione molto articolata del significato delle parole, inclusi sinonimi e relazioni semantiche tra parole. A questo punto l’ipotesi che si debba insegnare esplicitamente la grammatica e la semantica a un modello ha vacillato. Del resto i bambini imparano a capire e parlare una lingua ben prima di andare a scuola e che gli vengano insegnati i concetti linguistici astratti. Probabilmente l’esposizione a 30 milioni di frasi nei primi tre anni di vita è sufficiente (c’è chi dice siano di più, tenendo conto anche dei feedback visivi). Quindi, mai dare per scontate certe ipotesi che ci sembrano ovvie. Ho provato quindi a chiedere questo a ChatGPT. Analizza questa frase: lei suona il violino e lui la tromba. Cosa fa lui esattamente? ChatGPT: La frase è ambigua perché la costruzione grammaticale lascia spazio a due interpretazioni: 1. Interpretazione comune e probabile: “Lei suona il violino e lui [suona] la tromba.” Qui si sottintende il verbo “suonare” anche per il secondo soggetto, quindi si capisce che entrambi stanno suonando strumenti musicali. 2. Interpretazione ambigua e comica: “Lei suona il violino e lui la tromba” potrebbe essere letto in modo diverso, dove “la tromba” non è lo strumento musicale ma un’azione riferita a “lei”. In italiano colloquiale, “trombare” può avere un significato volgare (sinonimo di “fare sesso”). Se si legge in questo modo, la frase assume un doppio senso ironico. Il contesto in cui viene detta o scritta la frase aiuta a chiarire quale delle due interpretazioni sia corretta. Potrebbe darsi che ChatGPT abbia letto da qualche parte la spiegazione di ARM. Ma anche concludere che il modello non sa fare certe cose potrebbe essere azzardato. On 14 Feb 2025, at 16:59, Angelo Raffaele Meo <angelo....@polito.it> wrote:
|
- Re: [nexa] Perché Richard Stallman sbaglia... Giuseppe Attardi
- Re: [nexa] Perché Richard Stallman sb... Giuseppe Attardi
- Re: [nexa] Perché Richard Stallma... Guido Vetere
- Re: [nexa] Perché Richard Stallman sb... Giuseppe Attardi
- Re: [nexa] Perché Richard Stallma... Giacomo Tesio
- Re: [nexa] Perché Richard Stallman sb... Giuseppe Attardi
- Re: [nexa] Perché Richard Stallman sb... Giuseppe Attardi
- Re: [nexa] Perché Richard Stallma... Marco A. Calamari
- Re: [nexa] Perché Richard Stallma... Alberto Cammozzo via nexa
- Re: [nexa] Perché Richard Stallma... Guido Vetere
- Re: [nexa] Perché Richard Sta... Giacomo Tesio
- Re: [nexa] Perché Richard... Juan Carlos Gentile Fag�ndez
- [nexa] il senso della vita... maurizio lana
- Re: [nexa] il senso d... David Orban
- Re: [nexa] il sen... maurizio lana
- Re: [nexa] Perché Richard Sta... Alfredo Bregni
- Re: [nexa] Perché Richard Sta... Enrico Nardelli