On mar, 2025-02-25 at 05:52 +0100, Giuseppe Attardi wrote: > Per anni ho pensato che per capire il linguaggio si dovesse passare > attraverso l’analisi sintattica e poi per quella semantica, perché > così dicevano i testi di linguistica. > Ho sviluppato un parser a dipendenze multiligua basato su word > embedding e rete neurale che funzionava molto bene. > L’ultima incarnazione si chiama DiaParser e si trova su GitHub: > https://github.com/Unipisa/diaparser > > Tuttavia John Hewitt ha scoperto, usando un probe sintattico, che le > matrici di attention dei transformer contengono una rappresentazione > dell’albero sintattico della frase. > Altri layer delle metrici corrispondono ad altri fenomeni, come > l’anafora. > I word embedding, che sono al primo livello del transformer, danno > una rappresentazione molto articolata del significato delle parole, > inclusi sinonimi e relazioni semantiche tra parole. > > A questo punto l’ipotesi che si debba insegnare esplicitamente la > grammatica e la semantica a un modello ha vacillato. > Del resto i bambini imparano a capire e parlare una lingua ben prima > di andare a scuola e che gli vengano insegnati i concetti > linguistici astratti. > Probabilmente l’esposizione a 30 milioni di frasi nei primi tre anni > di vita è sufficiente (c’è chi dice siano di più, tenendo conto > anche dei feedback visivi). > > Quindi, mai dare per scontate certe ipotesi che ci sembrano ovvie. > > Ho provato quindi a chiedere questo a ChatGPT. > > Analizza questa frase: lei suona il violino e lui la tromba. Cosa fa > lui esattamente? > > ChatGPT: La frase è ambigua perché la costruzione grammaticale > lascia spazio a due interpretazioni: > 1. Interpretazione comune e probabile: “Lei suona il violino e lui > [suona] la tromba.” Qui si sottintende il verbo “suonare” anche per > il secondo soggetto, quindi si capisce che entrambi stanno suonando > strumenti musicali. > 2. Interpretazione ambigua e comica: “Lei suona il violino e lui la > tromba” potrebbe essere letto in modo diverso, dove “la tromba” non > è lo strumento musicale ma un’azione riferita a “lei”. In italiano > colloquiale, “trombare” può avere un significato volgare (sinonimo > di “fare sesso”). Se si legge in questo modo, la frase assume un > doppio senso ironico. > > Il contesto in cui viene detta o scritta la frase aiuta a chiarire > quale delle due interpretazioni sia corretta. > > Potrebbe darsi che ChatGPT abbia letto da qualche parte la > spiegazione di ARM. > Ma anche concludere che il modello non sa fare certe cose potrebbe > essere azzardato.
Ciao Giuseppe, ciao tutti. Mi lascia perplesso questo tuo ultimo inciso. Come tutti gli LLM, ChatGPT è stato esposto alla conoscenza umana pregressa, molta di essa proveniente da Internet. Ti sta semplicemente restituendo quello che ha letto. Se avesse letto solo e ripetutamente una fake news ti restituirebbe quella. Il rasoio di Occam pretende di restare aderenti alla spiegazione più semplice. Nel momento in cui una ricerca sottoposta a peer review *dimostrerà* che gli strati di una rete neurale rappresentano i diversi livelli di strutturazione del linguaggio, allora potremo cambiare idea. Sai, sono povero ingegnere, non riesco a ragionare diversamente. ;-) Buona giornata a tutti. Marco > > > On 14 Feb 2025, at 16:59, Angelo Raffaele Meo > > <angelo....@polito.it> wrote: > > > > Difendo Richard Stallman ed anche l'Intelligenza Artificiale. > > Nel 1960, quando quasi tutti i partecipanti a questo dibattito non > > erano ancora nati oppure frequentavano l'asilo, io realizzai uno > > dei primi prototipi di quel capitolo dell'Intelligenza Artificiale > > che chiamiamo "riconoscimento della voce". Riconosceva sotto > > dettatura una ventina di parole distinte, isolate, basandosi > > sull'analisi acustico-lessicale del segnale vocale. Ad esempio, i > > brevissimi istanti di silenzio caratteristici della lettera > > esplosiva "t" suggerivano la parola "sette" oppure la parola > > "otto", mentre le vocali hanno spettri di frequenza diversi. > > In quella prima fase della ricerca comprendemmo, ad esempio, che > > la dettatura automatica o la traduzione da una lingua ad un'altra > > richiedono l'integrazione dell'analisi lessicale con l'analisi > > sintattica, ma è ancora più importante l'analisi semantica. > > Fui io ad introdurre un esempio significativo che è stato citato > > più volte. Consideriamo la frase "lei suona il piano e lui la > > tromba". Due diversi alberi sintattici possono sottendere quella > > frase. Nel primo albero sintattico la parola "tromba" è un'unità > > nominale; nel secondo albero sintattico la stessa parola è unità > > verbale. > > Per l'ascoltatore che non sa nulla della vita sentimentale di lei > > e lui, "tromba" è un'unità nominale; invece, per l'ascoltatore che > > sa che lei e lui sono amanti, in un particolare contesto della > > conversazione, in virtù di quel capitolo della semantica che è > > chiamato "pragmatica", "tromba" diventa un'unità verbale, con > > implicazioni importanti sul processo di traduzione. > > In questo momento, introdurre la semantica o la pragmatica > > nell'elaborazione del linguaggio naturale è ancora difficilissimo. > > Quindi, Intelligenza Artificiale interpretata alla lettera non > > esiste ancora. Sono sicuro che questo fosse il significato della > > provocatoria affermazione di Stallman e quindi che Stallman abbia > > ragione. > > Comunque, senza usare semantica o pragmatica, in virtù di una > > raffinata elaborazione statistica e della capacità tecnologica di > > trattare immensi volumi di dati, quel nuovo insieme di discipline > > scientifiche che chiamiamo Intelligenza Artificiale sta producendo > > risultati meravigliosi. La dettatura automatica e la traduzione da > > una lingua all'altra sono due esempi significativi. Commettono > > ancora qualche errorino ma sono di grandissima utilità. > > Viva l'Intelligenza Artificiale, chiara dimostrazione > > dell'intelligenza naturale di homo sapiens. > > From: nexa <nexa-boun...@server-nexa.polito.it> on behalf of > > Giuseppe Attardi <atta...@di.unipi.it> > > Sent: Friday, February 14, 2025 12:20 PM > > To: nexa@server-nexa.polito.it <nexa@server-nexa.polito.it> > > Subject: Re: [nexa] Perché Richard Stallman sbaglia in tema di > > intelligenza artificiale > > È anche peggio di così, come ammettono nei manuali per medici: > > > > I medici spesso utilizzano termini vaghi come "altamente > > probabile", "improbabile" o "non è da escludere" per descrivere la > > possibilità di una malattia. > > > > <default_share_msd.jpg> > > > > Strategie per il processo decisionale clinico - Argomenti speciali > > - Manuali MSD Edizione Professionisti > > msdmanuals.com > > > > > > > > > > > > > On 14 Feb 2025, at 12:00, nexa-requ...@server-nexa.polito.it > > > wrote: > > > > > > From: Giacomo Tesio <giac...@tesio.it> > > > To: nexa@server-nexa.polito.it > > > Subject: Re: [nexa] Perché Richard Stallman sbaglia in tema di > > > intelligenza artificiale > > > Message-ID: <5fabc401-5b15-4a28-9850-5bc9ed4e2...@tesio.it> > > > Content-Type: text/plain; charset=UTF-8 > > > > > > Giuseppe, mi permetto un buon consiglio non richiesto: > > > > > > Il 14 Febbraio 2025 10:36:55 UTC, Giuseppe Attardi ha scritto: > > > > > > > Quante probabilità ho che sia questo o quello? > > > > > > > > Quant’è la probabilità di guarigione? > > > > > > > > Quanto stima possa durare la riabilitazione? > > > > > > > > Quant’è il rischio di ricadute? > > > > > > > > > > > > È tutto un ragionare a spanne su probabilità stimate a naso. > > > > > > se il tuo medico risponde a domande come queste con stime > > > numeriche > > > delle probabilità (a naso o meno), cambia medico.
