A me pare che la lettura dell’articolo di Anthropic sulle attivazioni negli LLM con gli autoencoders [1] stia portando a rivedere la posizione di chi finora sosteneva si trattasse di semplici modelli matematico-statistici (attenzione, tecnicamente lo sono). Ad esempio, nel suo commento al blog di Benfer, Quattrociocchi dice:
“Nel frattempo gli LLM sono diventati sistemi enormemente più sofisticati rispetto alla caricatura che spesso ne fanno sia gli entusiasti sia i detrattori. Oggi osserviamo rappresentazioni latenti complesse, strutture interne relativamente stabili, capacità composizionali, forme di pianificazione statistica e geometrie ad alta dimensionalità che comprimono enormi quantità di regolarità linguistiche.” Che riprende il suo commento all’articolo succitato: "Il lavoro mostra che i modelli molto grandi sviluppano rappresentazioni interne sofisticate mentre generano testo. Per esempio: mantengono coerenza narrativa, tengono traccia del contesto, “preparano” statisticamente una rima futura, coordinano informazioni distribuite lungo la frase.” [ndr tralascio ogni commento sull’uso di termini antropomorfi] Un altro articolo, Mathematics is all you need 2 [2], mostra la presenza di due componenti, una che costruisce queste rappresentazioni astratte dal contesto e dalla conoscenza acquisita ed una che genera la risposta da queste con la next-token prediction: "frozen language models compute behavioral self-state in a channel that is geometrically routed away from the speaking channel — the model knows before it speak”. Non solo, ma queste strutture si trasferiscono tra modelli diversi: "this work measures it geometrically, demonstrates it transfers across architectures”. Disclaimer: non ho approfondito i dettagli matematici dell’articolo. Se aggiungiamo un terzo elemento, ossia che le strutture astratte possono essere estratte da un modello ed usate per altri compiti, si può arrivare a ritenere che quelle rappresentino la conoscenza astratta del modello. Questo fenomeno era noto fin dall’inizio a chi usava il Deep Learning in NLP: i word embeddings calcolati con un LM venivano estratti ed usati come rappresentazione del senso delle parole in altri task, quali classificazione, sommarizzazione, l’attention veniva usata nella traduzione e nel parsing. Ossia, l’obiettivo di apprendere la distribuzione di probabilità del next token, ha un effetto laterale non previsto, una costruzione di astrazioni che non sono direttamente necessarie all’obiettivo, come sostiene anche David Chalmers. In altri termini, ci sono indizi per ritenere che i modelli costruiscano una rappresentazione della conoscenza acquisita dai testi, compresa una forma di word model (David Chalmers fa l’esempio di un modello che risponde sui percorsi della metro di NY), astratta e indipendente dal processo di generazione di risposte un token alla volta. Questo è un effetto secondario del processo di ottimizzazione durante l’apprendimentonto. Naturalmente non spero di convincere nessuno, perché alcune sono speculazioni, ma la ricerca si alimenta con ipotesi che qualcuno si impegna a verificare. [1] https://transformer-circuits.pub/2026/nla/ [2] https://zenodo.org/records/20102939 On 14 May 2026, at 08:08, [email protected] wrote: From: Massimo Ghisalberti <[email protected]<mailto:[email protected]>> Subject: [nexa] Pappagalli stocastici: Alberto Puliafito sulle precisazioni di Emily Bender in merito. To: [email protected]<mailto:[email protected]> Message-ID: <[email protected]<mailto:[email protected]>> Content-Type: multipart/alternative; boundary="----=_Part_4_176739338.1778736313006" Come detto moltissime volte e dall'inizio (non qui ma chi mi conosce sa) le argomentazioni comuni sia a favore che contro non hanno fatto altro che portare acqua al mulino AI. Pappagalli stocastici era una falsità dall'inizio. Siccome però noi tutti siamo inclini alla fuffa ci è piaciuta la definizione come le tante altre pro o contro. Sono quelle definizioni che ci fanno sentire intelligenti e non esclusi dalla materia. -- massimo
