> Facile essere d'accordo ma ... come "fare i conti" con qualcosa che non > capisco come funziona?
E allora proviamoci a capirlo assieme. Partiamo dalla definizione data da Beppe Attardi: "il loro meccanismo di base è quello del calcolo della distribuzione di probabilità della prossima parola a seguire in una sequenza" Accediamo ad uno dei tanti servizi online che mostrano in pratica il meccanismo, ad esempio questo: https://huggingface.co/m-polignano-uniba/bert_uncased_L-12_H-768_A-12_italian_alb3rt0 Nella casella sotto "Mask token" scriviamo: "Parigi è la [MASK] della Francia". Il risultato sarà: Capitale 0.658 citta 0.132 patria 0.020 culla 0.020 migliore 0.012 Più quel numeretto si avvicina ad uno (e più distanza ci sarà con il secondo), più sarà /probabile/. Proviamo con: "Torino è il capoluogo del [MASK]" Il risultato sarà: tutto 0.229 mondo 0.206 italia 0.163 piemonte 0.125 nord 0.043 Che significa? Che tra i dati di addestramento non ci sono sufficienti informazioni che collegano univocamente, o quasi, Torino -> capoluogo -> Piemonte. Un'eventuale /chat/ basata su "alb3rt0" anziché su "gpt" avrebbe quindi risposto: "Torino è il capoluogo di tutto" Antonio _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
