> Domando: c'è una relazione statistica (frequenza d'uso, attribuzione di
> significati, condivisione di significati) che progressivamente lega parole,
> frasi, testi al loro significato?
La relazione che lega parole al loro significato è un passo avanti nel
funzionamento dell'IA generativa.
La m
https://www.internazionale.it/notizie/alberto-puliafito/2024/05/22/chatgpt-40-intelligenza-artificiale-effetto-wow
(messaggio spedito in movimento - scusate brevità ed eventuali refusi)
Il tokeniser mwt è un tokenizer statistico che abbiamo allenato su un'ampia
raccolta di token composti.
Essendo statistico non è garantito essere corretto, ma va usato per come è
previsto, ossia per analizzare frasi, non singole parole.
Quindi per esempio anello non lo suddivide se usato nel gius
