Anzitutto complimenti per Zefiro, lo proverò appena posso
La tokenizzazione dell'italiano ha sicuramente una sua specificità, vista
l'abbondanza e la complessità delle forme clitiche, con le particelle
pronominali ficcate dapertutto, pure nei vebi.
Non so se il 'Modello Italia' adotti un tokenizza
> Anzitutto complimenti per Zefiro, lo proverò appena posso
No, no, non voglio prendermi meriti che non mi spettano.
Io non c'entro nulla con quel progetto, ho solo usato alcuni dei file che ne
fanno parte, per i test.
> La tokenizzazione dell'italiano ha sicuramente una sua specificità, vista