Buon giorno Giuseppe,
Il 16 Ottobre 2023 02:59:49 UTC, Giuseppe Attardi ha scritto:
>
> Perché la questione di fondo, è quella delle “emergent abilities” che i LLM
> cominciano ad esibire quando superano una certa dimensione:
> https://www.jasonwei.net/blog/emergence
> Ossia un modello diventa in grado di svolgere compiti per i quali non era
> stato allenato,
> come nei sistemi complessi.
Anche questo va dimostrato, riproducendo esattamente il processo di
programmazione
statistica (quello che tu antropomorfizzi come "allenamento") fino ad ottenere
esattamente
lo stesso software ("modello" nella tua parlata).
A quel punto sapremo se si tratta davvero di abilità emergenti o di semplice
ricostruzione lossy
di testi usati per la programmazione stessa.
Per parlare di "emergent abilities" in un software senza disporre di perfetta
riproducibilità
della sua programmazione è necessario abbandonare ogni rigore scientifico
e ogni senso critico.
Non a caso quando Microsoft ha iniziato a propagandare la nascita del AGI in
GPT4 [1]
ha dovuto fare dichiaratamente cherry-picking di output "ottimizzati" e non
riproducibili.
Ma senza perfetta riproducibilità, per ragioni di costo o perché dettagli
fondamentali
non vengono pubblicati, le "emergent abilities" non passano il rasoio di Occam
Giacomo
[1] https://arxiv.org/abs/2303.12712
_______________________________________________
nexa mailing list
nexa@server-nexa.polito.it
https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
