Il giorno lun 2 ott 2023 alle ore 12:58 Antonio <anto...@piumarossa.it> ha scritto: > > > > Sto semplicemente dicendo che quei testi sono in gran parte presenti nel > > > LLM seppure > > > codificati con perdita di informazione. > ... > > OK, su cosa succede tecnicamente, ovvero sul tipo di elaborazione e > > immagazzinamento dei testi _elaborari_, credo sia tutto sufficientemente > > chiaro. > > No, aspettate, forse mi sono perso qualche puntata precedente. > I testi non sono per nulla presenti nell'LLM, neanche in forma "compressa". > Il "model" non è altro che un enorme contenitore di "numeri". Nel caso di > GPT3-175B, 175 miliardi di numeri, fine. > Questi numeri si chiamano "pesi" ma sempre numeri sono.
Ho atteso che qualcun altro intervenisse prima di me, perché avevo paura di infilarmi in discussioni controproducenti con le solite persone in questa lista, e ti ringrazio, quindi, di aver sottolineato un fatto fondamentale. A me pare che si sia sviluppato un certo "credo" tra gli avventori di questa lista, che si disinteressa completamente dello stato dell'arte e delle definizioni su cui c'è consenso, e finisce con il creare dogmi inscalfibili ai quali o si aderisce, o ci si becca papelli scritti con toni misti tra l'evangelizzazione e il perculamento. Se si vuole sostenere che il processo trasformativo attraverso il quale, partendo da dei testi o delle immagini, si finisce con il generare una serie di pesi all'interno di una rete neurale, è una forma di compressione, allora bisogna sostenere che lo stesso avviene durante l'apprendimento umano: gli umani nient'altro fanno, quando apprendono, che formare nuove connessioni neurali, che i pesi nelle reti neurali sono volti a simulare. La cosa interessante è che c'è una scuola di pensiero per la quale in effetti sì, l'apprendimento in senso lato, incluso quello umano, è una sorta di compressione dei dati. Pertanto, a me pare evidente che ogni tentativo si qui messo in atto da alcuni altri avventori della lista di "denigrare" l'apprendimento dei modelli di machine learning, fino a sostenere che non si tratta di "vero" apprendimento, in realtà finisce con l'inciampare sui suoi stessi antropocentrici piedi. Fabio _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
