Ciao Giuseppe Il 16 Ottobre 2023 03:13:31 UTC, Giuseppe Attardi ha scritto: > Bell’esempio che illustra perché l’Explainable AI non funziona, > almeno non come vorrebbero i suoi sostenitori.
Finalmente siamo d'accordo! È stata la prima cosa che ho pensato. La seconda è stata: "ma perché chiedere ad un software un riassunto pasticciato dei propri testi sorgente?" > La spiegazione che viene fornita è una ricostruzione razionale della > risposta, No: è un riassunto approssimativo (e ottimizzato per apparire credibile) di ciò che era presente nei testi usati per la programmazione statistica. > che è simile a quanto fanno gli esperti umani quando devono spiegare > le loro risposte. Uhm per la verità io non lavoro così. L'esperienza mi permettono di individuare rapidamente le dimensioni rilevanti del problema che ho davanti, ma le mie risposte includono sempre lunghe (qualcuno osa dire "troppo" lunghe :-D) descrizioni dei ragionamenti che conducono a tali conclusioni. Spesso includono anche lunghe descrizioni dei percorsi analizzati ma scartati. Nella mia testa è come ripercorrere a ritroso il grafo di conoscenze ed esperienze che ho percorso in andata per giungere alla conclusione. Tant'è che, contrariamente ad un LLM, io posso identificare le mie lacune lungo il percorso, documentarmi in merito fino a poter fornire una conclusione solida e responsabile. Questa è la ragione per cui l'approccio attuale alle "explainable AI" è irrimediabilmente fallato: come con tutto il resto deve ridefinire la "spiegazione" con "giustificazione". Io spiego i ragionamenti che mi portano ad una conclusione, non invento giustificazioni. I LLM non spiegano il significato dei calcoli che determinano il proprio output, ma cercano di giustificazioni coerenti all'interno di ciò che rimane al proprio interno dei testi sorgente. > Infatti nessuno di noi applicherebbe pedissequamente le regole > grammaticali per rispondere alla domanda: risponderebbe d’acchito. Dipende da quanto ti ricordi quelle regole. :-) Se non sei certo di conoscerle (e fornire la risposta giusta è sufficientemente importante per te) allora andrai a ripassarle e le applicherai pedissequamente. Ma soprattutto, se le hai comprese le applicherai in modo coerente. Facendo calcolare l'output di un input come questo > La frase "Marco si interrogava dall'inizio" è attiva o passiva? E > perché? Stando al proxy (sorvegliato... usate le dovute cautele) https://talkai.info/it/chat/ otteniamo sistematicamente un output interpretabile come "la frase è passiva perché..." Tuttavia chiedendo sostituendo la parola "attiva" con "riflessiva" otteniamo sistematicamente un output interpretabile come "la frase è riflessiva perché..." Insomma scopriamo l'acqua calda: GPT4 non comprende la grammatica, né sa di non comprenderla semplicemente perché non è intelligente. > Anche se chiedi a un medico di giustificare la sua diagnosi, ci mette > molte più parole e tempo di quanto ci ha messo per produrla, perché > non è in quel modo che l’ha ottenuta. Mia moglie è medico e ti posso assicurare che non spara la prima diagnosi che gli viene in mente. Alcune volte, pur non pressata in alcun modo, condivide con me i propri ragionamenti perché le mie domande l'aiutano proprio ad evitare errori di valutazione. Di tali ragionamenti io comprendo una frazione appena sufficiente a fare le domande giuste, ma ai pazienti riporta poi una spiegazione enormemente semplificata rispetto a quella condivisa con me. > Il Deep Learning opera a livello di System 1, secondo la terminologia > di Daniel Kahneman, ossia di conoscenza “compilata" per una fruizione > diretta. Ti rendi conto che stai applicato categorie pensate per la mente umana ad una serie di moltiplicazioni fra matrici? :-D Peraltro rifletti su questo: il modello stesso di Kahneman è basato su ipotesi non verificate o verificabili, come lui stesso ammise dopo le critiche sulla replicabilità degli studi da lui citati. [1] Il fatto che l'interpretazione di LLM e altre tecniche di programmazione statistica si basi su questa fuffa para-scientifica [2] è indicativo di quanto sia ancora primitiva l'informatica. Giacomo [1] https://retractionwatch.com/2017/02/20/placed-much-faith-underpowered-studies-nobel-prize-winner-admits-mistakes/ [2] https://replicationindex.com/2020/12/30/a-meta-scientific-perspective-on-thinking-fast-and-slow/ _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
