Buonasera, grazie per il confronto!
Daniela Tafani <daniela.taf...@unipi.it> writes: [...] > 1. Ci sono tantissimi software non-AI che sono utilizzati per > classificare e produrre decisioni, non è una caratteristica > "discriminante" dei software AI: sbaglio? Nel caso del software AI > cosa c'è di differente sotto questo aspetto? Non ho il diritto di > conoscere i meccanismi di funzionamento del software che /decide/ che > un tale fenomeno è così invece che "cosà"? > > Una differenza rilevante dal punto di vista giuridico e politico è > interna alla cosidetta AI ed è quella che caratterizza i sistemi di > machine learning (ML) rispetto all'IA simbolica. Prometto che andrò a studiare, ma pur comprendendo benissimo la differenza informatica tra modelli AI ricavati via ML (codice binario non human-readeable) e AI simbolica (rappresentazioni simboliche human-readeable), non capisco che differenza dal punto di vista giuridico ci sia. [...] > ma ho specificato fin dalla prima riga che la questione riguarda i > sistemi di apprendimento automatico. Sì mi è stato chiaro fin dalla prima riga della mia risposta :-) [...] > grazie a sistemi sostanzialmente statistici [...] > L'opacità è una differenza cruciale, giuridicamente, perché se adopero > un sistema fondato sul calcolo simbolico per decidere, ad esempio, a > quali sedi assegnare i docenti delle scuole superiori, posso farlo > scegliendo quali variabili pesare, e quanto. giusto, purché non dimentichiamo di considerare il fatto che la scelta delle variabili e quanto pesarle è effettuata da chi scrive il codice e per capire quali scelte sono state fatte occorre poter leggere il codice sorgente (o fare reverse engineeting del binario ma è praticamente impossibile) > Se utilizzo un sistema ML non sarò in grado di spiegare perché mai un > dato docente sia stato assegnato "dall'algoritmo" a una data scuola. sì, i risultati dei sistemi ML sono /inspiegabili/ ...ma in molte (alcune) situazioni funzionano benissimo (ad es, i sistemi OCR) > Di qui la sentenza del TAR del Lazio che ha dato ragione ai docenti > ricorrenti, ribadendo che il ricorso a una procedura informatica non > può essere una ragione per eludere i principi del nostro ordinamento, > evitando, nel caso in oggetto, di motivare l'assegnazione a una certa > sede: > https://www.giustizia-amministrativa.it/portale/pages/istituzionale/visualizza/?nodeRef=&schema=tar_rm&nrg=201610277&nomeFile=202107589_20.html&subDir=Provvedimenti Giusto, dimenticavo quella sentenza. Non l'ho (ancora?) studiata ma a mio modestissimo avviso la consecutio logica di simili posizioni giuridiche è che quando viene utilizzato software (binario) in un processo di valutazione deve essere messo a disposizione di tutti gli interessati anche il codice sorgente, perché anche il binario è opaco (opacissimo) e solo le dichiarazioni del fornitore del software (attraverso schede tecniche, manuale, dichiarazioni...) motivano come il software valuta i dati forniti. > Questa opacità è oggetto di due narrazioni: > > a. quella finanziata e diffusa dai GAFAM, che antropomorfizza l'IA: > - assimilando l'opacità dei sistemi sub-simbolici > all'imperscrutabilità delle intenzioni umane (non posso aprire la > black box del sistema ML così come non posso leggere nel cuore - o nel > cervello - umano) questa narrazione mi era sfuggita: no comment > - confondendo la traduzione in termini computazionali con una garanzia > di salomonica imparzialità, oggettività e giustizia (l'incredibile > abbaglio, o imbroglio, che vige ormai pressoché incontrastato) chiedo scusa se insisto ma la stessa insopportabile narrazione vale anche per il software "tradizionale", fin dall'uso dei primi sistemi computerizzati [1] > - presentando le discriminazioni, sensate e insensate [...] come un > problema tecnico, risolvibile sulla base dell'"etica dell'IA", anziché > come una caratteristica costitutiva e al momento ineliminabile dei > sistemi ML, a causa dei molti "debiti etici" contratti nel corso della > loro costruzione, in virtù delle "scorciatoie" adottate (le due > espressioni, azzeccatissime, sono di Nello Cristianini). idem come sopra [1] [...] > 2. Analisi di /quali/ rischi, per un software?!? Rischio di > "bias", "falsi positivi", "attacchi alla supply-chain", "violazione > del GDPR"? I servizi di Facebook o Google violano il GDPR ma non la > normativa USA, sono (potenzialmente?) illegali in EU: c'è bisogno di > una analisi dei rischi per stabilirlo? Considerati i problemi del > software analizzati prima (correlazione e attacchi) la valutazione dei > rischi fino dove si dovrebbe spingere? Analizzo il mio software o devo > analizzare anche i componenti terzi? Se si, fino a che livello devo > spingermi, fino alla radice dell'intera catena di build? > > La parte sulle licenze e le certificazioni è quella che lascia > perplessa anche me, soprattutto perché intravedo un ennesimo ethics > washing, con la soluzione dell'etica come requisito tecnico Se per licenze intende "licenze ad operare" (tipo un'abilitazione professionale o una autorizzazione ministeriale) e non "licenze software" allora direi che la cosa non può lasciare solo perplessi ma come minimo sconcertare: con che faccia tosta qualcuno potrebbe seriamente proporre quella come soluzione? Sulla certificazione ho già detto tutto il (male) possibile, posso solo dire che la certificazione e i relativi standard tecnici sono /ampiamente/ sopravvalutati... anzi sono "standards washing" :-D > (o addirittura, come già è stato proposto, dell'etica come servizio). Quanto costa la fornitura di una settimana d'etica?!? B-) > Quello che trovo apprezzabile, nella proposta di Pasquale e Malgieri, > è il coraggio di chiedere che la legge vieti che che un sistema di un > certo tipo, con certi limiti intrinseci, sia spacciato per il re > taumaturgo. Io invece no, ritengo che sia /estremamente/ pericoloso farlo in questo modo, ovvero sistemi ML illegali per default (traviso?). Forse (forse?) i giudici hanno già in mano tutti gli strumenti adeguati per poter giudicare /nel merito/ quando un atto debba essere invalidato nel caso i sistemi informatici utilizzati - determinanti per l'esito dell'atto - non forniscano adeguate garanzie di trasparenza, come nel caso del TAR del Lazio citato sopra. A mio modesto avviso non c'è bisogno di "incasinare" (mi si conceda) il quadro giuridico o legislativo per sanare le innumerevoli storture causate dal cattivo (ab)uso del software (tutto), sostenute attraverso narrative ciarlatane sebbene riscuotano un qual certo successo. [...] > E invece sono già in commercio applicazioni, o promesse, per ciascuna > di queste magie. Sì ma il problema non è che siano in commercio (e quindi vanno vietate o certificate o o la commercializzazione essere affidata solo a chi ha la licenza per farlo) ma che ci siano persone e istituzoni che ne /abusano/ per farne utilizzi impropri (o nascondere la propria inedeguatezza). Per fare un esempio, il software usato per l'assegnazione a una certa sede scolastina di cui sopra (TAR del Lazio...) potrebbe essere benissmo (ri)utilizzato per stabilire come immagazzinare i prodotti dentro un magazzino, che problema ci sarebbe? Qual'è quindi il problema: il software (AI) o l'uso improprio che se ne fa? Per fare un altro esempio, a me pare ovvio che un software AI non /deve/ essere utilizzato per generare un modello che poi viene preso come prova scientifica sulla base della quale poi vengono prese decisioni politiche che hanno impatto su moltissime persone... sono io che non capisco niente di scienza? Da quando la correlazione è diventato "metodo scientifico"? Scienza o /numerologia/?!? > E tutta questa snake oil AI si basa sulla cattura, estorsione, > espropriazione, a volte semplice furto, di dati personali (donde il > nesso strettissimo con la bolla giuridica). Non tutta l'AI si basa sull'analisi dei dati personali. L'estorsione dei dati personali non dovrebbe esistere e /tecnicamente/ si può fare... ma a mio modesto avviso separerei l'argomento da AI/non-AI > Proprio per questo mi pare sensato proporre l'illegalità tout court di > questi sistemi Anche dei sistemi OCR? > e attribuire a chi voglia invece utilizzarli l'onere di dimostrare che > non lo sono e di giustificare, tra le altre, la pertinenza dei dati > utilizzati, rispetto al fine, nonché la proporzionalità. Io credo invece che sia /pericoloso/, non foss'altro per il fatto che /mai/ un qualsiasi utilizzatore di un sistema cibernetico, ancorché AI "certificata", dovrebbe nascondersi dietro la pretesa oggettività (certificata?) di tale sistema per negare le proprie responsabilità di (ab)uso. > Anche per i sistemi seri e utili, come quelli in ambito medico, ci > sono infatti rischi: Therac-25 docet https://en.wikipedia.org/wiki/Therac-25 (questo per ribadire che, quando si utilizzano sistemi cibernetici, i richi c'erano e ci sono anche senza AI) Tutte le persone "informate sui fatti" lo sanno benissimo, poi ci sono alcuni (molti) che fanno finta di non sapere, altri di non capire... altri proprio non capiscono. [...] > Se qualcosa di analogo avviene nell'automatizzazione della diagnostica > per immagini, La diagnostica non deve essere automatizzata, il medico non si può nascondere dietro la /presunta/ oggettività di una diagnosi fatta da una macchina; tuttavia, se la macchina è in grado di fornire indicazioni che il medico ritiene utili e non contraddittorie, che senso avrebbe vietare la macchina, che senso avrebbe certificarla e con questo creare nel medico delle false aspettative? O forse l'automazione della diagnistica è una soluzione a un problema /mascherato/, quello della carenza di medici? > le conseguenze sono più pesanti e può darsi che ce ne > accorgiamo, per qualcuno, troppo tardi. Il riferimento all'articolo > di Doctorow non era tanto sulla questione della fiducia, su cui ci > sono lavori più pertinenti, quanto per una spiegazione incisiva e > accessibile di cosa siano gli attacchi avversari ai sistemi ML. Va bene, ma su questo aspetto è importante considerare che gli attacchi ai sistemi ML (di cui ho letto, anche su lavori più pertinenti) sono del tutto /analoghi/ a quelli al software "tradizionale" Saluti, 380° [...] [1] se n'è parlato recentemente anche qui nel thread «The 1960s Experiment Created Today’s Biased Police Surveillance» https://server-nexa.polito.it/pipermail/nexa/2022-November/024395.html -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.
signature.asc
Description: PGP signature
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
