Buongiorno 380°,
grazie di aver condiviso le sue osservazioni e riflessioni. Provo ad aggiungere solo qualche considerazione sommaria, su alcuni punti, raggruppando le domande: 1. Ci sono tantissimi software non-AI che sono utilizzati per classificare e produrre decisioni, non è una caratteristica "discriminante" dei software AI: sbaglio? Nel caso del software AI cosa c'è di differente sotto questo aspetto? Non ho il diritto di conoscere i meccanismi di funzionamento del software che /decide/ che un tale fenomeno è così invece che "cosà"? Una differenza rilevante dal punto di vista giuridico e politico è interna alla cosidetta AI ed è quella che caratterizza i sistemi di machine learning (ML) rispetto all'IA simbolica. Frank Pasquale e Gianclaudio Malgieri parlano di IA e l'ho fatto perciò anch'io (malgrado trovi molto più appropriato, come ha proposto Stefano Quintarelli, parlare di SALAMI), ma ho specificato fin dalla prima riga che la questione riguarda i sistemi di apprendimento automatico. Ciò che distingue tali sistemi è la potenza in alcune specifiche prestazioni e al tempo stesso l'opacità: grazie a sistemi sostanzialmente statistici (concordo, purché teniamo presente che parlare di "statistiche" induce a pensare a quelle elaborate da esseri umani, che distinguono le correlazioni pertinenti da quelle assurde e distinguono, tra le correlazioni, i nessi causali), otteniamo oggi, almeno apparentemente, la possibilità di automatizzare ciò che ritenevamo si potesse replicare solo dopo averlo compreso, concettualizzato e tradotto in termini computazionali (ad esempio, la predizione di stringhe di testo o la classificazione di immagini). L'opacità è una differenza cruciale, giuridicamente, perché se adopero un sistema fondato sul calcolo simbolico per decidere, ad esempio, a quali sedi assegnare i docenti delle scuole superiori, posso farlo scegliendo quali variabili pesare, e quanto. Se utilizzo un sistema ML non sarò in grado di spiegare perché mai un dato docente sia stato assegnato "dall'algoritmo" a una data scuola. Di qui la sentenza del TAR del Lazio che ha dato ragione ai docenti ricorrenti, ribadendo che il ricorso a una procedura informatica non può essere una ragione per eludere i principi del nostro ordinamento, evitando, nel caso in oggetto, di motivare l'assegnazione a una certa sede: https://www.giustizia-amministrativa.it/portale/pages/istituzionale/visualizza/?nodeRef=&schema=tar_rm&nrg=201610277&nomeFile=202107589_20.html&subDir=Provvedimenti Questa opacità è oggetto di due narrazioni: a. quella finanziata e diffusa dai GAFAM, che antropomorfizza l'IA: - assimilando l'opacità dei sistemi sub-simbolici all'imperscrutabilità delle intenzioni umane (non posso aprire la black box del sistema ML così come non posso leggere nel cuore - o nel cervello - umano) - confondendo la traduzione in termini computazionali con una garanzia di salomonica imparzialità, oggettività e giustizia (l'incredibile abbaglio, o imbroglio, che vige ormai pressoché incontrastato) - presentando le discriminazioni, sensate e insensate (generate cioè dall'appartenenza a un gruppo giuridicamente tutelato oppure da un pixel in una foto) come un problema tecnico, risolvibile sulla base dell'"etica dell'IA", anziché come una caratteristica costitutiva e al momento ineliminabile dei sistemi ML, a causa dei molti "debiti etici" contratti nel corso della loro costruzione, in virtù delle "scorciatoie" adottate (le due espressioni, azzeccatissime, sono di Nello Cristianini). b. quella dei critici delle decisioni algoritmiche, che documentano i danni, le ingiustizie, le insensatezze, le discriminazioni a carico di tutti i soggetti ai margini e chiedono che tali soggetti siano coinvolti nella costruzione dei sistemi informatici che saranno poi utilizzati per prendere decisioni giudiziarie, mediche, finanziarie, occupazionali o educative che li riguardano. 2. Analisi di /quali/ rischi, per un software?!? Rischio di "bias", "falsi positivi", "attacchi alla supply-chain", "violazione del GDPR"? I servizi di Facebook o Google violano il GDPR ma non la normativa USA, sono (potenzialmente?) illegali in EU: c'è bisogno di una analisi dei rischi per stabilirlo? Considerati i problemi del software analizzati prima (correlazione e attacchi) la valutazione dei rischi fino dove si dovrebbe spingere? Analizzo il mio software o devo analizzare anche i componenti terzi? Se si, fino a che livello devo spingermi, fino alla radice dell'intera catena di build? La parte sulle licenze e le certificazioni è quella che lascia perplessa anche me, soprattutto perché intravedo un ennesimo ethics washing, con la soluzione dell'etica come requisito tecnico (o addirittura, come già è stato proposto, dell'etica come servizio). Quello che trovo apprezzabile, nella proposta di Pasquale e Malgieri, è il coraggio di chiedere che la legge vieti che che un sistema di un certo tipo, con certi limiti intrinseci, sia spacciato per il re taumaturgo. Non può farmi parlare con i morti, guidare da solo un'auto in città, vaticinare l'abbandono scolastico, fornire assistenza mentale, predire le prestazioni lavorative a partire dal video di un colloquio, emettere sentenze e sostituire i medici. E invece sono già in commercio applicazioni, o promesse, per ciascuna di queste magie. E tutta questa snake oil AI si basa sulla cattura, estorsione, espropriazione, a volte semplice furto, di dati personali (donde il nesso strettissimo con la bolla giuridica). Proprio per questo mi pare sensato proporre l'illegalità tout court di questi sistemi e attribuire a chi voglia invece utilizzarli l'onere di dimostrare che non lo sono e di giustificare, tra le altre, la pertinenza dei dati utilizzati, rispetto al fine, nonché la proporzionalità. Anche per i sistemi seri e utili, come quelli in ambito medico, ci sono infatti rischi: se l'erogatore di sapone in albergo non funziona quando la mano è nera, ci accorgiamo del mal funzionamento (generato, in fase di progettazione, dal consueto assunto che il genere o il colore dominanti siano neutri e universali). Se qualcosa di analogo avviene nell'automatizzazione della diagnostica per immagini, le conseguenze sono più pesanti e può darsi che ce ne accorgiamo, per qualcuno, troppo tardi. Il riferimento all'articolo di Doctorow non era tanto sulla questione della fiducia, su cui ci sono lavori più pertinenti, quanto per una spiegazione incisiva e accessibile di cosa siano gli attacchi avversari ai sistemi ML. Mi scuso di non aver avuto il tempo di scrivere una risposta più breve. Grazie ancora. Buona domenica, Daniela ________________________________ Da: 380° <g...@biscuolo.net> Inviato: sabato 12 novembre 2022 17:29 A: Daniela Tafani; nexa@server-nexa.polito.it Oggetto: Re: [nexa] “Automaticamente illegali”. Una proposta per i sistemi di intelligenza artificiale Buongiorno Daniela grazie mille per la segnalazione! Mi permetto di sottoporre i miei commenti, mi perdoni Daniela se dico cose che lei probabilmente già sa ma... mi serve per capirci Chiedo scusa per l'estrema lunghezza del messaggio, tuttavia non c'è alcuna fretta di leggere e tantomeno di rispondere se del caso :-) Daniela Tafani <daniela.taf...@unipi.it> writes: [...] > e ho utilizzato questa tua espressione in un mio post di oggi, > > nel quale segnalo una proposta che può forse interessare a questa lista: Io lo spererei proprio :-) > "Automaticamente illegali". Una proposta per i sistemi di intelligenza > artificiale > Bollettino telematico di filosofia politica > <https://btfp.sp.unipi.it/it/2022/11/automaticamente-illegali-una-proposta-per-i-sistemi-di-intelligenza-artificiale/> [https://btfp.sp.unipi.it/wp-content/uploads/2022/11/facedetection.jpg]<https://btfp.sp.unipi.it/it/2022/11/automaticamente-illegali-una-proposta-per-i-sistemi-di-intelligenza-artificiale/> "Automaticamente illegali". Una proposta per i sistemi di intelligenza artificiale > Bollettino telematico di filosofia politica<https://btfp.sp.unipi.it/it/2022/11/automaticamente-illegali-una-proposta-per-i-sistemi-di-intelligenza-artificiale/> btfp.sp.unipi.it Overlay journal of political philosophy Parliamone... :-) Quelli che commento sono estratti del suo articolo, inclusi nei "cut here start/end" --8<---------------cut here---------------start------------->8--- I sistemi di intelligenza artificiale basati sull’apprendimento automatico (machine learning) sono utilizzati per ottenere classificazioni o produrre decisioni --8<---------------cut here---------------end--------------->8--- Ci sono tantissimi software non-AI che sonon utilizzati per classificare e produrre decisioni, non è una caratteristica "discriminante" dei software AI: sbaglio? --8<---------------cut here---------------start------------->8--- che hanno effetti rilevanti sulle vite delle persone, a una velocità e su una scala che non consentono un controllo umano significativo. --8<---------------cut here---------------end--------------->8--- Idem come sopra, è dagli anni '50 del secono scorso che negli USA (e poi progressivamente altrove) il software è usato per calcolare il credit score [1] Sistemi analoghi di "decision-making" e "advertising" sono stati sviluppati a ruota: «per determinare prezzi personalizzati delle assicurazioni auto e per quelle sulla salute, per calcolare i tassi ipotecari, gli affitti o le assunzioni lavorative; liste di potenziali “clienti” venivano cedute per proporre nuovi prodotti o nuove campagne pubblicitarie.» [1] Nel caso del software AI cosa c'è di differente sotto questo aspetto? --8<---------------cut here---------------start------------->8--- la quantità dei dati di partenza e la potenza di calcolo richiesta per la loro elaborazione fanno sì che la presenza di un essere umano nel processo (human in the loop) non sia in grado di fornire alcun controllo rilevante. --8<---------------cut here---------------end--------------->8--- Sul software di cui sopra /nessuno/ degli utilizzatori - intendo gli impiegati delle agenzie di valutazione del rischio e dei loro clienti - o delle persone oggetto di indagine finanziaria poteva esercitare un controllo, non perché la velocità e la scala con la quale un computer calcola non lo consente, ma perché il software binario è sempre una black box [1] e non solo quando è software AI. Una volta che la black box viene mandata in esecuzione, cioè il software binario diventa un processo, non ci può essere nessun "human in the loop" nei cicli di clock di una CPU :-): al massimo agli umani è dato (dai programmatori) un /minimo/ grado di libertà di influire sul processo attraverso una interfaccia [2], ma /mai/ di "esercitare controllo" sulla black box. --8<---------------cut here---------------start------------->8--- questi sistemi sono infatti sono costitutivamente opachi (black box), soggetti a errori madornali – in quanto fondati su correlazioni statistiche di ogni genere, senza accesso al significato o al contesto – e ad attacchi avversari non rilevabili. --8<---------------cut here---------------end--------------->8--- Queste, rispetto al software non-AI, sono le caratteristiche probabilmente preponderanti, però non sono esclusive del software AI, se analizziamo la AI nei suoi elementi costitutivi [3] É vero che il software AI (modello ricavato attraverso ML) è sostanzialmente "correlazione statistica" (semplifico eccessivamente?) ma il "vizietto" di ABUSARE della statistica [4] non è per nulla figlio della AI [5] [6], anzi a mio avviso è /esattamente/ l'opposto. Qui però non approfindiamo nel merito la questione del ruolo della statistica nella science crisis, perché andremmo OT: era solo per dire che esiste ed essendo il "discorso tecnico" strettamente legata al "discorso scientifico" occorre tenerne conto: «It's science's dirtiest secret: The ‘scientific method’ of testing hypotheses by statistical analysis stands on a flimsy foundation.» [7] (semmai ne parliamo in lista AISA :-) ) É vero che il software AI è (forse) più soggetto ad attacchi non rilevabili alla **supply chain** rispetto al software non-AI [8], compiler inclusi, ma anche il software non-AI binario è il risultato di una supply (build) chain complessa e alla cui base ci sono /sempre/ "binary blobs" (black boxes). In altre parole: "Reflections on Trusting Trust" [9] vale /anche/ per il software-AI: chi ha dei dubbi in merito? Questo sì che, se serve, potremmo approfondire qui, perché /volendo/ ci sono soluzioni. «So how can we know anything about computers?» [8]: parliamone! Per ora voglio solo sottolineare che "Reflections on Trusting Trust" è del 1984 (1984!) e nel frattempo il software (proprietario) è stato usato senza farsi troppi problemi /anche/ a livello accademico... è solo da poco tempo che si stanno studiando e applicando soluzioni. --8<---------------cut here---------------start------------->8--- Come osserva Andrea Bertolini, la dicotomia tra soggetti giuridici e oggetti non è superabile, tertium non datur, e l’unica classificazione ammissibile di tutte le tecnologie avanzate esistenti e ragionevolmente prevedibili – senza indulgere in tentazioni fantascientifiche – è quella di cose, oggetti e artefatti, prodotti dell’intelletto umano. Così concepite, esse rientrano chiaramente nella nozione di prodotto --8<---------------cut here---------------end--------------->8--- Il fatto è che /giuridicamente/ i prodotti /fisici/, ovviamente anche quelli dotati di automatismi come i software-AI, devono essere trattati come tali /quindi/ sottoposti a "direttiva macchine" o "marcatura CE"... ma non il software in quanto tale, per favore! Giuridicamente il software è incluso nelle opere d'ingegno, ed è cosa buona e giusta. Non sono i programmatori che decidono di incorporare il software in una macchina o un prodotto senza effettuare l'analisi dei rischi e eventualmente implementare adeguate misure di protezione. Non sono i programmatori a decidere che certi aerei /improbabili/ possono volare lo stesso con una spruzzata di AI (AI?) sopra [10]. --8<---------------cut here---------------start------------->8--- La fragilità della situazione è quella di una bolla giuridica, per usare un’espressione di Marco Giraudo: le grandi compagnie tecnologiche hanno fondato infatti il loro modello di business sull’appropriazione e la commercializzazione dei dati personali, in violazione di diritti giuridicamente tutelati, scommettendo su un successivo “salvataggio giuridico”, in nome dell’inarrestabilità dell’innovazione tecnologica. --8<---------------cut here---------------end--------------->8--- Attenzione però che la bolla giuridica riguarda la privacy dei dati personali usati come niente fosse sia con software AI che con software non-AI, non i dati in generale o il software. In merito agli argomenti usati nell'articolo per condannare l'abuso dei dati /personali/ (anche) nel calcolo dei modelli alla base di alcuni software AI sono più che d'accordo, però ci sono un'enormità di dati non personali che vengono "utilizzati per ottenere classificazioni o produrre decisioni che hanno effetti rilevanti sulle vite delle persone": sui sistemi che usano quei dati non vogliamo dire o fare niente? Non ho il diritto di conoscere i meccanismi di funzionamento del software che /decide/ che un tale fenomeno è così invece che "cosà"? --8<---------------cut here---------------start------------->8--- Frank Pasquale e Gianclaudio Malgieri. La loro proposta è di disciplinare i modelli di IA ad alto rischio incorporati oggi in prodotti e servizi attraverso una presunzione di illegalità, ossia entro un sistema di “illegalità di default”: fino a prova contraria, tali sistemi dovrebbero essere considerati illegali, e l’onere della prova contraria dovrebbe incombere alle aziende. Prima di immettere sul mercato un prodotto o un servizio che incorpori sistemi di IA ad alto rischio, le aziende – a partire da quelle che esercitano ormai, per dimensioni e prerogative, una sovranità funzionale – avrebbero l’obbligo di dimostrare che la loro tecnologia non è discriminatoria, non è manipolatoria, non è iniqua, non è inaccurata e non è illegittima nelle sue basi giuridiche e nei suoi scopi. --8<---------------cut here---------------end--------------->8--- Nell'articolo [12] il processo di /certificazione/ viene descritto così: --8<---------------cut here---------------start------------->8--- pre-approval model in which some AI developers, before launching their systems into the market, must perform a preliminary risk assessment of their technology followed by a self-certification. --8<---------------cut here---------------end--------------->8--- Analisi di /quali/ rischi, per un software?!? Rischio di "bias", "falsi positivi", "attacchi alla supply-chain", "violazione del GDPR"? I servizi di Facebook o Google violano il GDPR ma non la normativa USA, sono (potenzialmente?) illegali in EU: c'è bisogno di una analisi dei rischi per stabilirlo? MCAS [11] è stato immesso /indirettamente/ sul mercato perché usato come componente essenziale per la sicurezza del 737 MAX, poi Boeing ha effettuato una analisi dei rischi a mio avviso (e non solo mio) RIDICOLA e FAA (non Boeing) ha certificato l'idoneità dell'aereo sulla base di quelle analisi. Considerati i problemi del software analizzati prima (correlazione e attacchi) la valutazione dei rischi fino dove si dovrebbe spingere? Analizzo il mio software o devo analizzare anche i componenti terzi? Se si, fino a che livello devo spingermi, fino alla radice dell'intera catena di build? Davvero la certificazione dei sistemi hardware+software, anche se effettuata terze parti, è una soluzione efficace nonostante si sia dimostrata nel tempo fallace [13]. “Thus, the security problem of specific computer systems must, at this point in time, be solved on a case-by-case basis, employing the best judgement of a team consisting of system programmers, technical hardware and communications specialists, and security experts.” [Security controls for computer systems (aka Ware Report), 1970] [14] Ho una modesta proposta in alternativa: perché invece che «illegal by default» non chiediamo che il software - almeno quelli che "sono utilizzati per ottenere classificazioni o produrre decisioni che hanno effetti rilevanti sulle vite delle persone," (cit.) [15] - sia «free software by default», l'unico sistema che consentirebbe di "certificare" in modo distribuito e indipendente che il software non sia affetto da uno o più degli innumerevoli problemi di cui si discute molto? La stessa cosa, ovvamente, dovrebbe valere anche (anzi sporattutto, considerato che il rischio di abuso è forse più alto) anche per i software AI, perché è decisamente /fattibile/ [16]: The takeaway message is that for a machine-learning model to be trustworthy, you need to assure the provenance of the whole chain: the model itself, the software tools used to compile it, the training data, the order in which the data are batched and presented – in short, everything. Un problema di natura tecnica, come questo o per esempio il fatto che Internet /tecnicamente/ fa schifo [17] (questo tra l'altro ha ricadute pesantissime sulla privacy delle persone), può essere risolto solo tecnicamente. Un problema giuridico, semmai, è stato quello di non essere stati in grado di riconoscere per tempo che "code is law": nessuno accetterebbe una "macchina della giustizia" che /eseguisse/ i processi (pun intended) con un "Codice di Procedura Penale/Civile binario" (black box), sputando sentenze come output. Peché dovrebbe essere diverso con una diagnosi medica, una valutazione finanziaria, ecc? Allora perché non /pretendiamo/ che il software che utilizziamo noi stessi o che viene utilizzato da altri in un processo decisionale che ci riguarda - dalle sentenze fino alla pubblicità mirata, dal filtro dei messaggi via social fino alla concessione di finanziamenti - non sia libero come il Codice di Procedura Penale/Civile? ...in modo che tutti possano partecipare, se lo vogliono e hanno le adeguate competenze, come previsto nell'Art. 3 della nostra costituzione: E` compito della Repubblica rimuovere gli ostacoli di ordine economico e sociale, che, limitando di fatto la libertà e l'eguaglianza dei cittadini, impediscono il pieno sviluppo della persona umana e l'effettiva partecipazione [...] all'organizzazione politica, economica e sociale del Paese. Non trovate che una black box (software binario, niente codice sorgente) sia uno di quegli ostacoli da /rimuovere/? :-O Saluti, 380° [1] https://www.ilpost.it/carloblengino/2019/06/09/la-piu-longeva-e-invasiva-sorveglianza-di-massa-mai-realizzata-negli-usa/ [https://www.ilpost.it/wp-content/uploads/2019/06/Who-am-I.png]<https://www.ilpost.it/carloblengino/2019/06/09/la-piu-longeva-e-invasiva-sorveglianza-di-massa-mai-realizzata-negli-usa/> L’inizio della sorveglianza di massa negli Stati Uniti - Carlo Blengino<https://www.ilpost.it/carloblengino/2019/06/09/la-piu-longeva-e-invasiva-sorveglianza-di-massa-mai-realizzata-negli-usa/> www.ilpost.it Una storia sul controllo dei dati dei consumatori dal 1968, quando non c'era internet e i computer erano molto diversi [2] o una backdoor... o attraverso un exploit (spessissimo non voluto)... [3] https://nooscope.ai/ [http://nooscope.ai/nooscope-facebook-og.jpg]<https://nooscope.ai/> The Nooscope Manifested<https://nooscope.ai/> nooscope.ai AI as Instrument of Knowledge Extractivism. By Matteo Pasquinelli and Vladan Joler [4] https://purl.archive.org/dtafanicit/Calude [5] https://www.nature.com/articles/d41586-019-00857-9 [6] https://www.tandfonline.com/toc/utas20/73/sup1?nav=tocList [https://covers.tandf.co.uk/og/UTAS.png]<https://www.tandfonline.com/toc/utas20/73/sup1?nav=tocList> The American Statistician: Vol 73, No sup1<https://www.tandfonline.com/toc/utas20/73/sup1?nav=tocList> www.tandfonline.com All journal articles featured in The American Statistician vol 73 issue sup1 [7] https://amstat.tandfonline.com/doi/full/10.1080/00031305.2016.1154108#.XInvWyPMzyW [https://covers.tandf.co.uk/og/UTAS.png]<https://amstat.tandfonline.com/doi/full/10.1080/00031305.2016.1154108#.XInvWyPMzyW> Full article: The ASA Statement on p-Values: Context, Process, and Purpose<https://amstat.tandfonline.com/doi/full/10.1080/00031305.2016.1154108#.XInvWyPMzyW> amstat.tandfonline.com Published in The American Statistician (Vol. 70, No. 2, 2016) [8] https://pluralistic.net/2022/10/11/rene-descartes-was-a-drunken-fart/#trusting-trust «Those backdoors rely on the target outsourcing their model-training to an attacker.». Il problema della "underspecification" e dei "data-set spannometrici" non sono specifici del software. [9] https://www.cs.cmu.edu/~rdriley/487/papers/Thompson_1984_ReflectionsonTrustingTrust.pdf [11] https://www.pointswithacrew.com/can-boeing-fix-a-potentially-faulty-737-max-design-with-software/ [https://www.pointswithacrew.com/wp-content/uploads/2017/03/Boeing_737_MAX-Aka-the-Beav-cc-2.0-1024x768.jpg]<https://www.pointswithacrew.com/can-boeing-fix-a-potentially-faulty-737-max-design-with-software/> Can Boeing fix a potentially faulty 737 MAX design with software? - Points with a Crew<https://www.pointswithacrew.com/can-boeing-fix-a-potentially-faulty-737-max-design-with-software/> www.pointswithacrew.com Boeing has announced an update for the MCAS system of their new 737 MAX aircraft. But will this be enough to render the aircraft safe? [12] https://brusselsprivacyhub.com/2022/06/01/brussels-privacy-hub-working-paper-from-transparency-to-justification-toward-ex-ante-accountability-for-ai-by-gianclaudio-malgieri-and-frank-pasquale-has-been-published/ [13] How Certification Systems Fail: Lessons from the Ware Report† https://www.cl.cam.ac.uk/~rja14/Papers/ieeesp12warereport.pdf [14] https://csrc.nist.gov/csrc/media/publications/conference-paper/1998/10/08/proceedings-of-the-21st-nissc-1998/documents/early-cs-papers/ware70.pdf [15] quale software non ha un effetto rilevante sulle vite delle persone? [16] https://www.lightbluetouchpaper.org/2022/10/10/ml-models-must-also-think-about-trusting-trust/ [17] https://youbroketheinternet.org/ -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>. Introduction | Stallman Support<https://stallmansupport.org/> stallmansupport.org False accusations were made against Richard Stallman in September 2019. They started a cascade of difamatory reactions that spread like wildfire, fueled by misquotes and misrepresentation of events in mainstream headlines, blogs, and social media that ultimately led to Stallman's resignation from his positions at Mit and the FSF
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
