Buongiorno Daniela grazie mille per la segnalazione!
Mi permetto di sottoporre i miei commenti, mi perdoni Daniela se dico cose che lei probabilmente già sa ma... mi serve per capirci Chiedo scusa per l'estrema lunghezza del messaggio, tuttavia non c'è alcuna fretta di leggere e tantomeno di rispondere se del caso :-) Daniela Tafani <daniela.taf...@unipi.it> writes: [...] > e ho utilizzato questa tua espressione in un mio post di oggi, > > nel quale segnalo una proposta che può forse interessare a questa lista: Io lo spererei proprio :-) > "Automaticamente illegali". Una proposta per i sistemi di intelligenza > artificiale > Bollettino telematico di filosofia politica > <https://btfp.sp.unipi.it/it/2022/11/automaticamente-illegali-una-proposta-per-i-sistemi-di-intelligenza-artificiale/> Parliamone... :-) Quelli che commento sono estratti del suo articolo, inclusi nei "cut here start/end" --8<---------------cut here---------------start------------->8--- I sistemi di intelligenza artificiale basati sull’apprendimento automatico (machine learning) sono utilizzati per ottenere classificazioni o produrre decisioni --8<---------------cut here---------------end--------------->8--- Ci sono tantissimi software non-AI che sonon utilizzati per classificare e produrre decisioni, non è una caratteristica "discriminante" dei software AI: sbaglio? --8<---------------cut here---------------start------------->8--- che hanno effetti rilevanti sulle vite delle persone, a una velocità e su una scala che non consentono un controllo umano significativo. --8<---------------cut here---------------end--------------->8--- Idem come sopra, è dagli anni '50 del secono scorso che negli USA (e poi progressivamente altrove) il software è usato per calcolare il credit score [1] Sistemi analoghi di "decision-making" e "advertising" sono stati sviluppati a ruota: «per determinare prezzi personalizzati delle assicurazioni auto e per quelle sulla salute, per calcolare i tassi ipotecari, gli affitti o le assunzioni lavorative; liste di potenziali “clienti” venivano cedute per proporre nuovi prodotti o nuove campagne pubblicitarie.» [1] Nel caso del software AI cosa c'è di differente sotto questo aspetto? --8<---------------cut here---------------start------------->8--- la quantità dei dati di partenza e la potenza di calcolo richiesta per la loro elaborazione fanno sì che la presenza di un essere umano nel processo (human in the loop) non sia in grado di fornire alcun controllo rilevante. --8<---------------cut here---------------end--------------->8--- Sul software di cui sopra /nessuno/ degli utilizzatori - intendo gli impiegati delle agenzie di valutazione del rischio e dei loro clienti - o delle persone oggetto di indagine finanziaria poteva esercitare un controllo, non perché la velocità e la scala con la quale un computer calcola non lo consente, ma perché il software binario è sempre una black box [1] e non solo quando è software AI. Una volta che la black box viene mandata in esecuzione, cioè il software binario diventa un processo, non ci può essere nessun "human in the loop" nei cicli di clock di una CPU :-): al massimo agli umani è dato (dai programmatori) un /minimo/ grado di libertà di influire sul processo attraverso una interfaccia [2], ma /mai/ di "esercitare controllo" sulla black box. --8<---------------cut here---------------start------------->8--- questi sistemi sono infatti sono costitutivamente opachi (black box), soggetti a errori madornali – in quanto fondati su correlazioni statistiche di ogni genere, senza accesso al significato o al contesto – e ad attacchi avversari non rilevabili. --8<---------------cut here---------------end--------------->8--- Queste, rispetto al software non-AI, sono le caratteristiche probabilmente preponderanti, però non sono esclusive del software AI, se analizziamo la AI nei suoi elementi costitutivi [3] É vero che il software AI (modello ricavato attraverso ML) è sostanzialmente "correlazione statistica" (semplifico eccessivamente?) ma il "vizietto" di ABUSARE della statistica [4] non è per nulla figlio della AI [5] [6], anzi a mio avviso è /esattamente/ l'opposto. Qui però non approfindiamo nel merito la questione del ruolo della statistica nella science crisis, perché andremmo OT: era solo per dire che esiste ed essendo il "discorso tecnico" strettamente legata al "discorso scientifico" occorre tenerne conto: «It's science's dirtiest secret: The ‘scientific method’ of testing hypotheses by statistical analysis stands on a flimsy foundation.» [7] (semmai ne parliamo in lista AISA :-) ) É vero che il software AI è (forse) più soggetto ad attacchi non rilevabili alla **supply chain** rispetto al software non-AI [8], compiler inclusi, ma anche il software non-AI binario è il risultato di una supply (build) chain complessa e alla cui base ci sono /sempre/ "binary blobs" (black boxes). In altre parole: "Reflections on Trusting Trust" [9] vale /anche/ per il software-AI: chi ha dei dubbi in merito? Questo sì che, se serve, potremmo approfondire qui, perché /volendo/ ci sono soluzioni. «So how can we know anything about computers?» [8]: parliamone! Per ora voglio solo sottolineare che "Reflections on Trusting Trust" è del 1984 (1984!) e nel frattempo il software (proprietario) è stato usato senza farsi troppi problemi /anche/ a livello accademico... è solo da poco tempo che si stanno studiando e applicando soluzioni. --8<---------------cut here---------------start------------->8--- Come osserva Andrea Bertolini, la dicotomia tra soggetti giuridici e oggetti non è superabile, tertium non datur, e l’unica classificazione ammissibile di tutte le tecnologie avanzate esistenti e ragionevolmente prevedibili – senza indulgere in tentazioni fantascientifiche – è quella di cose, oggetti e artefatti, prodotti dell’intelletto umano. Così concepite, esse rientrano chiaramente nella nozione di prodotto --8<---------------cut here---------------end--------------->8--- Il fatto è che /giuridicamente/ i prodotti /fisici/, ovviamente anche quelli dotati di automatismi come i software-AI, devono essere trattati come tali /quindi/ sottoposti a "direttiva macchine" o "marcatura CE"... ma non il software in quanto tale, per favore! Giuridicamente il software è incluso nelle opere d'ingegno, ed è cosa buona e giusta. Non sono i programmatori che decidono di incorporare il software in una macchina o un prodotto senza effettuare l'analisi dei rischi e eventualmente implementare adeguate misure di protezione. Non sono i programmatori a decidere che certi aerei /improbabili/ possono volare lo stesso con una spruzzata di AI (AI?) sopra [10]. --8<---------------cut here---------------start------------->8--- La fragilità della situazione è quella di una bolla giuridica, per usare un’espressione di Marco Giraudo: le grandi compagnie tecnologiche hanno fondato infatti il loro modello di business sull’appropriazione e la commercializzazione dei dati personali, in violazione di diritti giuridicamente tutelati, scommettendo su un successivo “salvataggio giuridico”, in nome dell’inarrestabilità dell’innovazione tecnologica. --8<---------------cut here---------------end--------------->8--- Attenzione però che la bolla giuridica riguarda la privacy dei dati personali usati come niente fosse sia con software AI che con software non-AI, non i dati in generale o il software. In merito agli argomenti usati nell'articolo per condannare l'abuso dei dati /personali/ (anche) nel calcolo dei modelli alla base di alcuni software AI sono più che d'accordo, però ci sono un'enormità di dati non personali che vengono "utilizzati per ottenere classificazioni o produrre decisioni che hanno effetti rilevanti sulle vite delle persone": sui sistemi che usano quei dati non vogliamo dire o fare niente? Non ho il diritto di conoscere i meccanismi di funzionamento del software che /decide/ che un tale fenomeno è così invece che "cosà"? --8<---------------cut here---------------start------------->8--- Frank Pasquale e Gianclaudio Malgieri. La loro proposta è di disciplinare i modelli di IA ad alto rischio incorporati oggi in prodotti e servizi attraverso una presunzione di illegalità, ossia entro un sistema di “illegalità di default”: fino a prova contraria, tali sistemi dovrebbero essere considerati illegali, e l’onere della prova contraria dovrebbe incombere alle aziende. Prima di immettere sul mercato un prodotto o un servizio che incorpori sistemi di IA ad alto rischio, le aziende – a partire da quelle che esercitano ormai, per dimensioni e prerogative, una sovranità funzionale – avrebbero l’obbligo di dimostrare che la loro tecnologia non è discriminatoria, non è manipolatoria, non è iniqua, non è inaccurata e non è illegittima nelle sue basi giuridiche e nei suoi scopi. --8<---------------cut here---------------end--------------->8--- Nell'articolo [12] il processo di /certificazione/ viene descritto così: --8<---------------cut here---------------start------------->8--- pre-approval model in which some AI developers, before launching their systems into the market, must perform a preliminary risk assessment of their technology followed by a self-certification. --8<---------------cut here---------------end--------------->8--- Analisi di /quali/ rischi, per un software?!? Rischio di "bias", "falsi positivi", "attacchi alla supply-chain", "violazione del GDPR"? I servizi di Facebook o Google violano il GDPR ma non la normativa USA, sono (potenzialmente?) illegali in EU: c'è bisogno di una analisi dei rischi per stabilirlo? MCAS [11] è stato immesso /indirettamente/ sul mercato perché usato come componente essenziale per la sicurezza del 737 MAX, poi Boeing ha effettuato una analisi dei rischi a mio avviso (e non solo mio) RIDICOLA e FAA (non Boeing) ha certificato l'idoneità dell'aereo sulla base di quelle analisi. Considerati i problemi del software analizzati prima (correlazione e attacchi) la valutazione dei rischi fino dove si dovrebbe spingere? Analizzo il mio software o devo analizzare anche i componenti terzi? Se si, fino a che livello devo spingermi, fino alla radice dell'intera catena di build? Davvero la certificazione dei sistemi hardware+software, anche se effettuata terze parti, è una soluzione efficace nonostante si sia dimostrata nel tempo fallace [13]. “Thus, the security problem of specific computer systems must, at this point in time, be solved on a case-by-case basis, employing the best judgement of a team consisting of system programmers, technical hardware and communications specialists, and security experts.” [Security controls for computer systems (aka Ware Report), 1970] [14] Ho una modesta proposta in alternativa: perché invece che «illegal by default» non chiediamo che il software - almeno quelli che "sono utilizzati per ottenere classificazioni o produrre decisioni che hanno effetti rilevanti sulle vite delle persone," (cit.) [15] - sia «free software by default», l'unico sistema che consentirebbe di "certificare" in modo distribuito e indipendente che il software non sia affetto da uno o più degli innumerevoli problemi di cui si discute molto? La stessa cosa, ovvamente, dovrebbe valere anche (anzi sporattutto, considerato che il rischio di abuso è forse più alto) anche per i software AI, perché è decisamente /fattibile/ [16]: The takeaway message is that for a machine-learning model to be trustworthy, you need to assure the provenance of the whole chain: the model itself, the software tools used to compile it, the training data, the order in which the data are batched and presented – in short, everything. Un problema di natura tecnica, come questo o per esempio il fatto che Internet /tecnicamente/ fa schifo [17] (questo tra l'altro ha ricadute pesantissime sulla privacy delle persone), può essere risolto solo tecnicamente. Un problema giuridico, semmai, è stato quello di non essere stati in grado di riconoscere per tempo che "code is law": nessuno accetterebbe una "macchina della giustizia" che /eseguisse/ i processi (pun intended) con un "Codice di Procedura Penale/Civile binario" (black box), sputando sentenze come output. Peché dovrebbe essere diverso con una diagnosi medica, una valutazione finanziaria, ecc? Allora perché non /pretendiamo/ che il software che utilizziamo noi stessi o che viene utilizzato da altri in un processo decisionale che ci riguarda - dalle sentenze fino alla pubblicità mirata, dal filtro dei messaggi via social fino alla concessione di finanziamenti - non sia libero come il Codice di Procedura Penale/Civile? ...in modo che tutti possano partecipare, se lo vogliono e hanno le adeguate competenze, come previsto nell'Art. 3 della nostra costituzione: E` compito della Repubblica rimuovere gli ostacoli di ordine economico e sociale, che, limitando di fatto la libertà e l'eguaglianza dei cittadini, impediscono il pieno sviluppo della persona umana e l'effettiva partecipazione [...] all'organizzazione politica, economica e sociale del Paese. Non trovate che una black box (software binario, niente codice sorgente) sia uno di quegli ostacoli da /rimuovere/? :-O Saluti, 380° [1] https://www.ilpost.it/carloblengino/2019/06/09/la-piu-longeva-e-invasiva-sorveglianza-di-massa-mai-realizzata-negli-usa/ [2] o una backdoor... o attraverso un exploit (spessissimo non voluto)... [3] https://nooscope.ai/ [4] https://purl.archive.org/dtafanicit/Calude [5] https://www.nature.com/articles/d41586-019-00857-9 [6] https://www.tandfonline.com/toc/utas20/73/sup1?nav=tocList [7] https://amstat.tandfonline.com/doi/full/10.1080/00031305.2016.1154108#.XInvWyPMzyW [8] https://pluralistic.net/2022/10/11/rene-descartes-was-a-drunken-fart/#trusting-trust «Those backdoors rely on the target outsourcing their model-training to an attacker.». Il problema della "underspecification" e dei "data-set spannometrici" non sono specifici del software. [9] https://www.cs.cmu.edu/~rdriley/487/papers/Thompson_1984_ReflectionsonTrustingTrust.pdf [11] https://www.pointswithacrew.com/can-boeing-fix-a-potentially-faulty-737-max-design-with-software/ [12] https://brusselsprivacyhub.com/2022/06/01/brussels-privacy-hub-working-paper-from-transparency-to-justification-toward-ex-ante-accountability-for-ai-by-gianclaudio-malgieri-and-frank-pasquale-has-been-published/ [13] How Certification Systems Fail: Lessons from the Ware Report† https://www.cl.cam.ac.uk/~rja14/Papers/ieeesp12warereport.pdf [14] https://csrc.nist.gov/csrc/media/publications/conference-paper/1998/10/08/proceedings-of-the-21st-nissc-1998/documents/early-cs-papers/ware70.pdf [15] quale software non ha un effetto rilevante sulle vite delle persone? [16] https://www.lightbluetouchpaper.org/2022/10/10/ml-models-must-also-think-about-trusting-trust/ [17] https://youbroketheinternet.org/ -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.
signature.asc
Description: PGP signature
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
