Insisto.
La responsabilità di un'uccisione -- "legittima" di un nemico dichiarato (es.
soldato o spia in guerra), "illegittima" di nemico presunto (es. capo politico
di paese libero considerato scomodo, ...intendo il paese e/o la persona), o del
tutto "arbitraria" (es. civile ucciso volutamente come "danno collaterale"
previsto e accettato); ...poi ci sono altre mille varianti sul tema -- si
divide in N componenti della catena di comando e di esecuzione, fra gente che
sceglie, decide, utilizza strumenti, e macchine che finora eseguivano, ...e ora
anche pensano.
Se un sistema d'arma fa cilecca, e colpisce un obiettivo diverso da quello
previsto, allora il produttore del sistema può essere chiamato in causa, in
quanto diretto responsabile del danno.
Ma in tutti gli altri casi, nei quali sai bene come opera uno strumento e lo
lasci libero di decidere al posto tuo, la responsabilità è chiaramente di chi
decide di permettere e chi permette questo.
Se un guidatore di auto a guida autonoma fa avvenire un incidente, la
responsabilità si divide fra l'utente e il produttore, in funzione delle
garanzie e dei disclaimer che si trovano nel "contratto" fra venditore e
cliente, ...inclusi eventualmente gli organi regolatori coinvolti.
Di sicuro, finché l'auto fa quello che è stato previsto faccia, la
responsabilità sta negli umani.
E, se si mette una pistola in mano a un bambino (perché tale è la capacità di
discernimento di un algoritmo), il responsabile rimane chi gliel'ha data.
Di cosa stiamo parlando? Di come ragioniamo gli algoritmi, o di quanto sono
imbecilli e colpevoli coloro che li usano?
Perché a me, del giornalista sensazionalista che personifica gli algoritmi,
scusate ma poco mi frega.
L'incipit è chiaro: "unico grande responsabile è la decisione (politica) di
affidarsi alla IA".
Poi ci si perde e l'affermazione iniziale sparisce...
----- Original Message -----
From: maurizio lana
To: nexa@server-nexa.polito.it
Sent: Saturday, January 18, 2025 2:03 PM
Subject: Re: [nexa] Il ruolo dell'IA nei conflitti
Il 18/01/25 10:40, Alessandro Brolpito ha scritto:
Un breve video reportage focalizzato sul conflitto tra Israele e Hamas.
La tesi é che dietro il 7 ottobre e il disastroso bilancio di morti a Gaza
c'è un unico grande respisabile: la decisione (politica) di affidarsi alla IA
per, prima, la valutazione del rischio Hamas e, successivamente, per definire i
targets e le morti di civili tollerabili, come effetto collaterale dei
bombardamenti.
https://www.repubblica.it/rubriche/metropolis/2025/01/17/video/gaza_paradossi_e_rischi_della_prima_guerra_affidata_alle_macchine_e_allintelligenza_artificiale-423945250/
Chi è responsabile da un punto di vista giuridico di questi morti?
Che sia almeno tregua a tutto questo, da domani.
testo del podcast citato, estratto con Macwhisper:
Quella di Gaza è la prima guerra in cui a decidere chi doveva essere ucciso
ad arbitrare vita e morte sono state le macchine. Queste scelte sono state
affidate per la prima volta pressoché integralmente a dei sofisticati sistemi
di intelligenza artificiale, tra l'altro animati dal machine learning, cioè
dalla capacità di apprendimento. Le stesse macchine, gli stessi software,
riuscivano a migliorare le loro capacità. Alla fine a ordinare il bombardamento
c'era sempre un essere umano, ma tutto il processo decisionale, quello che i
tecnici chiamano targeting, che porta a scegliere un bersaglio, che porta a
scegliere la persona da uccidere, che porta a valutare qual è il rischio di
coinvolgere civili innocenti in quell'attacco, è stato affidato a dei software.
Noi non sappiamo quante delle 46.000 persone morte finora a Gaza e oltre
100.000 ferite, tra cui sicuramente una stragrande maggioranza di civili e
tantissime donne e bambini che nulla avevano a che vedere con Hamas, sono state
uccise o colpite per effetto di questo selezionamento fatto dall'intelligenza
artificiale. Ma c'è un dato, uno dei tanti dati raccapriccianti che emergono in
una serie di inchieste realizzate dal New York Times, dal Washington Post, da
giornali indipendenti israeliani. Nel primo mese della campagna di
bombardamenti decisa da Israele risposta all'incursione di Hamas del 7 ottobre
che ha provocato 1200 vittime e il rapimento di 250 cittadini israeliani,
soltanto nel primo mese 12.000 dei bersagli bombardati sono stati selezionati
dall'intelligenza artificiale.
Questo è un grande cambiamento nella cultura della guerra e in uno degli
aspetti che proprio Israele, paese che lotta per la sua sovravvivenza, aveva
particolarmente curato, e cioè come si arriva a scegliere chi va colpito e come
si arriva a calcolare il rischio di coinvolgere civili nell'operazione. Israele
aveva sempre mantenuto il controllo di questo processo nelle mani di analisti
dell'intelligence di persone e in particolar modo aveva favorito una forma di
cultura dell'allerta in cui anche il livello più basso di questa catena
gerarchica, anche il sotto ufficiale, se aveva dei dubbi sull'attacco che stava
per essere commesso, poteva prendere e rivolgersi direttamente al comandante in
capo.
Non solo, perché comunque Israele è una democrazia, è uno stato di
diritto, nel processo per selezionare i bersagli e per creare questa sorta di
archivio in cui c'erano tutti gli obiettivi che si potevano colpire in caso di
conflitto con Hezbollah o in caso di conflitto con Hamas, alla fine del
processo c'era sempre la figura di un avvocato militare che doveva valutare se
l'operazione pianificata era o meno compatibile con le leggi. In 7 ottobre il
fatto che Israele si sentisse minacciato nella sua stessa esistenza
dall'incursione di Hamas ha spinto invece ad eliminare tutte queste regole. C'è
un qualcosa di paradossale nella fiducia accordata a questi sistemi di
intelligenza artificiale, di machine learning, di big data, perché proprio il
fatto di aver affidato la sorveglianza a queste macchine, affidato la gestione
dell'intelligenza preventiva a questi sistemi elettronici invece che non agli
agenti sul campo, è stato uno degli elementi che ha permesso ad Hamas di
colpire totalmente di sorpresa le persone. Si è sentito dire tante volte che è
stata l'assenza di la vecchia "Humint", l'intelligenza fatta dalle persone per
favorire lo sviluppo di tutti questi sistemi informatici ed elettronici che in
qualche modo ha lasciato indifeso Israele. Eppure, in maniera paradossale, la
risposta al 7 ottobre viene gestita da queste macchine.
C'è un'enorme raccolta di informazioni che viene fatta con i droni, con i
satelliti, con le intercettazioni di tutte le comunicazioni telefoniche, delle
comunicazioni internet, delle chat, con l'uso di spugne di dati
sofisticatissime quali gli aerei F-35 che noi chiamiamo i caccia invisibili ma
la cui vera natura è quella di essere gli straordinari raccoglitori di
informazioni. Addirittura, per capirci, si usava il confronto tra foto
satellitari scattate in periodi diversi per capire se il terreno era stato
mosso e quindi poteva nascondere dei razzi che venivano sepolti prima
dell'azione di Hamas. O è stato insegnato alle macchine, al loro meccanismo di
machine learning, come riconoscere un certo tipo, un determinato tipo di
tessuto che veniva più frequentemente utilizzato da Damas per coprire i missili
messi nel terreno in modo tale che le macchine, questi sistemi informatici di
analisi, potessero trovare questo tessuto all'interno delle foto satellitari
scattate in continuazione sopra Gaza. Tutte queste informazioni poi venivano
messe in una grande struttura di bidata chiamata The Pool, la piscina, e
all'interno di questa struttura operavano due software, entrambi sviluppati
dall'unità 8200 che è il reparto dell'esercito israeliano specializzato
nell'intelligence elettronica e nella designazione dei bersagli e che ha avuto
un ruolo fondamentale nella gestione di queste operazioni.
All'interno di The Pool agivano due sistemi, uno chiamato The Gospel, il
Vangelo, che si occupava di andare a scegliere gli obiettivi, quindi era
soprattutto focalizzato su quelle che potevano essere i nasconditi di armi, i
tunnel, tutto ciò che rappresentava le infrastrutture di Damas. L'altro invece,
Lavender, Lavanda, nessuno sa perché sia stato scelto questo nome, si occupava
di individuare le persone che erano presunti miliziani, presunti combattenti di
Damas. Entrambi i sistemi avevano grandi limiti, limiti alcuni nel modo in cui
venivano elaborate le informazioni, ad esempio la parola batik, che vuol dire
melone in arabo, veniva utilizzata in codice spesso per indicare le bombe, ma
all'interno della popolazione di Gaza era anche una parola di uso comune quando
si tratta di mangiare, consumare, comprare dei meloni che sono molto diffusi
nella Striscia, sono quasi uno dei simboli. Il sistema, pur sofisticato, non
era così intelligente da riuscire a distinguere quando veniva usato per parlare
di meloni o quando veniva usato invece per discutere di ordini.
Questa debolezza linguistica, che prima veniva corretta con l'uso di
esperti in carne e ossa, ha fatto sì che tanti bersagli siano stati scelti a
caso, così come poi è stata pesantissima la decisione presa nelle prime ore
dopo l'attacco di Hamas di cambiare le regole sulla valutazione del rischio per
i civili. È stato possibile scatenare attacchi anche quando mettevano a rischio
20 civili. Questa è una cosa molto forte perché prima del 7 ottobre Israele
tollerava solo in casi straordinari la possibilità che venisse messa a rischio
la vita di 5 civili e in casi ancora più eccezionali che venisse messa a
rischio la vita di 10 civili. Invece poter uccidere 20 persone innocenti pur di
colpire un uomo di Hamas o un uomo della Jihad Islamica è diventata la regola
dopo il 7 ottobre e lo è rimasta per le prime 5 settimane di guerra. Ma in
questa fase ci sono stati, secondo il censimento della ONG britannica Airwards,
136 attacchi in cui sono morti più di 50 civili.
Questo anche a causa di un altro dei difetti di valutazione di queste
macchine a cui è stata affidata la scelta di vita o di morte. Queste macchine
per valutare la presenza di civili stimavano il numero di cellulari attivi
nella zona del bersaglio e lo comparavano con quello precedente alla guerra. Da
ciò disumevano quanto era popolata quella zona, quante persone c'erano in
quella zona, ignorando il fatto che il funzionamento dei cellulari a causa
dell'assenza di corrente elettrica, a causa delle condizioni drammatiche,
spesso era ridotto al minimo. Quindi c'erano tante persone che rispetto a prima
del 7 ottobre non usavano, non potevano usare il cellulare. Questo ha portato a
valutare un numero di civili presenti sul luogo di bombardamento di [Gronlund]
in febbraio e ha contribuito a realizzare quella terribile strage che noi
vediamo.
Ecco, in tutte le operazioni su Gaza l'intelligenza artificiale, i big
data, il machine learning hanno fornito le indicazioni, hanno selezionato
bersagli spesso sbagliati e hanno sottovalutato il numero di vittime civili.
Mentre invece in Ucraina noi sappiamo che già oggi entrambi gli eserciti stanno
utilizzando intelligenza artificiale e big data per tutta la fase del
combattimento, incluso quella di stabilire chi colpire. Le macchine decidono
chi colpire e le colpiscono automaticamente. E quello che viene indicato
proprio dagli esperti delle forze armate israeliane che hanno contribuito a
generare questi enormi sistemi di algoritmi è che l'algoritmo, l'intelligenza
artificiale a un certo punto diventa molto orgoglioso, molto confidente delle
sue capacità e tende a ritenersi superiore all'uomo. Sono le premesse di un
futuro che è già presente e che si annuncia terribile.
alcune delle inchieste citate sono:
Abraham, Yuval. «‘A mass assassination factory’: Inside Israel’s calculated
bombing of Gaza». +972 Magazine, 30 novembre 2023.
https://www.972mag.com/mass-assassination-factory-israel-calculated-bombing-gaza/.
———. «‘Lavender’: The AI machine directing Israel’s bombing spree in Gaza».
+972 Magazine, 3 aprile 2024.
https://www.972mag.com/lavender-ai-israeli-army-gaza/.
McKernan, Bethan, e Harry Davies. «‘The machine did it coldly’: Israel used
AI to identify 37,000 Hamas targets». The Guardian, 3 aprile 2024, sez. World
news.
https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai-database-hamas-airstrikes.
questo il manuale israeliano prodotto dall'unità 8200:
Y.S., Brigadier General. The Human-Machine Team: How to Create Synergy
Between Human and Artificial Intelligence That Will Revolutionize Our World.
Independently Published, 2021.
Davies, Harry, e Bethan McKernan. «Top Israeli spy chief exposes his true
identity in online security lapse». The Guardian, 5 aprile 2024, sez. World
news.
https://www.theguardian.com/world/2024/apr/05/top-israeli-spy-chief-exposes-his-true-identity-in-online-security-lapse.
in parte ne avevamo già parlato qui in lista.
la frase finale del podcast di Di Feo è il punto si cui riflettere, io credo:
l'algoritmo, l'intelligenza artificiale a un certo punto diventa molto
orgoglioso, molto confidente delle sue capacità e tende a ritenersi superiore
all'uomo
(mi piacerebbe sapere qual è la fonte su cui Di Feo si basa, non nel senso
che dubiti dell'esistenza, ma che sarebbe interessante conoscerla, proprio)
diciamo che l'umano volontariamente si asservisce alla macchina e con ciò
crede di giustificarsi?
perché quella esposta è una forma estrema di personalizzazione dei sistemi di
IA: non solo 'ragionano' ma pure 'formano sentimenti'.
come ha scritto Daniela, personalizzare i sistemi di IA deumanizza le persone.
Maurizio
------------------------------------------------------------------------------
s'il n'y a même plus l'humour pour nous alléger
comment lutter
prohom, comment lutter
------------------------------------------------------------------------------
Maurizio Lana
Università del Piemonte Orientale
Dipartimento di Studi Umanistici
Piazza Roma 36 - 13100 Vercelli
