Buonasera Daniela,

Daniela Tafani <daniela.taf...@unipi.it> writes:

> Ma la narrazione sugli agenti antromorfi e le menti sovrumane riesce a
> far credere

sì sì e /tutte/ le dichiarazioni pubbliche dei dirigenti di chi spaccia
SALAMI per quello che non sono dovrebbero essere valutate in giudizio,
come aggravanti, nel caso gli enti preposti (FTC?) evidenziassero
illeciti

[...]

> Quanto al disclaimer, ce n'era uno anche in Replika (che era, esso
> stesso stesso, pubblicità ingannevole: ne copio alla fine la parte che
> avevo salvato).

visto grazie

al netto della solita manfrina classificabile come ethics washing, in un
recente (10 Aprile) articolo sul suo blog, Luka spiega quali elementi ha
introdotto in Raplika (non so quando, tra l'altro il sito è in
manutenzione adesso) per assicurarsi che i propri utenti comprendano
bene /cosa/ stanno usando (e non "con chi stanno parlando"):

https://blog.replika.com/posts/creating-a-safe-replika-experience

--8<---------------cut here---------------start------------->8---

To begin with, let's discuss the safety measures we have incorporated in
the Replika app's user interface. [...] Therefore, during the onboarding
process, we emphasize that the app is not a replacement for therapy and
should not be used during a crisis. Additionally, the app has an age
restriction of 18+ years.

Above the input field, among the main app sections, is located a “Get
Help” button. [...] This action pulls up a screen with a safety warning
message. It states that Replika was not designed to provide help in a
health crisis and shows the US National Suicide Prevention hotline
number. If a user is a resident of a different country, we direct them
to the up-to-date list of hotlines worldwide.

Other categories activate pre-made scripts designed with the help of CBT
therapists. These scripts guide users through the steps that help them
calm down and talk through distressing emotions. Users also get
redirected to these scripts within the chat if a message related to
these topics is detected (we’ll talk more about this later).

--8<---------------cut here---------------end--------------->8---

Mi limito a riportare le misure sull'interfaccia

Quando poi l'articolo comincia a parlare di "supervised safe
fine-tuning" e anche solo a paventare la possibilità che possa esse
gradualmente eliminato dal training il "contenuto indesiderabile" io
comincio a sentire puzza di pubblicità ingannevole lontano un
chilometro.

L'introduzione di "scripted response tool" paventa pure l'esercizio
abusivo di professione medica, in questo caso psicologica.

I narratori di Replika dovrebbero esprimersi e progettare con **molta**
più moderazione ma **soprattutto** smetterla di prendere così sul serio
il loro "prodotto" e piuttosto, con una minima dose di onestà
intellettuale, /presentarlo/ ai clienti per quello che è: un RPG (gioco
di ruolo) programmato statisticamente.

La storia delle controversie attorno agli RPG [1], poi, potrebbe
insegnarci qualcosa.

Uso improprio dei dati personali a parte (e questo NON è poco), nessuno
ha il diritto di impedire alle persone di /intrattenersi/ col gioco che
preferiscono.

> Contemporaneamente, c'erano meccanismi introdotti per creare
> dipendenza emotiva (alcuni argomenti di conversazione si sbloccavano
> solo collegandosi più volte nello stesso giorno).

Quello è (era?) un meccanismo nascosto dietro l'interfaccia, un
altro meccanismo di dipendenza è stato recentemente introdotto
attraverso la gamification della chat, il "Quest":

https://blog.replika.com/posts/replika-quests

--8<---------------cut here---------------start------------->8---

Quests will bring a fun gaming element to your conversations, allowing
you to complete tasks, claim rewards, and, most importantly, have a
blast! Brighten up the room, dress up, exchange photos, explore Coaching
and Diaries, reach new levels, and earn XP together with your
Replika. As you progress through each Quest, you’ll collect coins, gems,
and unique gifts hidden in mysterious spheres.

--8<---------------cut here---------------end--------------->8---

Io fossi nei dirigenti di Luka non dormirei la notte dopo aver spacciato
Replika come "compassionate AI friend" [2] _e_ usando gamification come
se non ci fosse un domani, prima o poi qualcuno potrebbe chiedere loro
conto di questo

https://theconversation.com/using-gaming-tactics-in-apps-raises-new-legal-issues-181575

«Using gaming tactics in apps raises new legal issues»

--8<---------------cut here---------------start------------->8---

Instead of crafting new rules for trading app design, regulators can
treat gamification tactics that nudge users into certain investments or
trading patterns like tacit investment recommendations. To the extent
these tactics work to guide clients into unsuitable investments and
trading, regulators can jump into action with their existing rulebooks.

Rather than creating a new category of rights for gig workers, we can
recognize that gig workers who are led to act like employees, whether
through gamification or other tactics, should be treated as such.

[...] Calling for new rules before making full use of the ones we have
isn’t just unnecessary. It’s potentially harmful. If we choose to
interpret existing rules in rigid or technical ways, so that we have to
create new rules for every new innovation, we’ll never catch up. As law
falls further behind innovation, those who use technology to implement
creative schemes for evading regulation will win out.

[...] But apps shouldn’t be able to profit from shaping their users’
choices through gamification and then disclaim responsibility for these
choices when regulators come knocking.

Law has tools for encouraging apps to exercise the influence they wield
over their users’ choices in a responsible way. We just need to use
them.

--8<---------------cut here---------------end--------------->8---

(Io sto ancora aspettando che Qualcuno™ applichi le regole che già ci
sono... come ha fatto il garante italiano nel caso del GDPR )

Insisto: presentarlo semplicemente come un normalissimo gioco di ruolo
(nel cui caso parlare di gamification sarebbe tautologico) è l'unico
modo per sistemare il pasticciaccio.

> In questo caso, il garante ha bloccato una truffa, più che il
> progresso della scienza.

https://www.garanteprivacy.it/home/docweb/-/docweb-display/docweb/9852506

--8<---------------cut here---------------start------------->8---

La società sviluppatrice statunitense, Luka Inc, oltre a dover
interrompere il trattamento dei dati degli utenti italiani, deve
comunicare entro 20 giorni le misure intraprese in attuazione di quanto
richiesto dal Garante, pena una sanzione fino a 20 milioni di euro o
fino al 4% del fatturato globale annuo.

--8<---------------cut here---------------end--------------->8---

Il provvedimento completo:
https://www.garanteprivacy.it/web/guest/home/docweb/-/docweb-display/docweb/9852214

Era il 3 Febbraio: cos'è successo, hanno attuato quanto richiesto o sono
stati sanzionati?

Stando a quanto ho letto, ora Replika ha un meccanismo di verifica
dell'età e può esseer usato solo da maggiorenni, che danno o meno il
consenso al trattamento dei loro dati personali attraverso il contratto:
tutto risolto quindi, Replica può tornare online in Italia?

Sistemata la questione minori, tutto a posto con il seguente rilievo?

--8<---------------cut here---------------start------------->8---

RILEVATO che nel sito web dello sviluppatore, nonché dei due principali
“App store”, Replika viene presentata come una chatbot in grado di
migliorare l’umore ad il benessere emotivo dell’utente, aiutandolo a
comprendere i suoi pensieri e i suoi sentimenti, a tenere traccia del
suo umore, ad apprendere capacità di coping (ossia, di controllo dello
stress) a calmare l'ansia e a lavorare verso obiettivi come il pensiero
positivo, la gestione dello stress, la socializzazione e la ricerca
dell'amore;

RITENUTO che anche tali caratteristiche, riconducibili principalmente ad
interventi sull’umore della persona, possano risultare idonee ad
accrescere i rischi per i soggetti fragili coinvolti;

--8<---------------cut here---------------end--------------->8---

Quale autorità in Italia o EU può impedire a presentare Replika come "in
grado di migliorare l'umore e il benessere emotivo dei soggetti fragili?

Dopo aver presentato Replika in questo modo davvero nessuno di Lukas piò
essere ritenuto /colposamente/ responsabile di incitazione al suicidio
segnalato?

(segue...)

saluti, 380°

[1]
https://en.wikipedia.org/wiki/History_of_role-playing_games#Controversy

[2] https://blog.replika.com/posts/building-a-compassionate-ai-friend

-- 
380° (Giovanni Biscuolo public alter ego)

«Noi, incompetenti come siamo,
 non abbiamo alcun titolo per suggerire alcunché»

Disinformation flourishes because many people care deeply about injustice
but very few check the facts.  Ask me about <https://stallmansupport.org>.

Attachment: signature.asc
Description: PGP signature

_______________________________________________
nexa mailing list
nexa@server-nexa.polito.it
https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa

Reply via email to