Giuseppe, per quello che posso giudicare avendo assistito alle prime fasi della vicenda, il problema non è nel fatto che il Watson vincitore in Jeopardy non usava le DNN (per ovvi motivi storici), ma che le tecniche di question answering non vanno proprio bene per quel task, e credo che la cosa non cambierebbe con i transformers di oggi, neanche con language models specialistici e fine-tuned. Ci sono conoscenze di concetti e di nessi causali che semplicemente non si evincono dai dati o dai testi. " Rather, the problem was one of meaning", indeed! Il capo ricercatore di Watson for Jeopardy cercò di avvertire la CEO proprio di questo, ma gli fu risposto che era un disfattista e fu messo alla porta.
G. On Mon, 31 Jan 2022 at 17:07, Giuseppe Attardi <atta...@di.unipi.it> wrote: > Ci sono alcune spiegazioni a questo esito. > > Prima di tutto Watson era basato su tecnologie di 20 anni fa, ormai > obsolete con l’avvento del Deep Learning, e dei Transformer Model allenati > su enormi collezioni di testi non annotati. > Poi i modelli attuali di ML sono efficaci solo su task molto specifici. > Credo Watson non fosse in grado di mettere insieme conoscenze da diverse > fonti: i successi sbandierati riguardavano casi molto rari di malattie che > riusciva a individuare sulla base di una ricerca sui testi di letteratura > medica. > > Oggi si stanno svilupoando sistemi basati su transformers in grado di > svolgere contemporaneamente più task, analizzando insieme testi, immagini > AWHY in modalità end-to-end. > Questo però richiede corpora di allenamento misti e ben annotati, ciò che > chiamo Human-in-the-loop e che distingue l’AI dalla semplice statistica, > che ancora non sono facili da trovare, specialmente nel settore medico, a > causa di questioni di privacy. Insomma occorre trasferire le competenze > umane attraverso l’apprendimento dal comportamento degli esperti umani, che > si basano su segnali diversi e svariati. > > IBM aveva tentato di accaparrarsi tali dati con un accordo molto criticato > col NHS britannico. In Iitalia aveva tentato la stessa operazione con lo > Human Technopole. > Mi risulta che la ASL di Bolzano abbia acquistato una versione di Watson, > salvo poi accorgersi che Watson era allenato solo su testi inglesi. > > In definitiva, le potenzialità per l’AI nel campo medico sono enormi, e > stanno già producendo significativi progressi in campi come la selezione di > molecole, la sintesi di farmaci, ecc. , mentre le applicazioni alla > diagnosi sono più lontane. > > — Beppe > > > On 31 Jan 2022, at 12:00, nexa-requ...@server-nexa.polito.it wrote: > > > > From: Enrico Nardelli <narde...@mat.uniroma2.it> > > To: Nexa <nexa@server-nexa.polito.it> > > Subject: [nexa] IBM Watson: an interesting lesson learned in AI/ML in > > medicine > > Message-ID: <b0ea1988-c601-2834-2b5a-67b462940...@mat.uniroma2.it> > > Content-Type: text/plain; charset=UTF-8; format=flowed > > > > > > It started in Jeopardy and ended in loss. IBM's flagship AI Watson > Health has been sold to venture capitalists for an undisclosed sum thought > to be around a billion dollars, or a quarter of what the division cost IBM > in acquisitions alone since it was spun off in 2015. > > > > ... > > > > When clinical trials were published, Watson came up short every time. It > didn't matter what field it was in, it consistently scored less well than > human clinicians – sometimes under 50 per cent – and demonstrated some > alarming blind spots in suggested treatments. Medical professionals had > enough to worry about without babysitting a broken AI: it got dropped. > > > > ... > > > > IBM's Watson Health failed at the time, like so much AL/ML, because it > didn't know what the question was – ironic, since the game of Jeopardy at > which it excelled is all about deducing questions from data. It wanted to > automate the highest skilled aspects of healthcare, diagnosis and > treatment, but the problem wasn't one of getting the most data and the best > algorithm. Rather, the problem was one of meaning. > > > > ... > > > > Fortunately, this sad case does not mean AI-based tools can't work in > medicine, nor even that Watson Health won't do so, nor that AIs' evaluation > and adoption has been slowed down. Ask the right questions, such as "why do > some patients get readmitted" and can you spot them early?, and you get the > right answers. AI in healthcare is being adopted, and it shows every sign > of deserving its place. > > > > ... > > > > https://www.theregister.com/2022/01/31/machine_learning_the_hard_way/ > > > > > > -- EN > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
