Ci sono alcune spiegazioni a questo esito. Prima di tutto Watson era basato su tecnologie di 20 anni fa, ormai obsolete con l’avvento del Deep Learning, e dei Transformer Model allenati su enormi collezioni di testi non annotati. Poi i modelli attuali di ML sono efficaci solo su task molto specifici. Credo Watson non fosse in grado di mettere insieme conoscenze da diverse fonti: i successi sbandierati riguardavano casi molto rari di malattie che riusciva a individuare sulla base di una ricerca sui testi di letteratura medica.
Oggi si stanno svilupoando sistemi basati su transformers in grado di svolgere contemporaneamente più task, analizzando insieme testi, immagini AWHY in modalità end-to-end. Questo però richiede corpora di allenamento misti e ben annotati, ciò che chiamo Human-in-the-loop e che distingue l’AI dalla semplice statistica, che ancora non sono facili da trovare, specialmente nel settore medico, a causa di questioni di privacy. Insomma occorre trasferire le competenze umane attraverso l’apprendimento dal comportamento degli esperti umani, che si basano su segnali diversi e svariati. IBM aveva tentato di accaparrarsi tali dati con un accordo molto criticato col NHS britannico. In Iitalia aveva tentato la stessa operazione con lo Human Technopole. Mi risulta che la ASL di Bolzano abbia acquistato una versione di Watson, salvo poi accorgersi che Watson era allenato solo su testi inglesi. In definitiva, le potenzialità per l’AI nel campo medico sono enormi, e stanno già producendo significativi progressi in campi come la selezione di molecole, la sintesi di farmaci, ecc. , mentre le applicazioni alla diagnosi sono più lontane. — Beppe > On 31 Jan 2022, at 12:00, nexa-requ...@server-nexa.polito.it wrote: > > From: Enrico Nardelli <narde...@mat.uniroma2.it> > To: Nexa <nexa@server-nexa.polito.it> > Subject: [nexa] IBM Watson: an interesting lesson learned in AI/ML in > medicine > Message-ID: <b0ea1988-c601-2834-2b5a-67b462940...@mat.uniroma2.it> > Content-Type: text/plain; charset=UTF-8; format=flowed > > > It started in Jeopardy and ended in loss. IBM's flagship AI Watson Health has > been sold to venture capitalists for an undisclosed sum thought to be around > a billion dollars, or a quarter of what the division cost IBM in acquisitions > alone since it was spun off in 2015. > > ... > > When clinical trials were published, Watson came up short every time. It > didn't matter what field it was in, it consistently scored less well than > human clinicians – sometimes under 50 per cent – and demonstrated some > alarming blind spots in suggested treatments. Medical professionals had > enough to worry about without babysitting a broken AI: it got dropped. > > ... > > IBM's Watson Health failed at the time, like so much AL/ML, because it didn't > know what the question was – ironic, since the game of Jeopardy at which it > excelled is all about deducing questions from data. It wanted to automate the > highest skilled aspects of healthcare, diagnosis and treatment, but the > problem wasn't one of getting the most data and the best algorithm. Rather, > the problem was one of meaning. > > ... > > Fortunately, this sad case does not mean AI-based tools can't work in > medicine, nor even that Watson Health won't do so, nor that AIs' evaluation > and adoption has been slowed down. Ask the right questions, such as "why do > some patients get readmitted" and can you spot them early?, and you get the > right answers. AI in healthcare is being adopted, and it shows every sign of > deserving its place. > > ... > > https://www.theregister.com/2022/01/31/machine_learning_the_hard_way/ > > > -- EN _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
