Buongiorno.
Una conferma, almeno in linea generale, di quanto scriveva Giacomo: https://aisnakeoil.substack.com/p/gpt-4-and-professional-benchmarks Un saluto, Daniela ________________________________ Da: nexa <nexa-boun...@server-nexa.polito.it> per conto di Giacomo Tesio <giac...@tesio.it> Inviato: sabato 18 marzo 2023 01:04 A: nexa@server-nexa.polito.it; Guido Noto La Diega; nexa@server-nexa.polito.it Oggetto: Re: [nexa] GTP-4 passa l'esame da avvocato Fino a pochi anni fa (e non credo la cosa sia cambiata) l'esame di stato per l'ingresso all'Ordine dei Medici e l'abilitazione all'esercizio della professione consisteva in una lunga lista di domande a risposta chiusa estratte da un database noto a priori. Su tale database, ad alcune domande è stata segnata come giusta una risposta sbagliata. I candidati lo sanno e molti imparano coscientemente a memoria la risposta sbagliata. Con una frazione infinitesimale del budget e dell'energia spesa per realizzare GPT-4 chiunque può realizzare un software che peschi dal database la risponsta e la segni. Quel software passerebbe l'esame di stato dell'ordine dei medici senza poter in alcun modo curare un paziente. Nessuna AI, solo una select SQL. Il fatto che una macchina superi una verifica pensata per esseri umani dimostra solo che il test era inadeguato. Giacomo Il 15 Marzo 2023 20:25:44 UTC, Guido Noto La Diega <noto.la.di...@gmail.com> ha scritto: "In this paper, we experimentally evaluate the zero-shot performance of a preliminary version of GPT-4 against prior generations of GPT on the entire Uniform Bar Examination (UBE), including not only the multiple-choice Multistate Bar Examination (MBE), but also the open-ended Multistate Essay Exam (MEE) and Multistate Performance Test (MPT) components. On the MBE, GPT-4 significantly outperforms both human test-takers and prior models, demonstrating a 26% increase over ChatGPT and beating humans in five of seven subject areas. On the MEE and MPT, which have not previously been evaluated by scholars, GPT-4 scores an average of 4.2/6.0 as compared to much lower scores for ChatGPT. Graded across the UBE components, in the manner in which a human tast-taker would be, GPT-4 scores approximately 297 points, significantly in excess of the passing threshold for all UBE jurisdictions. These findings document not just the rapid and remarkable advance of large language model performance generally, but also the potential for such models to support the delivery of legal services in society." https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202303180004140279757&URLID=2&ESV=10.0.19.7431&IV=239C0DC9D734098CF9B424321DE34737&TT=1679097855026&ESN=u3NuriSjk66DFBDNuRulwvzNfDYLfdmFiJpBi913puo%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly9wYXBlcnMuc3Nybi5jb20vc29sMy9wYXBlcnMuY2ZtP2Fic3RyYWN0X2lkPTQzODkyMzM&HK=01D703A3ECA38B9F05E9726569AC9A83B8941EBC1FE3B4B33E775CD1938EEC81 Sent from Outlook for Android<https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202303180004140279757&URLID=1&ESV=10.0.19.7431&IV=8AC6CE73399287E7B207ACBB17946E75&TT=1679097855026&ESN=q1oKMZIfvuPcbzIVjGhtz8Ldef3r6HB7g2VHYBfYDcU%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly9ha2EubXMvQUFiOXlzZw&HK=0A8440919E49BB4A93CE36890F5DDC97182A6B58C4AC4752FBD4D800E7B34B4B>
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
