Oi Marcelo, Ótimas perguntas, obrigado. Não sou um especialista neste assunto, mas posso oferecer meus centavinhos.
Marcelo Finger <mfin...@ime.usp.br> escreveu: > OI Walter. > > > Numa outra direção eu perguntaria: o que se pode fazer com uma semântica > como essa? > Primeiro, uma semântica como essa pode ser a origem de uma teoria sobre a racionalidade interna de uma rede neural, inclusive para "deep learning". Como você sabe, é um grande problema tentar seguir o "raciocínio" de um Large Language Model, já que de fato parece que a criatura artificial consegue ter algum tipo de lógica interna ou racionalidade, que talvez ela herde da estrutura da linguagem combinada com probabilidade. > > > Numa primeira vista, esse resultado só mostra que toda rede neural, não > importa com quais dados foi treinada, tem uma semântica. Mas, e daí? > Temos pelo menos **esta** semântica que está sendo definida deste modo. O problema agora é estudar, desenvolver e compreender esta semântica. O que poderia vir daí não se sabe, mas me parece uma alternativa inteligente partir para uma matemática elaborada para entender o que a rede neural faz com a "matematiquinha tico-tico" (em comparação) da álgebra linear, probabilidade condicional e cálculo integral e diferencial. E a coisa pode até mesmo interessar do ponto de vista da filosofia da matemática. Talvez nos surpreendamos com combinações inéditas e em grande escala de ideias matemáticas simples. Veja que as grandes ideias da ciência, como a teoria da relatividade e a mecânica quântica, lidam com ideias matemáticas sofisticadas, enquanto os LLMs parecem ser um pequeno milagre fabricado com matemática de engenharia 101 e belos algoritmos. > > >Seria a semântica capaz de mostrar algo interessante como, dadas duas > redes, seriam elas "semelhantes"? Seria uma o refinamento de outra, a > partir de mais dados? Seriam >elas conflituosas em algum sentido? > Eu vejo que sim, da para comparar e organizar redes. Nao vejo conflito, mas uma " teoria de modelos mais moles" para estes Grandes Modelos de Linguagem. . Ao utilizar conceitos mais profundos, é possível (acredito) construir ou definir morfismos entre grandes estruturas de redes, investigando semelhanças. Pode-se comparar modelos e investigar o delta de crescimento com dados melhores, ou de decréscimo com dados piores, ou ainda com dados menos estruturados. > > >Essas perguntas são muito interessantes do ponto de vista de análises > destas redes. O que esta semântica tem a dizer a respeito dessas perguntas? > > Claro, são excelentes perguntas. Acima, compartilhei minha visão sobre > isso. Fiquei impressionado porque não havia visto até agora um enfoque mais > profundo. > Abraços, > > Walter > > Em qua., 29 de jan. de 2025 às 17:08, Walter Carnielli < > walte...@unicamp.br> escreveu: > >> Pessoal, >> >> Há poucos dias, fiquei sabendo de uma conexão muito interessante entre >> lógica, categoria e raciocínio sobre Inteligência Artificial. >> >> Achei tão fascinante que gostaria de compartilhar com vocês. Está no >> artigo >> >> “An Enriched Category Theory of Language: From Syntax to Semantics” >> Tai-Danae Bradley¹ · John Terilla² · Yiannis Vlassopoulos >> La Matematica (2022) 1:551–580 >> https://doi.org/10.1007/s44007-022-00021-2 >> >> https://arxiv.org/abs/2106.07890 >> >> Thomas Seiller, do CNRS (Paris Nord), falou sobre isso aqui no Keck >> Center da Chapman no dia 24. >> >> Em resumo: >> >> Grandes Modelos de Linguagem (LLM), como sabemos, geram textos em >> linguagem natural a partir de qualquer entrada. O artigo propõe uma >> estrutura matemática para passar de distribuições de probabilidade >> sobre textos, como as que são aprendidas pelos modelos de linguagem >> atuais, para uma categoria muito mais rica que contenha informações >> semânticas. >> >> Os objetos dessa categoria são expressões linguísticas, e os morfismos >> são probabilidades condicionais de que uma expressão seja uma extensão >> de outra. Usando o Lema de Yoneda, eles passam para a categoria >> enriquecida de pre-sheaves (pre-feixes). Essa abordagem gera uma >> categoria semântica, que inclui operações lógicas que permitem >> extensão para conceitos semânticos mais elaborados. >> >> O belo disso é que explica o que chamamos de "semântica" nos LLM (GPT >> e agora DeepSeek), e isso, às vezes surpreende. Pelo menos a mim, me >> surpreende, embora eu saiba que é um conjunto de algoritmos envolvendo >> álgebra linear, probabilidades condicionais e cálculo 1. Parece >> impossível gerar semântica a partir disso… >> >> Abraços. >> >> Walter >> >> >> -- >> ======================== >> Walter Carnielli >> CLE and Department of Philosophy >> University of Campinas –UNICAMP, Brazil >> >> Chapman University, Orange, CA, USA >> >> AI2- Advanced Institute for Artificial Intelligence >> Blog https://waltercarnielli.com/ >> >> https://www.name-coach.com/walter-carnielli >> >> -- >> LOGICA-L >> Lista acadêmica brasileira dos profissionais e estudantes da área de >> Lógica <logica-l@dimap.ufrn.br> >> --- >> Você está recebendo esta mensagem porque se inscreveu no grupo "LOGICA-L" >> dos Grupos do Google. >> Para cancelar inscrição nesse grupo e parar de receber e-mails dele, >> envie um e-mail para logica-l+unsubscr...@dimap.ufrn.br. >> Para ver esta conversa, acesse >> https://groups.google.com/a/dimap.ufrn.br/d/msgid/logica-l/CAOrCsLeTHBwYDZuFq7UPX6u2wAaszf%2BWN3bnGGx0iZ23dEoNcg%40mail.gmail.com >> . >> > > > -- > Marcelo Finger > Departament of Computer Science, IME-USP > http://www.ime.usp.br/~mfinger > ORCID: https://orcid.org/0000-0002-1391-1175 > ResearcherID: A-4670-2009 > > Instituto de Matemática e Estatística, > > Universidade de São Paulo > > Rua do Matão, 1010 - CEP 05508-090 - São Paulo, SP > -- ======================== Walter Carnielli CLE and Department of Philosophy University of Campinas –UNICAMP, Brazil Chapman University, Orange, CA, USA AI2- Advanced Institute for Artificial Intelligence Blog https://waltercarnielli.com/ https://www.name-coach.com/walter-carnielli -- LOGICA-L Lista acadêmica brasileira dos profissionais e estudantes da área de Lógica <logica-l@dimap.ufrn.br> --- Você está recebendo esta mensagem porque se inscreveu no grupo "LOGICA-L" dos Grupos do Google. Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para logica-l+unsubscr...@dimap.ufrn.br. Para ver esta conversa, acesse https://groups.google.com/a/dimap.ufrn.br/d/msgid/logica-l/CAOrCsLeVgTE-i1O%2BJgkcOWyzHXkAzWx38j8%2BHQ%3DKp5nKT6P7jg%40mail.gmail.com.
