LLMs e Multimodalidade: a nova fronteira da inteligência clínica

Da fluência estatística ao cuidado seguro, auditável e humano-no-loop

Aprendizado de Máquina para Saúde — Pós-graduação

Abertura: o assistente que fala bonito

Assistente digital oferecendo resposta médica fluente, mas cercado por alertas de segurança

Mensagem central: em saúde, uma resposta convincente pode ser mais perigosa do que uma resposta claramente limitada.

LLMs transformaram a experiência de conversar com máquinas. O problema é que a clínica não premia apenas fluência: ela exige evidência, contexto, incerteza explícita e responsabilidade.

Exemplo aplicado: um chatbot “completa” a história de um paciente e sugere suspender um anticoagulante sem perceber uma prótese valvar mecânica no prontuário.

Sugestão visual: contraste entre “resposta polida” e “risco invisível”: uma fala elegante, mas conectada a sinais de alerta.

Quando uma resposta soa segura, o que nos faz verificar — e o que nos faz baixar a guarda?

A pergunta que organiza a aula

Se um modelo consegue passar em exames médicos, por que ele ainda não deve prescrever, diagnosticar ou dar alta sozinho?

1 Entender

como LLMs representam linguagem.

2 Aplicar

em sumarização, codificação e escribas digitais.

3 Integrar

texto, imagem e sinais em modelos multimodais.

4 Auditar

alucinações, privacidade e complacência.

O paradoxo: competência aparente, responsabilidade real

Mensagem central: desempenho em benchmark é evidência útil, mas não equivale a segurança operacional.

Estudos como Med-PaLM e avaliações em exames médicos mostram avanços impressionantes. Ainda assim, os próprios trabalhos enfatizam limitações: respostas podem ser incompletas, enviesadas, não verificáveis ou clinicamente arriscadas.

Gráfico conceitual mostrando fluência alta não garantindo segurança clínica alta

Exemplo aplicado: acertar uma questão de múltipla escolha sobre insuficiência cardíaca é diferente de reconciliar medicamentos, alergias, função renal e preferências do paciente em uma alta hospitalar.

Que tipo de evidência você exigiria antes de permitir que um LLM entrasse no fluxo assistencial?

Referências: Singhal et al. (2023); Kung et al. (2023); Bommasani et al. (2021).

O que é um modelo fundacional?

Modelo fundacional pré-treinado em grande escala e adaptado para diferentes tarefas clínicas

Mensagem central: modelos fundacionais são infraestruturas reutilizáveis, não modelos feitos para uma única tarefa.

Eles aprendem representações gerais a partir de grandes volumes de dados e depois são adaptados por instruções, exemplos, ajuste fino, ferramentas externas ou integração ao sistema clínico.

Exemplo aplicado: o mesmo modelo pode resumir uma internação, responder perguntas sobre um protocolo, sugerir códigos ICD-10 e explicar um laudo — mas cada uso exige validação própria.

Sugestão visual: “plataforma” no centro e várias tarefas clínicas orbitando ao redor.

Quais tarefas da sua prática parecem reutilizar o mesmo tipo de raciocínio textual?

Transformers: atenção como leitura contextual

Mensagem central: a inovação central foi permitir que cada termo fosse interpretado pelo contexto inteiro.

Em vez de tratar palavras como peças fixas, o mecanismo de atenção calcula quais partes do texto importam para interpretar cada ponto. “Alta”, por exemplo, pode significar pressão alta, alta hospitalar ou alta complexidade.

Exemplo aplicado: em “paciente recebeu alta com PA alta”, o modelo precisa separar evento administrativo de achado fisiológico.

Palavras de uma frase clínica conectadas por linhas de atenção contextual

Que palavras ambíguas da medicina confundem humanos — e provavelmente confundem modelos?

Referência: Vaswani et al. (2017).

BERT, GPT e a diferença entre compreender e gerar

Comparação entre BERT como modelo de compreensão bidirecional e GPT como modelo gerador autoregressivo

Mensagem central: BERT tende a ser excelente para representar e classificar; GPT tende a ser excelente para gerar e seguir instruções.

BERT lê o texto em duas direções e é muito usado para classificação, extração e embeddings. Modelos tipo GPT geram o próximo token sequencialmente, o que favorece diálogo, síntese e produção de texto.

Exemplo aplicado: BERT clínico pode identificar menção a “sepse”; um GPT pode redigir um resumo do caso — e também pode inventar se não estiver ancorado.

Em qual tarefa clínica você preferiria um classificador robusto em vez de um gerador criativo?

Referências: Devlin et al. (2019); Brown et al. (2020).

Embeddings de domínio: a língua da saúde não é genérica

Mensagem central: modelos treinados em linguagem geral nem sempre entendem a semântica técnica, abreviações e convenções locais da clínica.

BioBERT

Pré-treinado em textos biomédicos, melhora tarefas como reconhecimento de entidades e relação entre conceitos.

ClinicalBERT

Adaptado a notas clínicas, aproxima o modelo da linguagem real do cuidado: abreviações, temporalidade e estilo telegráfico.

Contexto local

Mesmo modelos de domínio precisam lidar com idioma, hospital, especialidade, protocolos e cultura documental.

Exemplo aplicado: “DIP” pode significar doença inflamatória pélvica, doença intersticial pulmonar ou divisão institucional, dependendo do serviço.

Quais abreviações da sua área são perigosas fora do contexto?

Referências: Lee et al. (2020); Alsentzer et al. (2019).

Pipeline de um LLM clínico: onde o risco entra

Pipeline de pré-treinamento, adaptação, prompt, geração, verificação e uso clínico

Mensagem central: segurança não é uma propriedade mágica do modelo; é resultado do sistema inteiro ao redor dele.

Dados de treinamento, instruções, prompt, recuperação de evidências, filtros, interface e revisão humana moldam a saída. Um bom modelo em uma má implementação ainda pode gerar dano.

Em que etapa do pipeline você colocaria a barreira de segurança mais forte?

Tarefa crítica 1: sumarização clínica

Mensagem central: resumir não é apenas encurtar; é decidir o que deve sobreviver à perda de detalhe.

Um bom resumo clínico precisa preservar diagnóstico ativo, medicamentos, alergias, exames críticos, pendências, incertezas e plano. O risco está no “resumo bonito” que omite uma informação pequena, mas decisiva.

Exemplo aplicado: em pronto-socorro, um resumo longitudinal pode destacar “transplante renal”, “imunossupressão” e “febre” antes mesmo de o médico ler anos de evolução.

Notas longas convergindo para resumo clínico com diagnósticos, medicamentos, pendências e alertas

O que jamais poderia ser omitido em um resumo de alta da sua especialidade?

Tarefa crítica 2: codificação clínica

Texto livre sendo mapeado para códigos padronizados ICD-10 e SNOMED CT com revisão humana

Mensagem central: codificação automática transforma narrativa em dado computável, mas também pode cristalizar erro.

Códigos são usados para faturamento, vigilância, pesquisa, auditoria e gestão. Um LLM pode sugerir códigos, mas o hospital precisa controlar evidência textual, justificativa e revisão.

Exemplo aplicado: “história familiar de diabetes” não deve virar “diabetes do paciente”.

Quais consequências aparecem quando um código errado entra no banco de dados institucional?

Tarefa crítica 3: o escriba digital

Mensagem central: o valor do escriba não é substituir o médico; é devolver atenção à conversa clínica.

Captura

Transcreve a conversa médico-paciente e identifica elementos clínicos relevantes.

Estrutura

Organiza queixa, história, exame, avaliação e plano no formato institucional.

Revisão

O profissional valida, corrige e assume responsabilidade pela nota final.

Risco: se o escriba inventa exame físico não realizado, dose não prescrita ou orientação não dita, a documentação deixa de ser registro e vira ficção administrativa.

Um escriba digital deveria registrar incertezas e discordâncias da conversa? Como?

Apoio cognitivo vs. decisão automática

Apoio cognitivo

  • Organiza informação dispersa.
  • Explica evidência e incerteza.
  • Sugere hipóteses para revisão.
  • Mantém humano responsável pela decisão.

Melhor pergunta: “O que preciso checar antes de decidir?”

Decisão automática

  • Produz resposta final sem contexto suficiente.
  • Pode ocultar incerteza em linguagem confiante.
  • Desloca responsabilidade para uma ferramenta opaca.
  • Favorece complacência.

Pergunta perigosa: “O que o modelo mandou fazer?”

Exemplo aplicado: uma IA pode listar interações medicamentosas para revisão; não deve trocar uma prescrição sem confirmação clínica, contexto renal e preferência do paciente.

Onde está a fronteira aceitável entre sugestão, recomendação e decisão?

Multimodalidade: um paciente não cabe em texto

Texto clínico, imagem radiológica, ECG, sinais vitais e exames laboratoriais integrados em representação comum

Mensagem central: modelos multimodais tentam aproximar a IA da forma como a clínica raciocina: combinando evidências heterogêneas.

O prontuário tem narrativa; a radiologia tem imagem; UTI tem séries temporais; laboratório tem medidas; genômica tem sequências. O desafio é alinhar essas linguagens sem perder qualidade, origem e temporalidade.

Exemplo aplicado: uma triagem pode combinar dispneia relatada, saturação do smartwatch, ECG, RX de tórax e histórico de insuficiência cardíaca.

Que modalidade costuma ser decisiva no seu problema clínico — e qual costuma ser ignorada?

Referências: Moor et al. (2023); Rajpurkar et al. (2022).

Exemplo: HARVEST e a ideia de resumo visual

Mensagem central: uma boa interface de IA pode reduzir carga cognitiva sem fingir que “resolveu” o caso.

Sistemas de sumarização longitudinal, como a família de ideias associada ao HARVEST, tentam transformar centenas de notas em uma visão navegável: conceitos recorrentes, eventos relevantes, linha do tempo e evidências clicáveis.

Exemplo aplicado: no pronto-socorro, antes de abrir 40 evoluções, o médico vê que “neoplasia”, “trombose”, “apixabana” e “queda” aparecem próximos no histórico.

Resumo visual estilo HARVEST com linha do tempo e nuvem de conceitos clínicos

Que visualização ajudaria mais em um plantão: linha do tempo, mapa de problemas, lista de pendências ou alerta de risco?

Exemplo: chatbot antes da consulta

Mensagem central: chatbots podem melhorar preparação da consulta, desde que não virem triagem irresponsável.

Paciente responde chatbot, smartwatch fornece sinais e profissional revisa antes da consulta

O uso mais seguro é coletar história, organizar sintomas, solicitar documentos e sinalizar alertas para revisão humana. O uso mais arriscado é dar orientação final sem examinar, sem acesso ao prontuário e sem governança.

Que perguntas um chatbot poderia fazer antes da consulta sem ultrapassar a fronteira clínica?

O inimigo íntimo: alucinação

Documento clínico com trechos corretos e trechos alucinados destacados em vermelho

Mensagem central: alucinação é quando a forma linguística parece evidência, mas a evidência não existe.

Na clínica, isso pode aparecer como medicação inventada, dose errada, exame inexistente, data deslocada, diagnóstico assumido, alergia omitida ou recomendação sem base.

Exemplo aplicado: “tomografia sem sangramento” em paciente que nunca fez tomografia durante a internação.

Qual alucinação seria mais difícil de detectar em uma nota clínica real?

Referência: Ji et al. (2023).

RAG: ancorar a resposta em evidência recuperada

Mensagem central: RAG não elimina erro, mas muda a pergunta: “de onde veio essa afirmação?”

Retrieval-Augmented Generation recupera documentos relevantes — protocolos, notas, exames, bulas, diretrizes — e usa esse material como contexto para gerar resposta. Em saúde, a resposta precisa vir com fonte, data e limites.

Exemplo aplicado: ao resumir uma alta, o modelo só pode mencionar medicação se houver prescrição ou evolução recuperada que sustente a afirmação.

Pipeline RAG com pergunta, busca em fontes confiáveis, contexto recuperado, geração e citação

Quais fontes seriam confiáveis para um RAG hospitalar — e quais não deveriam entrar?

Referência: Lewis et al. (2020).

Segurança humano-no-loop

Mensagem central: “humano no loop” só funciona se o loop for desenhado para revisão real, não para clique automático.

1

Evidência

Toda afirmação crítica deve apontar para fonte verificável.

2

Incerteza

O sistema deve explicitar quando não sabe ou quando há conflito.

3

Responsabilidade

O profissional deve ter tempo, contexto e autoridade para corrigir.

4

Rastreabilidade

Prompt, versão, fontes e revisão precisam ficar auditáveis.

5

Limites

Há tarefas proibidas ou restritas até validação formal.

6

Monitoramento

Erros, drift e incidentes devem alimentar melhoria contínua.

Que etapa deste checklist costuma ser subestimada em projetos de IA?

Atividade: auditoria de alucinação

Cenário: vocês recebem uma nota de alta produzida por LLM a partir de uma conversa transcrita. Ela contém inconsistências sutis: medicamento trocado, dose inventada, data errada e exame citado sem fonte.

1

Medicina

Identificar riscos clínicos e priorizar o que pode causar dano imediato.

2

Computação

Propor mitigação: RAG, checagem de consistência, restrições e logs.

3

Gestão

Definir fluxo de aprovação, treinamento, indicadores e responsabilização.

4

Paciente

Perguntar: “essa nota me ajuda ou me coloca em risco?”

10 min · encontrar erros 10 min · propor barreiras 10 min · discutir protocolo

Material da atividade: nota suspeita

Alta hospitalar — Paciente: M.R.S., 67 anos.
Motivo: dispneia e edema de membros inferiores. Evoluiu com melhora após diurético.
Diagnóstico final: pneumonia bacteriana e insuficiência cardíaca compensada.
Medicações de alta: furosemida 40 mg 12/12h, losartana 50 mg/dia, varfarina 5 mg/dia, insulina NPH 30 UI à noite.
Exames: tomografia de tórax sem sinais de tromboembolismo.
Orientações: retornar se febre ou piora da falta de ar. Consulta em 60 dias.

Pistas para auditoria: há itens que podem estar corretos, ausentes ou inventados. A tarefa não é “pegar o modelo”; é desenhar um fluxo em que esse erro não chegue ao paciente.

Quais afirmações exigem fonte antes de permanecerem na nota?

Privacidade: o prontuário não é só texto

Prontuário protegido passando por camadas de anonimização, contrato, logs e governança antes de um LLM

Mensagem central: enviar texto clínico para um LLM é também enviar relações familiares, vulnerabilidades, hábitos e trajetórias de vida.

Privacidade não se resolve apenas removendo nome e CPF. Notas clínicas têm quase-identificadores, eventos raros, datas, locais e combinações que podem reidentificar pessoas.

Exemplo aplicado: “professora de 43 anos, transplante hepático raro, cidade pequena” pode ser identificável mesmo sem nome.

Que dados você nunca enviaria a um serviço externo sem acordo institucional explícito?

Automação e complacência

Mensagem central: quanto melhor a interface, maior pode ser a tentação de confiar sem verificar.

Omissão

O modelo deixa de mencionar informação crítica.

Comissão

O modelo acrescenta algo falso.

Ancoragem

A primeira resposta molda a interpretação do profissional.

Normalização

Pequenos erros viram “ruído aceitável” no cotidiano.

Exemplo aplicado: depois de 50 resumos úteis, o 51º omite alergia grave; o usuário aceita porque o sistema “costuma acertar”.

Como desenhar uma interface que convide à verificação em vez de premiar o clique rápido?

Um protocolo mínimo para LLMs clínicos

Protocolo mínimo com escopo, validação, fontes, revisão, auditoria e monitoramento

Mensagem central: antes de perguntar “qual modelo?”, pergunte “qual tarefa, qual risco, qual fonte, qual revisão e qual métrica de segurança?”.

Qual seria o primeiro caso de uso de baixo risco e alto valor para testar na sua instituição?

O que levar da aula

  1. Fluência não é verdade

LLMs produzem texto plausível; a clínica exige afirmação verificável.

:::

  1. O sistema importa

RAG, logs, revisão e interface podem ser tão importantes quanto o modelo.

:::

  1. O papel mais seguro é cognitivo

Organizar, resumir e explicar antes de decidir, prescrever ou autorizar.

:::

::::

LLMs não são oráculos clínicos. São instrumentos poderosos de suporte cognitivo — e precisam de profissionais capazes de distinguir evidência de fluência.

Referências essenciais

  • Alsentzer, E. et al. (2019). Publicly Available Clinical BERT Embeddings. NAACL Clinical NLP Workshop.
  • Ayers, J. W. et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine.
  • Bickmore, T. W. et al. (2018). Patient and Consumer Safety Risks When Using Conversational Assistants for Medical Information. Journal of Medical Internet Research.
  • Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
  • Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. NeurIPS.
  • Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
  • Ji, Z. et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys.
  • Kung, T. H. et al. (2023). Performance of ChatGPT on USMLE. PLOS Digital Health.
  • Lee, J. et al. (2020). BioBERT: a pre-trained biomedical language representation model. Bioinformatics.
  • Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS.
  • Moor, M. et al. (2023). Foundation models for generalist medical artificial intelligence. Nature.
  • Rajpurkar, P. et al. (2022). AI in health and medicine. Nature Medicine.
  • Singhal, K. et al. (2023). Large language models encode clinical knowledge. Nature.
  • Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

Próximo encontro

Depois de texto, imagem e sinais, entraremos no tempo: como modelar risco, censura e trajetória clínica?