Da fluência estatística ao cuidado seguro, auditável e humano-no-loop
Mensagem central: em saúde, uma resposta convincente pode ser mais perigosa do que uma resposta claramente limitada.
LLMs transformaram a experiência de conversar com máquinas. O problema é que a clínica não premia apenas fluência: ela exige evidência, contexto, incerteza explícita e responsabilidade.
Exemplo aplicado: um chatbot “completa” a história de um paciente e sugere suspender um anticoagulante sem perceber uma prótese valvar mecânica no prontuário.
Sugestão visual: contraste entre “resposta polida” e “risco invisível”: uma fala elegante, mas conectada a sinais de alerta.
Quando uma resposta soa segura, o que nos faz verificar — e o que nos faz baixar a guarda?
Se um modelo consegue passar em exames médicos, por que ele ainda não deve prescrever, diagnosticar ou dar alta sozinho?
1 Entender
como LLMs representam linguagem.
→
2 Aplicar
em sumarização, codificação e escribas digitais.
→
3 Integrar
texto, imagem e sinais em modelos multimodais.
→
4 Auditar
alucinações, privacidade e complacência.
Mensagem central: desempenho em benchmark é evidência útil, mas não equivale a segurança operacional.
Estudos como Med-PaLM e avaliações em exames médicos mostram avanços impressionantes. Ainda assim, os próprios trabalhos enfatizam limitações: respostas podem ser incompletas, enviesadas, não verificáveis ou clinicamente arriscadas.
Exemplo aplicado: acertar uma questão de múltipla escolha sobre insuficiência cardíaca é diferente de reconciliar medicamentos, alergias, função renal e preferências do paciente em uma alta hospitalar.
Que tipo de evidência você exigiria antes de permitir que um LLM entrasse no fluxo assistencial?
Referências: Singhal et al. (2023); Kung et al. (2023); Bommasani et al. (2021).
Mensagem central: modelos fundacionais são infraestruturas reutilizáveis, não modelos feitos para uma única tarefa.
Eles aprendem representações gerais a partir de grandes volumes de dados e depois são adaptados por instruções, exemplos, ajuste fino, ferramentas externas ou integração ao sistema clínico.
Exemplo aplicado: o mesmo modelo pode resumir uma internação, responder perguntas sobre um protocolo, sugerir códigos ICD-10 e explicar um laudo — mas cada uso exige validação própria.
Sugestão visual: “plataforma” no centro e várias tarefas clínicas orbitando ao redor.
Quais tarefas da sua prática parecem reutilizar o mesmo tipo de raciocínio textual?
Mensagem central: a inovação central foi permitir que cada termo fosse interpretado pelo contexto inteiro.
Em vez de tratar palavras como peças fixas, o mecanismo de atenção calcula quais partes do texto importam para interpretar cada ponto. “Alta”, por exemplo, pode significar pressão alta, alta hospitalar ou alta complexidade.
Exemplo aplicado: em “paciente recebeu alta com PA alta”, o modelo precisa separar evento administrativo de achado fisiológico.
Que palavras ambíguas da medicina confundem humanos — e provavelmente confundem modelos?
Referência: Vaswani et al. (2017).
Mensagem central: BERT tende a ser excelente para representar e classificar; GPT tende a ser excelente para gerar e seguir instruções.
BERT lê o texto em duas direções e é muito usado para classificação, extração e embeddings. Modelos tipo GPT geram o próximo token sequencialmente, o que favorece diálogo, síntese e produção de texto.
Exemplo aplicado: BERT clínico pode identificar menção a “sepse”; um GPT pode redigir um resumo do caso — e também pode inventar se não estiver ancorado.
Em qual tarefa clínica você preferiria um classificador robusto em vez de um gerador criativo?
Referências: Devlin et al. (2019); Brown et al. (2020).
Mensagem central: modelos treinados em linguagem geral nem sempre entendem a semântica técnica, abreviações e convenções locais da clínica.
Pré-treinado em textos biomédicos, melhora tarefas como reconhecimento de entidades e relação entre conceitos.
Adaptado a notas clínicas, aproxima o modelo da linguagem real do cuidado: abreviações, temporalidade e estilo telegráfico.
Mesmo modelos de domínio precisam lidar com idioma, hospital, especialidade, protocolos e cultura documental.
Exemplo aplicado: “DIP” pode significar doença inflamatória pélvica, doença intersticial pulmonar ou divisão institucional, dependendo do serviço.
Quais abreviações da sua área são perigosas fora do contexto?
Referências: Lee et al. (2020); Alsentzer et al. (2019).
Mensagem central: segurança não é uma propriedade mágica do modelo; é resultado do sistema inteiro ao redor dele.
Dados de treinamento, instruções, prompt, recuperação de evidências, filtros, interface e revisão humana moldam a saída. Um bom modelo em uma má implementação ainda pode gerar dano.
Em que etapa do pipeline você colocaria a barreira de segurança mais forte?
Mensagem central: resumir não é apenas encurtar; é decidir o que deve sobreviver à perda de detalhe.
Um bom resumo clínico precisa preservar diagnóstico ativo, medicamentos, alergias, exames críticos, pendências, incertezas e plano. O risco está no “resumo bonito” que omite uma informação pequena, mas decisiva.
Exemplo aplicado: em pronto-socorro, um resumo longitudinal pode destacar “transplante renal”, “imunossupressão” e “febre” antes mesmo de o médico ler anos de evolução.
O que jamais poderia ser omitido em um resumo de alta da sua especialidade?
Mensagem central: codificação automática transforma narrativa em dado computável, mas também pode cristalizar erro.
Códigos são usados para faturamento, vigilância, pesquisa, auditoria e gestão. Um LLM pode sugerir códigos, mas o hospital precisa controlar evidência textual, justificativa e revisão.
Exemplo aplicado: “história familiar de diabetes” não deve virar “diabetes do paciente”.
Quais consequências aparecem quando um código errado entra no banco de dados institucional?
Mensagem central: o valor do escriba não é substituir o médico; é devolver atenção à conversa clínica.
Transcreve a conversa médico-paciente e identifica elementos clínicos relevantes.
Organiza queixa, história, exame, avaliação e plano no formato institucional.
O profissional valida, corrige e assume responsabilidade pela nota final.
Risco: se o escriba inventa exame físico não realizado, dose não prescrita ou orientação não dita, a documentação deixa de ser registro e vira ficção administrativa.
Um escriba digital deveria registrar incertezas e discordâncias da conversa? Como?
Melhor pergunta: “O que preciso checar antes de decidir?”
Pergunta perigosa: “O que o modelo mandou fazer?”
Exemplo aplicado: uma IA pode listar interações medicamentosas para revisão; não deve trocar uma prescrição sem confirmação clínica, contexto renal e preferência do paciente.
Onde está a fronteira aceitável entre sugestão, recomendação e decisão?
Mensagem central: modelos multimodais tentam aproximar a IA da forma como a clínica raciocina: combinando evidências heterogêneas.
O prontuário tem narrativa; a radiologia tem imagem; UTI tem séries temporais; laboratório tem medidas; genômica tem sequências. O desafio é alinhar essas linguagens sem perder qualidade, origem e temporalidade.
Exemplo aplicado: uma triagem pode combinar dispneia relatada, saturação do smartwatch, ECG, RX de tórax e histórico de insuficiência cardíaca.
Que modalidade costuma ser decisiva no seu problema clínico — e qual costuma ser ignorada?
Referências: Moor et al. (2023); Rajpurkar et al. (2022).
Mensagem central: uma boa interface de IA pode reduzir carga cognitiva sem fingir que “resolveu” o caso.
Sistemas de sumarização longitudinal, como a família de ideias associada ao HARVEST, tentam transformar centenas de notas em uma visão navegável: conceitos recorrentes, eventos relevantes, linha do tempo e evidências clicáveis.
Exemplo aplicado: no pronto-socorro, antes de abrir 40 evoluções, o médico vê que “neoplasia”, “trombose”, “apixabana” e “queda” aparecem próximos no histórico.
Que visualização ajudaria mais em um plantão: linha do tempo, mapa de problemas, lista de pendências ou alerta de risco?
Mensagem central: chatbots podem melhorar preparação da consulta, desde que não virem triagem irresponsável.
O uso mais seguro é coletar história, organizar sintomas, solicitar documentos e sinalizar alertas para revisão humana. O uso mais arriscado é dar orientação final sem examinar, sem acesso ao prontuário e sem governança.
Que perguntas um chatbot poderia fazer antes da consulta sem ultrapassar a fronteira clínica?
Mensagem central: alucinação é quando a forma linguística parece evidência, mas a evidência não existe.
Na clínica, isso pode aparecer como medicação inventada, dose errada, exame inexistente, data deslocada, diagnóstico assumido, alergia omitida ou recomendação sem base.
Exemplo aplicado: “tomografia sem sangramento” em paciente que nunca fez tomografia durante a internação.
Qual alucinação seria mais difícil de detectar em uma nota clínica real?
Referência: Ji et al. (2023).
Mensagem central: RAG não elimina erro, mas muda a pergunta: “de onde veio essa afirmação?”
Retrieval-Augmented Generation recupera documentos relevantes — protocolos, notas, exames, bulas, diretrizes — e usa esse material como contexto para gerar resposta. Em saúde, a resposta precisa vir com fonte, data e limites.
Exemplo aplicado: ao resumir uma alta, o modelo só pode mencionar medicação se houver prescrição ou evolução recuperada que sustente a afirmação.
Quais fontes seriam confiáveis para um RAG hospitalar — e quais não deveriam entrar?
Referência: Lewis et al. (2020).
Mensagem central: “humano no loop” só funciona se o loop for desenhado para revisão real, não para clique automático.
1
Toda afirmação crítica deve apontar para fonte verificável.
2
O sistema deve explicitar quando não sabe ou quando há conflito.
3
O profissional deve ter tempo, contexto e autoridade para corrigir.
4
Prompt, versão, fontes e revisão precisam ficar auditáveis.
5
Há tarefas proibidas ou restritas até validação formal.
6
Erros, drift e incidentes devem alimentar melhoria contínua.
Que etapa deste checklist costuma ser subestimada em projetos de IA?
Cenário: vocês recebem uma nota de alta produzida por LLM a partir de uma conversa transcrita. Ela contém inconsistências sutis: medicamento trocado, dose inventada, data errada e exame citado sem fonte.
1
Identificar riscos clínicos e priorizar o que pode causar dano imediato.
2
Propor mitigação: RAG, checagem de consistência, restrições e logs.
3
Definir fluxo de aprovação, treinamento, indicadores e responsabilização.
4
Perguntar: “essa nota me ajuda ou me coloca em risco?”
10 min · encontrar erros 10 min · propor barreiras 10 min · discutir protocolo
Alta hospitalar — Paciente: M.R.S., 67 anos.
Motivo: dispneia e edema de membros inferiores. Evoluiu com melhora após diurético.
Diagnóstico final: pneumonia bacteriana e insuficiência cardíaca compensada.
Medicações de alta: furosemida 40 mg 12/12h, losartana 50 mg/dia, varfarina 5 mg/dia, insulina NPH 30 UI à noite.
Exames: tomografia de tórax sem sinais de tromboembolismo.
Orientações: retornar se febre ou piora da falta de ar. Consulta em 60 dias.
Pistas para auditoria: há itens que podem estar corretos, ausentes ou inventados. A tarefa não é “pegar o modelo”; é desenhar um fluxo em que esse erro não chegue ao paciente.
Quais afirmações exigem fonte antes de permanecerem na nota?
Mensagem central: enviar texto clínico para um LLM é também enviar relações familiares, vulnerabilidades, hábitos e trajetórias de vida.
Privacidade não se resolve apenas removendo nome e CPF. Notas clínicas têm quase-identificadores, eventos raros, datas, locais e combinações que podem reidentificar pessoas.
Exemplo aplicado: “professora de 43 anos, transplante hepático raro, cidade pequena” pode ser identificável mesmo sem nome.
Que dados você nunca enviaria a um serviço externo sem acordo institucional explícito?
Mensagem central: quanto melhor a interface, maior pode ser a tentação de confiar sem verificar.
O modelo deixa de mencionar informação crítica.
O modelo acrescenta algo falso.
A primeira resposta molda a interpretação do profissional.
Pequenos erros viram “ruído aceitável” no cotidiano.
Exemplo aplicado: depois de 50 resumos úteis, o 51º omite alergia grave; o usuário aceita porque o sistema “costuma acertar”.
Como desenhar uma interface que convide à verificação em vez de premiar o clique rápido?
Mensagem central: antes de perguntar “qual modelo?”, pergunte “qual tarefa, qual risco, qual fonte, qual revisão e qual métrica de segurança?”.
Qual seria o primeiro caso de uso de baixo risco e alto valor para testar na sua instituição?
LLMs produzem texto plausível; a clínica exige afirmação verificável.
:::
RAG, logs, revisão e interface podem ser tão importantes quanto o modelo.
:::
Organizar, resumir e explicar antes de decidir, prescrever ou autorizar.
:::
::::
LLMs não são oráculos clínicos. São instrumentos poderosos de suporte cognitivo — e precisam de profissionais capazes de distinguir evidência de fluência.
Depois de texto, imagem e sinais, entraremos no tempo: como modelar risco, censura e trajetória clínica?
Encontro 10 · LLMs, multimodalidade e segurança clínica