Formulação do Problema e Ciclo de Vida do Modelo

Como transformar uma necessidade clínica em um estudo de ML válido

Aprendizado de Máquina para Saúde — Pós-graduação

Abertura: o modelo “vidente” que trapaceia

Mensagem central: um modelo pode parecer brilhante porque recebeu uma pista que só existiria depois da decisão clínica.

Imagine um preditor de cetoacidose diabética com 99% de acurácia. A revelação: ele usava beta-hidroxibutirato, exame pedido quando o médico já suspeita fortemente de DKA. O modelo não antecipava o problema; ele lia um sinal da suspeita.

Exemplo aplicado: se o objetivo é alertar na chegada ao pronto atendimento, variáveis solicitadas após suspeita clínica não podem entrar como preditores.

Sugestão visual: uma linha do tempo com uma “zona proibida” depois do ponto de predição.

Que variável do seu projeto pode estar lendo a decisão do profissional, em vez de prever o desfecho?

A aula em uma frase

O valor clínico de um modelo nasce antes do algoritmo: nasce na pergunta, na população, no rótulo e no tempo.

1 Pergunta

Qual decisão queremos apoiar?

→

2 Coorte

Quem entra no estudo?

→

3 Rótulo

O que conta como verdade?

→

4 Tempo

Quando prever e quando medir?

Qual dessas quatro escolhas costuma ser tratada como detalhe — mas deveria ser decisão metodológica central?

Step 0: formular antes de modelar

Mensagem central: a pergunta clínica funciona como uma especificação: define objetivo, uso, população, tempo e consequência.

“Predizer sepse” é amplo demais. “Alertar enfermeiros da UTI seis horas antes de critérios clínicos de sepse, em adultos sem sepse na admissão, para priorizar avaliação” já começa a parecer um estudo.

Exemplo aplicado: diagnóstico, prognóstico, triagem e apoio à decisão podem usar os mesmos dados, mas exigem desenhos diferentes.

Sugestão visual: pipeline da necessidade clínica até avaliação, mostrando que “modelo” aparece depois da formulação.

Quem tomará uma decisão diferente se o modelo estiver correto?

Collins et al., BMJ, 2024; Luo et al., JBI, 2016.

O alvo da predição: o verbo muda tudo

Mensagem central: definir o alvo é escolher o tipo de ação clínica que o modelo pretende informar.

Diagnosticar

“Este paciente já tem a condição?”

Exige referência diagnóstica confiável.

Predizer risco

“Quem terá evento futuro?”

Exige janelas temporais claras.

Prognosticar progressão

“Como a trajetória evolui?”

Exige seguimento e censura bem tratados.

Apoiar decisão

“Qual conduta muda o resultado?”

Exige pensar intervenção, dano e utilidade.

Exemplo aplicado: prever mortalidade em 1 ano após LVAD não é o mesmo que decidir se o paciente deve receber LVAD agora.

Sugestão visual: quatro cartões com verbos de ação e uma pergunta operacional em cada um.

Seu modelo informa uma previsão, uma decisão ou uma intervenção?

Coorte: quem é o “mundo” do modelo?

Mensagem central: a coorte define o universo onde a promessa do modelo é válida.

População-alvo

Onde o modelo será usado?

Critérios de inclusão

Quem está em risco e pode se beneficiar?

Critérios de exclusão

Quem já tem o desfecho ou não tem indicação?

Momento de entrada

Quando começa a observação?

Critérios muito limpos podem produzir um estudo elegante e inútil para a vida real. Critérios muito amplos podem misturar pacientes para os quais a decisão não faz sentido.

Exemplo aplicado: em falência renal aguda, pacientes que já chegam com AKI não devem entrar em um estudo cujo objetivo é predizer AKI nova durante internação.

Quem você está excluindo para tornar o problema “mais fácil” — e isso quebra a aplicabilidade clínica?

Fenotipagem eletrônica: coorte como hipótese operacional

Mensagem central: uma coorte robusta raramente nasce de um único código; ela combina evidências imperfeitas.

Fenotipagem eletrônica usa regras, códigos, exames, medicamentos e, às vezes, notas clínicas para identificar casos e controles em dados de prontuário.

Exemplo aplicado: diabetes tipo 2 pode ser definido por combinação de diagnóstico, HbA1c, glicemia, prescrição de antidiabéticos e exclusões para diabetes gestacional ou tipo 1.

Sugestão visual: vários sinais clínicos convergindo para uma definição de caso/controle.

Que evidências você combinaria para diferenciar “suspeita”, “história pregressa” e “caso ativo”?

Richesson & Smerek, JAMIA, 2014; Kirby et al., JAMIA, 2016.

Inclusão e exclusão: validade externa começa aqui

Critério muito restrito

Mensagem central: melhora homogeneidade, mas pode limitar generalização.

Exemplo: incluir apenas pacientes com todos os exames completos.

Critério muito amplo

Mensagem central: aproxima a prática, mas pode misturar decisões incompatíveis.

Exemplo: juntar pronto atendimento, enfermaria e UTI sem diferenciar contexto.

O ponto não é encontrar a coorte “perfeita”. É alinhar coorte, decisão e avaliação. A pergunta deve declarar onde a solução pretende funcionar — e onde ela ainda não promete nada.

Sugestão visual: régua entre “controle experimental” e “mundo real”.

Qual exclusão melhoraria a métrica, mas tornaria o modelo menos útil no hospital?

Labeling: o que estamos chamando de verdade?

Mensagem central: em saúde, o rótulo é uma construção de evidência, não uma coluna sagrada.

Um código CID pode ser barato e disponível em larga escala, mas pode refletir faturamento, suspeita, regra administrativa ou diagnóstico final. Um comitê de especialistas é mais confiável, mas caro e lento.

Exemplo aplicado: “sepse” pode ser definida por código, critérios Sepsis-3, hemocultura, antibiótico, lactato, revisão manual ou combinação desses elementos.

Sugestão visual: balança entre escala e validade do rótulo.

Qual grau de erro no rótulo seu modelo tolera antes de se tornar clinicamente enganoso?

Seymour et al., JAMA, 2016; Singer et al., JAMA, 2016.

Padrão-ouro: nem sempre existe, mas a incerteza deve aparecer

Mensagem central: quando o padrão-ouro é imperfeito, precisamos tornar explícito como a verdade foi aproximada.

Exame confirmatório

Biópsia, cultura, imagem, laboratório.

Revisão de prontuário

Especialistas aplicam critérios pré-definidos.

Adjudicação

Comitê resolve discordâncias.

Definição operacional

Combinação de sinais com análise de sensibilidade.

Exemplo aplicado: para AKI, usar KDIGO por creatinina pode ser mais defensável que CID isolado, mas ainda depende de baseline renal, frequência de exames e fluidos.

Sugestão visual: pirâmide de confiabilidade do rótulo, do proxy administrativo à adjudicação especializada.

Como você reportaria discordância entre dois especialistas que revisam o mesmo prontuário?

Kellum et al., Kidney International Supplements, 2012.

Janelas temporais: o desenho que impede a trapaça

Mensagem central: um estudo preditivo precisa de três tempos: observação, baseline e desfecho.

As features vêm antes do ponto de predição. O desfecho acontece depois. O baseline é o instante em que o modelo teria de existir no fluxo real.

Exemplo aplicado: para readmissão em 30 dias, a janela de observação pode ser a internação índice; o baseline é a alta; a janela de desfecho são os 30 dias seguintes.

Sugestão visual: linha do tempo horizontal com cores distintas para cada janela.

Qual é o exato minuto em que seu modelo deve gerar valor?

Steyerberg, Clinical Prediction Models, 2019; Moons et al., Annals of Internal Medicine, 2015.

Leakage: quando o futuro entra pela porta dos fundos

Mensagem central: vazamento não é só usar o desfecho como variável; é usar qualquer informação que não estaria disponível no momento de decisão.

Válido

sinais vitais antes do alerta

Suspeito

exame solicitado pela suspeita

Inválido

tratamento iniciado após o evento

Inválido

código final de alta

Exemplo aplicado: usar vasopressor para prever choque pode ser útil se o objetivo é reconhecer choque já tratado; é leakage se o objetivo é alertar antes da decisão terapêutica.

Sugestão visual: zona verde antes de t₀, zona vermelha depois de t₀.

Uma variável registrada antes de t₀, mas calculada retrospectivamente, pertence a qual lado?

Kapoor & Narayanan, Patterns, 2023; Wynants et al., BMJ, 2020.

Separação de treino e teste: pacientes, tempo e instituições

Mensagem central: a separação dos dados deve proteger contra memorização de paciente, contaminação temporal e otimismo estatístico.

Dividir linhas aleatoriamente pode colocar internações do mesmo paciente em treino e teste. Dividir por tempo ou por instituição muitas vezes é mais duro — e mais honesto.

Exemplo aplicado: treinar com 2019–2023 e testar em 2025–2026 simula melhor a implantação do que sortear registros misturados de todos os anos.

Sugestão visual: linha do tempo com treino, validação e teste futuro.

Qual separação testaria melhor se seu modelo funciona fora do ambiente onde foi desenvolvido?

Steyerberg, 2019; Collins et al., Annals of Internal Medicine, 2015.

Caso aplicado: LVAD e mortalidade em um ano

Mensagem central: uma boa formulação liga risco previsto a uma decisão real e a um horizonte temporal clinicamente acionável.

Decisão

Implantar LVAD agora, adiar ou contraindicar?

População

Pacientes com insuficiência cardíaca avançada avaliados para dispositivo.

Desfecho

Mortalidade em 1 ano, complicações ou qualidade de vida?

Risco

Predição deve apoiar conversa clínica, não substituir decisão compartilhada.

Exemplo aplicado: um modelo pode estimar risco de mortalidade em 1 ano, mas a decisão envolve preferências, fragilidade, suporte social, contraindicações e objetivos de cuidado.

Sugestão visual: matriz risco clínico × benefício esperado × preferência do paciente.

Que desfecho importaria mais para o paciente: sobreviver, evitar reinternação, preservar funcionalidade ou outra coisa?

Cowger et al., JACC: Heart Failure, 2019; Steyerberg, 2019.

Caso aplicado: sepse na UTI

Mensagem central: prever sepse exige definir “antes de ser óbvio” sem usar os tratamentos que revelam que a equipe já percebeu o risco.

Antes

sinais vitais, exames disponíveis, história.

Suspeita

cultura, antibiótico, lactato, fluidos.

Evento

critérios clínicos e deterioração.

Exemplo aplicado: antibiótico iniciado pode ser marcador de suspeita médica. Usá-lo como feature pode transformar o modelo em detector de conduta, não de sepse futura.

Sugestão visual: três cartões temporais: antes, suspeita, evento.

Quantas horas antes do reconhecimento clínico o alerta precisa acontecer para ser útil?

Fleuren et al., Intensive Care Medicine, 2020; Seymour et al., JAMA, 2016.

Atividade: desenhando a janela da AKI

Cenário: vocês vão desenhar um estudo para prever falência renal aguda em pacientes internados, antes que o tratamento revele o desfecho.

1

Coorte

Quem entra? Quem já chega com AKI deve ficar de fora?

2

Ground truth

CID, KDIGO por creatinina, diurese ou revisão manual?

3

Linha do tempo

Janela de observação, t₀ e janela de desfecho.

4

Leakage

Quais tratamentos ou exames são proibidos?

12 min · desenho8 min · caça ao leakage10 min · crítica cruzada

O que aconteceria se o modelo usasse hemodiálise para prever falência renal?

Entregável da atividade

Uma frase de pergunta

“Em [população], no tempo [t₀], predizer [desfecho] em [janela] para apoiar [decisão].”

Uma linha do tempo

Observação → alerta → desfecho.

Três variáveis proibidas

E o motivo de cada proibição.

Uma fragilidade

Algo que ainda ameaça validade clínica.

Sugestão visual: template de protocolo mínimo para preencher em grupo.

O seu desenho sobreviveria se fosse implantado amanhã no hospital?

O protocolo mínimo de um estudo de ML clínico

Mensagem central: antes do notebook, deveria existir um protocolo que permita criticar o estudo sem ver o resultado.

Problema

decisão, usuário, contexto.

Dados

fonte, período, coorte.

Rótulo

definição, validação, incerteza.

Tempo

observação, baseline, desfecho.

Avaliação

métricas, calibração, subgrupos.

Uso

fluxo, risco, monitoramento.

Exemplo aplicado: se uma variável só foi descoberta durante exploração dos dados, o protocolo deve dizer como evitar que ela otimize o teste por acaso.

Que parte do seu estudo você conseguiria registrar antes de treinar o modelo?

Moons et al., Annals of Internal Medicine, 2015; Collins et al., BMJ, 2024.

Ciclo de vida: depois do deploy, o mundo continua andando

Mensagem central: implantação não encerra o estudo; ela inaugura uma fase de monitoramento.

Mudanças em protocolos, equipamentos, população, prevalência e comportamento dos profissionais podem alterar a relação entre features, rótulos e decisões.

Exemplo aplicado: se um hospital muda o protocolo de solicitação de creatinina, um modelo de AKI pode parecer “piorar” ou “melhorar” sem mudança biológica nos pacientes.

Sugestão visual: ciclo formular → modelar → validar → implantar → monitorar.

Qual sinal de drift você monitoraria primeiro: dados de entrada, calibração, uso clínico ou desfecho?

Kelly et al., npj Digital Medicine, 2019; Davis et al., BMJ, 2017.

Cinco ideias para levar

1 Uma pergunta vaga produz um modelo difícil de validar.

2 Coorte é a fronteira da promessa clínica do modelo.

3 O rótulo é evidência construída, não verdade automática.

4 O tempo separa predição legítima de leakage.

5 O ciclo de vida continua após a implantação.

Antes de perguntar “qual algoritmo?”, pergunte: qual decisão, em qual paciente, em qual tempo, com qual verdade e com qual consequência?

Próximo encontro

Agora que sabemos desenhar o estudo, como avaliamos se o modelo é realmente bom?

Discriminação

Quem tem maior risco?

Calibração

O risco previsto corresponde ao observado?

Utilidade

Muda decisões com benefício líquido?

Generalização

Funciona fora do conjunto de desenvolvimento?

← ÍNDICE DA DISCIPLINA

Referências e créditos

Formulação, relato e risco de viés

• Collins, G. S. et al. TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods. BMJ (2024). DOI.
• Collins, G. S. et al. Transparent reporting of a multivariable prediction model for individual prognosis or diagnosis: TRIPOD. Annals of Internal Medicine (2015). DOI.
• Moons, K. G. M. et al. Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis. Annals of Internal Medicine (2015). DOI.
• Wolff, R. F. et al. PROBAST: a tool to assess risk of bias and applicability of prediction model studies. Annals of Internal Medicine (2019). DOI.
• Luo, W. et al. Guidelines for developing and reporting machine learning predictive models in biomedical research. Journal of Biomedical Informatics (2016). DOI.
• Wynants, L. et al. Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal. BMJ (2020). DOI.

Coortes, rótulos, tempo e implantação

• Steyerberg, E. W. Clinical Prediction Models. 2nd ed. Springer (2019). DOI.
• Richesson, R. L.; Smerek, M. M. Electronic health records-based phenotyping. JAMIA (2014). DOI.
• Kirby, J. C. et al. PheKB: a catalog and workflow for creating electronic phenotype algorithms. JAMIA (2016). DOI.
• Singer, M. et al. The Third International Consensus Definitions for Sepsis and Septic Shock. JAMA (2016). DOI.
• Seymour, C. W. et al. Assessment of clinical criteria for sepsis. JAMA (2016). DOI.
• Kellum, J. A. et al. KDIGO clinical practice guideline for acute kidney injury. Kidney International Supplements (2012). DOI.
• Fleuren, L. M. et al. Machine learning for the prediction of sepsis: a systematic review and meta-analysis of diagnostic test accuracy. Intensive Care Medicine (2020). DOI.
• Kapoor, S.; Narayanan, A. Leakage and the reproducibility crisis in machine-learning-based science. Patterns (2023). DOI.
• Kelly, C. J. et al. Key challenges for delivering clinical impact with artificial intelligence. npj Digital Medicine (2019). DOI.

Figuras

• Todas as figuras SVG foram criadas para esta aula como recursos gráficos autorais didáticos.