Dados Clínicos: o que o modelo realmente vê?
Heterogeneidade, qualidade, missingness e vazamento de informação
Antes de começar: ausência é erro ou informação?
Um exame não aparece no prontuário. O dado está faltando — ou a ausência revela uma decisão clínica?
ERRO
O sistema falhou ao registrar.
DECISÃO
O exame não foi considerado necessário.
NÃO SEI
Sem proveniência, as duas histórias cabem no mesmo NA.
Escolha uma posição. No final, veremos se sua resposta mudou — ou ficou mais condicional.
O mapa da aula
Hoje saímos do algoritmo isolado e examinamos o sistema que produz os dados usados pelo algoritmo.
1 Ler
Que tipo de dado é este?
→
2 Situar
Por que ele foi produzido?
→
3 Auditar
O que falta ou antecipa o futuro?
→
4 Governar
Pode ser usado com segurança?
Fio condutor: que processo humano e institucional deixou este rastro no banco de dados?
Temos mais dados — não necessariamente mais evidência
Computação
mais rápida · mais barata · mais distribuída
Dados genômicos
volume e complexidade crescendo em ritmo extraordinário
O gargalo migrou: armazenar ficou mais fácil; definir o que o dado significa, para quem e em qual momento clínico continua difícil.
Milhões de registros não corrigem um desfecho mal definido. Podem apenas tornar uma conclusão equivocada mais precisa.
Em que situação mais dados aumentariam a confiança no erro, em vez de corrigi-lo?
O prontuário não observa o paciente continuamente
Pessoa → busca cuidado → profissional decide → sistema registra → banco armazena
O EHR registra encontros, medições, pedidos, códigos e narrativas produzidos durante o cuidado. É uma visão parcial e orientada pelo processo, não uma câmera neutra da biologia.
Creatinina frequente pode indicar doença grave, protocolo intensivo ou acesso fácil ao serviço — não apenas função renal.
Qual paciente tende a deixar menos rastros no prontuário — e como isso afeta o que o modelo aprende?
Agniel, Kohane & Weber, BMJ, 2018. Imagem: GNU GPL, Wikimedia Commons.
Estruturado não significa completo; texto não significa caos
ESTRUTURADO
demografia · laboratórios
medicamentos · códigos
procedimentos · sinais vitais
bom para consulta e agregação
NARRATIVO
evolução · hipótese
contexto social · incerteza
sumário · plano terapêutico
preserva nuance e temporalidade
Não existe proporção universal confiável de “80% de texto livre” aplicável a todo EHR. A composição varia por instituição, especialidade, época e finalidade.
Que informação importante para sua área costuma existir apenas na narrativa clínica?
“Diagnóstico” pode representar verdades diferentes
Administrativa
Código para cobrança, autorização ou prestação de contas.
≠
Clínica
Interpretação situada, revisável e incerta.
≠
Pesquisa
Definição operacional com códigos, exames e tempo.
Um código de insuficiência cardíaca pode ser histórico, suspeito, justificativa para exame ou doença ativa. Usá-lo como rótulo exige validação.
Quem deveria definir a “verdade” do treinamento — e como medir desacordo?
O tempo clínico é parte do dado
ANTES
sintomas · história · sinais disponíveis
t₀ · DECISÃO
instante em que o modelo deve prever
DEPOIS
confirmação · tratamento · desfecho
Uma variável só é elegível se estivesse realmente disponível quando a previsão seria usada.
O horário de registro pode diferir do horário em que o resultado ficou disponível. Timestamp não é sinônimo automático de conhecimento.
Qual relógio importa: coleta, resultado, visualização ou registro no banco?
Não existe “o dado clínico”: existe um ecossistema
▦ EHR
eventos + narrativas
◫ Imagens
pixels + metadados
∿ Sinais
onda + tempo + artefato
⌬ Ômicas
dimensão + lote
⌂ Contexto social
território + condições de vida
⌚ PGHD
sensores + relatos
Qual modalidade parece mais “objetiva”? Que decisões humanas existem em sua produção?
DICOM: a imagem é mais do que pixels
Pixels · anatomia representada
Aquisição · protocolo, contraste, espessura
Dispositivo · fabricante, modelo, reconstrução
Contexto · paciente, estudo, série, tempo
O modelo pode reconhecer um protocolo associado aos casos graves e usar esse atalho como se fosse anatomia.
Quais metadados servem para auditoria, mas talvez devam sair da entrada do modelo?
DICOM Standard, NEMA. Imagem: Afiller, CC BY-SA 3.0.
Sinais: medir continuamente não elimina lacunas
Amostragem · o que pode ser capturado?
Artefato · movimento ou fisiologia?
Sincronização · os relógios concordam?
Agregação · o que desaparece na média?
Uma média horária de frequência cardíaca pode esconder uma arritmia de 30 segundos.
Qual transformação torna o sinal modelável — e qual informação ela destrói?
Figura: Wikimedia Commons, CC0.
Ômicas: muitas variáveis, poucas pessoas
p
muitos marcadores
>
n
menos participantes
Plataforma, lote, ancestralidade e processamento podem dominar o sinal biológico.
Se casos e controles forem processados em lotes diferentes, o classificador poderá aprender o dia do laboratório.
Como separar treino e teste para que pessoas, famílias e lotes não atravessem a fronteira?
O contexto social entra — mesmo quando não o medimos
Acesso
serviços e cobertura
Moradia
segurança e exposição
Alimentação
disponibilidade e custo
Trabalho
renda e tempo
Transporte
mobilidade
Território
ambiente e recursos
Determinantes sociais influenciam desfechos — e também quem chega ao serviço, que exame recebe e o que fica registrado.
“Faltou à consulta” pode codificar transporte precário, trabalho inflexível ou barreiras institucionais.
Quando incluir CEP melhora a equidade — e quando reproduz desigualdades territoriais?
PGHD: mais proximidade da vida, novos filtros
Pessoa
usa · carrega · responde
→
Dispositivo
sensor · firmware
→
Plataforma
resume · filtra
→
Cuidado
interpreta · age
Ausência de passos pode significar imobilidade, bateria descarregada, falta de internet ou não uso.
Quem fica de fora quando exigimos wearable compatível e uso contínuo?
Qualidade não é “limpeza”: é adequação ao uso
Completude
há dados suficientes?
Correção
correspondem ao esperado?
Plausibilidade
valores e relações fazem sentido?
Concordância
fontes compatíveis?
Atualidade
tempo adequado?
Proveniência
origem rastreável?
Uma base pode ser excelente para faturamento e inadequada para estimar gravidade clínica na chegada.
Qual dimensão é decisiva para seu problema — e qual imperfeição pode ser tolerada?
Um NA não explica por que está vazio
MCAR
Ausência não depende dos dados observados nem do valor ausente.
Falha aleatória de transmissão.
MAR
Dados observados explicam o mecanismo assumido.
Protocolo varia por idade registrada.
MNAR
A ausência ainda depende do valor não observado.
Sintoma omitido por sua gravidade.
São mecanismos probabilísticos, não rótulos visíveis na tabela. Classificá-los exige conhecimento do processo e suposições.
Que evidência ajudaria a distinguir falha, decisão clínica e barreira de acesso?
Em saúde, a ausência pode prever
Paciente chega
→
Profissional suspeita
→
Exame é pedido
→
Resultado existe
O modelo aprende com o resultado e com a decisão de medir. Pode funcionar localmente e falhar quando o protocolo muda.
Potássio ausente pode indicar menor suspeita — ou falta de recurso. O padrão admite mecanismos diferentes.
Indicadores de ausência são solução legítima ou codificação do comportamento institucional?
Leakage: quando o futuro entra pela porta dos fundos
VÁLIDO
informação disponível antes da previsão
t₀
momento da decisão
VAZAMENTO
confirmação · tratamento · desfecho · proxies posteriores
Leakage é qualquer informação que não estaria legitimamente disponível na implantação — não apenas o rótulo explícito.
Uma variável registrada antes de t₀, mas calculada com dados posteriores, pertence a qual lado?
Caso: prever cetoacidose com o teste confirmatório
1 · Sintomas
náusea · poliúria
2 · Suspeita
profissional considera DKA
3 · Beta-OHB
teste pedido pela suspeita
4 · Diagnóstico
desfecho registrado
Para alertar antes da suspeita, usar o passo 3 produz um modelo impressionante e inútil. Para apoiar interpretação após o teste, pode ser válido. O uso pretendido decide.
Qual é o primeiro instante em que o modelo deve gerar valor — e quais dados existem então?
Viés de seleção: quem chega ao dataset?
População com necessidade de saúde
quem acessa o serviço
quem recebe exame e registro utilizável
quem entra no dataset
Sistemas dermatológicos avaliados em conjuntos pouco diversos podem perder desempenho em tons de pele mais escuros e doenças menos representadas.
Balancear classes não corrige uma população que nunca entrou no funil.
Quem pode estar ausente mesmo quando “raça/cor” parece completa?
O hospital pode virar uma feature invisível
HOSPITAL A
prevalência · aparelho · protocolo · população
treino
→
HOSPITAL B
outra prevalência · aparelho · fluxo · população
implantação
Zech et al. observaram desempenho variável entre hospitais; o modelo também distinguia a instituição de origem da radiografia.
Que validação separaria “aprendeu pneumonia” de “aprendeu o hospital”?
Atividade: auditoria da matriz de dados
Cenário fictício: criar um alerta de cetoacidose na chegada ao pronto atendimento, antes da decisão de pedir exames confirmatórios.
| ID | idade | glicose_t0 | HCO₃_t0 | betaOHB | hora_betaOHB | UTI_24h | DKA |
|---|---|---|---|---|---|---|---|
| 101 | 24 | 438 | 12 | 5,8 | +75 min | sim | sim |
| 102 | 61 | 286 | NA | NA | NA | não | não |
| 103 | 24 | 438 | 12 | 5,8 | +75 min | sim | sim |
| 104 | −3 | 352 | 19 | NA | NA | não | não |
| 105 | 46 | NA | 8 | 7,1 | +40 min | sim | sim |
| 106 | 39 | 198 | 25 | 0,3 | +110 min | não | não |
Há ausência, duplicata provável, valor impossível, tempos distintos e variáveis posteriores a t₀.
Antes de “limpar”, que perguntas você faria a quem extraiu os dados?
Auditoria em grupos: quatro lentes
1 · Semântica
definição, unidade, origem e janela?
2 · Qualidade
completude, plausibilidade, duplicação e tempo?
3 · Validade
o que vaza o futuro? qual é t₀?
4 · Governança
o que remover, restringir ou documentar?
12 min · auditoria8 min · correção10 min · crítica cruzada
Entregável: três riscos priorizados, uma pergunta ao custodiante e uma decisão de “pode / não pode modelar ainda”.
De-identificar não é apenas apagar o nome
PROTEGER
remover identificadores
generalizar datas e locais
controlar acesso
registrar finalidade
⇄
PRESERVAR UTILIDADE
temporalidade clínica
vínculo longitudinal
subgrupos relevantes
proveniência necessária
Remover datas reduz risco e pode destruir a análise de tempo até evento. A solução pode exigir ambiente controlado, não só transformação da tabela.
Que informação é indispensável à pergunta e qual é apenas conveniente?
“Limpar” pode apagar o mecanismo do erro
Ação tentadora
imputar todos os NA
remover todos os outliers
deduplicar por igualdade
usar todas as colunas
Pergunta crítica
por que está ausente?
é impossível ou raro?
duplicata ou retorno?
existia em t₀?
A auditoria não produz uma tabela “bonita”; constrói uma interpretação defensável do processo gerador.
Qual correção poderia melhorar a métrica e piorar a validade clínica?
Proveniência: ficha técnica de cada variável
Quem?
pessoa, profissional, dispositivo
Como?
método, unidade, protocolo
Quando?
coleta, resultado, registro
Onde?
sistema, instituição, território
Por quê?
decisão ou finalidade original
“Pressão arterial = 90/60” é insuficiente sem posição, dispositivo, horário, contexto e motivo da medição.
Qual metadado você recuperaria para a variável mais importante do seu projeto?
Cinco ideias para levar
1 Dados clínicos são rastros do cuidado, não observações neutras.
2 Modalidades carregam erros e contextos diferentes.
3 Qualidade significa adequação à finalidade.
4 Missingness, seleção e leakage exigem conhecer tempo e processo.
5 Proveniência é parte da evidência.
Antes de perguntar “qual modelo?”, pergunte: quem produziu este dado, por quê, quando e para qual finalidade?
Volte à pergunta inicial
Um exame não aparece. O dado está faltando — ou a ausência revela uma decisão clínica?
O que você responderia agora?
Que proveniência pediria?
Como testaria outras explicações?
Complete: “Este NA só pode ser interpretado se eu souber…”
Próximo encontro: como sistemas falam a mesma língua?
Sistema A
“glicemia” · mg/dL
⇄
SEMÂNTICA + PADRÃO
FHIR · LOINC · SNOMED CT · OMOP
⇄
Sistema B
“glucose” · mmol/L
No Encontro 3, passamos da heterogeneidade para estrutura, terminologia e significado compartilhado.
Referências e créditos
Qualidade, processo e missingness
- Weiskopf, N. G.; Weng, C. EHR data quality assessment. JAMIA (2013). DOI.
- Kahn, M. G. et al. Harmonized data quality framework. eGEMs (2016). DOI.
- Agniel, D.; Kohane, I. S.; Weber, G. M. Biases in EHR data. BMJ (2018). DOI.
- Rubin, D. B. Inference and missing data. Biometrika (1976). DOI.
Generalização, leakage e equidade
- Zech, J. R. et al. Pneumonia model generalization. PLOS Medicine (2018). DOI.
- Daneshjou, R. et al. Disparities in dermatology AI. Science Advances (2022). DOI.
- Kapoor, S.; Narayanan, A. Leakage and reproducibility. Patterns (2023). DOI.
- Stephens, Z. D. et al. Big Data: Astronomical or Genomical? PLOS Biology (2015). DOI.
Figuras
prontuario-eletronico.jpg— Wikimedia Commons, GNU GPL.tomografia-cerebro.jpg— Afiller, Wikimedia Commons, CC BY-SA 3.0.ecg-ritmo-sinusal.svg— Wikimedia Commons, CC0.
Encontro 2 · Ecossistema e qualidade dos dados clínicos