Avaliação de Desempenho: além da acurácia

Métricas, calibração, validação externa e equidade em modelos clínicos

Aprendizado de Máquina para Saúde — Pós-graduação

Abertura: a mentira da acurácia de 95%

Mensagem central: alta acurácia pode ser compatível com inutilidade clínica quando a doença é rara.

Se apenas 5% da população tem uma doença, um “modelo” que prevê sempre “não tem doença” acerta 95% das vezes. Mas ele perde todos os casos que importavam.

Exemplo aplicado: em triagem de câncer ou sepse, um falso negativo pode significar atraso diagnóstico, dano evitável ou morte.

Sugestão visual: 100 pessoas em grade: 95 azuis, 5 vermelhas; o modelo pinta todas como negativas.

Em que situação clínica você aceitaria muitos falsos positivos para não perder falsos negativos?

A aula em uma frase

Avaliar um modelo clínico não é perguntar “o número é alto?”, mas: alto para quem, em qual população, com que risco e para qual decisão?

1 Consequências

Matriz de confusão e custos clínicos.

→

2 Métricas

Sensibilidade, PPV, F1, AUROC, AUPRC.

→

3 Probabilidade

Calibração e risco absoluto.

→

4 Justiça

Validação externa e subgrupos.

Qual métrica costuma dominar sua área — e o que ela deixa invisível?

Matriz de confusão: quatro células, quatro consequências

Mensagem central: a matriz de confusão é uma forma compacta de ver quem recebe cuidado, quem recebe alarme e quem é perdido.

Em saúde, VP, FP, FN e VN não são abstrações. São pessoas. A melhor métrica depende do dano relativo de perder um caso versus tratar alguém sem necessidade.

Exemplo aplicado: em transplante ou cirurgia invasiva, falsos positivos podem expor pacientes a risco; em triagem, falsos negativos podem ser inaceitáveis.

Sugestão visual: matriz 2x2 com legenda clínica para cada célula.

Qual célula da matriz de confusão é mais grave no problema que você quer estudar?

Sensibilidade: não deixar casos passarem

Mensagem central: sensibilidade mede a capacidade de detectar quem realmente tem o evento.

Sensibilidade / Recall

VP / (VP + FN)

Quando importa muito

Triagem, rastreamento, alerta precoce e situações em que perder um caso é grave.

Cuidado

Sensibilidade alta pode vir com muitos falsos positivos e fadiga de alerta.

Exemplo aplicado: para suspeita de sepse, alta sensibilidade pode ser desejável se há uma etapa posterior de avaliação clínica antes de intervir.

Sugestão visual: rede de pesca tentando capturar todos os casos, incluindo “peixes” que não eram o alvo.

Qual taxa de casos perdidos seria eticamente aceitável no seu cenário?

Precisão / PPV: quando o positivo precisa ser confiável

Mensagem central: precisão pergunta: entre os alertas positivos, quantos eram realmente casos?

Precisão / PPV

VP / (VP + FP)

Quando importa muito

Intervenções caras, invasivas, escassas ou com risco relevante.

Cuidado

PPV depende fortemente da prevalência. O mesmo modelo parece melhor em populações de maior risco.

Exemplo aplicado: em readmissão hospitalar, alta precisão pode ser preferível se há poucos leitos, equipes ou recursos para intervenção preventiva.

Sugestão visual: fila de pacientes chamados para intervenção; destacar quantos realmente se beneficiariam.

Se seus recursos forem escassos, você priorizaria precisão ou sensibilidade?

F1: equilíbrio útil, mas nem sempre clínico

Mensagem central: F1 resume precisão e sensibilidade, mas pressupõe que queremos equilibrar as duas.

O que faz

Usa média harmônica para punir modelos que sacrificam muito precisão ou recall.

Quando ajuda

Comparação rápida em classificação desbalanceada, especialmente quando não há probabilidade calibrada.

Limite clínico

Não sabe que falso negativo pode custar morte e falso positivo pode custar exame.

Exemplo aplicado: dois modelos com mesmo F1 podem ser clinicamente opostos: um perde poucos casos e gera muitos alarmes; outro poupa alarmes e perde casos críticos.

Sugestão visual: balança entre precisão e sensibilidade, com um aviso de que o peso clínico não é sempre igual.

No seu problema, precisão e sensibilidade deveriam ter o mesmo peso?

Limiar de decisão: onde estatística vira conduta

Mensagem central: escolher o limiar não é detalhe técnico; é decidir quem receberá ação.

O mesmo modelo de risco pode operar como triagem sensível ou como ferramenta seletiva de alta precisão. A escolha depende de prevalência, dano, custo e capacidade do sistema.

Exemplo aplicado: um alerta de readmissão pode usar limiar baixo se há telefonema simples para todos; limiar alto se há visita domiciliar intensiva e limitada.

Sugestão visual: régua de limiar com efeitos em FP, FN, carga de trabalho e benefício.

Quem deve escolher o limiar: cientista de dados, clínico, gestor, paciente — ou todos?

AUROC: boa para discriminação, insuficiente para decisão

Mensagem central: AUROC mede a capacidade de ordenar casos acima de não casos ao variar limiares.

Força

Resume discriminação sem fixar um ponto de corte.

Interpretação

Probabilidade de um caso ter escore maior que um não caso.

Limite

Pode parecer ótima em eventos raros e não informa calibração nem utilidade clínica.

Exemplo aplicado: AUROC 0,85 pode esconder PPV baixo se o evento é raro e o limiar escolhido gera muitos alarmes.

Sugestão visual: curva ROC ao lado de uma pergunta: “em qual ponto vamos agir?”

Você confiaria em um modelo com AUROC alto sem saber PPV no limiar de uso?

Hanley & McNeil, Radiology, 1982; Steyerberg, Clinical Prediction Models, 2019.

AUPRC: quando o evento raro muda o jogo

Mensagem central: AUPRC costuma ser mais informativa quando a classe positiva é rara.

Curvas Precision-Recall mostram o preço de capturar mais casos: à medida que o recall aumenta, a precisão pode cair. Isso conversa diretamente com carga de trabalho e falsos alarmes.

Exemplo aplicado: para evento adverso raro, a pergunta prática é: “quantos alertas falsos geramos para encontrar um caso verdadeiro?”

Sugestão visual: ROC e PR lado a lado; marcar a prevalência como baseline da PR.

Se o evento ocorre em 2% dos pacientes, que PPV mínimo tornaria o alerta aceitável?

Davis & Goadrich, ICML, 2006; Saito & Rehmsmeier, PLOS ONE, 2015.

Calibração: quando 70% significa 70%

Mensagem central: um modelo bem calibrado produz probabilidades que correspondem ao risco observado.

Discriminar é ordenar; calibrar é quantificar risco. Para decisões à beira do leito, risco absoluto muitas vezes importa mais do que o rótulo “positivo”.

Exemplo aplicado: dizer que um paciente tem 30% de risco de readmissão pode orientar intensidade de acompanhamento; dizer apenas “alto risco” é menos informativo.

Sugestão visual: gráfico risco previsto × risco observado com linha ideal.

Em seu cenário, a decisão exige ranking de risco ou probabilidade absoluta confiável?

Van Calster et al., BMC Medicine, 2019; Steyerberg, 2019.

Validação interna: útil, mas não é prova de generalização

Mensagem central: validação interna estima otimismo dentro da mesma fonte de dados, mas ainda compartilha cultura, população, protocolos e artefatos locais.

Holdout

separa parte dos dados locais.

k-fold

repete treino/teste em dobras.

Bootstrap

estima otimismo por reamostragem.

Cuidado

mesmo hospital não é mesmo mundo.

Exemplo aplicado: um modelo de raio-X pode aprender o aparelho, protocolo ou população de um hospital e ainda performar bem em validação interna.

Sugestão visual: dobras dentro de um mesmo hospital, cercadas por uma borda comum.

Que peculiaridade local do seu banco pode inflar a validação interna?

Validação externa: a prova de fogo

Mensagem central: validação externa testa se o modelo sobrevive a outra população, outro fluxo e outra infraestrutura.

O ideal é validar em instituição, região ou período diferente. Quanto mais parecido o teste com a implantação futura, mais informativa é a avaliação.

Exemplo aplicado: um modelo treinado em hospital universitário de elite deve ser testado em hospital público periférico antes de prometer utilidade ampla.

Sugestão visual: escada: aparente → interna → temporal → externa → prospectiva.

Qual validação externa seria mais honesta para o modelo que você imagina construir?

Collins et al., Annals of Internal Medicine, 2015; Wolff et al., Annals of Internal Medicine, 2019.

Desempenho global não protege subgrupos

Mensagem central: um AUROC global pode esconder falhas sistemáticas em subpopulações.

Reportar desempenho por raça/cor, gênero, idade, território, condição socioeconômica e comorbidades não é “extra”; é parte da segurança clínica.

Exemplo aplicado: em dermatologia, bases pouco diversas podem produzir modelos piores para peles mais escuras; em raio-X, sub-representação pode gerar desempenho desigual.

Sugestão visual: painel tipo dashboard com métrica global e barras por subgrupo.

Qual subgrupo vulnerável poderia ser invisível em uma média global do seu projeto?

Daneshjou et al., Science Advances, 2022; Seyyed-Kalantari et al., Nature Medicine, 2021; Larrazabal et al., PNAS, 2020.

O caso da dermatologia: ausência vira erro

Mensagem central: quando certos corpos aparecem menos nos dados, o modelo aprende menos sobre eles.

Sub-representação

Poucas imagens de peles escuras, doenças raras ou apresentações atípicas.

Erro diferencial

Sensibilidade, especificidade ou calibração variam entre grupos.

Dano clínico

Diagnóstico tardio, falsa tranquilização ou excesso de encaminhamento.

Exemplo aplicado: um classificador excelente em imagens de pele clara pode não ser seguro para triagem populacional se não foi avaliado em fototipos diversos.

Sugestão visual: comparar “dataset de desenvolvimento” e “população de uso” como dois círculos parcialmente sobrepostos.

Como você saberia que a base de treinamento representa a população que receberá o modelo?

O caso do raio-X: viés também aparece em imagem “objetiva”

Mensagem central: imagens médicas parecem objetivas, mas carregam prevalência, equipamento, acesso, protocolo e composição populacional.

Aparelho e protocolo

marcas invisíveis podem indicar hospital ou gravidade.

Gênero e subgrupos

desempenho pode cair para grupos sub-representados.

Validação estreita

teste interno pode não revelar falhas externas.

Exemplo aplicado: modelos de tórax podem ter desempenho desigual por gênero ou por subgrupos raciais se a distribuição de treinamento e teste não for auditada.

Sugestão visual: radiografia no centro, rodeada por variáveis não anatômicas: hospital, aparelho, protocolo, população.

Que variável “não clínica” poderia estar ajudando o modelo a acertar no seu conjunto de dados?

Larrazabal et al., PNAS, 2020; Zech et al., PLOS Medicine, 2018.

Atividade: auditoria de equidade em readmissão

Cenário: um modelo de readmissão hospitalar apresenta AUROC global de 0,85. Ele será implantado em um hospital público da periferia, mas foi treinado em hospital universitário de elite.

1

Subgrupos

Que variáveis devem ter desempenho reportado separadamente?

2

Trade-off

Priorizar sensibilidade ou precisão para readmissão?

3

Validação

Como testar no hospital público antes de implantar?

4

Ação

O que será feito com cada alerta?

10 min · métricas10 min · subgrupos10 min · plano de validação

Um modelo com AUROC 0,85 deveria ser aprovado automaticamente?

Entregável da atividade

Painel mínimo

AUROC, AUPRC, sensibilidade, PPV e calibração por subgrupo.

Limiar justificado

Com base em recurso disponível, dano e capacidade de ação.

Validação externa

Período, população, critério de sucesso e plano de falha.

Recomendação

Implantar, recalibrar, restringir uso ou rejeitar.

Sugestão visual: checklist de decisão antes de deploy.

O que faria você dizer “não está pronto para uso clínico”, mesmo com métrica global boa?

Avaliar é proteger

Mensagem central: avaliação rigorosa é uma prática de segurança do paciente.

Segurança

quais erros causam dano?

Calibração

risco previsto orienta decisão?

Equidade

quem é prejudicado pela média?

Monitoramento

o desempenho muda com o tempo?

Exemplo aplicado: após implantação, mudanças em prevalência, fluxo de atendimento ou perfil populacional podem gerar drift e exigir recalibração ou suspensão.

Sugestão visual: escudo de quatro partes: segurança, calibração, equidade e monitoramento.

Quem deve ter autoridade para pausar um modelo em produção?

Kelly et al., npj Digital Medicine, 2019; Davis et al., BMJ, 2017.

Cinco ideias para levar

1 Acurácia pode ser enganosa em doenças raras.

2 Métrica boa depende do custo clínico dos erros.

3 AUROC não substitui AUPRC, calibração e análise de limiar.

4 Validação externa é essencial para generalização.

5 Desempenho deve ser auditado por subgrupos e monitorado no tempo.

Antes de celebrar a métrica, pergunte: quem erra, quem paga o erro e quem fica invisível na média?

Próximo encontro

Agora que sabemos avaliar criticamente um modelo, quais algoritmos clássicos usamos — e que pressupostos eles carregam?

Supervisionado

regressão, árvores, ensembles, SVM.

Não supervisionado

clusters, redução de dimensão, perfis.

Interpretabilidade

o que o modelo aprendeu?

Uso hospitalar

quando simplicidade vence complexidade?

← ÍNDICE DA DISCIPLINA

Referências e créditos

Métricas, discriminação, PR, calibração e relato

• Hanley, J. A.; McNeil, B. J. The meaning and use of the area under a receiver operating characteristic curve. Radiology (1982). DOI.
• Davis, J.; Goadrich, M. The relationship between Precision-Recall and ROC curves. ICML (2006). DOI.
• Saito, T.; Rehmsmeier, M. The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. PLOS ONE (2015). DOI.
• Van Calster, B. et al. Calibration: the Achilles heel of predictive analytics. BMC Medicine (2019). DOI.
• Steyerberg, E. W. Clinical Prediction Models. 2nd ed. Springer (2019). DOI.
• Collins, G. S. et al. TRIPOD statement. Annals of Internal Medicine (2015). DOI.
• Wolff, R. F. et al. PROBAST. Annals of Internal Medicine (2019). DOI.

Equidade, subgrupos e implantação

• Obermeyer, Z. et al. Dissecting racial bias in an algorithm used to manage the health of populations. Science (2019). DOI.
• Daneshjou, R. et al. Disparities in dermatology AI performance. Science Advances (2022). DOI.
• Seyyed-Kalantari, L. et al. Underdiagnosis bias of artificial intelligence algorithms applied to chest radiographs in under-served patient populations. Nature Medicine (2021). DOI.
• Larrazabal, A. J. et al. Gender imbalance in medical imaging datasets produces biased classifiers for computer-aided diagnosis. PNAS (2020). DOI.
• Zech, J. R. et al. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs. PLOS Medicine (2018). DOI.
• Kelly, C. J. et al. Key challenges for delivering clinical impact with artificial intelligence. npj Digital Medicine (2019). DOI.
• Davis, S. E. et al. Calibration drift in regression and machine learning models for acute kidney injury. BMJ (2017). DOI.

Figuras

• Todas as figuras SVG foram criadas para esta aula como recursos gráficos autorais didáticos.