Ética, Explicabilidade e Privacidade na IA em Saúde
Como auditar modelos complexos, reduzir injustiças algorítmicas e proteger dados clínicos
Abertura: o algoritmo que “lia” etiquetas
Em modelos de COVID-19 por radiografia, análises mostraram que redes neurais podiam usar atalhos como marcadores, posição, texto da imagem ou origem hospitalar, em vez de sinais pulmonares. A acurácia subia; a validade clínica desabava.
Exemplo aplicado: se pacientes graves usam equipamento portátil com etiquetas específicas, o modelo pode aprender “tipo de imagem” como proxy de gravidade, não pneumonia.
Sugestão visual: mapa de calor sobre uma radiografia apontando para uma etiqueta metálica fora da região pulmonar.
Se o modelo acerta pelo motivo errado, ele é útil, perigoso ou ambos?
Referências: Zech et al. (2018); DeGrave et al. (2021); Selvaraju et al. (2017).
Acurácia é necessária, mas não suficiente
Um modelo pode ter alta AUC em validação interna e falhar em outro hospital porque aprendeu características do scanner, protocolo, população ou fluxo assistencial. Auditoria busca saber se ele aprendeu sinal clínico transportável.
Exemplo aplicado: modelo treinado em imagens de um hospital reconhece padrão de aquisição portátil e não lesão pulmonar.
Que teste você faria para descobrir se o modelo aprendeu um atalho institucional?
SHAP: contribuição das variáveis no leito
SHAP pode mostrar quais variáveis puxaram o risco para cima ou para baixo. Mas a explicação não prova causalidade; ela revela como o modelo usou a informação.
Exemplo aplicado: “risco alto porque SpO₂ basal baixa e cirurgia abdominal longa” é mais discutível clinicamente do que “risco alto: 0,83”.
Como evitar que uma explicação bonita gere confiança excessiva?
Grad-CAM: o mapa de calor precisa fazer sentido clínico
Grad-CAM destaca regiões relevantes para a rede. Se o mapa foca pulmões em uma tarefa pulmonar, isso aumenta plausibilidade. Se foca etiqueta, borda ou equipamento, acende alerta sobre atalho.
Exemplo aplicado: em dermatologia, mapa de saliência no canto da régua fotográfica pode indicar que o modelo aprendeu artefato, não lesão.
Que região seria clinicamente aceitável — e inaceitável — para o modelo olhar no seu exame?
Equidade: erro médio não é justiça
Viés algorítmico surge quando dados, rótulos, acesso e decisões históricas carregam desigualdades. Avaliar apenas performance global apaga danos em raça/cor, gênero, idade, território e classe social.
Exemplo aplicado: modelos dermatológicos treinados majoritariamente em pele clara podem errar mais em pele escura.
Quais subgrupos deveriam ser obrigatórios na validação do seu modelo?
Referências: Buolamwini & Gebru (2018); Adamson & Smith (2018); Daneshjou et al. (2022).
O proxy perigoso: custo não é necessidade
Um estudo clássico mostrou que usar custo de saúde como proxy de necessidade subestimava necessidades de pacientes negros, porque grupos com barreiras de acesso podem gerar menos gasto mesmo com maior carga de doença.
Exemplo aplicado: se o algoritmo prioriza quem custou mais, ele pode favorecer quem já tinha mais acesso ao cuidado.
Que proxy aparentemente neutro no seu banco pode esconder desigualdade social?
Referência: Obermeyer et al. (2019).
Relato transparente: de “modelo promissor” a modelo auditável
Guias de relato e checklists ajudam a documentar população, coleta, pré-processamento, avaliação, subgrupos, limitações, riscos e contexto de implantação. Sem isso, a IA vira caixa-preta institucional.
Exemplo aplicado: um artigo que não informa composição demográfica da base impede avaliar equidade.
Qual item de transparência você exigiria antes de comprar um sistema?
Referências: Norgeot et al. (2020); Collins et al. (2024); DECIDE-AI Collaborative Group (2022).
Privacidade: anonimizar não é apenas apagar nomes
De-identificação remove identificadores diretos, mas combinações de idade, datas, eventos raros e local podem reidentificar. Anonimização forte busca irreversibilidade, mas pode reduzir utilidade analítica.
Exemplo aplicado: “mulher, 42 anos, transplante raro, cidade pequena, data exata” pode identificar mesmo sem nome.
Que informação clínica você considera útil para o modelo, mas perigosa para privacidade?
Referências: Sweeney (2000); El Emam et al. (2011); Rocher et al. (2019).
Aprendizado federado: colaborar sem centralizar dados
Hospitais treinam localmente e compartilham atualizações do modelo, não bases brutas. Ainda assim, há riscos de vazamento por gradientes, heterogeneidade entre centros, auditoria e responsabilidades contratuais.
Exemplo aplicado: vários hospitais colaboram em modelo de insuficiência respiratória sem enviar prontuários para um repositório central.
O que ainda precisa ser padronizado entre hospitais para aprendizado federado funcionar?
Referências: McMahan et al. (2017); Rieke et al. (2020); Sheller et al. (2020).
Material da atividade: perguntas que o fornecedor deve responder
Exigir antes do piloto:
- Variáveis principais por SHAP local e global.
- Validação externa por hospital e período.
- Performance por subgrupo e calibração.
- Análise de proxies e variáveis sem sentido clínico.
- Plano de minimização e segurança de dados.
- Processo de monitoramento pós-implantação.
- Responsabilidade por dano, atualização e drift.
Qual resposta incompleta faria vocês rejeitarem o sistema imediatamente?
Algorithmovigilance: vigiar efeitos adversos da IA
Algorithmovigilance propõe acompanhar falhas, desigualdades, drift, mudanças de comportamento, sobreuso, subuso e danos morais. É a farmacovigilância da inteligência artificial — com eventos adversos técnicos, clínicos e éticos.
Exemplo aplicado: após implantar triagem por IA, monitorar se pacientes de regiões periféricas passaram a esperar mais tempo.
Qual evento adverso ético você colocaria no painel de monitoramento?