Regulação e Ciclo de Vida: da bancada ao produto

SaMD, relato transparente, MLOps e algorithmovigilance para IA clínica sustentável

Aprendizado de Máquina para Saúde — Pós-graduação

Abertura: o lethal lag e o software sem dono

Mensagem central: IA clínica não é só descoberta científica; é produto regulado que precisa continuar seguro depois do go-live.

O “lethal lag” descreve a demora entre evidência e prática. A IA promete encurtar esse caminho, mas adiciona um problema novo: software pode mudar rapidamente, depender de dados vivos e degradar silenciosamente.

Exemplo aplicado: um modelo de sepse aprovado em 2026 pode perder calibração após mudança no protocolo de triagem, novo laboratório ou população mais idosa.

Sugestão visual: duas linhas do tempo: evidência tradicional lenta e modelo de IA com atualizações, drift e vigilância contínua.

Quem é “dono” do modelo depois que ele entra no hospital: TI, fornecedor, comitê clínico, direção ou todos?

Referências: Balas & Boren (2000); Greenhalgh et al. (2017); FDA (2021).

A pergunta que organiza a aula

Como transformar um modelo promissor em um dispositivo médico confiável, auditável e sustentável?

1 Enquadrar

risco e intenção de uso.

→

2 Validar

ciência, técnica e clínica.

→

3 Relatar

dados, coorte, subgrupos e limites.

→

4 Operar

monitorar drift, incidentes e atualizações.

SaMD: quando software vira dispositivo médico

Mensagem central: o que regula o software não é a tecnologia em si, mas sua finalidade médica e o risco da decisão que influencia.

Software as a Medical Device é software destinado a finalidades médicas sem fazer parte de um hardware médico físico. Se ele diagnostica, guia manejo ou influencia tratamento, entra em território regulatório.

Exemplo aplicado: um app que organiza agenda não é SaMD; um algoritmo que prioriza pacientes por risco de AVC pode ser.

Em que ponto uma ferramenta informativa passa a influenciar decisão clínica o suficiente para exigir regulação?

Referências: IMDRF (2013, 2017); FDA (2021); ANVISA RDC 751/2022.

Risco regulatório: condição clínica × intenção de uso

Mensagem central: risco aumenta quando a condição é crítica e o software trata, diagnostica ou guia manejo diretamente.

O mesmo algoritmo pode ter risco diferente conforme uso pretendido. “Informar revisão humana” é diferente de “diagnosticar automaticamente” ou “alterar conduta em tempo real”.

Exemplo aplicado: detectar retinopatia diabética para encaminhamento pode ter perfil regulatório distinto de sugerir dose de anticoagulante em emergência.

Qual é a intenção de uso real do seu modelo — a que está no slide ou a que acontece no plantão?

Os três pilares da validação

1

Validade científica

A associação clínica faz sentido e é sustentada por evidência?

2

Validação analítica

O software mede, calcula ou classifica tecnicamente como promete?

3

Validação clínica

Funciona na população-alvo e no uso pretendido?

Exemplo aplicado: para um modelo de hipoxemia, não basta predizer bem em base retrospectiva; é preciso saber se o alerta melhora prevenção sem criar dano.

Qual pilar costuma ser mais frágil em artigos de IA médica que parecem fortes?

Referência: IMDRF SaMD Clinical Evaluation (2017).

O ciclo de vida regulado

Mensagem central: em saúde, “deploy” não é fim do projeto; é início da vigilância.

Modelos precisam de versionamento, controle de mudanças, documentação, avaliação periódica, plano de atualização e mecanismo de resposta a incidentes. Sem isso, cada patch vira experimento informal com pacientes.

Exemplo aplicado: uma atualização do pré-processamento de exames pode alterar a distribuição de entrada e derrubar calibração sem mudar uma linha do modelo.

Que mudança pequena no seu hospital poderia afetar um modelo sem ninguém perceber?

Transparência por design

Mensagem central: documentação não é burocracia; é a memória de por que o modelo existe, para quem serve e onde não deve ser usado.

Dados

Proveniência, período, critérios, rótulos e faltantes.

Modelo

Arquitetura, hiperparâmetros, pré-processamento e versões.

Uso

População-alvo, limiares, fluxo, limitações e responsáveis.

Exemplo aplicado: se a coorte excluiu pacientes pediátricos, isso precisa aparecer no produto, não apenas no apêndice do artigo.

Qual decisão do pipeline seria impossível auditar se ninguém registrasse hoje?

Relato científico: CONSORT-AI, SPIRIT-AI, TRIPOD+AI e MI-CLAIM

Mensagem central: diretrizes de relato ajudam a separar evidência reprodutível de demonstração sedutora.

CONSORT-AI e SPIRIT-AI orientam ensaios clínicos com intervenções de IA. TRIPOD+AI orienta modelos preditivos. MI-CLAIM propõe informações mínimas para pesquisa clínica com IA. Em comum: transparência sobre dados, população, intervenção, erros e uso pretendido.

Exemplo aplicado: um ensaio de CDS com IA deve descrever como o output foi apresentado ao profissional e como erros do sistema foram monitorados.

Qual detalhe de relato mais muda sua confiança: dados, arquitetura, validação externa, subgrupos ou implementação?

Referências: Liu et al. (2020); Cruz Rivera et al. (2020); Norgeot et al. (2020); Collins et al. (2024).

MLOps em saúde: MLHOps

Mensagem central: MLOps em saúde é engenharia com responsabilidade clínica.

MLHOps combina práticas de versionamento, testes, deploy, observabilidade, segurança e governança. A diferença é que erros podem afetar pacientes, fluxos de trabalho e decisões reguladas.

Exemplo aplicado: antes de recalibrar um modelo de sepse, o comitê precisa saber versão, mudança de dados, impacto por subgrupo e plano de reversão.

Que processo de engenharia você exigiria antes de permitir atualização automática de um modelo clínico?

Drift: quando o mundo muda sob o modelo

Mensagem central: modelo não envelhece por tempo; envelhece porque o hospital, a população e a prática mudam.

Drift de dados

A distribuição de entrada muda.

• população mais idosa;
• novo equipamento;
• protocolo de triagem;
• laboratório com método diferente.

Drift de conceito

A relação entre entrada e desfecho muda.

• nova definição de sepse;
• novo tratamento;
• mudança no registro do diagnóstico;
• comportamento induzido pelo próprio CDS.

Exemplo aplicado: após campanha de sepse, lactato passa a ser coletado mais cedo; o significado preditivo do lactato muda no fluxo.

Qual tipo de drift seria mais perigoso: o que você vê nos dados ou o que muda o significado clínico?

Monitoramento: discriminação, calibração e impacto

Mensagem central: monitorar só AUC é como dirigir olhando apenas o velocímetro.

Discriminação

O modelo ordena risco corretamente?

Calibração

Risco previsto combina com frequência observada?

Impacto

Mudou decisão, resultado, carga de trabalho ou equidade?

Qual métrica deveria acionar uma reunião extraordinária do comitê?

Algorithmovigilance e pós-mercado

Mensagem central: algoritmos aprovados ainda podem causar eventos adversos quando encontram mundo real.

Algorithmovigilance é o monitoramento contínuo de danos clínicos, técnicos, operacionais e éticos. Inclui incidentes, alert fatigue, drift, inequidade, uso fora da indicação e mudanças de comportamento induzidas pelo sistema.

Exemplo aplicado: modelo de sepse aumenta falsos positivos em idosos, gerando antibiótico excessivo e fadiga de alertas.

Como um hospital deveria permitir que profissionais reportem dano algorítmico sem medo de punição?

Exemplos aplicados: do clearance ao comitê

1

Arterys

IA em imagem cardíaca como marco de software médico com deep learning.

2

Governança preditiva

Comitês acompanham ideação, validação, piloto e operação.

3

Dado de entrada

Mudança em teste laboratorial pode invalidar decisão automatizada.

4

Pós-implantação

Performance, segurança e equidade precisam de dono institucional.

Exemplo aplicado: PTT e Anti-Xa medem aspectos relacionados à anticoagulação, mas não são intercambiáveis; se a entrada muda, o modelo precisa saber.

Qual exemplo mostra melhor que governança de dados é governança clínica?

Referências: Benjamens et al. (2020); Wu et al. (2021); Sendak et al. (2020).

Atividade: o comitê de auditoria pós-implantação

Cenário: um hospital implantou modelo de sepse aprovado pela ANVISA. Após 6 meses, médicos notam mais falsos positivos em idosos. O sistema continua tecnicamente “funcionando”, mas está gerando ruído e desconfiança.

1

Computação

Investigar drift de dados, drift de conceito, calibração e logs.

2

Medicina

Avaliar dano clínico: antibiótico excessivo, fadiga e atraso em casos reais.

3

Governança

Decidir: manter, recalibrar, suspender, comunicar ou revalidar.

4

Regulação

Classificar mudança: atualização menor, alteração significativa ou novo ciclo.

10 min · diagnóstico 10 min · decisão 10 min · plano de manutenção

Material da atividade: checklist de manutenção

Checklist mínimo:

1. Distribuição dos dados mudou?
2. Definição do desfecho mudou?
3. Calibração piorou?
4. Falsos positivos/negativos aumentaram em algum grupo?
5. Houve dano ou quase dano?
6. O fluxo clínico ainda é o mesmo?
7. A versão atual está documentada?
8. Há plano de rollback?
9. É necessária comunicação ao regulador/fornecedor?

Qual item desse checklist deveria bloquear o uso imediatamente?

A decisão difícil: suspender ou recalibrar?

Suspender

Quando há risco imediato, perda de calibração grave, dano documentado ou uso fora da indicação.

Custo: perde-se suporte assistencial enquanto se corrige.

Recalibrar

Quando há degradação controlável, dados suficientes e plano validado de atualização.

Custo: exige nova validação e comunicação clara.

Exemplo aplicado: falsos positivos em idosos podem exigir ajuste de limiar por subgrupo? Talvez. Mas isso precisa de avaliação ética, clínica e estatística — não só tuning.

Quem deve ter autoridade para tirar um modelo do ar?

O que levar da aula

Regulação é segurança

Risco, intenção de uso e validação definem responsabilidade.

Relato é infraestrutura

Sem transparência, não há reprodutibilidade nem confiança.

MLOps é cuidado continuado

Modelo em produção precisa de monitoramento, donos e plano de resposta.

IA clínica confiável não é um arquivo .pkl; é um sistema regulado, documentado, monitorado e pronto para ser corrigido.

Referências essenciais

• Balas, E. A., & Boren, S. A. (2000). Managing clinical knowledge for health care improvement. Yearbook of Medical Informatics.
• Benjamens, S., Dhunnoo, P., & Meskó, B. (2020). The state of artificial intelligence-based FDA-approved medical devices and algorithms. npj Digital Medicine.
• Collins, G. S. et al. (2024). TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods. BMJ.
• Cruz Rivera, S. et al. (2020). Guidelines for clinical trial protocols for interventions involving artificial intelligence: the SPIRIT-AI extension. Nature Medicine.
• DECIDE-AI Collaborative Group (2022). DECIDE-AI: reporting guidelines for early-stage clinical evaluation of decision support systems driven by artificial intelligence. Nature Medicine.
• FDA (2021). Artificial Intelligence/Machine Learning-Based Software as a Medical Device Action Plan.
• FDA, Health Canada & MHRA (2021). Good Machine Learning Practice for Medical Device Development: Guiding Principles.
• Greenhalgh, T. et al. (2017). Beyond adoption: a new framework for theorizing and evaluating nonadoption, abandonment, and challenges to scale-up, spread, and sustainability of health technologies. Journal of Medical Internet Research.
• IMDRF (2013). Software as a Medical Device: Key Definitions.
• IMDRF (2017). Software as a Medical Device: Clinical Evaluation.
• Liu, X. et al. (2020). Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: the CONSORT-AI extension. Nature Medicine.
• Norgeot, B. et al. (2020). Minimum information about clinical artificial intelligence modeling: the MI-CLAIM checklist. Nature Medicine.
• Sendak, M. et al. (2020). “The human body is a black box”: supporting clinical decision-making with deep learning. Proceedings of CHI.
• Wu, E. et al. (2021). How medical AI devices are evaluated: limitations and recommendations from an analysis of FDA approvals. Nature Medicine.

Próximo encontro

Fecharemos a disciplina olhando para o futuro: gêmeos digitais, IA personalizada e a apresentação dos projetos finais.

Encontro 16 · Futuro da medicina e projetos finais →