Deep Learning II: Transformers e a pulsação dos dados

Atenção, séries temporais e sinais fisiológicos em ambientes clínicos

Aprendizado de Máquina para Saúde — Pós-graduação

Abertura: fadiga do alerta vs. atenção da máquina

Mensagem central: em uma UTI moderna, o desafio não é medir mais; é distinguir sinal clínico de ruído operacional.

Alarmes podem refletir deterioração real, eletrodo solto, movimento, má perfusão ou limiares mal ajustados. Um profissional exausto às 3h da manhã sofre fadiga de decisão; um modelo também pode errar se não souber contextualizar.

Exemplo aplicado: uma queda isolada de SpO₂ pode ser artefato; queda de SpO₂ com alteração de ventilação, frequência cardíaca e pressão arterial muda a história.

Sugestão visual: paciente no centro, sinais ao redor e alertas verdadeiros/falsos competindo por atenção.

Que alarme você já viu ser ignorado por excesso de falsos positivos — e o que faltava de contexto?

A aula em uma frase

Transformers deslocam o foco de “ler a sequência passo a passo” para comparar eventos no tempo e priorizar contexto.

1 Sequência

Por que sinais são difíceis?

→

2 Atenção

Como o modelo escolhe relações?

→

3 Sinais

ECG, EEG, UTI e sensores.

→

4 Cuidado

Como alertar com confiança?

Qual decisão clínica depende mais de trajetória do que de uma medida isolada?

Sinais clínicos são tempo, ruído e contexto

Mensagem central: um sinal fisiológico não é apenas uma coluna com valores; é uma trajetória amostrada, imperfeita e situada.

Amostragem

ECG pode ser muito rápido; temperatura pode ser esparsa.

Artefato

movimento, eletrodo, compressão, perda de conexão.

Sincronia

relógios e sensores podem não concordar.

Semântica

queda lenta e queda súbita podem ter significados diferentes.

Exemplo aplicado: hipotensão sustentada por 20 minutos é diferente de queda transitória por calibração do transdutor.

Sugestão visual: cartões de problemas: amostragem, artefato, sincronia e semântica.

Qual transformação temporal pode tornar um sinal modelável, mas apagar informação clínica?

Além das RNNs e LSTMs

Mensagem central: RNNs processam sequências passo a passo; Transformers processam relações entre muitos pontos em paralelo.

RNNs e LSTMs foram importantes para modelar sequências, mas enfrentam dificuldades com dependências longas, gradientes fracos e paralelização. Em sinais longos, isso limita aprendizado e escala.

Exemplo aplicado: em ECG de 24 horas, um padrão raro pode depender de eventos distantes no tempo; ler passo a passo torna essa relação difícil.

Sugestão visual: RNN como fila; Transformer como rede de conexões entre pontos.

Quando uma dependência longa é clinicamente relevante no seu domínio?

Hochreiter & Schmidhuber, Neural Computation, 1997; Vaswani et al., NeurIPS, 2017.

O problema do gradiente e da memória longa

Mensagem central: em sequências longas, informação antiga pode se diluir antes de influenciar a decisão final.

Vanishing gradient

o aprendizado de eventos distantes enfraquece.

Gargalo sequencial

cada passo depende do anterior.

Eventos raros

padrões importantes podem ocupar poucos segundos em horas de monitoramento.

Exemplo aplicado: uma crise epiléptica pode ser precedida por alterações sutis e distribuídas, não por um único ponto facilmente marcado.

Sugestão visual: uma seta longa perdendo intensidade ao atravessar a sequência.

Que evento raro você teme que desapareça quando o sinal é resumido em médias?

Attention is all you need?

Mensagem central: atenção permite que cada ponto da sequência aprenda quais outros pontos são relevantes para interpretá-lo.

Em vez de carregar tudo em uma memória sequencial comprimida, o modelo calcula relações entre posições. Um batimento pode ser interpretado à luz de batimentos anteriores, sinais simultâneos e padrões futuros dentro da janela.

Exemplo aplicado: diferenciar fibrilação atrial de ruído pode exigir comparar irregularidade do ritmo com movimento do paciente e qualidade do sensor.

Sugestão visual: batimento atual com arcos para pontos relevantes da sequência.

Atenção alta em uma região é explicação suficiente ou apenas uma pista?

Vaswani et al., NeurIPS, 2017; Jain & Wallace, NAACL, 2019.

Paralelismo: por que Transformers escalaram

Mensagem central: Transformers aproveitam GPUs porque processam sequências inteiras de modo mais paralelo que RNNs.

Treino em escala

grandes bases como MIMIC e PhysioNet tornam pré-treino viável.

Janelas longas

mais contexto temporal entra no modelo.

Custo

atenção completa cresce caro com sequências muito longas.

Cuidado

escala não substitui qualidade, alinhamento e validação.

Exemplo aplicado: monitoramento minuto a minuto de UTI pode exigir janelas, compressão, mascaramento ou atenção eficiente para caber em memória.

Sugestão visual: processamento paralelo em blocos versus fila sequencial.

Quanto contexto temporal é clinicamente necessário — minutos, horas ou dias?

Sinais multimodais: ECG rápido, temperatura lenta

Mensagem central: integrar sensores exige alinhar escalas de tempo e lidar explicitamente com ausência e artefatos.

ECG pode ter centenas de amostras por segundo, pressão arterial pode ser contínua e temperatura pode ser medida raramente. O modelo precisa saber o que é valor, o que é ausência e o que é frequência.

Exemplo aplicado: em choque séptico, queda de pressão, aumento de frequência cardíaca, alteração de lactato e febre têm tempos diferentes e significado conjunto.

Sugestão visual: três linhas temporais com frequências distintas convergindo para uma janela comum.

Como você representaria um sensor ausente: zero, último valor carregado, máscara ou evento?

Transformers em sinais biomédicos

Mensagem central: o Transformer converte sinais em tokens temporais e aprende relações contextuais para estimar risco.

Cada janela ou evento pode receber uma representação: valor, canal, posição temporal e qualidade. Blocos de atenção combinam informações entre tempos e sensores.

Exemplo aplicado: pré-treinar em grandes bases de ECG ou UTI e ajustar para detecção de sepse neonatal ou hipotensão iminente.

Sugestão visual: sinais → tokens → atenção → risco.

Que tarefa local do seu hospital se beneficiaria de pré-treino em bases públicas?

Johnson et al., Scientific Data, 2016; Goldberger et al., Circulation, 2000.

ECG e wearables: ritmo no mundo real

Mensagem central: wearables ampliam a escala de monitoramento, mas trazem novos artefatos, vieses de acesso e responsabilidades.

Sinal

ECG de uma derivação ou fotopletismografia.

Contexto

movimento, sono, exercício, adesão e dispositivo.

Alvo

fibrilação atrial, arritmias, risco cardiometabólico.

Risco

falso positivo gera ansiedade, exames e sobrecarga assistencial.

Exemplo aplicado: detecção de fibrilação atrial em smartwatch precisa separar irregularidade real de movimento, má qualidade do sensor e população selecionada por acesso ao dispositivo.

Sugestão visual: relógio, traçado e acelerômetro como fontes conjuntas.

Quem fica de fora quando o modelo depende de wearable compatível e uso contínuo?

Perez et al., NEJM, 2019; Tison et al., JAMA Cardiology, 2018.

UTI: prever hipotensão não é só detectar pressão baixa

Mensagem central: prever instabilidade exige antecipar a trajetória antes da intervenção clínica, sem usar sinais posteriores como atalho.

Antes

tendência de PA, FC, SpO₂, ventilação, medicações.

Alerta

janela de 1–2 horas para intervenção.

Depois

vasopressor, bolus, ajuste ventilatório e desfecho.

Exemplo aplicado: usar início de vasopressor para “prever” hipotensão pode ser leakage se o objetivo é alertar antes da decisão terapêutica.

Sugestão visual: linha do tempo com antes, alerta e tratamentos posteriores bloqueados.

Qual variável na UTI indica doença — e qual indica que a equipe já percebeu a doença?

Hyland et al., Nature Medicine, 2020; Futoma et al., Machine Learning for Healthcare, 2017.

EEG e crises: tempo real com incerteza

Mensagem central: em EEG, a utilidade clínica depende de detectar eventos raros com baixa latência e poucos falsos alarmes.

Alta frequência

muitos canais e longas horas de gravação.

Evento raro

crises podem ocupar pequena fração do registro.

Artefatos

movimento, músculo, eletrodo e ambiente.

Uso clínico

alerta em tempo real precisa explicar janela e confiança.

Exemplo aplicado: um sistema de detecção de crise pode priorizar trechos para revisão, mas precisa controlar falsos positivos para não destruir confiança.

Sugestão visual: múltiplos canais de EEG com região destacada e alerta graduado.

Quando um falso positivo em EEG é apenas incômodo — e quando causa dano?

Roy et al., Journal of Neural Engineering, 2019; Craik et al., Journal of Neural Engineering, 2019.

Explicabilidade: mostrar tempo, canal e incerteza

Mensagem central: um alerta temporal confiável precisa dizer onde olhou, que padrão viu e quão incerto está.

Mapas de atenção podem sugerir janelas importantes, mas não são automaticamente explicações causais. Explicabilidade clínica deve combinar evidência temporal, qualidade do sinal e consequência recomendada.

Exemplo aplicado: “risco de instabilidade em 2h: 78%; maior contribuição: queda progressiva de PA e taquicardia sustentada; qualidade do ECG baixa nos últimos 5 min.”

Sugestão visual: traçado com regiões destacadas e cartão de explicação textual.

Que explicação faria você confiar — ou desconfiar — de um alerta em plantão?

Atividade: arquiteto da UTI inteligente

Cenário: projetar um sistema de suporte à decisão que integra ECG contínuo, pressão arterial invasiva e saturação de oxigênio para alertar instabilidade cardiorrespiratória.

1

Representação

Como alinhar sinais com frequências diferentes?

2

Atenção

Que relações temporais e entre sensores importam?

3

Explicação

O que o alerta deve mostrar ao médico?

4

Governança

Quando pausar, recalibrar ou ignorar o modelo?

10 min · arquitetura10 min · clínica10 min · explicabilidade

Se o modelo errar, o erro será de sensor, representação, rótulo, atenção ou fluxo de trabalho?

Checklist para Transformers em sinais clínicos

Janela temporal

quanto passado é necessário?

Amostragem

como alinhar frequências diferentes?

Artefato

como sinalizar qualidade e ausência?

Leakage

tratamentos posteriores foram removidos?

Explicação

tempo, canal e incerteza são visíveis?

Validação

funciona em outro monitor, UTI e população?

Sugestão visual: checklist de pré-implantação para sinais temporais.

Qual item desse checklist você considera mais difícil de cumprir?

Cinco ideias para levar

1 Sinais clínicos são trajetórias ruidosas, não pontos isolados.

2 RNNs leem passo a passo; Transformers aprendem relações globais.

3 Atenção ajuda a priorizar contexto, mas não é explicação automática.

4 Multimodalidade exige alinhar amostragem, ausência e artefato.

5 Alertas úteis precisam de tempo de ação, incerteza e validação externa.

Antes de perguntar “qual Transformer?”, pergunte: qual trajetória clínica o modelo precisa entender — e que ruído pode fazê-lo parecer inteligente?

Próximo encontro

Vimos como a máquina interpreta sequências de sinais. Agora veremos como ela interpreta sequências de palavras.

Texto clínico

evoluções, laudos, notas e sumários.

Embeddings

representações de termos e contexto.

BERT clínico

NLP biomédico e linguagem médica.

Risco

negação, temporalidade, privacidade e viés.

← ÍNDICE DA DISCIPLINA

Referências e créditos

Sequências, atenção e Transformers

• Hochreiter, S.; Schmidhuber, J. Long short-term memory. Neural Computation (1997). DOI.
• Vaswani, A. et al. Attention is all you need. NeurIPS (2017). PDF.
• Jain, S.; Wallace, B. C. Attention is not explanation. NAACL (2019). DOI.
• Lim, B. et al. Temporal Fusion Transformers for interpretable multi-horizon time series forecasting. International Journal of Forecasting (2021). DOI.

Sinais biomédicos, UTI e bases públicas

• Goldberger, A. L. et al. PhysioBank, PhysioToolkit, and PhysioNet. Circulation (2000). DOI.
• Johnson, A. E. W. et al. MIMIC-III, a freely accessible critical care database. Scientific Data (2016). DOI.
• Hyland, S. L. et al. Early prediction of circulatory failure in the intensive care unit using machine learning. Nature Medicine (2020). DOI.
• Perez, M. V. et al. Large-scale assessment of a smartwatch to identify atrial fibrillation. New England Journal of Medicine (2019). DOI.
• Tison, G. H. et al. Passive detection of atrial fibrillation using a commercially available smartwatch. JAMA Cardiology (2018). DOI.
• Roy, Y. et al. Deep learning-based electroencephalography analysis: a systematic review. Journal of Neural Engineering (2019). DOI.
• Craik, A.; He, Y.; Contreras-Vidal, J. L. Deep learning for electroencephalogram classification tasks. Journal of Neural Engineering (2019). DOI.

Figuras

• Todas as figuras SVG foram criadas para esta aula como recursos gráficos autorais didáticos.