Os modelos de IA clínica funcionam frequentemente bem no dia em que são lançados. Meses depois, podem degradar-se silenciosamente à medida que a prática médica evolui, os sistemas de registo mudam e as populações de pacientes se alteram. Este problema, conhecido como deriva de modelo, ameaça os resultados dos pacientes quando não é detetado. Uma nova bolsa de quatro anos, no valor de $1.6 million, da Biblioteca Nacional de Medicina visa dar aos sistemas de saúde formas práticas de manter estas ferramentas precisas para todos aqueles a quem servem [1].
Por que os modelos de IA clínica perdem precisão
Os modelos preditivos na medicina enfrentam duas fraquezas relacionadas. Primeiro, o desempenho deriva ao longo do tempo à medida que os fluxos de trabalho clínicos, os sistemas de informação e a demografia dos pacientes mudam [1]. Segundo, os modelos generalizam frequentemente mal entre diferentes grupos clínicos, geográficos ou sociodemográficos [1]. Se não forem controlados, ambos os problemas minam a confiança e podem alargar disparidades nos cuidados.
O desvio de conjunto de dados — mudanças temporais nos padrões de prática, na mistura de pacientes e na infraestrutura de dados — está agora bem documentado como um fator principal da deterioração da precisão do modelo [5]. Embora existam boas práticas para treinar e validar novos modelos, tem havido trabalho limitado sobre validação prospectiva e manutenção contínua [5].
Do modelo de lesão renal do VA ao monitoramento mais amplo de subgrupos
Sharon Davis, PhD, Professora Assistente de Informática Biomédica no Centro Médico da Universidade de Vanderbilt, desenvolveu anteriormente métodos baseados em dados que monitoram modelos implementados, detetam deriva e recomendam atualizações [1]. Essa abordagem ajudou a manter um modelo de risco nacional do Departamento de Assuntos de Veteranos para lesão renal aguda [1].
A maioria dos métodos de manutenção, no entanto, acompanha o desempenho na população de pacientes como um todo [1]. O novo projeto coloca uma questão diferente: como é que as lacunas de precisão entre grupos de pacientes mudam ao longo do tempo e como podemos detetá-las e corrigi-las? [1]
Quatro objetivos de pesquisa apoiados por financiamento do NIH
Utilizando dados do VA e do Vanderbilt Health, Davis e colegas irão estudar modelos de previsão para complicações cirúrgicas, lesão renal aguda adquirida no hospital e hemorragia pós-parto [1]. O trabalho tem quatro objetivos específicos:
- Acompanhar como as lacunas de desempenho entre grupos de pacientes mudam ao longo do tempo, tanto em modelos tradicionais de machine learning como em modelos de linguagem de grande escala usados para previsão [1].
- Desenvolver métodos de monitoramento e atualização que restauram a precisão tanto globalmente como dentro de subgrupos [1].
- Usar dados sintéticos de pacientes para apoiar o monitoramento de grupos pequenos, como pacientes em hospitais rurais [1].
- Ter em conta a forma como uma ferramenta de IA eficaz altera os próprios resultados que prevê — uma mudança que pode ser confundida com deriva [1].
Este último objetivo será testado numa ferramenta de previsão de hemorragia pós-parto já em uso no Vanderbilt Health [1].
Equidade, governança e a lacuna de manutenção
Davis faz parte do Comitê de Governança de Inteligência Artificial do VUMC, fornecendo experiência em equidade algorítmica e viés [2][3]. A sua carreira centrou-se em métodos que suportam implementações de IA clínica sustentáveis e justas [2][3]. A nova bolsa estende esse trabalho ao abordar uma lacuna crítica: as boas práticas para políticas de manutenção de modelos, perspetivas de monitoramento de desempenho e estratégias de atualização permanecem subdesenvolvidas [5].
Os sistemas de saúde que implementam ferramentas de IA precisam de mais do que validação inicial. Precisam de sistemas de vigilância automatizados que promovam desempenho e utilidade a longo prazo em populações diversas [2][3]. Esta investigação visa fornecer esses métodos práticos.
O que isto significa para hospitais e clínicos
Um modelo que funciona bem no dia da implementação não continuará necessariamente a funcionar bem, nem a funcionar igualmente bem para todos os grupos de pacientes [1]. O objetivo é dar aos sistemas de saúde formas práticas de manter estas ferramentas precisas e fiáveis para todos aqueles a quem servem [1]. À medida que a adoção de IA clínica acelera, a capacidade de monitorar e atualizar modelos — especialmente para subgrupos sub-representados — torna-se um imperativo de segurança do paciente.
Se a sua organização está a avaliar ferramentas de IA clínica, pergunte aos fornecedores sobre a sua estratégia de monitoramento pós-implementação. Procure evidências de rastreamento de desempenho de subgrupos e um caminho de atualização claro. A investigação em curso em Vanderbilt poderá em breve fornecer métodos abertos que pode adotar diretamente.
Fontes
- Sharon Davis receives research grant to keep clinical AI models …
- Open questions and research gaps for monitoring and … - Frontiers
- Sharon E. Davis, PhD, MS, FAMIA - Vanderbilt University Medical Center
- Sharon Davis, PhD, MS, FAMIA - Vanderbilt University Medical Center
- Sharon DAVIS | Predoctoral Trainee | M.Stat. | Vanderbilt University …
