Клинические модели ИИ часто хорошо работают в день запуска. Через месяцы они могут незаметно деградировать по мере развития медицинской практики, изменения систем учета и смещения пациентских популяций. Эта проблема, известная как дрифт модели, угрожает исходам лечения пациентов, если остается необнаруженной. Новый четырехлетний грант в размере 1,6 млн долларов от Национальной библиотеки медицины направлен на то, чтобы дать системам здравоохранения практические способы поддерживать точность этих инструментов для всех, кому они служат [1].
Почему клинические модели ИИ теряют точность
Прогностические модели в медицине сталкиваются с двумя связанными слабостями. Во-первых, производительность дрифтует со временем по мере изменения клинических рабочих процессов, информационных систем и демографии пациентов [1]. Во-вторых, модели часто плохо обобщаются на разных клинических, географических или социодемографических группах [1]. Если не контролировать, обе проблемы подрывают доверие и могут расширить неравенство в лечении.
Смещение набора данных — временные изменения в паттернах практики, составе пациентов и инфраструктуре данных — теперь хорошо задокументировано как основной фактор ухудшения точности модели [5]. Хотя существуют лучшие практики для обучения и валидации новых моделей, работы по проспективной валидации и текущему сопровождению остаются ограниченными [5].
От модели поражения почек в VA к более широкому мониторингу подгрупп
Шэрон Дэвис, PhD, доцент биомедицинской информатики в Медицинском центре Вандербильта, ранее разработала основанные на данных методы, которые мониторят развернутые модели, обнаруживают дрифт и рекомендуют обновления [1]. Этот подход помог поддерживать национальную модель риска Департамента ветеранов для острого поражения почек [1].
Однако большинство методов сопровождения отслеживают производительность по пациентской популяции в целом [1]. Новый проект ставит другой вопрос: как меняются разрывы в точности между группами пациентов со временем и как мы можем их выявлять и исправлять? [1]
Четыре исследовательские цели, финансируемые NIH
Используя данные VA и Vanderbilt Health, Дэвис и коллеги будут изучать прогностические модели для хирургических осложнений, острого поражения почек, приобретенного в стационаре, и послеродовых кровотечений [1]. Работа имеет четыре конкретные цели:
- Отслеживать, как разрывы в производительности между группами пациентов меняются со временем, как в традиционных моделях машинного обучения, так и в больших языковых моделях, используемых для прогнозирования [1].
- Разработать методы мониторинга и обновления, восстанавливающие точность как в целом, так и внутри подгрупп [1].
- Использовать синтетические данные пациентов для поддержки мониторинга для малых групп, таких как пациенты сельских больниц [1].
- Учитывать то, как эффективный инструмент ИИ меняет сами исходы, которые он прогнозирует — сдвиг, который можно ошибочно принять за дрифт [1].
Эта последняя цель будет протестирована на инструменте прогнозирования послеродового кровотечения, уже используемом в Vanderbilt Health [1].
Справедливость, управление и пробел в сопровождении
Дэвис входит в Комитет по управлению ИИ VUMC, предоставляя экспертизу в алгоритмической справедливости и смещении [2][3]. Ее карьера сосредоточена на методах, поддерживающих устойчивые и справедливые развертывания клинического ИИ [2][3]. Новый грант расширяет эту работу, адресуя критический пробел: лучшие практики для политик сопровождения моделей, перспектив мониторинга производительности и стратегий обновления остаются недостаточно разработанными [5].
Системам здравоохранения, развертывающим инструменты ИИ, нужно больше, чем первоначальная валидация. Им нужны автоматизированные системы наблюдения, способствующие долгосрочной производительности и полезности в разнообразных популяциях [2][3]. Это исследование направлено на предоставление этих практических методов.
Что это означает для больниц и клиницистов
Модель, которая хорошо работает в день развертывания, не обязательно продолжит работать хорошо или одинаково хорошо для каждой группы пациентов [1]. Цель — дать системам здравоохранения практические способы поддерживать эти инструменты точными и надежными для всех, кого они обслуживают [1]. По мере ускорения внедрения клинического ИИ способность мониторить и обновлять модели — особенно для недостаточно представленных подгрупп — становится императивом безопасности пациентов.
Если ваша организация оценивает клинические инструменты ИИ, спрашивайте поставщиков о их стратегии мониторинга после развертывания. Ищите доказательства отслеживания производительности подгрупп и четкого пути обновления. Исследования, проводимые в Вандербильте, могут вскоре предоставить открытые методы, которые вы сможете внедрить напрямую.
Источники
- Шэрон Дэвис получает исследовательский грант для поддержания точности клинических моделей ИИ …
- Открытые вопросы и пробелы в исследованиях для мониторинга и … - Frontiers
- Шэрон Е. Дэвис, PhD, MS, FAMIA - Медицинский центр Вандербильта
- Шэрон Дэвис, PhD, MS, FAMIA - Медицинский центр Вандербильта
- Шэрон ДЕЙВИС | Докторант | M.Stat. | Университет Вандербильта …
