Klinik AI modelleri genellikle lansman gününde iyi çalışır. Aylar sonra, tıbbi uygulama evrildiğinde, kayıt sistemleri değiştiğinde ve hasta popülasyonları kaydığında, bu modeller sessizce bozulabilir. Bu sorun, model sapması olarak bilinir ve tespit edilmediğinde hasta sonuçlarını tehdit eder. Ulusal Tıp Kütüphanesinden gelen yeni dört yıllık, $1.6 million hibeyi, sağlık sistemlerine bu araçları hizmet verdikleri herkes için doğru tutmanın pratik yollarını sağlamayı hedefliyor [1].
Neden klinik AI modelleri doğruluk kaybeder
Tıptaki tahmin modelleri iki ilgili zayıflıkla karşı karşıya kalır. İlk olarak, klinik iş akışları, bilgi sistemleri ve hasta demografisi değiştiğinde performans zamanla sapar [1]. İkinci olarak, modeller genellikle farklı klinik, coğrafi veya sosyodemografik gruplar genelinde kötü genelleme yapar [1]. Kontrol edilmezse, her iki sorun da güveni eritir ve bakımda eşitsizlikleri büyütebilir.
Veri kümesi kayması — uygulama kalıplarında, hasta kombinasyonunda ve veri altyapısında zamanla oluşan değişiklikler — model doğruluğunun bozulmasının birincil sürücüsü olarak artık iyi belgelenmiştir [5]. Yeni modelleri eğitmek ve doğrulamak için en iyi uygulamalar mevcut olsa da, ileri yönlü doğrulama ve sürekli bakım konusunda sınırlı çalışma yapılmıştır [5].
VA böbrek hasarı modelinden daha geniş alt grup izlemesine
Vanderbilt Üniversitesi Tıp Merkezi’nde Biyomedikal Bilişim Yardımcı Doçenti Sharon Davis, PhD, daha önce dağıtılan modelleri izleyen, sapmayı tespit eden ve güncellemeler öneren veri odaklı yöntemler geliştirdi [1]. Bu yaklaşım, ulusal ABD Savunma Bakanlığı akut böbrek hasarı risk modelinin sürdürülmesine yardımcı oldu [1].
Ancak çoğu bakım yöntemi, performansı tüm hasta popülasyonu genelinde takip eder [1]. Yeni proje farklı bir soru soruyor: hasta grupları arasındaki doğruluk boşlukları zaman içinde nasıl değişir ve bunları nasıl yakalayıp düzeltebiliriz? [1]
NIH fonuyla desteklenen dört araştırma hedefi
VA ve Vanderbilt Health verilerini kullanarak, Davis ve arkadaşları cerrahi komplikasyonlar, hastane kaynaklı akut böbrek hasarı ve doğum sonrası kanama için tahmin modellerini inceleyecek [1]. Çalışmanın dört özel hedefi var:
- Hasta grupları arasındaki performans boşluklarının zaman içinde nasıl değiştiğini, hem geleneksel makine öğrenmesi modellerinde hem de tahmin için kullanılan büyük dil modellerinde izlemek [1].
- Genel ve alt gruplar içinde doğruluğu geri getiren izleme ve güncelleme yöntemleri geliştirmek [1].
- Kırsal hastanelerdeki hastalar gibi küçük gruplar için izlemeyi desteklemek amacıyla sentetik hasta verilerini kullanmak [1].
- Etkili bir AI aracının, tahmin ettiği sonuçları nasıl değiştirdiğini hesaba katmak — bu kayma, sapma olarak yanlış anlaşılabilir [1].
Bu son hedef, Vanderbilt Health’ta zaten kullanımda olan bir doğum sonrası kanama tahmin aracında test edilecek [1].
Adalet, yönetim ve bakım boşluğu
Davis, VUMC’nin Yapay Zeka Yönetim Kurulu’nda görev almakta ve algoritmik adalet ve önyargı konusunda uzmanlık sağlamaktadır [2][3]. Kariyeri, sürdürülebilir ve adil klinik AI dağıtımlarını destekleyen yöntemlere odaklanmıştır [2][3]. Yeni hibe, kritik bir boşluğu gidererek bu çalışmayı genişletmektedir: model bakım politikaları, performans izleme perspektifleri ve güncelleme stratejileri için en iyi uygulamalar henüz yeterince geliştirilmemiştir [5].
AI araçları dağıtan sağlık sistemlerine başlangıç doğrulamasından fazlası gerekir. Çeşitli popülasyonlar genelinde uzun vadeli performansı ve faydayı teşvik eden otomatik gözetim sistemlerine ihtiyaçları vardır [2][3]. Bu araştırma, bu pratik yöntemleri sunmayı hedeflemektedir.
Bu, hastaneler ve klinisyenler için ne anlama geliyor
Dağıtım gününde iyi performans gösteren bir model, zorunlu olarak iyi performans gösterecek veya her hasta grubu için eşit derecede iyi performans gösterecek değildir [1]. Amaç, sağlık sistemlerine bu araçları hizmet verdikleri herkes için doğru ve güvenilir tutmanın pratik yollarını sağlamaktır [1]. Klinik AI benimsenmesi hızlandıkça, modelleri izleme ve güncelleme yeteneği — özellikle az temsil edilen alt gruplar için — bir hasta güvenliği zorunluluğu haline gelmektedir.
Kurumunuz klinik AI araçlarını değerlendiriyorsa, satıcılardan dağıtım sonrası izleme stratejileri hakkında sorun. Alt grup performans takibi ve net bir güncelleme yolu kanıtlarını arayın. Vanderbilt’da devam eden araştırma, doğrudan benimseyebileceğiniz açık yöntemleri yakında sağlayabilir.
Kaynaklar
- Sharon Davis receives research grant to keep clinical AI models …
- Open questions and research gaps for monitoring and … - Frontiers
- Sharon E. Davis, PhD, MS, FAMIA - Vanderbilt University Medical Center
- Sharon Davis, PhD, MS, FAMIA - Vanderbilt University Medical Center
- Sharon DAVIS | Predoctoral Trainee | M.Stat. | Vanderbilt University …
