Model AI klinis sering bekerja dengan baik pada hari peluncurannya. Bulan kemudian, model tersebut dapat menurun secara diam-diam seiring berkembangnya praktik medis, perubahan sistem pencatatan, dan pergeseran populasi pasien. Masalah ini, yang dikenal sebagai model drift, mengancam hasil pasien jika tidak terdeteksi. Hibah baru selama empat tahun sebesar $1,6 juta dari National Library of Medicine bertujuan memberikan cara praktis bagi sistem kesehatan untuk menjaga akurasi alat-alat ini bagi semua yang dilayani [1].
Mengapa model AI klinis kehilangan akurasi
Model prediktif dalam kedokteran menghadapi dua kelemahan terkait. Pertama, performa melenceng seiring waktu karena alur kerja klinis, sistem informasi, dan demografi pasien berubah [1]. Kedua, model sering gagal menggeneralisasi dengan baik di berbagai kelompok klinis, geografis, atau sosiodemografis [1]. Jika dibiarkan, kedua masalah ini merusak kepercayaan dan dapat memperlebar kesenjangan dalam perawatan.
Pergeseran dataset — perubahan temporal dalam pola praktik, campuran pasien, dan infrastruktur data — kini terdokumentasi dengan baik sebagai penyebab utama menurunnya akurasi model [5]. Meskipun praktik terbaik ada untuk melatih dan memvalidasi model baru, pekerjaan validasi prospektif dan pemeliharaan berkelanjutan masih terbatas [5].
Dari model cedera ginjal VA ke pemantauan subkelompok yang lebih luas
Sharon Davis, PhD, Profesor Asisten Informatika Biomedis di Vanderbilt University Medical Center, sebelumnya mengembangkan metode berbasis data yang memantau model yang dideploy, mendeteksi drift, dan merekomendasikan pembaruan [1]. Pendekatan itu membantu memelihara model risiko nasional Departemen Veteran Affairs untuk cedera ginjal akut [1].
Namun, sebagian besar metode pemeliharaan melacak performa di seluruh populasi pasien secara keseluruhan [1]. Proyek baru ini mengajukan pertanyaan berbeda: bagaimana kesenjangan akurasi antara kelompok pasien bergeser seiring waktu, dan bagaimana kita bisa mendeteksi dan memperbaikinya? [1]
Empat tujuan penelitian didanai oleh NIH
Menggunakan data VA dan Vanderbilt Health, Davis dan rekan akan mempelajari model prediksi untuk komplikasi bedah, cedera ginjal akut yang diperoleh di rumah sakit, dan hemoragio pasca melahirkan [1]. Pekerjaan ini memiliki empat tujuan spesifik:
- Melacak bagaimana kesenjangan performa antara kelompok pasien berubah seiring waktu, baik pada model machine learning tradisional maupun large language model yang digunakan untuk prediksi [1].
- Mengembangkan metode pemantauan dan pembaruan yang memulihkan akurasi secara keseluruhan dan di dalam subkelompok [1].
- Menggunakan data pasien sintetis untuk mendukung pemantauan kelompok kecil, seperti pasien di rumah sakit pedesaan [1].
- Mempertimbangkan cara alat AI yang efektif mengubah hasil yang diprediksinya — pergeseran yang bisa disalahartikan sebagai drift [1].
Tujuan terakhir itu akan diuji pada alat prediksi hemoragio pasca melahirkan yang sudah digunakan di Vanderbilt Health [1].
Keadilan, tata kelola, dan kesenjangan pemeliharaan
Davis bergabung dalam Komite Tata Kelola Kecerdasan Buatan VUMC, memberikan keahlian dalam keadilan dan bias algoritmik [2][3]. Karirnya berfokus pada metode yang mendukung penerapan AI klinis yang berkelanjutan dan adil [2][3]. Hibah baru ini memperluas pekerjaan tersebut dengan menargetkan kesenjangan kritis: praktik terbaik untuk kebijakan pemeliharaan model, perspektif pemantauan performa, dan strategi pembaruan masih belum berkembang sepenuhnya [5].
Sistem kesehatan yang menerapkan alat AI butuh lebih dari validasi awal. Mereka butuh sistem pengawasan otomatis yang mendorong performa dan kegunaan jangka panjang di seluruh populasi yang beragam [2][3]. Penelitian ini bertujuan menghadirkan metode praktis tersebut.
Apa artinya untuk rumah sakit dan klinisi
Model yang berkinerja baik pada hari deployment tidak tentu terus berkinerja baik, atau berkinerja sama baiknya untuk setiap kelompok pasien [1]. Tujuannya adalah memberikan sistem kesehatan cara praktis untuk menjaga alat-alat ini tetap akurat dan andal bagi semua yang dilayani [1]. Seiring percepatan adopsi AI klinis, kemampuan memantau dan memperbarui model — terutama untuk subkelompok yang kurang terwakili — menjadi keharusan keselamatan pasien.
Jika organisasi Anda mengevaluasi alat AI klinis, tanyakan kepada vendor tentang strategi pemantauan pasca-deployment mereka. Cari bukti pelacakan performa subkelompok dan jalur pembaruan yang jelas. Penelitian yang berlangsung di Vanderbilt mungkin segera menyediakan metode terbuka yang bisa Anda adopsi langsung.
Sumber
- Sharon Davis menerima hibah penelitian untuk menjaga model AI klinis …
- Pertanyaan terbuka dan kesenjangan penelitian untuk pemantauan dan … - Frontiers
- Sharon E. Davis, PhD, MS, FAMIA - Vanderbilt University Medical Center
- Sharon Davis, PhD, MS, FAMIA - Vanderbilt University Medical Center
- Sharon DAVIS | Predoctoral Trainee | M.Stat. | Vanderbilt University …
