В международном рецензируемом журнале Quantitative Imaging in Medicine and Surgery (QIMS) уровня Q2 вышла статья о длительном тестировании и мониторинге ИИ-сервиса для анализа маммографии и его последующей интеграции в систему ОМС.
Технический мониторинг работы сервиса охватил 429 027 маммограмм. Клинический мониторинг проводили на отдельной выборке из 480 маммограмм — по 80 исследований в каждый из шести периодов оценки. Тестирование и мониторинг продолжались 2 года и 5 месяцев, в работе участвовали 336 врачей-рентгенологов.
Диагностические показатели — AUC, точность, чувствительность и специфичность — оценивали отдельно в рамках калибровочного тестирования. Калибровочный набор включал 100 маммограмм, а после обновлений сервиса тестирование повторяли. За время исследования показатели изменились следующим образом:
➡️ AUC, показатель способности модели различать случаи с целевой патологией и без нее, — с 0,83 до 0,92
➡️ точность — с 0,77 до 0,90
➡️ чувствительность — с 0,84 до 0,88
➡️ специфичность — с 0,70 до 0,91
Один из примеров работы сервиса, представленных в статье, — анализ скопления микрокальцинатов в верхненаружном квадранте левой молочной железы. ИИ-сервис корректно сегментировал и классифицировал находку, сформировал дополнительную серию изображений с визуализацией результата и структурированный отчет DICOM-SR.
Отдельный масштабный кейс — работа сервиса после включения в территориальную программу ОМС Москвы. За девять месяцев мониторинга в анализ вошли 547 909 маммографий, а средняя доля критических расхождений между категориями BI-RADS, определенными ИИ и врачами-рентгенологами, составила 0,08%.
Все случаи критических расхождений проходили экспертную оценку. В среднем в 32,2% таких случаев врач-эксперт соглашался с оценкой ИИ.
📌 На протяжении всего периода после обновлений оценивали диагностические показатели сервиса и отслеживали его работу в реальной клинической практике. Цикл позволял оценивать изменения диагностических показателей, выявлять ошибки и повторно проверять систему после обновлений. К концу наблюдения итоговые диагностические показатели были выше исходных, а доля технических дефектов снизилась с 3,0% до 0,8%. Методология использовалась при внедрении сервиса в территориальную программу ОМС Москвы.
За публикацией стоит длительная совместная работа. Благодарим Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы за сотрудничество и большой вклад в проведение исследования.
Для команды «Платформа Третье Мнение» эта публикация — важный результат многолетней работы над развитием сервиса и оценкой его работы в реальной клинической практике.
🔗 Полный текст исследования