Насколько вообще корректно ставить знак равенства между ошибками врачей и "ошибками" ИИ-систем в таком сравнительном анализе? Может, я вообще не так рассуждаю, и эти метрики несопоставимы?
Те ИИ-модели которые мне известны в медицине не совсем корректно соотносить с работой обычного врача. Чаще всего это скорее вопросы диагностики, где основную роль играет насмотренность.
В медицинской практике есть к примеру рентгенологи, которые работают в институте туберкулёза и болезней лёгких - понятно, что их насмотренность в такой патологии существенная.
Или патологоанатомы, которые диагностируют опухоли. Тут важно, что патолог работает в крупном онкоцентре, где частота какого то определенного рака выше, настолько что он уже может не просто поставить диагноз, но и видеть какие то более глубокие особенности опухоли.
В то время как рентгенолог или патологоанатом где то в ЦРБ "сидит" совсем на другом материале и может допустить ошибку. Потому и принято ездить со стеклами в крупный центр.
Другой очень удачной моделью является ИИ в колоноскопии, система анализирует видеозапись в реальном времени и подсвечивает врачу участки, которые стоит проверить ещё раз. Особенно хорошие результаты эта модель показала себя в исследовании усталости врачей. С утра доктор свеж и бодр и способен сам почти все увидеть. А через 5 часов, ситуация сильно меняется и ошибок становится больше.
Когда мы сравниваем врача и модель ИИ для медицинских нужд, мы вероятно допускаем не совсем корректное "кто лучше". Одно дело врач, принимающий решение и оценивающий данные в совокупности. Другое дело его ИИ помощник. Мы же представляем себе как компьютер ставит нам диагноз и выдает назначения без человека вообще, а это не совсем пока верно.
Приведу примитивный пример с навигатором. Все мы используем в машине навигатор. Он строит маршруты. Когда ездишь из дома на работу и хорошо знаешь дорогу, видишь огрехи работы этого ИИ помощника, он может порой завести в дебри. Но если ты в незнакомом городе, то такой проводник это лучший вариант достичь цели, пусть и допустив два-три поворота не туда. Ну и все таки, машину (пока) ведёт водитель, а не навигатор))
Какой уровень ошибок ИИ-инструмента был бы для вас, как для эксперта по врачебным ошибкам, приемлемым для использования в качестве вспомогательного инструмента (именно вспомогательного, не заменяющего врача)? Есть ли вообще такой порог, или любое использование ИИ в медицинском контексте на текущем этапе преждевременно?
Есть о чем подумать. Не предъявляем ли мы к ИИ модели больше требований чем к человеку. В том смысле, что человек имеет право на ошибку, а ИИ модель нет, она должна быть точна на 99,99%? И ошибка ИИ кажется нам более неприемлемой чем ошибка человека? Это конечно вопрос психологии, философии и всех прекрасных наук, где мы думаем почему человек делает и думает так.
Основой для ошибки, при добросовестном поведении врача (имею в виду отсутствие пренебрежения правилами, стандартами, забывчивость, несовершенство организации) как у живого врача, так и у ИИ модели является набор данных, получаемых от пациента. Учитывая, что мы о человеке знаем много, но ничтожно мало, этот набор данных нельзя назвать идеальным и достаточным в каждом случае. Одни только варианты сценариев "атипичность", "бессимптомность", "коморбидность" чего стоят.
У обоих моделей (человек и ИИ) есть свои сильные и слабые стороны. К примеру ИИ не может пропустить часть алгоритма, тогда как человек (особенно с русским характером) вполне. Иногда именно жесткое соблюдение протокола даёт те самые изменения, инициирующие следующеий диагностический поиск и, достижение правильного диагноза.
Думаю, что вопрос преждевременности использования ИИ в медицине уже не стоит. Это не будущее, а скорее то настоящее, которое за окном. Вопрос лишь лучших практик использования такого помощника, настройки модели и креативности в разработке новых направлений в его использовании.