FT: ИИ технологии в медицине внедряют быстрее, чем успевают их проверить

Внедрение ИИ в медицине набирает обороты, но вместе с потенциальной пользой растут и риски. Один из примеров — система для раннего выявления сепсиса, которая слишком часто выдавала предупреждения. Врачи перестали ей доверять, что показало проблему: даже работающий алгоритм может не приносить пользы, если его не проверили в реальной клинической практике.

Отсутствие контроля за тем, как ведёт себя ИИ в реальной медицине, может иметь серьёзные последствия для пациентов. Кроме того, становится сложнее доказать, что конкретные инструменты действительно улучшают лечение или оправдывают вложенные в них инвестиции.

Сторонники ИИ утверждают, что технологии могут снижать административную нагрузку на врачей за счёт автоматизации записей. К другим применениям относятся мониторинг пациентов с помощью носимых устройств, анализ больших массивов данных для прогнозирования заболеваний и ускорение разработки лекарств. В некоторых областях уже есть убедительные результаты: например, системы компьютерного зрения помогают обнаруживать больше полипов при колоноскопии. Однако генеративный ИИ нередко внедряется скорее из-за технологического «вау-эффекта», чем на основании достаточного количества клинических данных.

Главная проблема — разрыв между тем, что алгоритм хорошо работает в статистическом тестировании, и доказательством того, что он действительно улучшает лечение. При этом компании не всегда обязаны раскрывать данные, на которых обучались их системы, методологию и результаты независимой внешней проверки. Без такой прозрачности тестирование инструментов ложится на медицинские учреждения, однако не все располагают необходимыми для этого ресурсами.

В США FDA одобрило 258 медицинских устройств с ИИ в 2025 году. Однако лишь небольшая доля имела данные клинических исследований, сопоставимые с требуемыми при одобрении лекарств. Традиционные рандомизированные исследования также не всегда подходят для больших языковых моделей, поскольку такие системы постоянно обновляются.

Регуляторы пытаются адаптироваться, в том числе обсуждая условное одобрение технологий и постоянный мониторинг после их внедрения. Но развитие ИИ идёт быстрее, чем формируются соответствующие правила контроля, из-за чего регуляторам сложно своевременно оценивать новые технологии.

ИИ может создавать и новые различия в доступе к качественной медицинской помощи. Небольшим сельским больницам может не хватать ресурсов для самостоятельной проверки алгоритмов.

Например, одна система оценки рисков использовала прошлые расходы на медицинскую помощь как показатель будущей потребности в лечении и в результате недооценивала потребность в помощи у представителей этнических меньшинств и людей, не говорящих по-английски.

Одна из фундаментальных проблем — отсутствие качественных и разнообразных данных для проверки ИИ в реальных условиях. Медицинские данные хранятся в изолированных системах и тщательно защищаются, поэтому регуляторам и разработчикам сложно получить независимые наборы данных. Для полноценного мониторинга эффективности нужна инфраструктура, которой в здравоохранении традиционно не хватало.

Создаются крупные наборы данных для тестирования алгоритмов, а исследователи разрабатывают методы оценки их влияния на здоровье пациентов. В центре внимания оказывается уже не только вопрос, работает ли инструмент, но и то, как он меняет результаты лечения в реальной практике.

💊 https://perforum.io/news/threads/692ecf855cebe