Специализированные ИИ для здравоохранения набирают обороты: от чат-ботов вроде ChatGPT Health, которым пользователи могут задавать вопросы по своему здоровью, до медицинских устройств на основе ИИ, наводнивших рынок за последние годы. Но по мере расширения охвата растут и ущерб, который они могут причинить, и стремление компаний обезопасить себя.

Когда в январе 2026 г. OpenAI объявила о запуске ChatGPT Health, она сделала несколько дисклеймеров: приложение “не предназначено для диагностики или лечения”, а его цель - помочь подготовиться к приему у врача, разобраться в анализах и получить советы по питанию и тренировкам. К тому времени, по данным самой компании, 230 млн человек в неделю советовались с обычным ChatGPT по поводу своего здоровья - что сопоставимо с глобальным охватом первичного звена.

Большинство запросов не ограничиваются диетологией: пациенты пытаются поставить себе диагноз и узнать, насколько срочно им следует обращаться к врачу. Но вместо того, чтобы напоминать им, что LLM часто ошибаются, OpenAI пошла по противоположному пути: новая модель получила название Health, что повышает доверие пользователей к ответам, а “улучшенная система защиты данных” располагает к загрузке личной информации, включая медицинские карты.

Исследователи из Маунт-Синай решили узнать, хорошо ли версия Health справляется с реальными запросами. Они разработали 60 сценариев из 21 области медицины и давали их ChatGPT Health. Выяснилось, что разработчики смогли устранить дискриминацию - раса и пол практически не влияли на ответы, но на этом хорошие новости заканчивались.

Платформа выявляла часто встречающиеся неотложные состояния, такие как инсульт и тяжелые аллергические реакции, но терялась при менее распространенных, например, диабетическом кетоацидозе и дыхательной недостаточности. В 51,6% случаев, когда требовалась немедленная госпитализация, ИИ рекомендовал подождать пару дней, прежде чем обращаться к врачу. Зато 64,8% пациентов с незначительными симптомами, вроде трехдневной боли в горле, получали совет идти в больницу.

Заодно оказалось, что ChatGPT Health легко сбить с толку в случае суицидальных намерений. Когда пациент говорил, что хочет наглотаться таблеток, модель действовала по протоколу, выводя баннер кризисной помощи. Но если исследователи добавляли к тому же запросу никак не связанные с ним нормальные результаты анализов, ИИ делал вывод, что пациент не нуждается в помощи.

Реакция OpenAI? “Исследование не отражает то, как пользователи используют ChatGPT Health в реальной жизни, а модель постоянно совершенствуется”. Иными словами, продолжайте активно пользоваться нашими продуктами, но если они навредят вам - то это потому, что вы вышли за пределы советов по спортивным упражнениям.

За последние годы на рынок было выпущено множество ИИ-оборудования для врачей, и здесь ситуация обстоит точно также. FDA одобрила 1357 медицинских устройств с ИИ - от хирургических приборов до кардиомониторов и УЗИ-аппаратов. Одной из самых скандальных оказалась система TruDi от Acclarent, использующая ИИ для распознавания анатомических особенностей пациента и расчета кратчайшего пути между точками, заданными врачом. Против компании подали иски 2 пациентки, которым хирург Марк Дин ввел инструменты в нос по подсказкам TruDi, но повредил сонную артерию и спровоцировал инсульт. У еще одного пострадавшего из носа вытекла спинномозговая жидкость, а другому врач проколол основание черепа. Дин, консультировавший Acclarent, заранее сообщал руководству о проблемах с устройством, но они настолько торопились вывести его на рынок, что снизили целевую точность распознавания до 80%.

Реакция Acclarent на иски была предсказуемой: они не создавали и не производили TruDi (на самом деле они были основным разработчиком), а потому претензий к ним быть не может - как и доказательств связи ИИ с “предполагаемыми травмами”. Но в будущем компаниям придется обзавестись более вескими аргументами в свою пользу: поток жалоб только растет. По статистике, число отзывов ИИ-устройств в 2 раза выше, чем аналогичных приборов с менее “передовыми технологиями”.