Почему медицинский ИИ часто ошибается и будет продолжать


В новостях увидел заголовок: «Анализ крови может указать на риск кишечного рака до 45 лет» - низкий уровень ферментов АСТ и АЛТ в крови связан с повышенным риском колоректального рака

Источник - ретроспективный анализ данных 11,5 тыс. пациентов

Но правда ли это?

На самом деле, речь идёт о том, что низкие уровни АЛТ и АСТ статистически чаще встречаются у больных онкологией

Это не указывает на возникновение рака


Ассоциация и причинность в медицине

Скучная тема которая генерирует миллиардные убытки и убивает пациентов


Любой новый тест, метод, препарат или медицинский ИИ-продукт можно отнести к одной из двух категорий:

· причинный - воздействует на механизм, отражает патогенез, меняет исход

· ассоциированный - встречается при заданных условиях анализа, и его влияние на процесс не выявлено или не доказано


Главный вопрос - новый показатель или ИИ-продукт моделирует причинный механизм болезни или только отражает статистическую закономерность в данных?


История медицины знает много случаев, когда ассоциированный маркер принимали за причинный, с последствиями для пациентов


Холестерин ЛПВП: когда воздействие на механизм не дало эффекта

Высокий уровень ЛПВП - «хорошего» холестерина - надёжно и обратно ассоциирован с риском инфаркта

Логика казалась обоснованной: поднимаем ЛПВП - снижаем риск

Фармацевтические компании разработали ингибиторы CETP - препараты, которые поднимали ЛПВП на 30-130%

Но в клинических испытаниях Торцетрапиб не только не снизил сердечно-сосудистые события, но и увеличил смертность

Это пример того, как воздействие на ассоциированный механизм не меняет исход, потому что механизм не был причинным


Низкий холестерин ЛПНП и рак: обратная причинность

Наблюдательные исследования десятилетиями показывали: люди с низким уровнем LDL-холестерина чаще болеют раком

Гипотеза - низкий холестерин способствует опухолям. Но менделевская рандомизация в JNCI (2011) показала: сниженный LDL не повышает риск рака

Оказалось, что не низкий холестерин вызывает рак - а недиагностированная опухоль снижает уровень холестерина ещё до появления симптомов

Маркер был следствием болезни, а не её причиной


Проблема медицинских ИИ-продуктов

Большинство коммерческих медицинских ИИ продуктов построены на ассоциациях данных

Они берут статистически встречаемые рядом понятия - эти показатели часто встречаются вместе с этим диагнозом


Epic Sepsis Model

Один из провалов в истории медицинского ИИ. Алгоритм прогнозирования сепсиса от Epic Systems был внедрён в сотнях больниц США. 67% случаев сепсиса пропущено

Сепсис - одна из ведущих причин смерти в больницах: смертность при сепсисе составляет около 27%, а среди пациентов в отделениях интенсивной терапии 42%

Аудит также выявил, что алгоритм частично «подсматривал» за решениями врачей - модель предсказывала не болезнь, а уже принятое клиническое решение


IBM Watson for Oncology

Система поддержки лечения рака, разработанная IBM совместно с Memorial Sloan Kettering

Внутренние документы, опубликованные STAT, показали: Watson выдавал «небезопасные и некорректные» рекомендации по лечению

Обучение проводилось на синтетических случаях - гипотетических пациентах, а не на реальных данных

IBM вложила в Watson Health миллиарды и в итоге продала подразделение за долю от вложенного


Кто и как платит за ошибки

Разработчики и инвесторы несли финансовые потери: IBM продала Watson Health за долю от вложенного, испытания Торцетрапиба были прекращены с убытками

Однако физические последствия - ухудшение здоровья, ложные диагнозы - ложатся на пациентов

Подобные продукты для профилактики здоровья, диагностики и мониторинга сейчас создаются тысячами

А те, кто создаёт подобные продукты, тоже рано или поздно станут пациентами


ИИ мог бы и не ошибаться, но будет

Текущая корреляционная модель ИИ не решает проблему причинности

И не помогут ни causal machine learning, ни target trial emulation, вместе с инициативами от FDA, ни разговоры про ethical compromise и forward-looking amnesty


#Биотехсинтег