🈴 Языковые модели пока не могут надежно заменить врачебное мышление

Языковые модели ИИ по-прежнему слабо справляются с клиническим мышлением там, где нужно держать в голове несколько возможных диагнозов сразу, показало исследование JAMA Network Open. В работе проверили 21 готовую модель на 29 стандартизированных клинических кейсах и 16 254 ответах.

Главная проблема оказалась в дифференциальной диагностике - этапе, где врач сравнивает несколько версий болезни и постепенно сужает круг причин. Во всех моделях доля ошибок на этом этапе превышала 0,80, а у части доходила до 0,90–1,00. При этом с финальным диагнозом модели справлялись заметно лучше: там доля ошибок была ниже 0,40.

В исследовании сравнивали, в том числе, модели семейств GPT, Claude, Gemini, DeepSeek и Grok. Лучший интегральный результат по метрике PrIME-LLM показал Grok 4 с оценкой 0,78, худший - Gemini 1.5 Flash с 0,64.

Причина ограничений, по сути, в самом принципе работы таких систем. Они хорошо находят закономерности в данных и могут уверенно выдать готовый ответ, но хуже проходят через этап неопределенности, где врачу нужно удерживать сразу несколько гипотез и принимать решение по мере поступления новой информации. Это прямо отражено в выводах статьи: готовые коммерческие модели пока нельзя надежно использовать для автономных клинических решений без контроля человека.