ИИ-диагност превзошёл врачей в 4 раза

В Microsoft AI разработали систему MAI-DxO, которая ставит медицинские диагнозы с точностью 80%. Для сравнения: опытные врачи со стажем около 12 лет справились только с 20% тех же случаев.

В основе эксперимента лежал новый подход к оценке медицинского ИИ. Вместо стандартных тестов с выбором ответа исследователи создали интерактивный бенчмарк SDBench. Система должна была действовать как настоящий врач: начинать с минимальной информации о пациенте, задавать уточняющие вопросы, назначать анализы и только потом ставить диагноз.

Для тестирования использовали 304 сложнейших клинических случая из New England Journal of Medicine. Это реальные истории болезней, которые публикуют для обучения врачей. Каждый назначенный тест имел свою стоимость — от $300 за консультацию до тысяч долларов за МРТ.

Секрет успеха MAI-DxO кроется в архитектуре. Система имитирует консилиум из пяти специализированных ИИ-врачей. Один ведёт дифференциальную диагностику и постоянно обновляет список вероятных заболеваний. Другой выбирает тесты, которые максимально помогут различить похожие болезни. Третий играет роль скептика — ищет противоречия и предлагает исключить маловероятные диагнозы. Четвёртый следит за расходами и предлагает более дешёвые альтернативы дорогим исследованиям.

В режиме максимальной точности система достигла 85.5% правильных диагнозов. При этом MAI-DxO оказался универсальным — он улучшил работу всех протестированных языковых моделей, включая GPT-4, Claude, Gemini и другие. Средний прирост точности составил 11 процентных пунктов.

Важно, что ИИ не только точнее, но и экономнее. Средняя стоимость диагностики у MAI-DxO составила $2,397 против $2,963 у врачей. Система тщательно взвешивает информационную ценность каждого теста относительно его стоимости.

Врачи в эксперименте тратили около 12 минут на случай, задавали 6-7 вопросов и назначали примерно столько же тестов. ИИ подходил к задаче более методично — сначала собирал подробный анамнез через серию вопросов, затем целенаправленно назначал только необходимые исследования.

@vselennayaplus