🩺 В исследовании Harvard ИИ точнее врачей определял диагнозы в приемном отделении

В Science вышло исследование команды Harvard Medical School и Beth Israel Deaconess Medical Center. Ученые проверяли, как модели OpenAI работают в разных медицинских сценариях, включая реальные кейсы из приемного отделения.

В одном из экспериментов исследователи взяли данные 76 пациентов, поступивших в приемное отделение Beth Israel. Диагнозы двух лечащих врачей сравнили с ответами моделей OpenAI o1 и GPT-4o. Оценку проводили еще два врача, которые не знали, где ответ человека, а где ИИ.

Модель o1 показала результат выше или на уровне врачей на разных этапах диагностики. Самая заметная разница была на первом этапе - при первичной сортировке в приемном отделении, когда информации о пациенте меньше всего, а скорость решения особенно важна.

Исследователи не готовили данные заранее: модели получали ту же информацию, которая была доступна врачам в электронной медкарте на момент постановки диагноза. В таких условиях o1 дала точный или очень близкий диагноз в 67% случаев первичной сортировки. У двух врачей показатели составили 55% и 50%.

Авторы подчеркивают, что исследование не означает готовность ИИ самостоятельно принимать решения в приемном отделении. В работе говорится о необходимости проспективных клинических испытаний, чтобы оценить такие технологии уже в реальной медицинской практике.

Отдельное ограничение: модели оценивали только по текстовым данным. Исследователи отмечают, что существующие модели пока слабее работают с нетекстовыми входами, например с изображениями и другими медицинскими данными.

Один из авторов исследования, врач Beth Israel Адам Родман, также отметил, что сейчас нет формальной системы ответственности за ИИ-диагнозы, а пациенты все равно хотят, чтобы в критических решениях их вел человек.