ChatGPT в медицине
Спустя несколько месяцев после появления стало ясно, что в своей нынешней форме ChatGPT не способен заменить врачей: помимо отсутствия любых представлений об этике, у него обнаружилась неистребимая склонность к фальсификации данных. Что, впрочем, бывает, как видим. Недавняя новость о том, что его новейшая версия, GPT-4, смогла сдать выпускной экзамен на получение медицинской лицензии США, дав более 90% правильных ответов (предыдущая версия, GPT-3.5, кстати достигла проходного балла в 60%), дала энтузиастам надежду на то, что он может стать мощным диагностическим инструментом, куда более продвинутым, чем уже существующие медицинские калькуляторы (программы, куда можно вбить показатели пациента и получить диагноз).

Мы проверили способности GPT-3.5 в медицине, убедившись, что до этого пока далеко. Хотя он мог дать базовые рекомендации по лечению уже известных заболеваний (которые также можно найти на первой странице Google), диагностика неизменно ставила его в тупик. Например, судороги он сводит к эпилепсии, игнорируя любые другие причины, связанные с обменом веществ (гипокальциемия, гипомагниемия и так далее). В реальности такая ошибка была бы чревата для пациента смертью.
То же касается всех остальных задач, содержащих подробные данные, достаточные для постановки диагноза: максимум, чего удавалось добиться, это несколько неконкретных предположений, одно из которых имело отношение к реальному диагнозу (например, “опухоль”, а не конкретный устанавливаемый по объективным данеым вид рака).

К тому же выводу пришел врач скорой помощи, опубликовавший заметку в Fastcompany: он вводил анонимные данные своих пациентов и запрашивал возможные диагнозы. Только в 50% случаев среди перечисленных был правильный диагноз, в другой половине все предположения были неверными. Например, ChatGPT верно диагностировал опухоль мозга одному пациенту, но пропустил рак у двух других. Девушке с внематочной беременностью он поставил аппендицит, еще у одного пациента, которому ChatGPT поставил диагноз “камни в почках”, на самом деле был разрыв аорты. Очевидно, что с такой "точностью" в клинике рассчитывать не на что.

Хотя GPT-4, как свидетельствуют результаты теста, должен справляться лучше, на деле для него неизбежны те же проблемы. Выпускной тест основан на стандартных вопросах, которые на самом деле уже есть в базе, и более поздние версии ChatGPT просто ищут ответы лучше (отсюда же меньшая склонность к “галлюцинациям”, т.е. предоставлению ложной информации). Но большинство реальных случаев не сводятся к простому алгоритму, что ставит ИИ в тупик.
Процитированная публикация отмечает, что, чтобы ChatGPT диагностировал перелом стенки орбиты глаза (частая история при травмах, знакомая любому травматологу или врачу скорой помощи), пришлось ввести чрезвычайно подробное описание случая на 600 слов (больше, чем весь этот пост). Программа также далека от образа помощника, лишенного свойственной человеку субъективности: результат напрямую зависит от исходных данных, и врач, склоняющийся к неверному диагнозу, при перечислении фактов подсознательно будет делать упор на те, которые подтверждают его догадку - что повлияет на выводы ИИ.

Другая проблема состоит в том, что им также могут пользоваться для диагностики пациенты, которых ChatGPT может увести в неверном направлении и которые потеряют из-за этого время.

Это не означает, что ИИ бесполезен для медицинских целей: при формировании большой базы данных, включающей в себя миллионы случаев, он сможет не только ставить диагнозы более корректно, но и помочь с выявлением связей между событиями и симптомами, которые ранее ускользали от внимания ученых. Но для того, чтобы воплотить это в жизнь, мало нескольких месяцев: скорее всего, это будет делом ближайших десятилетий.