ИИ отговаривает пациентов обращаться к врачам, и чем больше опечаток они делают в запросах, тем чаще это происходит.

По данным исследования MIT, LLM чрезвычайно чувствительны к стилю текста, и даже лишний пробел может повлиять на рекомендации по вопросам здоровья.

Исследователи протестировали 4 ИИ (ChatCPT, Llama-3-8B, Llama-3-70B и Palmyra Med) на запросах пациентов с различными симптомами.

Сначала они получили ответ на эти запросы в нейтральной форме для контроля, затем внесли незначительные изменения в текст: восклицательные знаки, орфографические ошибки, лишние пробелы или отсутствие заглавных букв.

Авторы также добавили эмоциональные выражения вроде “вау” и “боже мой” и формулировки, подразумевающие неуверенность: “может быть”, “я думаю” и т.д.

Исследование проверяло, как часто ИИ советует посетить врача на основании описанных симптомов. Выяснилось, что каждое из этих изменений заставляет ИИ на 7-9% чаще отговаривать пациента обращаться за медицинской помощью и вместо этого предлагать самолечение.

Когда “пациент” описывал свои симптомы не в одном сообщении, а в ходе диалога, проблема усугублялась еще больше.

Выяснились и другие проблемы с LLM:
📌 ИИ все еще не готов к взаимодействию с реальными пациентами, которые редко следуют формальному стилю и предпочитают диалоги.
📌 “Наказание” пользователя за ошибки и опечатки отражает общественную предвзятость, которую ИИ усваивает в процессе обучения.

Неграмотность характерна для малообразованных и иноязычных слоев населения, например, мигрантов, которым чаще отказывают в медицинском обслуживании из-за неплатежеспособности или миграционного статуса.

Обученный на предвзятых данных ИИ делает вывод, что пишущему с ошибками пользователю не стоит посещать врача - чем поощряет самолечение пациентов, которым нужна неотложная помощь.

@shotday