На конференции ИТМ ИИ подсветили 3 группы рисков применения генеративного ИИ в медицине.

Расскажу про эти риски и как мы снижаем их влияние в нашем ассистенте Я здоров.

1. Галлюцинации

Классификация запросов пользователя, настройки LLM под каждый тип запроса.
Дополнительные проверки ответа на пост-процессинге.
Используем размеченную RAG-базу росийских и иностранных медицинских стандартов.
Позже в ответах будем показывать ссылки на источники, на основании которых ассистент сформировал ответ.

2. Устаревание знаний.

Мы уделяем большое внимание постоянной актуализации и расширению RAG-базы медицинских стандартов, статей и других знаний.
Со временем придем к тому, что данные из этой базы будут использоваться в ответах в бОльшей степени, чем собственные знания модели.

3. Ловушка компетентности

Это когда модель хуже отвечает в редких сложных случаях.
На старте мы не решаем эту проблему, а обходим.
Ассистент дает рекомендации в типовых запросах, а если классификатор видит риск острого случая - рекомендует обратиться к врачу.

Естественно рисков применения генеративного ИИ в медицине намного больше.
Напишите в комментарии, про какие ещё вы знаете, я расскажу как мы работаем с ними в нашем ассистенте!