Можно ли проверить медицинский ИИ до встречи с пациентом? Ученые предложили концепцию виртуальной больницы для тестирования ИИ-агентов

Мы уже писали о том, что мировой тренд в здравоохранении постепенно смещается от рекомендательных систем к агентному искусственному интеллекту. Если раньше новые ИИ-сервисы для клиник развивались по принципу чат-ботов — анализировали данные, предлагали диагнозы и рекомендовали лечение, а окончательное решение оставалось за врачом, то сегодня все больше обсуждений посвящено ИИ-агентам.

ИИ-агент не просто отвечает на вопрос врача, а способен самостоятельно выполнять часть клинических задач: работать с электронной медицинской картой, оформлять назначения и лабораторные исследования, координировать потоки пациентов. Так, в Китае и Индии уже работают экспериментальные госпитали, где большая часть процессов управляется с помощью ИИ-агентов. 

📎 В этом контексте интересна недавно опубликованная в Nature Medicine. Команда исследователей из Harvard Medical School, Stanford, Google Research и Microsoft Research предлагает ответить на важный вопрос: как вообще проверять безопасность ИИ-систем до их внедрения в реальную клиническую практику?

Авторы обращают внимание на проблему современных методов оценки медицинских LLM (больших языковых моделей), на базе которых работают агенты. Большинство тестируются на статических наборах данных: им предлагают отдельные клинические случаи, вопросы с выбором ответа или исторические записи пациентов. Такой подход позволяет оценить знания модели и ее способность к клиническому рассуждению, но практически ничего не говорит о том, сможет ли она безопасно работать в настоящей больнице.

В реальной практике каждое решение влияет на последующие события. Если пациента госпитализировали, то уменьшится количество свободных коек. Назначили КТ — увеличилась очередь на исследование. Если обследование откладывается из-за нехватки ресурсов, состояние пациента продолжает ухудшаться. Именно такие каскадные взаимосвязи не учитываются при оценке для внедрения сервисов. 

Поэтому исследователи предлагают концепцию Clinical Environment Simulator (CES) — виртуальной больницы, в которой можно тестировать агентные медицинские ИИ до их использования на реальных пациентах. Важно, что речь не идет о готовом программном продукте. Авторы предлагают архитектуру и принципы работы будущей системы, но не представляют готовый симулятор или результаты его использования.

По концепции CES, виртуальная больница должна состоять из двух компонентов:
🔵Hospital Engine, моделирующий работу самой больницы. Он отслеживает занятость коек, загрузку врачей и медицинских сестер, очереди на лабораторные исследования и КТ, доступность операционных и других ресурсов. 
🔵Patient Engine, моделирующий состояние пациентов. Он описывает развитие заболевания во времени, реакцию на лечение, возможные осложнения и ухудшение состояния при задержках диагностики или терапии.

ИИ потребуется учитывать не только медицинские рекомендации, но и реальные ограничения системы здравоохранения, а также временные факторы и кризисные сценарии. При этом даже самый реалистичный симулятор не способен полностью воспроизвести сложность клинической практики. Авторы статьи сами подчеркивают, что их концепция — это следующий шаг в развитии методов оценки, а не универсальное решение проблемы.

Если мировое здравоохранение продолжит движение в сторону агентных ИИ, вопрос их надежной проверки до начала работы с пациентами станет одним из ключевых. Именно поэтому исследователи предлагают создавать виртуальные больницы для тестирования подобных систем. А более безопасной моделью внедрения ИИ на сегодняшний день остаются ИИ-сервисы, работающие как СППВР, где окончательное клиническое решение принимает врач.