AI и Medtech. Даниил Васильев

В комментариях мне задали вопросы по нашим алгоритмам распознавания бланков анализов и в целом по проекту медицинской карты.
Расскажу некоторые детали и заодно отвечу на вопросы)

На данный момент у нас точность распознавания биомаркеров и их значений с бланков - 80-90%.

Зависит в основном от бланка - чем больше его структура похожа на таблицу, тем лучше распознаем данные.
Но за счёт того, что мы используем связку OCR + LLM - бланки без строгой табличной структуры тоже распознаются, хотя и немного хуже чем первые.

Также хуже распознаются редкие синонимы и сокращения названий биомаркеров.
У нас есть база синонимов, но когда синоним редкий, да ещё и записан на бланке сокращением - алгоритм может его не узнать.

Качество файла тоже влияет, фотографии низкого качества или сделанные под углом естественно распознаются хуже, чем pdf.

Распознавание бланка сейчас в среднем занимает 5-7 секунд.
Надеемся, что пользователи подождут, но конечно пытаемся ускорить.

Можно ли настраивать уровень доступа?

Да, доступ врача к данным медкарты можно гибко настроить по датам, сущностям, папкам.

Планируется ли интеграция с ЕГИСЗ? Вообще насколько проблематична подключение к гос системам?

В планах есть, считаю что подтягивать данные из гос. медицины и агрегировать их с данными из частной медицины и собственными данными пациента - очень перспективная тема.
Пока мы это пока отложили на следующий этап, это затратно как юридически, так и технически, я смотрел API РТ МИС)

Подали один из наших medtech AI-стартапов - медицинскую карту на конкурс Workspace digital awwards 2025:

К первому релизу мы немного не готовы: нужно ещё поработать с алгоритмом распознавания бланков, доправить баги, дизайн-ревью, сделать промо-сайт и решить юридические вопросы хранения медицинских данных.

А вот начать рассказывать о проекте на digital-сообщество - в самый раз)

Поэтому, если интересно почитать подробнее про функционал нашего проекта и посмотреть макеты, пожалуйста)
https://workspace.ru/cases/cifrovaya-medicinskaya-karta-ya-zdorov

У нас тут в Сириусе организовывается сообщество IT&DS специалистов)
В четверг буду там рассказывать про наш кейс распознавания и структурирования данных с бланков медицинских анализов на проекте медицинской карты.

Тезисы:
Проблема разроненной структуры данных и форм бланков.
Сбор базы данных биомаркеров, единиц измерений и референсных значений.
Подходы к решению: OCR + векторный поиск, LLM, обучение модели распознавания на дата-сете.
Какой точности достигли и как будем повышать

Моё первое выступление по AI и первое выступление в Сириусе)

Подробности в посте выше ☝️☝️☝️

🤖Приглашение на Meetup: AI-Агенты

⚡️20 февраля в галактике, где свет и тьма пересекаются, состоится встреча, которой ты не можешь пропустить!

🧭Будь ты джедаем, стремящимся к миру и знаниям, или ситхом, жаждущим власти — это событие для всех, кто готов поделиться опытом и найти единомышленников. Обсудим самые последние события в галактике, планеты, световые мечи и стратегические сражения.

Дата: 20 февраля
Время: 16:00
Место: Университет Сириус (Олимпийский просп., 1, Федеральная территория Сириус), локация: Оранжевый форум.

📍Подтвердить участие можно до 19 февраля (14:00), выбери свой путь и заполни форму
Чтобы не пропустить будущие мероприятия, вступайте в маленькую вселенную GreenCode

Портал МосМедИИ опубликовал матрицу зрелости ИИ-сервисов.
Посмотрел презентацию и заодно ещё раз каталог ИИ-сервисов на их сайте.

МосМедИИ занимается анализом лучевых исследований, поэтому собственно и оценивали они именно эти сервисы.

На что я обратил внимание:

Решения для анализа лучевых исследований с помощью ИИ уже неплохо распространены.

Все решения - узконаправленные: рентген органов грудной клетки, МРТ головного мозга. Мы в консультанте тоже под все возможные направления запросов собираем отдельные пайплайны: работа с симптомами, диагнозами, назначениями, загруженными медицинскими документами и т.д.
Я недавно публиковал краткий анонс нашей схемы, с того момента она сильно разраслась.
В общем, хотя мы и решаем другую задачу и на других технологиях, но кажется что подход деления на узконаправленные подзадачи и у нас должен сработать.

Оптимальными считаются показатели технической стабильности решения - более 90% и клинической точности более 81%.
Если я правильно понял, при таких значениях решение уже допускается к внедрению в мед. учреждения.

При оценке таких решений ложноположительный результат, лучше ложноотрицательного.
Вроде очевидно, но раньше я об этом не задумывался)
Тоже вопрос на подумать в рамках нашего консультанта - в каких вопросах ошибки в какую сторону менее критичны?

-----

Было бы интересно посмотреть что-нибудь аналогичное по системам поддержки принятия врачебных решений - исследования рынка, сравнительные анализы и т.д.
Если кто-то встречал подобное - пришлите пожалуйста.

Последние дни вся AI-тусовка только и обсуждает китайские модели)
Ещё не утихли обсуждения DeepSeek, как выпускают Qwen2.5-Max, которая по словам разработчиков в ряде бенчмарков обходит DeepSeek.
На деле это не совсем так. Qwen2.5-Max - тяжеловесная и ресурсозатратная модель.
При этом сравнили её ни с рассуждающей DeepSeek-R1, а с обычной вопросно-ответной DeepSeek-V3.
Но в любом случае обе модели интересны.

Я в первую очередь обратил внимание на упоминания о том, что эти модели для работы требуют меньше вычислительных ресурсом. Тут имеем ввиду не самые мощные их версии.
А мы как раз стартап, тонны GPU нет, нам надо подешевле и побыстрее)

Поэтому в ближайшее время протестируем эти модели и расскажу о результатах качества и скорости работы на наших запросах и скромных мощностях.

Дробление промтов для выполнения узких задач

Несмотря на то, что LLM становятся всё умнее, многие специалисты всё равно советуют сужать промт для выполнения одной узкой задачи.
Это применимо и к промтам в пайплайне своего AI продукта.
Узконаправленный промт даёт более качественные и стабильные результаты, снижает галлюцинацию модели.

Таким же путём мы идём в нашем ассистенте.
Сначала мы делаем классификацию запроса пользователя, дальше в зависимости от результата классификации - уходим в нужную ветку пайплайна.
Например, если пользователь описывает симптомы - включаем промт сбора анамнеза, далее собранный анамнез параллельно запускам в промты формирования вариантов диагноза, рекомендаций по сдаче анализов, прохождению обследований и т.д.
В конце результаты этих промтов формируюем в итоговый ответ для пользователя.

Это кратко, на самом деле каждый из этих промтов будет разложен ещё на несколько под-промтов с определённой логикой между ними.
Плюс мы закладываем проверки безопастности и этики на разных этапах.

И заодно поделюсь планом работы над нашим консультантом/ассистентом.

Сейчас мы прописываем структуру промтов, объединяем в пайплайн.
Тестируем каждый промт и пайплайн в целом на разных моделях.

Следующим шагом будем собирать данные для подключения через RAG на разных шагах пайплайна, чтобы настроить ответы сервиса под документы из Российской доказательной медицины.

И если нам повезёт, то после этого сможем запустить первую версию и начать привлекать пользователей.

А дальше нас ждёт долгий путь дообучения модели)

Рынок ИИ-ассистентов для медицины и какое направление мы выбрали для первого этапа нашего консультанта.

Строго не судите, я пока достаточно поверхностно изучил рынок и это скорее моё первое резюме.

Глобально все решения можно разделить на решения для врачей и для пациентов.

Для врачей:
1. Разпознавание и интерпретация разного рода снимков (КТ, МРТ, УЗИ и т.д.)
2. Прогнозные модели. На основе структурированного набора входных данных прогнозируют наличие того или иного диагноза
3. Системы поддержки принятия врачебных решений (СППВР)
4. Ассистенты ведения медицинского документооборота на основе транскрибации диалога врач-пациент

Последние пока значительно меньше распространены, чем первые.
Как я понимаю, это связанно с тем, что они строятся на основе больших языковых моделей, предобучения и обучения без учителя. А это более новые технологии, чем машинное обучение на размеченных данных.

Ещё находил ассистенты для записи в клиники, сбора анамнеза и что-то ещё, но это пока значительно менее распространено.

Для пациентов кажется что решений значительно меньше, чем для врачей.
Я нашёл:
1. Медицинские ассистенты-консультанты
2. Симптом-чеккеры
3. Распознавание и интерпретация анализов

Причём вторые и третьи - можно сказать частный случай первых.
Просто пользователь не может писать свободный текст, а ограничен выбором конкретных симптомов и загрузкой анализов.
Но предполагаю, что технологии под капотом могут значительно отличаться.


Какое направление мы выбрали для нашего ИИ-консультанта?

Решили на первом этапе не лезть в жёсткую медицину, с попытками определения диагнозов, схем лечения и т.д.
Верю что сделать это можно, но нужно много ресурсов на сбор и разметку данных, дообучение и тестирование моделей.
Да и заходить в рынок с таким решением нужно будет как с СППВР, а это регистрация медицинского изделия, гос. контракты и всё что с этим связано.

Поэтому для начала мы пойдём в сегмент первичных консультаций для людей.

Наш консультант поможет собрать более детальный анамнез и даст рекоммендации по следующим шагам: анализы, обследования, профильные специалисты. В каких-то случаях покажет возможные варианты диагноза, но с этим будем осторожно.

То есть помогать людям, которые чувствуют что с ними что-то не так, но пока не понимают что - немного разобраться и определить первые шаги по корректировке проблемы.

Многим людям, по крайней мере в России, подсознательно не очень комфортно обращаться к сфере здравоохранения.
Будем честными, она пока не очень эмпатична и дружелюбна к пациенту, хотя по сравнению с тем что было 10 лет назад - прорыв огромный.

Так вот если мы немного облегчим людям этот самый первый шаг со своей проблемой в структуру здравоохранения - то уже всё не зря.

Посмотрел обзор российского медицинского рынка от консалтинговой компании Kept.

Общий объём рынка медицинских услуг за 2023 год составил 7,6 трлн. рублей.
Отсюда - 5,9 трлн. - государственная медицина, 1,7 трнлн. - коммерческий сегмент.
Рост рынка в среднем 12,3 % в год.

Коммерческая лабораторная диагностика - 125 млрд. рублей.

На фоне общих цифр медицинского рынка, достаточно скромным кажется рынок цифровой медицины - 38 млрд. рублей.
Но среднегодовой рост этого рынка за период 2019-2023 значительно опережал общий рынок медицины - 36.2% против 12.3%.
Прогноз роста к 2030 больше чем втрое, до 123 млрд.

Cубъективно мне эти цифры кажутся немного заниженными.
Предполагаю, что там может быть не учтена часть бюджетов на цифровизацию в гос. секторе медицины.
И, например, партнерские вознаграждения, которые платят медицинские клиники и лаборатории IT-сервисам за привлечение пациентов.
Но это не изменит цифры на порядки, поэтому опираться на данные из обзора можно.

Ещё посмотрите на скриншоте, как исследователи декомпозировали рынок цифровой медицины и прогнозы роста по сегментам.
Максимальный рост в телемедицине, СППВР и приложениях для здоровья.
Сильно верю в СППВР и приложения для здоровья, в телемедицину немного меньше.

Ну и конечно я сильно верю в ИИ-ассистенты для пациентов, рынка которых по сути пока нет.
Но интересно, от какого рынка они откусят свой кусок - от цифровой медицины или от медицинских услуг?

Ссылка на обзор:
https://assets.kept.ru/upload/pdf/2024/12/ru-commercial-medicine-market-in-russia-kept-survey.pdf

В конце декабря мой интерес к AI привёл меня к тому, что я захотел хотя бы базово разобраться в устройстве нейронных сетей.
Тестировать разные модели, промты, базы для RAG и т.д. мне оказалось недостаточно)
Захотелось копнуть глубже, чтобы понять как устроены технологии машинного обучения и более объективно понимать их возможности.

Так вот, прежде чем пытаться понять устройство нейронных сетей, нужна база алгебры и математического анализа.
Я изучал математику в университите, причём даже неплохо.
Но последние 10 лет занимался преимущественно менеджментом, и естественно забыл примерно всё.
Поэтому сейчас она даётся мягко говоря с трудом.

Среди всего многообразия контента, я нашёл канал в котором сериями видео достаточно простым (насколько это возможно для высшей математики) языком объясняют суть линейной алгебры, математического анализа и нейронных сетей:
Линейная алгебра
Математический анализ
Нейронные сети

После этих видео, следующие математические статьи начали становиться немного понятнее)

Для ML/DS-специалистов эта база явно не будет интересна.
Но для таких как я, кто хочет вспомнить математику после длительного перерыва - думаю будет хорошим стартом.

А как Вы провели праздники?)

А вот и рекомендации экспертов из научных изданий - как минимизировать риски ИИ в медицине.

Ни в коем случае не осуждаю экспертов, но я один не увидел в рекомендациях ничего конкретного?)

Звучит как будто «Нужно работать хорошо и ответственно, а плохо и безответственно не нужно»

Встретил в последнее время немало новостей и статей про то, что ИИ угрожает медицине, потому что может ошибаться и т.д..

Например вот:
https://mltimes.ai/eksperty-iz-58-stran-reshayut-problemy-predvzyatosti-ii-v-mediczine/

Или вот:
Некоммерческая организация ECRI поставила искусственный интеллект на первое место среди технологических рисков в медицине.

Если резюмировать описание рисков из этих статей, то получим примерно следующее:
ИИ может галлюцинировать, ошибаться, выдавать ложные результаты, быть предвзятым, качество работы может быть нестабильным.

Безусловно все разработчики ИИ-решений для медицины должны осознавать риски и уделять максимальное внимание вопросам безопастности и этики.

Но, при этом не нужно сваливать всё на ИИ)
Все те же риски (ошибки, предвзятость) относятся и к врачам.
И вопросы качества подготовки медицинских специалистов не менее важны, чем контроль ИИ.

Закончу мысль цитатой, которая хорошо синхронизируется с моей позицией:

"Поиск баланса между инновациями в ИИ и безопасностью станет одной из самых сложных и определяющих задач современной медицины".

Рынок медтеха вырос на 40% в 2024 году.
В частности рост сегмента специализированного медицинского ПО на 43,02%, до 5,6 млрд руб.
Я верю, что тенденция роста будет только усиливаться, кажется что 5,6 млрд - слёзы для рынка, пользователи которого так или иначе вся страна.

Ну и конечно одним из драйверов роста рынка медтеха становится развитие нашего любимого ИИ)

https://www.kommersant.ru/doc/7382859

В рамках разработки медицинской карты, одна из сложных задач над которой мы работаем - распознавание бланков анализов.

Мы хотим дать пользователю возможность отслеживать динамику изменения показателей анализов, даже если он сдавал их в разных лабораториях.

Сложность в том, что у каждого биомаркера десятки синонимов и несколько единиц измерения.
Референсные значения также могут отличаться.
Естественно на бланках разных лабораторий всё по своему.
Единой базы биомаркеров нет.

Чтобы хорошо структурировать данные мы должны научиться распознавать любой бланк, понимать все синонимы и пересчитывать единицы измерения.

У нас в разработке 2 варинта, но пока ни в одном мы не дошли до результата, который бы нас устроил на 100%.

1. Подключаем библиотеку распознавания картинки в текст. С помощью парсинга сайтов лабораторий наполняем базу данных биомаркеров, единиц измерения и референсных значений. Дальше достаточно сложными алгоритмами с векторным поиском пытаемся разобрать в распознанном тексте бланка что есть что и структурировать эти данные.

Неплохо продвинулись в такой реализации, но пока не на всех бланках работает идеально.

2. Подключить готовую нейросеть, которая будет сразу распознавать данные с бланков и отдавать нам в нужной структуре.
Почему-то мы не подумали о таком варианте сразу и сначала пошли по первому.
Но и тут не всё гладко.

Пока, из всех моделей, которые мы протестировали, впечатляющий результат в распознавании бланков показал только Claude 3.5 Sonnet.
Но его API для России официально недоступно. А это значит сервер за границей для этого микросервиса.
Да и сомневаюсь что юридически мы сможем распознавать данные с бланков российских пользователей через API американской модели.

Если кто-то знает российскую модель, подходяющую для данной задачи, или любой другой способ её решения - напишите мне пожалуйста)

Nvidia представила доступный компьютер для генеративного ИИ за 249$.

https://mltimes.ai/nvidia-predstavila-samyj-dostupnyj-superkompyuter-dlya-generativnogo-ii/

Мы немного погуглили производительность.
На формах пишут, что эта штука дает 1 токен/с, что явно не быстро.
При этом, если поискать её в России, то цена будет от 100 000 рублей)
Для сравнения, в районе 200 000 можно собрать компьютер с видеокартой, которая будет давать 10 токенов/с.

В общем мы пока доступности не ощутили, смотрим дальше.

Пару недель назад Т-технологии (Т-Банк) выложиди в открытый досутуп модели T-Pro и T-Lite.
https://vc.ru/ai/1702562-t-tehnologii-vylozhila-ishodnyi-kod-bolshih-yazykovyh-modelei-na-32-mlrd-i-7-mlrd-parametrov

Мы первично протестировали T-Pro для нашего консультанта.
Сравнили с Mistral (это была первая модель, которую мы пробовали on-premise)
На примерах наших промтов по качеству ответов T-Pro кажется поинтереснее.
Но при этом в 10 раз медленнее.

К разговору о моделях, кроме описанных выше, мы пробовали Claude 3.5 Sonnet, GPT 4o и Liquid AI.

Ещё интересно будет попробовать новую GigaChat Lite.
Нашёл про неё такую информацию:
Флагманом релиза стала GigaChat Lite — первая русскоязычная MoE-модель (Mixture of Experts), насчитывающая 3 млрд активных параметров. Модель превосходит все существующие 8-миллиардные модели в работе с русским языком, хотя немного уступает им в англоязычных тестах.

MOE-модели обычно быстрее трансформеров, интересно посмотреть скорость и качество ответов на наших достаточно сложных промтах.

Пока наши оценки моделей субъективны\, потому что мы ещё не сформировали тестовые наборы данных и бенчмарки для оценки применяемых моделей и в целом пайплайнов на задачах медицинского консультирования.
Но мы уже работаем над этим)

До лета 2024 я никогда не работал с медтехом.
То, что 7 лет назад мы сделали 5 сайтов для стоматологий не в счёт)

С AI аналогично.
Пользовался нейросетями, но внедрять в собственные IT-продукты, сравнивать модели, дообучать, формировать пайплайны с оркестраторами, ассистентами, RAG - ещё пол года назад я и слов таких не знал)

Что я делал последние полгода, чтобы погрузиться в медтех и AI:

1. Общался с людьми из индустрии - от врачей и нутрициологов до разработчиков IT-решений для медицины.
2. Проанализировал десятки IT-продуктов, связанных с medtech и healthtech - электронных медицинских карт, МИС-систем, сервисов телемедицины, ИИ-продуктов для здравоохранения, фитнес-трекеров, счётчиков калорий и т.д.
3. Посетил конференцию Цифровое здравоохранение от Cnews
4. Прошёл онлайн-обучение по анализу рынка в медицине от Сетевого университета медицинских технологий
5. Прошёл курс Бизнес на GPT от Александра Горного
6. Вступил в бизнес-клуб предпринимателей в сфере ИИ от него же
7. И самое интересное - начал делать 2 medtech стартапа)

Сейчас я точно лучше разбираюсь в medtech и AI, чем пол года назад)
Но это только начало, можно сказать я начинаю понимать основы)

Продолжаю активно изучать эти сферы, общаться с людьми из отрасли.
В этом канале буду делиться всем что изучаю сам, рассказывать что и как мы как мы используем на своих проектах.