В рамках разработки медицинской карты, одна из сложных задач над которой мы работаем - распознавание бланков анализов.

Мы хотим дать пользователю возможность отслеживать динамику изменения показателей анализов, даже если он сдавал их в разных лабораториях.

Сложность в том, что у каждого биомаркера десятки синонимов и несколько единиц измерения.
Референсные значения также могут отличаться.
Естественно на бланках разных лабораторий всё по своему.
Единой базы биомаркеров нет.

Чтобы хорошо структурировать данные мы должны научиться распознавать любой бланк, понимать все синонимы и пересчитывать единицы измерения.

У нас в разработке 2 варинта, но пока ни в одном мы не дошли до результата, который бы нас устроил на 100%.

1. Подключаем библиотеку распознавания картинки в текст. С помощью парсинга сайтов лабораторий наполняем базу данных биомаркеров, единиц измерения и референсных значений. Дальше достаточно сложными алгоритмами с векторным поиском пытаемся разобрать в распознанном тексте бланка что есть что и структурировать эти данные.

Неплохо продвинулись в такой реализации, но пока не на всех бланках работает идеально.

2. Подключить готовую нейросеть, которая будет сразу распознавать данные с бланков и отдавать нам в нужной структуре.
Почему-то мы не подумали о таком варианте сразу и сначала пошли по первому.
Но и тут не всё гладко.

Пока, из всех моделей, которые мы протестировали, впечатляющий результат в распознавании бланков показал только Claude 3.5 Sonnet.
Но его API для России официально недоступно. А это значит сервер за границей для этого микросервиса.
Да и сомневаюсь что юридически мы сможем распознавать данные с бланков российских пользователей через API американской модели.

Если кто-то знает российскую модель, подходяющую для данной задачи, или любой другой способ её решения - напишите мне пожалуйста)