ИИ нефильтрованный | Smart Engines

При интеллектуальной обработке документов важно не только точно распознать текст, но и сохранить структуру документа и положение данных на странице ⚡

Если на этапе OCR перепутаны строки, ячейки или отдельные значения, языковая модель будет работать с неполной или искаженной информацией.

OCR 💼 Smart Engines формирует расширенный результат распознавания для дальнейшей оптимизированной работы LLM.

Система распознает печатный, рукописный и смешанный текст, таблицы и многостраничные документы и сохраняет информацию о структуре исходного документа для дальнейшей интеллектуальной обработки.

Помимо текста, наш ИИ возвращает знакоместа, геометрию текста и символов, а также матрицу альтернатив каждого символа. При этом данные извлекаются без генеративного «додумывания»: система показывает уровень уверенности и отмечает фрагменты, которые не удалось надежно прочитать.

Для языковых моделей это особенно важно при работе со счетами, актами, анкетами и другими сложными формами, где значение информации зависит не только от самих цифр и слов, но и от их положения в таблице или на странице.

Специальный API для интеграции с LLM позволяет передавать результат непосредственно в систему интеллектуальной обработки — вместе со структурой и дополнительными данными, необходимыми для более точной интерпретации документа.

Обработка выполняется внутри инфраструктуры компании, а серверная версия поддерживает большие потоки документов — до 600 тыс. страниц в сутки без GPU.

Как Smart Engines формирует расширенный результат распознавания для дальнейшей работы с LLM — смотрите в ролике 👆

При найме иностранных сотрудников бизнесу нужен такой же быстрый и удобный процесс, как и при найме граждан РФ ⚡️

В Smart Document Engine 3.6 мы расширили поддержку кадровых документов иностранных граждан, чтобы упростить их найм и оформление — особенно при больших объемах.

Платформа автоматизирует работу с документами на всех ключевых этапах: от проверки удостоверения личности и постановки на миграционный учет до получения патента, разрешения на работу, РВП и ВНЖ.

Сотруднику не нужно разбираться, какой перед ним документ и где искать нужные поля. Достаточно фотографировать документ или загрузить скан:

🔵ИИ сам определяет тип и структуру документа,
🔵находит нужные реквизиты и поля,
🔵извлекает данные для кадровой, миграционной или учетной системы.

В новой версии добавлено более 60 новых типов удостоверений личности Казахстана, Кыргызстана, Таджикистана, Пакистана, Индии, Китая и других стран. Всего Smart Document Engine распознает 230 типов документов более чем на 100 языках.

Решение масштабируется под любые объемы и сценарии: документы можно распознавать на смартфонах и планшетах, а серверная инфраструктура обрабатывает до 600 тыс. страниц в сутки без GPU.

Платформа работает полностью локально — без передачи документов во внешние сервисы.

Подробнее о новых возможностях 💼 Smart Document Engine 3.6, — читайте в нашей новости 👆

Технологии распознавания нового поколения не должны быть привязаны к одной платформе или приложению.

Суверенный ИИ 💼 Smart Engines позволяет развернуть полнотекстовое распознавание документов с печатным и рукописным заполнением локально — на сервере компании, конечном устройстве пользователя или непосредственно в браузере.

На одном сервере без GPU наша OCR обрабатывает до 600 тысяч страниц в сутки, а минимальный размер веб-компоненты распознавания в браузере составляет всего 2,7 МБ.

Для надежной работы LLM качество распознавания особенно важно, поэтому наш ИИ рассчитан на работу в реальных условиях на фотографиях и сканах. Алгоритмы устойчивы к шуму, размытию, перекосам и плохому освещению, что позволяет точно извлекать данные даже там, где традиционные OCR-решения теряют точность.

Все используемые нейросетевые алгоритмы и программный код для распознавания печатного и рукописного текста документов полностью созданы специалистами компании.

Подробнее про четыре варианта интеграции OCR для LLM показываем в карточках 👆

Рукописные заявления и анкеты — архисложная задача для LLM ⚡️

В русском языке строчные «ш», «и» и «л» при быстром письме могут быть настолько похожи, что даже человеку бывает трудно понять, что именно написано.

Для генеративной модели здесь возникает дополнительный риск: вместо точного распознавания она может выбрать наиболее вероятное слово по контексту. Но при работе с документами угадывать нельзя — нужно извлечь именно те данные, которые есть на бумаге.

Поэтому качественная интеллектуальная обработка начинается не с генерации, а с точного OCR.

💼 Smart Engines разработала нейросетевую архитектуру «Да Винчи», которая распознает рукописный текст без использования словарей и других лингвистических подсказок. Система работает даже с трудноразборчивым почерком, рукописными пометками и комментариями, а также текстом, написанным ручкой, карандашом или пером.

Нейросеть не опирается на знания о словах русского языка и анализирует особенности сопряжения букв непосредственно на изображении. Наш суверенный ИИ извлекает строго то, что написано на бумаге, такой подход снижает риск «додумывания» и галлюцинаций.

Разработка уже используется для полнотекстового распознавания рукописных документов, заявлений, анкет и других форм.

Чтобы дополнительно снизить риск ошибок, «Да Винчи» обучена на 1,2 млн синтезированных строк рукописного текста с равномерным распределением сочетаний букв.

Как технологии Smart Engines распознают один из самых коварных рукописных слов, — смотрите в ролике ⬆️

При интеллектуальной обработке документов нужна безупречная точность.

Чтобы полностью исключить риск искажений и «додумывания» со стороны LLM, OCR должен корректно извлекать содержание документа и передавать модели достоверные данные.

💼 Smart Engines разработала собственную OCR-технологию для точного и надежного распознавания и подготовки оптимизированных данных для LLM, где критически важны полнота, скорость и достоверность 🔥

Главные преимущества нашего суверенного ИИ:

🔵Высокоточное распознавание печатного и рукописного текста.
🔵Обработка любых изображений: система работает со сканами, фотографиями и PDF, в том числе низкого качества.
🔵Поддержка более 100 языков. Включая шрифтонезависимое (омнифонтовое) распознавание документов независимо от гарнитуры, начертания и качества печати.
🔵Полная достоверность: наш ИИ извлекает данные из документов в исходном виде «как есть» (as is), без галлюцинаций и ошибок.
🔵Всего 2 Мб, сверхлегкий модуль легко встраивается в веб-страницы и мини-приложения мессенджеров.
🔵Специальный API для интеграции результатов OCR с LLM и системами интеллектуальной обработки документов.
🔵100% локальная обработка: при распознавании данные не отправляются на внешние серверы и в облака.

Технологии поиска текста, распознавания символов и нейросетевые модели разработаны внутри Smart Engines, а модели обучаются исключительно на синтетических данных.

Как Smart Engines обеспечивает полнотекстовое распознавание документов на разных языках — показываем в ролике ⏫

Для того, чтобы LLM давала качественный результат при интеллектуальной обработке документов, нужен точный и быстрый OCR. Тогда языковая модель сможет опираться на достоверные данные, а не «додумывать».

Следующую неделю посвящаем OCR для LLM и суверенного ИИ ⚡

В 💼 Smart Engines мы разработали собственную OCR-технологию на базе ИИ для надежного и точного распознавания текстов и подготовки данных для LLM 🔥

Технология распознает печатный и рукописный текст, учитывает структуру документа и передает в языковые модели фактическое содержание — без галлюцинаций и попыток «додумать» содержание документа.

Решение без GPU обеспечивает промышленную скорость обработки до 600 тыс. страниц в сутки на одном сервере и до 16 млн страниц на кластере.

На следующей неделе расскажем о ключевых возможностях технологии:

🔵полнотекстовое распознавание печатного, рукописного и смешанного текста;
🔵локальная обработка документов — на сервере, конечном устройстве и непосредственно в браузере;
🔵высокопроизводительная обработка больших потоков документов без использования GPU;
🔵GreenOCR® и энергоэффективные технологии распознавания.

И главное — как использовать высокоточный OCR с LLM для интеллектуальной обработки документов и не страдать от глюков. 👀

Следите за обновлениями 🔔

Привычные клиентские сценарии без зависимости от мобильных приложений 🔥

В условиях регулярных блокировок и удаления приложений из магазинов строить критичные клиентские сценарии только вокруг мобильного приложения — слишком рискованно. Оплата ЖКУ, переводы, считывание реквизитов — все это должно оставаться доступным независимо от того, можно ли сегодня скачать или обновить приложение.

💼 Smart Engines перенесла все ключевые сценарии ежедневного банкинга в браузер с помощью WebAssembly.

Что умеет наш ИИ в браузере?

🔵Сканирует "убитые" QR-коды. Считывает код, даже если повреждено до 30% его площади.
🔵Считывает реквизиты без QR. Сам найдет в тексте ИНН, КПП, БИК, номер счета, единый лицевой счет (ЕЛС) для ЖКУ.
🔵Распознает все привычное: банковские карты, номера телефонов и многое-многое другое. 

Smart Code Engine поставляется в виде WASM-модуля и встраивается непосредственно в интернет-банк, бесшовно перенося привычные возможности мобильного приложения на веб-страницу.

Все вычисления происходят прямо на устройстве пользователя, данные не передаются на сторонние серверы 🔐

Как это работает — показываем в ролике⏫

Как меняется обработка документов в ОЦО, когда классической автоматизации становится недостаточно?Какую роль в современных процессах играют OCR, машинное обучение и LLM — и как эти технологии работают вместе? 👀

⚡️Уже завтра, 29 сентября в 16:00 (МСК), обсудим эти и другие вопросы на «Открытом диалоге» вместе с Натальей Корецкой, директором операционного департамента «АльфаСтрахование».

На примере реальных бизнес-процессов разберем:

🔵где проходит граница между классической автоматизацией и интеллектуальной обработкой;
🔵что меняется в работе ОЦО с появлением новых технологий;
🔵как сокращать объем ручной работы без усложнения процессов;
🔵и какую роль в этой системе играют технологии 💼 Smart Engines.

📅 29 сентября
🕓 16:00 (МСК)

Регистрация на «Открытый диалог» — на нашем сайте 👆

Зачем нужна промышленности томография? 🔩

Когда мы слышим «компьютерная томография», первым делом думаем о медицине. Но тот же принцип — заглянуть внутрь объекта, не разрушая его, — нужен и промышленности.

💡Томография позволяет получить цифровую 3D-модель детали или целого изделия и увидеть то, что невозможно проверить снаружи.

На производстве КТ используют для неразрушающего контроля: можно обнаружить внутренние трещины, поры, пустоты и расслоения, проверить геометрию детали и сравнить ее с CAD-моделью — без распила и разборки изделия.

Особенно важен такой контроль и для аддитивного производства. Пока технологии 3D-печати продолжают развиваться, томография позволяет контролировать внутреннюю структуру готовых деталей и выявлять скрытые дефекты.

Также КТ применяют для исследования новых композитных и биомедицинских материалов, контроля усталостных повреждений, печатных плат и интегральных схем.

Но промышленным производством возможности томографии не ограничиваются.

🛢 В нефтегазовой отрасли с ее помощью исследуют керн — образцы горной породы, извлеченные из скважин, — и изучают их внутреннюю структуру без разрушения.

💎 А в геммологии КТ помогает заглянуть внутрь жемчуга и драгоценных камней, изучить их структуру, обнаружить включения и внутренние повреждения.

Промышленный томограф — это не просто «рентген для деталей», а инструмент контроля качества, дефектоскопии, метрологии и исследования новых материалов.

Причем в промышленной дефектоскопии томография уже не привязана к стационарной установке. Как мы рассказывали вчера, технология X-SLAM от Smart Engines позволяет создавать переносимые томографические системы и проводить неразрушающий контроль непосредственно там, где находится объект.

Как работает промышленная КТ, где ее применяют и какие задачи она уже решает, — смотрите в анимационном эксплейнере, подготовленном вместе с Пост.Наукой⬆️

А подробнее о нашей разработке портативного томографа и технологии X-SLAM, — рассказали в новой статье на Хабре👆

Функциональность КТ-системы можно расширять без замены оборудования — на уровне программного обеспечения 👀

Всю неделю мы рассказывали о разных методах компьютерной томографии, которые разработала Smart Engines: о сканировании под контролем реконструкции, низкодозовых протоколах, энергочувствительной и фазово-контрастной КТ, технологии X-SLAM.

Все эти подходы реализованы в Smart Tomo Engine — программном комплексе для реконструкции, анализа и 3D-визуализации томографических данных.

Технология выполняет трехмерную реконструкцию объектов по набору рентгеновских проекций. Качество получаемого изображения позволяет врачу легко поставить диагноз, а технологу построить экспертную оценку качества процесса.

💼 Smart Tomo Engine берет на себя ключевые этапы работы с томографическими данными:

🔵выполняет автоматическую калибровку;
🔵подбирает алгоритм реконструкции под задачу, стремясь уменьшить выраженность кольцевых, звездчатых, чашевидных и других артефактов;
🔵обрабатывает большие объемы данных;
🔵работает с изображениями высокого разрешения;
🔵проводит реконструкцию до 5 раз быстрее без потери качества;
🔵позволяет работать с выбранной областью интереса, чтобы не тратить ресурсы на объем.

Для объектов, выходящих за пределы поля зрения детектора, используется запатентованный алгоритм FOVEA.

Результат реконструкции можно визуализировать послойно в 3D, использовать в автоматических системах анализа и для проведения модельных расчетов, а также передавать на 3D-печать.

Smart Tomo Engine работает на CPU и GPU, поддерживает Windows, Linux и российские операционные системы. API для C, C++, C#, Java, Python и PHP позволяют встроить STE в существующую инфраструктуру или использовать его при создании новых программно-аппаратных систем.

Подробнее о возможностях Smart Tomo Engine и сценариях его применения — рассказали в карточках👆