Компания Jina AI представила модель jina-ocr-v1, предназначенную для сквозного преобразования страниц документов и PDF-файлов в структурированный Markdown всего за один проход. Модель распознает текст, сложные таблицы, математические формулы и корректно восстанавливает порядок чтения, делая результат сразу пригодным для использования в пайплайнах больших языковых моделей без дополнительной постобработки.
Архитектура системы построена на базе DeepSeek-OCR с использованием концепции смеси экспертов, насчитывающей 3,4 миллиарда общих параметров, но активирующей лишь порядка 570 миллионов параметров на токен. За визуальную часть отвечает компактный энкодер DeepEncoder, сжимающий изображение страницы с минимальными вычислительными затратами, а поддержка динамического разрешения позволяет эффективно обрабатывать детализированные фрагменты. Для радикального снижения стоимости продакшен-инференса разработчики внедрили спекулятивное декодирование FastMTP, генерирующее до трех черновых токенов за шаг. За счет «жадной» проверки итоговый текст получается строго побайтово идентичным классическому авторегрессионному выводу, при этом скорость генерации на сравнительно доступных ускорителях вроде NVIDIA L4 возрастает практически вдвое.
Обучение и постобучение модели включало методы выравнивания инструкций, адаптацию к поврежденным и историческим архивам, а также обучение с подкреплением GRPO на базе плотных проверяемых наград за структуры таблиц и формул. Благодаря этому jina-ocr-v1 демонстрирует высокие результаты на бенчмарках OmniDocBench и olmOCR-Bench, сохраняя при этом рекордную скорость обработки документов в сравнении с конкурентами схожего качества: на одном чипе A100 производительность достигает более двух с половиной страниц в секунду.
Основным сценарием применения решения выступает массовая и экономичная оцифровка корпоративных документов, сканов и PDF-архивов, где решающим фактором является пропускная способность на единицу затрат. Модель поддерживает свыше сотни языков, транскрибирует колонтитулы для сохранения архивной полноты и распространяется под лицензией CC BY-NC 4.0, будучи доступной как через API Jina AI, так и на Hugging Face.
Post #1321
287

- 👍 2