⚡️ PaddleOCR-VL объяснили свою архитектуру и почему двухэтапный подход уверенно выигрывает у end-to-end моделей в сложных документах.

1) Этап 1: PP-DocLayoutV2 - система сначала понимает структуру страницы
Модель определяет, какие элементы находятся на странице и в каком порядке их нужно читать.
Используются RT-DETR для обнаружения текстовых блоков, таблиц, формул и графиков, а также Pointer Networks для предсказания человеческого порядка чтения.
Благодаря этому исчезают ошибки структуры, и получается чистый список элементов.

2) Этап 2: PaddleOCR-VL-0.9B — этап точного распознавания
Каждый элемент проходит через компактную, но очень точную VL-модель.
Она использует динамическое разрешение в стиле NaViT без искажений, ERNIE 4.5-0.3B для быстрого декодинга и двухслойный MLP-проектор для объединения визуальной и языковой информации.
Модель уверенно распознает текст, таблицы, графики и формулы при размере всего 0.9B параметров.

3) Зачем делить процесс на два этапа
Такой подход дает стабильную работу на много-колоночных и смешанных макетах, повышает скорость обработки, потому что элементы идут параллельно, и облегчает расширение под новые типы данных вроде кода или схем.
Специализированная задача получает специализированную модель.

4) Полный путь от PDF к структуре
Сначала документ анализируется, затем элементы вырезаются, после этого распознаются и в конце собираются обратно в структуру.
Результат получается в виде Markdown или JSON, которые готовы для поиска, RAG или автоматизации.

В следующем материале команда покажет внутреннюю «фабрику данных» из более чем тридцати миллионов примеров с автолейблингом и подбором сложных кейсов.

https://aistudio.baidu.com/paddleocr?lang=en