Дообучи DeepSeek-OCR под свой язык

(все на локалке, 100%)

Большинство vision-моделей воспринимают документы как огромные последовательности токенов, из-за чего обработка длинного контекста получается дорогой и медленной.

DeepSeek-OCR использует контекстное оптическое сжатие, чтобы переводить 2D-лейауты в vision-токены. Это дает эффективную обработку сложных документов.

Это vision-модель на 3B параметров, которая дает 97% precision, при этом использует в 10 раз меньше vision-токенов, чем текстовые LLM.

И да, ее можно без проблем дообучить под свой кейс на одной GPU.

Я использовал Unsloth для эксперимента на персидском тексте и получил улучшение character error rate на 88.26%.

↳ Базовая модель: 149% character error rate (CER)
↳ Дообученная модель: 60% CER (на 57% точнее)
↳ Время обучения: 60 steps на одной GPU

Персидский был просто тестовым кейсом. Ты можешь подставить свой датасет под любой язык, тип документов или конкретную предметную область, с которой работаешь.

Все на 100% open source

Технический стек:

- UnslothAI для запуска и тонкой настройки модели
- LightningAI среды для хостинга и развертывания

Код и настройки среды можно найти здесь