inksight

Когда фотографируешь рукописные заметки и хочешь превратить их в редактируемый цифровой документ, обычный OCR распознаёт только текст и теряет сами штрихи письма. А профессиональные планшеты для рукописного ввода требуют отдельного оборудования.

Недавно на GitHub появился InkSight — это опенсорсный проект от Google для преобразования рукописных заметок. Он умеет превращать фото рукописного текста в векторные штрихи, сохраняя траекторию письма, с поддержкой редактирования и поиска.

Система построена на архитектуре ViT + mT5 (encoder–decoder). Модель проходит двойное обучение через этапы «чтения» и «письма», благодаря чему она не только понимает рукописный текст, но и умеет восстанавливать сам процесс письма.

Поддерживается многоязычное распознавание, разные фоны и стили письма. Есть два режима конвертации:

на уровне слов,

и на уровне всей страницы.

На выходе получается векторный цифровой почерк, который можно напрямую редактировать, искать по нему или импортировать в заметочные приложения.

Также есть онлайн-демо на Hugging Face, выложен полный датасет и примеры кода в Jupyter для локального запуска.

📁 Language: #Python 13.2%

⭐️ Stars: 759

➡️ Cсылка на GitHub

📱 @git_developer