inksight
Когда фотографируешь рукописные заметки и хочешь превратить их в редактируемый цифровой документ, обычный OCR распознаёт только текст и теряет сами штрихи письма. А профессиональные планшеты для рукописного ввода требуют отдельного оборудования.
Недавно на GitHub появился InkSight — это опенсорсный проект от Google для преобразования рукописных заметок. Он умеет превращать фото рукописного текста в векторные штрихи, сохраняя траекторию письма, с поддержкой редактирования и поиска.
Система построена на архитектуре ViT + mT5 (encoder–decoder). Модель проходит двойное обучение через этапы «чтения» и «письма», благодаря чему она не только понимает рукописный текст, но и умеет восстанавливать сам процесс письма.
Поддерживается многоязычное распознавание, разные фоны и стили письма. Есть два режима конвертации:
на уровне слов,
и на уровне всей страницы.
На выходе получается векторный цифровой почерк, который можно напрямую редактировать, искать по нему или импортировать в заметочные приложения.
Также есть онлайн-демо на Hugging Face, выложен полный датасет и примеры кода в Jupyter для локального запуска.
📁 Language: #Python 13.2%
⭐️ Stars: 759
➡️ Cсылка на GitHub
📱 @git_developer
Post #1249
3.23K

- ❤ 8
- 👍 8
- 🔥 3