В GitHub появился проект InkSight от Google Research - система, которая умеет превращать фотографии рукописных заметок не просто в текст, а в векторный цифровой почерк с сохранением траектории письма. В отличие от обычного OCR, здесь сохраняется сама логика и форма написания, а результат можно редактировать и искать по нему.

Проект построен на связке ViT + mT5 (encoder–decoder) и обучается в двух режимах - «чтение» и «письмо». Это позволяет модели одновременно понимать рукописный текст и восстанавливать процесс его написания.

InkSight поддерживает несколько языков, разные фоны и стили письма, а также два режима работы - по словам и по всей странице. Выходные данные - векторные штрихи, которые можно импортировать в заметочные приложения.

Проект уже доступен на GitHub, есть онлайн-демо на Hugging Face, полный датасет и Jupyter-примеры для локального запуска.