https://huggingface.co/Team-PIXEL/pixel-base
https://arxiv.org/abs/2207.06991

Наткнулся на прикольную генеративку которая генерит текст, но в виде изображения


То есть буквально - на выходе чб картинка некоторого разрешения в которую активация софтмаксится в интенсивность черного.

Зачем это
Language models are defined over a finite set of inputs, which creates a vocabulary bottleneck when we attempt to scale the number of supported languages. - словарь это узкое место моделей, особенно когда мы учим модель понимать другие языки.

Также, кажется, что такие штуки можно применять для систем, устойчивых к шрифтам, например что бы правильно интерпретировать такое сообщение

Ⓓⓞ ⓨⓞⓤ ⓦⓐⓝⓣ ⓣⓞ ⓔⓐⓡⓝ ①000$ ⓐ ⓓⓐⓨ?

Учится как берт, пытается восстановить маску

P.S. Поверх этого, конечно, можно добавить OCR что бы на выходе получался полноценный текст