Эксперимент: диффузионная текстовая модель на 11 млн параметров

Разработчик тестирует миниатюрную символьную диффузионную модель (всего 11M параметров), основанную на переработанной версии nanochat GPT. Вместо классического авторегрессионного декодирования используется диффузионный подход, а обучается модель на датасете Tiny Shakespeare.

В процессе экспериментов исследуются разные стратегии маскирования токенов. Простая схема с равномерной вероятностью уступает новым методам, где маскирование идёт блоками слева направо = это повышает качество вывода и даёт возможность частично переиспользовать KVCache.

Самое интересное, автор попробовал применять маскирование по правилам «Игры жизни» Конвея, и это дало неожиданные, но визуально захватывающие результаты.

Он предполагает, что подобные нестандартные схемы маскирования могут привести к новым эффектам и улучшениям в генерации текста.

Эксперимент ещё в работе, но уже выглядит как увлекательное направление для развития текстовых диффузионных моделей.

👉 @PythonPortal