Jev не генеративен, потому что он не выбирает следующий токен, а выбирает один из вариантов, данных ему юзером. Максимум — 255 вариантов, из которых он будет выбирать.
С другой стороны, языковые модели при одном форварде через них тоже не генеративны, потому что выбирают один из вариантов, данных им токенизатором.
Вывод: даём Jev'у токенизатор из 254 токенов (буковки, циферки и некоторые короткие популярные слова), даём возможность авторегрессионно выбирать один из этих токенов — готово, Jev обрёл голос.
Выбирает год без секса вместо года без пельменей, хвалит себя, умеет перемножать 2 и 2 и циклится на вопросе "как выйти из вима". AGI.
Gist с кодом
Post #855
685

