😮 Вышла микронейронка весом в 40 Кб — она работает на 8-битном процессоре Z80-μLM

Челам было нечего делать на выходных, и они сделали 2-битную квантовую LLM для процессора Z80, у которого всего 64 Кб ОЗУ.

Все веса, вывод и интерфейс чата умещаются в один файл на 40 Кб — для этого пришлось провернуть много уловок по типу хеширования триграмм, подключить 16-битный матан и обучение с квантованием.

Модель, конечно, не пишет стены текста и не делает глубокие исследования, но может спокойно вести простые диалоги и даже играть в угадайку.

Модель, работающая на 64 Кб ОЗУ, очень кстати сегодня 😣

Пет-проект