Интересный проект: ребята написали ещё один движок запуска больших нейронок на домашних компьютерах. Очень больших 👀

Утверждают, что на макбуке с 64 Гб памяти удаётся выжать по токену новейшей Kimi K3 каждые две секунды. Без интернета, cuda и прочих особых зависимостей.

Это, конечно, пока не достаточно комфортно для реального использования, но сам факт, что модель на 2.78 триллиона параметров можно успешно запускать на обычном компьютере, даже без видеокарты, впечатляет.

Работает всё за счёт схемы стриминга только нужных весов для активных подсетей (mixture of experts) с gen5 SSD.

Если на каждый токен нужно загрузить с диска примерно 17Гб весов, а скорость SSD 12Гб в секунду, то примерно и получаем один токен каждые две секунды, и смысла пытаться вынести что-то на GPU, видимо, особого нет...

Ждём ещё более быстрых SSD 😁

#today_I_learned #ai