Модель на 80 млрд параметров запустили на обычном ноутбуке
⠀
Движок с открытым кодом Janas держит веса модели на быстром SSD и подгружает в память только нужные куски. Модель размером около 48 ГБ идёт на ноутбуке с 32 ГБ памяти.
⠀
Скорость по замерам автора на одном ноутбуке:
Обычный движок: 2,8 токена в секунду
Janas: 24, с ускорением до 37
⠀
Токен это примерно слово, так что 24 в секунду быстрее, чем вы успеваете читать.
⠀
Код, замеры и инструкция лежат на GitHub. Проект экспериментальный, сборка пока под Linux.
⠀
А вы запускали ИИ-модели у себя на компьютере или всё в облаке?
⠀
RAGNAROK | ИИ и технологии