🦋 Какой-то гений выпустил тулзу Colibri, которая запускает гигантскую GLM-5.2 на 744 миллиарда (!) параметров на домашнем ПК — требуется всего 25 ГБ оперативной памяти даже без видеокарты.

Как работает:

• Это один файл на чистом C на 2400 строк — во время работы ему не нужны Python, библиотеки и GPU.
• Трюк: модель занимает 370 ГБ на диске и подгружает только 10-20 ГБ данных в оперативную память по мере необходимости.
• Вместо хранения всей модели в RAM, тулза загружает нужные блоки с SSD, использует их и освобождает место.
• Ложка дёгтя в бочке мёда: на среднем железе скорость составляет 0,1 токена в секунду, но при быстром диске это можно ускорить.
• После установки запускается всего за 30 секунд.

Гоняем гигантскую LLM на картошке — тут.

@notboring_tech