Дообучить 8B-модель теперь можно локально даже на ноутбучной GPU с 4 ГБ VRAM.

Soup держит замороженные веса модели в оперативной памяти и по очереди загружает на GPU только один слой декодера.

За счёт этого пиковое потребление видеопамяти остаётся ниже 4 ГБ.

Заявленные результаты на RTX 3050:

- 3,32 ГБ VRAM в пике
- до 119,6 токена/с
- результат побитово совпадает с обычным запуском
- вся настройка через один YAML-файл

Идея простая: вместо попытки целиком уместить 8B-модель в видеопамять слои последовательно передаются между RAM и GPU.

https://github.com/MakazhanAlpamys/Soup