🖥️ Какой ИИ запускать локально? Подборка под разный объём видеопамяти. Актуалочка на Октябрь 2026.
4–8 ГБ VRAM
Компактные модели LiquidAI LFM2.5, например 2.6B, для локального помощника с небольшими требованиями к ресурсам.
https://huggingface.co/LiquidAI/LFM2.5-2.6B
8–16 ГБ VRAM
Underdog Saluki 27B: сжатая версия Qwen3.8-27B с настройкой под вызов инструментов. Файл весов занимает 7,89 ГБ, но для работы потребуется дополнительная память под контекст и вычисления.
https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0
Для задач выбора действий и автоматизации также стоит посмотреть Clef-Flash от Cloudflare.
https://huggingface.co/Cloudflare/clef-flash
16–32 ГБ VRAM
Qwen3.8-27B в подходящей квантизации. Вариант для кода, работы с изображениями и агентных задач.
https://huggingface.co/Qwen/Qwen3.8-27B
32–96 ГБ VRAM + большой запас RAM
Можно рассматривать Qwen3.8-Flash-Next с частичной выгрузкой весов в оперативную память. Скорость будет зависеть от железа и объёма выгрузки.
https://huggingface.co/Qwen/Qwen3.8-Flash-Next
96–192 ГБ VRAM
Крупные MoE-модели: Qwen3.8-Flash-Next и GLM-5.3-Flash. Нужны подходящая квантизация и расчёт памяти под выбранный контекст.
https://huggingface.co/zai-org/GLM-5.3-Flash
💡 Диапазоны ориентировочные. Размер весов не равен потреблению памяти: контекст, KV-кэш и параллельные запросы тоже занимают место.
Post #5946
1.32K

- 👍 7
- 🔥 6
- ❤ 3
- 💯 2
- 🤔 1