Что влияет на расход VRAM?
👋 Во время инференса память GPU расходуется сразу на несколько задач: хранение весов, KV-кэш, временные активации, batch, CUDA Graphs, служебные буферы и внутренние механизмы inference-фреймворка. Итоговое потребление зависит не только от самой модели, но и от того, как именно она используется.

📌 Один и тот же LLM может без проблем работать с короткими запросами, но столкнуться с нехваткой памяти при длинном контексте, большом числе одновременных пользователей или высокой параллельной нагрузке.

▪️ Именно поэтому сервер подбирают не только по размеру модели. Для корректного расчёта важно учитывать рабочий сценарий, длину контекста, ожидаемую генерацию, batch size, max concurrency, особенности GPU и используемый inference-фреймворк.

📲 Подробнее — в слайдах.

➡️ В Immers Foundation Models можно изучить характеристики open-source моделей, посмотреть рекомендуемые требования к ресурсам и протестировать модель через публичный эндпоинт, если он доступен. Для production-задач можно развернуть приватный сервер с GPU и подобрать конфигурацию под свою нагрузку.