😶🌫️Как точно рассчитать конфигурацию для запуска LLM?
😶🌫️Как настраивать параметры инференса, чтобы сэкономить, но не потерять в качестве?
Эти и другие вопросы разберем вместе с экспертами Cloud․ru на вебинаре 15 января.
Что обсудим:
😶🌫️из чего складывается потребление vRAM
😶🌫️как точно рассчитать нужную конфигурацию GPU
😶🌫️какие параметры LLM сильнее влияют на цену и производительность
😶🌫️как масштабировать модель и переводить ее в serverless-режим
А еще будет практика: запустим LLM в сервисе Evolution ML Inference, покажем оптимальные параметры, сравним разные конфигурации по цене и скорости.
Ждем всех, кто хочет избежать лишних трат на ML-инфраструктуру.
Зарегистрироваться 🖱