#self-hosted #инференс

«Давайте просто развернём свою LLM на 1Т параметров»: что пришлось построить вокруг неё в Битрикс24

В просьбе «давайте просто развернём свою LLM на 1Т параметров» больше всего вопросов к слову «просто». Допустим, модель уже работает. Теперь чаты, длинные документы и агенты делят одни и те же мощности. Надо решить, кто подождёт, чем занять ресурсы между пиками и как проверить, что очередная оптимизация не испортила ответы. На Saint HighLoad++ я разбирал эти задачи, постепенно достраивая схему платформы. В статье сделаем так же.

⭐️◽️◽️◽️◽️

📖 Читать