Кратко: мы перевели инференс языковых моделей Агаты на облачную инфраструктуру Cloud.ru — на сервис Evolution ML Inference. За обработку отвечают Mistral (анализ документов и извлечение сущностей) и Gemma (поиск, суммаризация, ответы пользователю). Бизнес-логика и интерфейс — на Evolution Compute.
😝 Ранее подключение дополнительных GPU занимало 1–2 дня, но теперь 5–10 минут.
Мы неоднократно говорили, что стоимость и доступность вычислительных мощностей в России остаются одним из ключевых препятствий для внедрения ИИ. Приобретение собственного оборудования требует значительных капитальных вложений и не позволяет оперативно реагировать на изменение нагрузки. Облачная модель с оплатой рay-as-you-go меняет саму экономику проектов: инфраструктура масштабируется вместе с ростом задач, без необходимости закупать серверы заранее.
Владимир Макаров, CTO AgenticLab:
«Обслуживание собственного оборудования означало постоянные расходы независимо от фактической загрузки. Благодаря сервисам Cloud.ru мы можем гибко наращивать мощности по мере роста нагрузки, оплачивать только фактически потребленные ресурсы и соблюдать требования к безопасности данных.»
CNews | Telecom Daily | IT Speaker | ComNews | ICT | Дзен