В каких проектах выгоднее использовать тарификацию по ресурсам, а для каких оптимальна оплата по токенам? Разбираемся на примере наших продуктов из ИИ-платформы Selectel.
Выгодно платить за вычислительные ресурсы → Foundation Models Catalog
🖥 Требования регуляторов. Вычисления и данные не должны покидать границы государства.
🖥 Проект растет. Количество запросов настолько
велико или непредсказуемо, что экономически выгоднее платить за GPU, чем за миллион токенов.
🖥 Архитектура усложняется. Ваш продукт полагается на несколько моделей и многоэтапные пайплайны. От этого выгоднее минимизировать сетевые задержки и сложность развертывания.
Выгодно платить за количество токенов → ИИ-роутер
🖥 Проект на старте. Объем запросов низкий или нестабильный. Нет смысла резервировать дорогие GPU, но проще платить за фактические токены.
🖥 Нагрузка эпизодическая. Пиковые всплески сменяются периодами простоя. Оплата по токенам позволяет не держать инфраструктуру без использования.
🖥 Не нужна кастомизация. Используете стандартные публичные модели без дообучения или специфических требований к окружению.
Сохраняйте пост со шпаргалкой по выбору решения. Больше вариантов ИТ-инфраструктуры для ИИ-задач — в ИИ-платформе Selectel ➡️