Как мы сократили расходы на AI в 3 раза?

Все говорят про внедрение нейросетей, но мало кто говорит о том, как дорого их содержать, когда проект вырастает.

Мы уже больше года работаем над бэкендом и инфраструктурой приложения CalZen. CalZen — это трекер калорий, который определяет состав и питательную ценность блюда по фотографии. Для обработки и распознавания мы используем OpenAI/Gemini.

Когда у тебя миллионы запросов в неделю, каждый потраченный токен бьет по карману. Поэтому мы провели серьезную работу над оптимизацией и хотим поделиться тем, что сэкономило нам бюджет.

Что мы сделали?
Мы разбили задачу на 5 направлений и получили совокупный эффект, который позволил нам снизить расходы в разы.

▪️ Контроль лимитов (экономия ~20%)
Мы ввели жесткие лимиты на сканирования для разных категорий пользователей и настроили систему их трекинга.

▪️ Настройка параметров модели (экономия ~30%)
Иногда модель тратит кучу токенов просто потому, что ей не сказали «хватит». Мы убрали лишнее из промта и выставили адекватные лимиты на максимальную длину ответа. Модель стала отвечать короче и четче.

▪️ Бизнес-логика (экономия ~10%)
Мы пересмотрели сценарии: не всегда нужно звать тяжелую модель, если задачу может решить легковесный алгоритм. Например, некоторые проверки и препроцессинг данных мы вынесли до обращения к AI.

▪️ Размер токенов (экономия ~30%)
Здесь мы поработали над входными данными. Картинки сжимаются до оптимального размера (чтобы модель не теряла качество, но и не обрабатывала мегапиксели), а текстовые описания чистятся от мусора. Меньше входных токенов — меньше цена.

▪️ Кэширование промтов (экономия ~10%)
Если 1000 человек фотографируют яблоко, зачем 1000 раз объяснять модели, что такое яблоко? Мы закешировали повторяющиеся запросы. Это дало небольшой, но стабильный плюс к общей экономии.

Мы сделали систему эффективнее. Меньше затрат на инфраструктуру — больше ресурсов на развитие фич.

📌 У вас есть мобильное приложение, и вы хотите сократить расходы на AI? Приходите на звонок-знакомство с командой along.ae, и мы рассчитаем для вас стоимость услуги.

Выбрать время