На сколько на самом деле могут быть дороги AI системки?

Ну, если мы решаем реальную проблему и с толком подошли к процессу – переворачиваем туда сюда большие объемы данных чтобы ускорить в 50X раз то, что раньше делалось только человеками (анализ всяких разнородных и нудных документов), то ценность тут может намного превышать стоимость токенов.

А если мы делаем AI чатик.... Ну давайте посчитаем сферического коня в вакууме.

Пойдем по условному минимуму и будем крайне грубы! 😡

Например, у вас какой то чатбот без RAG, вы ему даете в промпт чеклист/базу знаний длинной в 2500 английских символов. Пусть это будет примерно 620 токенов, и пусть даже у вас промт будет полностью статичным, вообще без иньекций кроме текущей даты в конце. Это значит что мы по полной используем кеширование промптов, и почти не платим за входные токены... Красота!

Так сколько же мы будем отдавать, скажем OpenAI, при невероятных 5 RPS в наш чатик?

Давайте считать.

5 RPS × 3600 сек = 18,000 запросов/час
18,000 × 24 часа = 432,000 запросов/день
432,000 × 30 дней = 12,960,000 запросов/месяц

Мы очень хотим сэкономить, и когнитивные требования к нашему асситенту минимальны, поэтому мы взяли очень дешевый GPT-4.1 Nano.

Все еще находясь в сказочном мире, где RPS стабильный и кеш в OpenAI не протухает, считаем стоимость входных токенов:

620 токенов × 12,960,000 запросов = 8,035,200,000 токенов
8,035 × $0.025 = $201/месяц

С выходными чуть сложнее, пойдем с поправкой на то что у нас все таки ассистент, и он запрягается чтобы давать максимально подробный ответ для пользователя, предположим что средний ответ будет 200 токенов (это примерено 150 слов, небольшой абзац текста):

- 250 токенов × 12,960,000 запросов = 3,240,000,000 токенов
- 3,240 × $0.400 = $1,296/месяц

Итого: ~$1,497/месяц

Продолжение следует...