Интересная картина, не правда ли? Ни на что не намекаю, и не пытаюсь подробно анализировать, но сколько в этой нише прямо таки успешных B2C чатиков? Ну видимо ноль 😏

Все решения B2B вроде интеркома и прочего были еще до LLM и это не наш случай. Весь сегодняшний грубый подсчет интересен тем чтобы посмотреть как очень линейно-уверенно могут расти цены на вроде бы дешевые модели.

Конечно, 5RPS чатик это и правда очень сказочный случай, во-первых такого стабильного трафика никогда не будет, во вторых... такого трафика наверное вообще в подобном продукте не будет, у нас уже есть ChatGPT, Claude, Geminit – всем кому нужны "чатики" для general purposes, _и не только_ – пользуется топовыми решениями, с этим уже понятно.

Но для LLM штука годная, применима не только для чатиков, поэтому про стоимость токенов надо всегда думать с самого начала и как можно точнее ее предсказать для нашего сценария.

А, кстати, такой же 5RPS чатик на GPT-4.1 будет стоить уже почти 30к долларов в месяц!
Может уже проще Deepseek или Qwen свой захостить? 🤔

Ну, даже не знаю... Зато знаю что кешировать можно и нужно больше, если требований к данным в реальном времени у нас нет.

Все это дисклеймер к статье которую я процентов на 85% уже написал 🙂