Китайские дешевые токены
Друзья, привет.
Вот что пришло в голову, делюсь.
Недавно потребовалось отправить в сильнейшую модель 10 млн. запросов и сделать это за неделю. Размер запроса примерно 4-5 страниц вместе с системным промтом. В документах текст, таблицы, графики и частично изображения. B это только для пилота, в реальности нужно будет в разы больше прокачивать, если гипотеза подтвердится.

И вот тут я уперся в стену, что просто дико дорого использовать топовые модели столько раз подряд.
Нужны не отдельные запросы, а поток вызовов, в котором запросы связаны между собой. Нужен был разбор ответов, переписывание, сравнение и повторные вызовы, но уже с другим текстом, пусть и очень похожим.
И тут мы стали не просто пользователями мощной модели, а диспетчерами токенов. Мой AI-помощник накидал мне варианты экономии с подписками, управлением потоков, разными моделями, очередями и т.п. Но дальше выяснилось интересное. Рынок уже сам начал искать обходные пути, а китайцы уже все сделали за нас, пока правда на серых схемах.

Помните, что раньше были дешевые китайские товары, и это уже на подкорке у многих, так вот сейчас появились дешевые китайские токены. Конечно, можно взять легальные дешевые модели DeepSeek или Qwen, но нам не хватало. И вот тут китайцы придумали через какие-то прокси давать доступ в 10-20 раз дешевле к топ моделям. Проверить на 100%, какая модель там реально отвечает, сложно. По качеству иногда похоже, что не врут. Экономия сильная. Но с безопасностью, происхождением доступа и судьбой данных там слишком много вопросов.

И вот тут пришла в голову вроде очевидная мысль, если разработка, аналитика, тексты и управление все больше уходят в ИИ, то многим скоро придется сжигать очень много токенов. Многие уже сжигают. Значит рынку, как и мне нужен нормальный сервис (маркетплейс) дешевых токенов. У кого-то избыток в подписке, подключился, продал. Кому-то подвалило вместо акций токены, взял и продал :)

Сервис должен быть не серый и мутный, а надежный, с проверенными поставщиками, безопасностью, возможным кэшированием и чтобы данные не утекали.
Скоро важно будет не только уметь задавать вопросы ИИ, но и не разориться, пока модели отвечают. После API агрегаторов для подключения к LLM, пора делать полноценный маркетплейс токенов.