TGViewer
Машинное обучение RU Машинное обучение RU @machinelearning_ru · 18.2K subscribers
Post #3494 1.93K
💸 Дешёвый токен ещё не значит дешёвую модель.

По исследованию AlphaSense, Kimi может стоить заметно дешевле GPT-5.6 Sol за токен, но обходиться дороже за один завершённый вопрос.

Причина простая: модель тратит больше токенов на сбор контекста, повторный retrieval и длинные цепочки перед тем, как добраться до полезного ответа.

Реальная формула стоимости выглядит так:

цена токена × количество токенов до завершения задачи

И здесь более дорогая модель может оказаться выгоднее, если она быстрее находит нужные данные, вовремя останавливается и работает с меньшим контекстом.

В многошаговых агентах это особенно критично: лишний retrieval на первом этапе раздувает контекст на всех следующих шагах.

AlphaSense пишет, что только изменение retrieval-пайплайна вокруг той же модели дало примерно 3× снижение стоимости.

Поэтому экономика AI всё сильнее зависит не от прайса API, а от retrieval, routing и evaluation вокруг самой модели.

https://www.alpha-sense.com/resources/product-articles/frontier-ai-models-context/
  • 👍 7
  • ❤ 1
  • 🔥 1
More from @machinelearning_ru
  1. Sep 22, 2026Теренс Тао призвал замедлить гонку ИИ в математике «Мы можем позволить себе двигаться медл…
  2. Sep 20, 2026📌Goldman Sachs повысил прогноз по развитию физического ИИ Финансовый конгломерат обновил…
  3. Sep 18, 2026🧠 ИИ может «думать дольше», не генерируя длинную цепочку рассуждений Исследователи предст…
  4. Sep 17, 2026🔥 Cohere ускорила LLM inference на H100 с помощью megakernel - до 1,58× быстрее vLLM Обыч…
  5. Sep 17, 2026🔥 Один из лучших обучающих курсов на StepiK по SQL SQL можно знать годами и всё равно тер…
  6. Sep 17, 2026🔥 China Telecom открыла Xing4.0-29B-A4B - MoE-модель на 29B параметров, где на каждом шаг…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →