Тема костов становится все более актуальной не только для компаний, но и для индивидуалов.
Как только появилась Соннет 5, многие стали говорить о том, что это лучшая модель по соотношению цена/качество - люди смотрят на результаты модели, на raw стоимость токенов и делают выводы. Но что стоит модели достичь таких результатов? Сколько шагов ей нужно сделать и сколько токенов сжечь? Помните тот анекдот про музыканта виртуоза?
На улице недалеко друг от друга подрабатывают два гитариста - молодой и старый. Молодой музыкант показывает суперскоростную технику, "пилит" по всему грифу, сногсшибательно импровизирует, а старый скромно стоит в сторонке и извлекает вдумчиво пару-другую нот. Около молодого гитариста - никого, около старого - толпа народу.
Один слушатель не выдержал, подошел к старому музыканту и спрашивает: "Как так получается, что тот молодой музыкант быстро играет, показывает фантастическую технику, и его никто не слушает, а вы спокойно играете несколько нот и вас слушает толпа народу?" Старый музыкант подумал и ответил: "Он только еще ищет свою ноту, а я уже нашел..."
Забавно, но для LLM этот принцип часто тоже работает - более мощные и умные модели (GPT 5.5, Fable) за меньшее количество шагов достигают той же цели, сжигая в разы меньше токенов на пути. И новая Sonnet 5 как раз отличный пример такого поведения - она на столько много "ищет", что в итоге на многих задачах по цене выходит дороже Opus 4.8 и прям ощутимо дороже GPT 5.5. Не мудрая, в общем модель)
Например, из CursorBench можно увидеть, что Sonnet 5 high с результатом (57%) vs GPT 5.5 medium (59.2%) получается. То есть, даже с учетом скидки Sonnet 5 может оказаться дороже GPT 5.5. Любопытно, что ни по FrontierCode ни по CursorBench результаты не опубликовали в анонсе, они есть только в system card.
Понятно, что по API сейчас соннет дают с небольшой скидкой, что все-таки делает ее слегка дешевле, чем Opus 4.8, но каким образом Sonnet 5 будут чарджить по подписке - пока загадка.
Ждем другие бенчмарки для объективности, но по костам картина уже вырисовывается довольно объективная. И конечно, ждем новое семейство GPT 5.6 - там как раз наоборот по соотношению цена-качество ожидают куда более интересное соотношение, особенно у средней модели Terra.
Что касается меня, то я уже недели три как почти полностью пересел на GPT-5.5 (сразу после отключение Fable), и при оптимальном выборе reasoning - medium / high, в целом, лимитов на 200$ подписке стало хватать на всё. Fable, видимо, буду использовать точечно, как и писал выше в своем обзоре - и смысла теперь в Claude подписке без Fable не вижу, разве что для ревью когда нужен "независимый взгляд".
Ну и напомню, что если цель - сокращение костов и у вас большая кодовая база (1М+ строк), то хороший контекстный движок (например, CodeAlive) - это один из наиболее выгодных способов снижения костов (и существенного ускорения стадии ресерча кодовой базы заодного). Конкретно на exploration даже на небольшой кодовой базе сокращение потребления токенов получается -45% в среднем в нашем RepoQA бенчмарке.
Источники:
Твит от Artificial Analysis на эту тему.
Sonnet 5 System Card (для тех, кто любит копать глубже - похоже, что они прогоняют Main набор FrontierCode на 100 задач).
Расскажите про свои впечатления от Sonnet 5 и актуальна ли для вас вообще проблема костов/экономии токенов.
@ai_driven