Как вы (да все мы) сжигаем токены впустую...

Спросите своего Клода и ЖПТешечку, сколько токенов вы потратили за последний месяц. А затем спросите вдогонку сколько токенов было потрачено на обдумывание и генерацию решений, а сколько на перечитывание контекста.

Результат повергнет вас в шок. Там, правда, не все так плохо, но для понимания это знать необходимо

У нейросетей "на вход" есть токены двух видов:

- Стандартные (условно по стандартной стоимости)
- Кеш-токены ( дешевле стандартных в 10-20 раз)

А теперь давайте посмотрим, собственно, что происходит, когда мы общаемся с моделью.

Каждый раз, когда вы отправляете нейросети сообщение, она, прежде чем начать думать и отвечать вам, сначала перечитывает контекст. Это происходит при каждой вашей отправке, даже если это будет банально ОК в ответ на ее вывод.

Теперь представьте, что у вас в сессия с контекстным окном 500-600 тыс токенов. Там лежит все, что вы пообсуждали, там память, скиллы. Короче, все, что ей нужно для корректного ответа. И вот перед каждым ответом модель перечитывает этот контекст заново. Всегда. Без исключений. И каждая ваша фраза стоит вам эти 500-600 тыс токенов.

И это был бы полный ужас, если бы не один нюанс: если сессия "горячая", то токены, которые модель тратит на перечитывание контекста стоят в 10-20 раз дешевле стандартных. И это спасает наши лимиты, но...

Что такое "горячая сессия"?

"Горячей" сессия является, если с вашего последнего ответа в ней прошло

Claude- не более 60 минут
ChatGPT- не более 30 минут

Пока вы держите сессию "горячей"- токены перечитывания контекста вам обходятся с хорошей скидкой и не очень больно бьют по лимитам. Но если сессия "остыла", то первое ваше сообщение за пределами этого окна будет вам стоить полную стоимость токенов.

На примере: у вас в сессии контекстом забито 500 тыс токенов

1. Вы пришли утром на работу и написали "Привет, Клод" С вас 500 тыс токенов
2. Ваше второе сообщение модели через 2 минуты "Что там как?" будет стоить уже в 10 раз дешевле - 50 тыс токенов
3. Вы пошли пообедать, вас не было 1 час 10 минут - "Клод, ты сделал, что я просил прежде чем уйти на обед?"- с вас снова 500 тыс токенов

Из этого всего я вывел несколько правил "токенной гигиены"

1. Старайтесь писать задачу объемно и описывать в ней все, что хотите сделать одним сообщением
2. Регулярно сжимайте контекст командой /compact или вообще поставьте /autocompact на определенное кол-во токенов, например на 300К
3. Если работаете с сессией регулярно, старайтесь держать ее "горячей", т.е отправлять ей сообщение раз 30 мин для GPT и раз в час для Claude

А теперь спросите свою модель, сколько же токенов потрачено на перечитывание контекста....Дайте угадаю 94-98% всех токенов, да?