🤩 Сегодня на повестке дня многобукв о том, как же работает память бота?

Сегодня будут затронуты более технические моменты, ответ на некоторые вопросы и в целом просто немного размышлений и того, что Шут наблюдал за свой скромный опыт взаимодействия с ботами. Это не истина в последней инстанции, но то, с чем столкнулся именно я!

Самые важные аспекты, которые мы будем сегодня изучать:
1. Если я поменяю модель, то бот забудет мой с ним диалог в чате?
2. Что такое контекстный лимит?
3. Зачем нужна вкладка в яниторе с памятью?

Конечно, начнем мы с самого простого.
Контекстный лимит – Context Size – вещь, которая есть абсолютно у всех моделей. Это показатель, того, сколько ваш чат с ботом может вместить. 😻Простая аналогия: есть пустое ведро – чат с вашим ботом. По мере общения вы заполняете его водой, а когда оно переполнено – возникает ошибка. Решение: новое ведро. Или, собрать самое важное и перейти в новый чат.

В новых моделях, например дипсике контекстный лимит довольно большой, но и его может не хватать! Однако, важно понимать, что ЛЮБАЯ модель(дипсик или нет – неважно) будет проседать в качестве ответов с длительностью чата. Рекомендуется уменьшать контекстный лимит и переодически делать summary чата.

Память измеряется в токенах.
Токены – отдельные слова, их части, пунктуация и любые символы.
Токенайзер отвечает за превращение слов в токены, у каждого провайдера/модели они свои.

Мы будем рассматривать только токенайзер от дипсика(но я не уверена какой токенайзер использует янитор/опенроутер). Поидее каждая модель идет со своим токенайзером. Вот отличительная черта токенайзера дипсика – пробелы и новые строки не считаются за токены. Таким образом вы можете обеспечить читабельность вашего текста (без этих стен сплошняком) и тратить меньше памяти.

Токенайзер, который показывает количество токенов в яниторе считает пробелы и новые строки за токены.

[Сайт с токенайзером дипсика]

Как же все это работает?
Каждый раз когда вы отправляете сообщение, боту отправляется целый пласт информации. В него входят(порядок не точный): системный промт(если таковой имеется/в яниторе это custom prompt), описание вашей персоны, описание персонажа, сценарий, примеры чата(example dialogues), вся история чата, summary of chat(в яниторе).

Это значит, что каждый ваш свайп не остается на "сервере", а отправляется заново. Как это влияет на ваш опыт?

Разные провайдеры ставят разные ограничения, так, в опенроутере – 50 соо в день, а на таргоне – платите за количество токенов в запросе.

Значит, математика становится простой: для коротких ролевых, где еще мало сообщений – удобнее юзать тех провайдеров, которые дают пробный баланс; для больших ролевых – опенроутер. Конечно, это не обязательно, но вероятно будет удобнее.


Теперь последнее, вкладка с памятью. Она нужна, чтобы учесть самые важные моменты, напомнить о том, что было раньше. Например, в начале бот подарил вам кольцо, и в последующем забыл об этом – полезно вставить напоминание в окошко summary. Это повышает качество ролевой, и в целом делает жизнь проще! Более подробный пост про summary – [тык-тык]