если бот начал забывать, реагировать невпопад или вы просто хотите, чтобы он запоминал важное — давайте разложим по полочкам, как вообще работает память в janitorai
🌟Что такое токены?
токены это не слова, а их части: слоги, буквы, пробелы, знаки. ИИ "читает" и "запоминает" именно токены.
у каждого чата есть контекстный лимит. это всё, что ИИ может одновременно держать в голове.
JanitorLLM (модель по умолчанию) имеет лимит 9000 токенов
🌟Как их посчитать?
пример: 500 токенов у бота в personality и scenario, 300 токенов у вашей персоны. остаётся:
9000-500-300=8200 токенов на память чата. запомните число. это ваша зона риска.
когда несохранённые токены приблизятся к этой цифре, ИИ начнёт забывать, избавляясь от старой информации, чтобы запомнить новую. эти условные 500 и 300 токенов бот будет помнить постоянно, потому что они перманентные
🌟Как это отслеживать?
в интерфейсе чата нажмите на Chat Memory. в скобках вы увидите, сколько токенов уже использовано.
когда цифра приближается к лимиту, жмите Auto Summary и ИИ сам кратко перескажет историю вашего чата, и вы сможете сохранить этот пересказ в память.
можно даже попросить:
"Сделай краткий синопсис длиной от 200 до 300 токенов"
"Собери 5 абзацев событий ролевой игры после сцены в баре"🌟Как оформить память самостоятельно?
если вам не нравится, как ИИ суммирует ваш чат или вы хотите, чтобы бот точно помнил определенные события, вот удобная структура для ручного заполнения памяти:
Main summary: основная линия сюжета (1-2 предложения, основа, которая не меняется в процессе повествования. например {{user}} жена босса мафии, {{char}} босс мафии)
information about {{user}} and {{char}} dynamic: какие отношения между ботом и персоной? почему?
Most Recent Events: последние важные события (и дополнять, изменять по ходу развития сюжета)
What will happen/focus on this advancement: куда должен привести сюжет? (Если у вас уже задуманный есть сюжетный поворот, чтобы бот точно знал в каком направлении ему двигаться)также необязательное поле, но можно добавить его по дальнейшему развитию сюжета, чтобы бот знал вас:
{{user}}’s past: прошлое вашей персоны.
- {{user}} likes: что нравится
- {{user}} dislikes: что не нравится
пишется в настоящем времени🌟Как увеличить память?
в JanitorLLM контекстный лимит всего лишь 9000 токенов. а если ещё хорошо прописанный бот, то памяти на чат остается немного, отчего бот выходит из роли и забывает всё находу. но выход есть — использовать прокси с расширенным контекстом
janitorai позволяет подключать сторонние модели вроде: DeepSeek V3, DeepSeek R1
они поддерживают до 128 000 токенов в контексте! а значит бот может помнить больше и намного реже придётся вручную сохранять
(вообще, для долгих чатов выбирайте английский язык, он экономнее по токенам)
🌟источники: тикток милой девушки, статья с реддит
#use