ещё! я недавно узнала, что разработчики рекомендуют 200-1500 токенов на всё определение персонажа😫

🌟токены это слова, фрагменты букв, символы, из которых иишка собирает смысл и решает, что сказать дальше🌟

«контекстный лимит» в janitorai составляет около 9000 токенов. это в целом то, сколько может запомнить ИИ.
в боте постоянными токенами являются scenario + personality
И по идее, если у вас есть бот с 1000 постоянных (permanent) токенов, то для памяти чата и персоны пользователя остается только 8000 токенов

и я напряглась🩺

ведь мои боты в janitorai на английском имею по 2-4к постоянных токенов, а на русском вовсе по 10-20к…
и казалось бы, что делать? переписывать ботов, чтобы вместиться в лимит?..

а ответ простой, использовать прокси

ведь 8к токенов это контекстный лимит именно JanitorLLM. а подключая прокси deepseek v3 или r1, вы значительно увеличиваете память бота, ведь у этих моделей контекстный лимит уже 128к👍

конечно, если хочется облегчить задачу иишке, либо планируется долгий чат, лучше пользоваться англоязычными ботами, ведь они по кол-ву токенов меньше в 4,5 раза! и в плане памяти они будут лучше запоминать и им надо будет меньше напоминать в дальнейшем

чтобы посмотреть, сколько токенов занимает ваша переписка, в настройках чата заходите в chat memory, где жирным шрифтом в скобочках будет указано, сколько токенов ‘весит’ ваш диалог

математика проста: токены с chat memory + токены самого бота + токены вашей персоны

по достижению 128к токенов, ии начнет забывать старое (за исключением permanent токенов), и тогда уже возможно придется напоминать и воспользоваться заполнением окошка chat memory..

..о чем я планирую рассказать чуть позже! ну, и красиво оформить. это так, я с головы накатала постик, решила поделиться тем, что показалось интересным. надеюсь, что я сама все правильно поняла ахаха

#use