☕️🍪🍪🍪🍪🍪🍪🍪

Что такое токены?

Символы, в которых модели считают текст. На английском 1 символ = 2 токена, на русском 1 символ = 4 токена. Примерно.

Зачем нужны токены?

У ботов ограниченная память, и она измеряется в токенах. Когда лимит (например, 5 тысяч токенов) достигнут, бот начинает забывать старые детали. Также в токенах платные прокси-провайдеры считают, сколько с вас списывается денег.

Что такое постоянные и временные токены?

- Постоянные — бот помнит их всегда.

- Временные — по мере уменьшения памяти бот постепенно их забывает.


Что такое контекст?

Память бота.

Сколько память бота?

Стандартная модель (JLLM) — около 9к

Платная стандартная модель (JLLM) — около 45к

Прокси — в среднем сколько бы памяти не было у модели, принято ставить 32/64/128к контекста памяти. Это количество считается оптимальным для любой рп.

А так, в зависимости от модели, память может достигать и миллиона токенов. Смотрите самостоятельно на сайте, где берёте прокси.

Чем меньше памяти,там быстрее бот забывает рп. Но ультра много тоже плохо,бота мутит от количества деталей. Поэтому 32/64 вполне нормальный вариант

Подробнее про память смотри эти гайды:

Память
Как заставить бота запомнить деятели
Прокси