И последняя настройка, но не по важности…
Context Size – размер/лимит контекста.
Данная настройка отвечает за то, сколько вы можете общаться в одном чате! У разных провайдеров разные ограничения, но советую поставить ползунок на максимум(128к).

Контекстный лимит – техническое ограничение любой модели, он не привязан к лимитам на количество генераций сообщений(например в openrouter в день только 50 генераций ответа, но это не контекстный лимит) и работает только в текущем чате(по сути это память вашего бота). Когда память переполняется – появляется ошибка. В большинстве случаев люди не сталкиваются с лимитом в своих чатах. Если вы не ролите в одном чате днями/ночами, то переживать не стоит!
Решения всего 3:
1. Забыть про ваш длинный сюжет и начать сначала/другую историю.
2. Поменять на другую модель, где контекст побольше (удачи в поиске таких моделей – они есть, но едва ли так же хороши как дипсик)
3. Удалить несколько последних сообщений от бота и попросить сделать summary вашего чата. Продолжите в новом чате, добавив всю информацию. Не идеальное решение, но подойдет, если ваш сюжет запал в душу.

Важно понимать, что любая модель на контексте больше 40к токенов будет выдавать ответы гораздо хуже по качеству.(покрайней мере об этом многие говорят). Зачастую это связано с тем, что бот начинает путаться.

Представьте, вы в голове одновременно держите все события с вашего утра до вечера. Выматывает, не так ли?
Для того, чтобы ответы были получше, переодически стоит делать summary чата, акцентируя внимание бота на деталях, текущих событиях и просто о том, что в данный момент происходит.

🤩 Полезная информация по этой теме:
⋆˙⟡ Как работает память/summary

🤩Если у вас Янитор выдает ошибку, то вам в этот пост!
⋆˙⟡ Тык-тык