То есть вместо того, чтобы дожидаться, пока контекст кончится и пытаться уместить выжимку в последние несколько токенов, в этом варианте сжатие старых сообщений должно происходить регулярно и сессия может быть длиннее.
Версия ещё далеко не финальная, наверняка тратит больше токенов, но с локальной условно-бесплатной моделью пользу мне уже приносит. Вдруг принесёт кому-нибудь ещё 😅
#code #lcm