Я тоже получил доступ к Jev, потестил, и выглядит он действительно интересно

Сразу решил попробовать плагин fast-jev-compaction, чтобы ускорять и удешевлять компакцию чата в Claude Code

Вы же знаете да, что у каждого чата есть контекстное окно, которое забивается вызовами тулов (прочитанные файлы, вывод grep, логи и тд)

Соответственно когда окно кончилось агент запускает компакцию, то есть просит отдельную модель сделать саммари чата

Минусы: медленно, дорого, плюс LLM может выкинуть что-то важное, или наооборот забить саммари лишним контекстом

Вот тут идеально подходит принцип работы Jev!!

Гляньте видео к посту с визуализацией. Он проходится по каждому вызову в чате, и оценивает вероятность "на сколько это важно"

Если вероятность выше порога, то оставляет, ниже — выкидывает (или меняет на заглушку)

То есть это:
1 Быстрее. Ибо Jev генерит числа а не текст, и оценивает все вопросы параллельно
2 Дешевле. Например контекст в 1M токенов будет стоить около $0.04

Если что у них на сайте даются бесплатные $5, как месячная квота для API вызовов

Сразу дисклеймер: насколько такая компакция лучше обычной, сказать не могу, ибо Jev видит только сами вызовы, без их результатов

+ надо учитывать, что у самого Jev маленькое контекстное окно, 32к, так что чаты 150к+ токенов придется разбивать на куски

Но как тест было неплохо) Теперь вот думаю что еще можно с ним ускорить 🌟

@tips_ai #tools