Короч, есть такой тест для моделей как "поиск иголки в стоге сена". Он показывает насколько модель "забывает" данные из контекста.
Моя основная модель сейчас GLM 4.7, у которой эффективный контекст около 100к-120к токенов. Всё что дальше имеет куда хуже качество.
Но провайдер предоставляет контекстное окно около 200к токенов. И вот ни один агент не предоставляет возможность ограничить контекстное окно или же запускать автокомпакт раньше лимита провайдера.
И вот этой фичи нет ни у кого из тестируемых агентов. Такое чувство, что люди не особо используют модели, отличные от моделей антропика, гугла или опенаи.
Post #4
205

- 👍 3
- 🤔 1