TGViewer
AI Dev Broadcast AI Dev Broadcast @ai_dev_broadcast · 2.39K subscribers
Post #96 2.6K
О деградации качества в длинных диалогах с ИИ

При работе с моделями в рамках одной сессии иногда заметно, что к середине диалога ответы становятся менее точными: модель может повторять уже сделанное, противоречить своим более ранним решениям или терять нить многоэтапной задачи. На контексте в 1 млн токенов, такое поведение может быть заметно более явно.

Это не субъективное ощущение. В исследовании Стэнфорда «Lost in the Middle» показано, что при увеличении объёма контекста точность reasoning может падать на 15–47% независимо от заявленного размера окна. Явление называют context rot — «контекстное ухудшение».

Практическое наблюдение: до 50–60% заполнения контекста (вот непонятно как его сичтать лучше в токенах или процентах) качество остаётся приемлемым, ближе к 75% начинаются заметные проблемы. Поэтому полезно контролировать заполнение — например, командой /context.

Когда контекст перегружен, помогает ручное сжатие: /compact с явным указанием, что именно нужно сохранить (текущую цель, список изменённых файлов, принятые решения, текущую ошибку и следующие шаги), а что можно отбросить (стилистические правки, неудачные варианты промптов). НЕ полагайтесь на автоматическое сжатие (auto‑compaction) часто менее качественно, так как модель сама решает, что важно. Также в глобальные инструкции агента добавить правила что важно сохранить при compact.

Но бывают ситуации, когда даже после сжатия проблема не уходит. Если вы несколько раз объяснили модели, что именно нужно исправить, а она продолжает ошибаться, значит, контекст уже засорён неудачными подходами. В этом случае /compact может не помочь, так как сохранит неверные паттерны в сжатом виде. Делайте /clear для очистки текущей сессии и перезапуск сессии с уточнённым промптом. Отсекайте наработки предыдущей, что могут повлиять на снижение качества результата выдачи.

Также с целью уменьшения заполнения контекста полезно делегировать задачу субагенту, работающий со своим окном контекста, а основную сессию использовать как оркестратора для постановки задач и обработка результата.

#ИИ #AI
  • 👍 17
  • 👎 5
More from @ai_dev_broadcast
  1. Sep 28, 2026Классная демонстрация сравнения ума моделей между собой
  2. Sep 28, 2026🧠 Вышел Claude Sonnet 5.5, который лучше GPT-6 Sol, а самое главное - стал дешевле и потр…
  3. Sep 23, 2026https://youtu.be/32zpk7tqs0M Запись доклада уже доступна на ютубе! Напомню, что я сравнил…
  4. Sep 23, 2026Post #271
  5. Sep 22, 2026❤️ Яндекс открыл претрейн, который учили с нуля - AliceAI-Foundation-80B-A3B-Base Сразу ст…
  6. Sep 22, 2026⚡️⚡️AI-агент съел токены и потерял контекст. Что делать? Разберемся на Mobius 2026 Autumn.…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →