На графике я показала примерную область, где ответы будут самые точные и релевантные вашему запросу. И таблицу некоторых моделей с диапазонами токенов в максимальном и активном контексте.

Эти данные нам говорят о том, что чем дольше диалог и чем больше данных мы в него закинули, тем сильнее эта «оперативная память» переполняется. Самые старые части диалога (например, важные пункты из загруженного в начале брендбука) начинают «вытесняться» из контекста, и модель о них забывает. От перегрузки он начинает «галлюцинировать».

Вот мы и подошли к главной проблеме: когда контекст переполняется, модель теряет нить и начинает выдумывать. Она уверенно генерирует текст, который похож на правду и стилистически верен, но по смыслу может быть полной чушью: придумывает несуществующие пункты в брендбуке, искажает данные аналитики и т. д.

Ключевой инсайт моего поста: чем дольше и сложнее ваш чат, тем выше риск получить красивую, но бесполезную или вредную «дичь».