📰 Контекстное окно: почему нейросеть забывает части разговора

Нейросеть забывает диалог не потому что тупая, а из-за архитектуры Transformer. Без контекстного окна — никуда, но оно не резиновое: каждое новое сообщение доупаковывается в промпт, и модель перечитывает всё с нуля. Плюс на русском тексте токенов уходит в 1.5–2 раза больше, чем на английском — та же история упирается в лимит быстрее. Механизм self-attention пытается удержать связи, но с ростом длины диалога это становится вычислительным адом. Короче: не ругай нейронку, что забыла начало — она просто не может иначе.

Источник