Day 2. Вчера разобрали что бот это по сути угадайка следующего слова. Сегодня - почему тот же бот тупеет к обеду и забывает о чём мы говорили час назад.

Тема дня - контекстное окно. И она сразу объяснила мне кучу того, что возможно бесит многих из вас.

Если совсем просто: у бота из коробки нету памяти. Контекстное окно это всё что у модели сейчас перед глазами в момент ответа - твой вопрос, история чата, файлы, инструкции, рабочий стол по сути. Что лежит на столе - с тем и работает.

Что не влезло на стол - для бота не существует. Вообще. Это не плохая память. Это вообще не память. Что убрал со стола - как будто никогда и не было.

Три вещи встали на места.

Первое - почему бот тупеет в долгом чате. В начале сессии огонь, через час лепит мимо и теряет нить. Я думал баг. А это стол просто заставлен. Когда валишь всё в один чат - код, болтовню, три задачи, вчерашние планы - на полезное места не остаётся. Бот не тупеет, ты просто завалил ему стол мусором.

Второе "Бот меня помнит" - это иллюзия. Сама модель stateless, после ответа забывает всё начисто, как будто заново родилась. То что мой Oggway помнит меня между днями - это не он умный. Это он каждый раз заново подсовывает себе на стол нужные куски памяти с памяти и из базы знаний. Память на диске бесконечная, стол конечный. Вся инженерия в том ЧТО вытащить со склада на стол под конкретный вопрос. Магия "он меня знает" это не хранилище. Это работа доставщиков, или как я назвал "библиотекарь"))

Третье - вот почему я строю своё приложение, если понятно, то это пульт управления агентом. У меня там топики, каждая задача свой топик, свой отдельный стол. И когда боту из одного топика нужна память из другого - он не лезет в чужой стол целиком. Он шлёт запрос: "мне нужно вот это". Тот отвечает короткой выжимкой. Я думал это я придумал удобную фишку. Нифига. Это вынужденная физика конечного стола - чужую полную память тебе на стол не залить, она туда не влезет и завалит твоё дело хламом. По-другому просто не работает.

Главное что унёс одной фразой: у бота нет памяти, есть рабочий стол. Вся магия "он меня знает" - это кто-то умно решает что положить на стол перед каждым ответом. Память это не склад, это доставка.

Вроде бы база, но бот скинул сегодня мне порцию знаний, я просил начать прям с азов, всё вроде бы я знал, но почитать всё равно было интересно.

Завтра Day 3. Бот учит меня по теме в день, я скидываю вам самое сочное.

Если заходит - кинь реакцию, и погнали дальше.

📱 Youtube | 💬Чат | 📱 Канал

💬 Day 1 тут