ИИ официально не умеет в долгие разговоры 🤨

Microsoft Research и Salesforce прогнали 200 000+ диалогов через GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet, o3, DeepSeek R1 и Llama 4. На одиночных запросах модели выдают 90% точности, всё красиво. Но стоит завести многоходовый разговор, и точность падает до 65%. Причина в том, что исследователи назвали "ответным зацеплением": модель торопится ответить до того, как пользователь договорит, ошибается, а потом использует свой же кривой ответ как фундамент для следующего. Ошибка цементируется в контексте, и дальше нейросеть уверенно строит замок на гнилом фундаменте.

Дальше хуже. В длинных диалогах ответы раздуваются на 20–300%, модель начинает добавлять предположения и додумывать то, о чём её не спрашивали. Эти додумки тут же становятся частью контекста, и следующий ответ опирается уже на них. Даже думающие модели вроде o3 и DeepSeek R1 не спасают ситуацию. Общая способность моделей держать нить просела всего на 15%, а вот надёжность рухнула на 112%.

🥸 godnoTECH - Новости IT