Информационный шум вокруг заставит засомневаться в чём угодно. Вот у меня на практике любая модель, будь она хоть убийцей всех убийц, в долгом диалоге упирается рогом в своё решение — и всё! через какое-то время только тратишь запросы, а результат один. Я в таком случае подключаю модель от другого вендора или стираю контекст полностью, создавая новый диалог.
Но из каждого утюга говорят, что вот нейронки-то сейчас уже не те, что раньше: уже и не галлюцинируют, и миллионные контексты держат, и за хлебом за вас ходят в магазин. Главное — уметь пользоваться! И начинаешь верить в то, что ты просто не успеваешь за этой движухой и на глазах устареваешь, хоть и каждый день с 22-го года с чатом жипити в обнимку пилишь проекты.

И тут появляется научная статья под названием «LLMs Get Lost In Multi-Turn Conversation», которая исследует критическое снижение эффективности нейросетей в процессе длительного диалога. Исследователи обнаружили, что современные языковые модели справляются с задачами в среднем на 39% хуже, если решение требует нескольких этапов общения, а не одного запроса. Основная проблема заключается в ненадежности ответов: ИИ часто делает поспешные выводы на ранних стадиях беседы и не может исправить свои ошибки в дальнейшем. Анализ более 200 000 симуляций показал, что модели склонны преждевременно завершать задачи, игнорируя уточнения пользователя. Авторы подчеркивают, что как только система выбирает неверное направление в разговоре, она окончательно теряет нить рассуждения. Таким образом, работа ставит под сомнение готовность современных технологий к сложным и итеративным взаимодействиям с человеком.

Фух, дай бог здоровья этим хорошим людям. Я, значит, не такой уж и отсталый...

LawCoder