Почему лучший ИИ собрал ответ из разных данных с точностью лишь 66%

Почему даже лучший ИИ часто ошибается, когда ответ нужно собрать не из одного места, а по кусочкам из таблиц, файлов, документов и видео?

Исследователи предложили новую проверку для ИИ-агентов: им дают вопрос и целую рабочую папку с разными данными, а на выходе ждут готовую таблицу с точным ответом. Такой формат ближе к обычной работе, где нужные сведения разбросаны по разным источникам, и сразу видно, умеет ли модель не просто находить что-то в одном файле, а действительно собирать всё вместе без потерь и путаницы.

В этом обзоре разбираем, почему даже сильные модели пока часто ошибаются в таких задачах, как устроена эта проверка и что она показывает о будущем ИИ для работы с данными.

📜 Полная статья