Почему даже лучшие ИИ-агенты сильно отстают от людей

Почему даже сильные ИИ-агенты теряются там, где человеку нужно просто немного освоиться, запомнить важное и додумать план до конца?

Авторы предлагают новый способ проверки ИИ-агентов: их помещают в большие текстовые миры, где нужно не просто отвечать, а исследовать, учиться по ходу дела, запоминать прошлые события и идти к цели через длинную цепочку шагов. Это важно, потому что в жизни полезный ИИ должен уметь не только решать задачу в один момент, но и становиться лучше по мере опыта. Оказалось, что даже лучшие системы пока сильно уступают людям, хотя им заметно помогает умение держать в уме недавние события.

В этом обзоре разбираем, как именно проверяли ИИ-агентов, на каких задачах они чаще всего сыплются и почему до человеческой гибкости им ещё очень далеко.

📜 Полный обзор