🤖 Глобальный обзор будущего ИИ-агентов от ведущих мировых университетов

24 исследователя из Оксфорда, Национального университета Сингапура, Китайской академии наук и еще 8 ведущих мировых научных центров опубликовали масштабный обзор "The Landscape of Agentic Reinforcement Learning for LLMs: A Survey", посвященный развитию ИИ-агентов. Эта работа — практическое руководство по созданию и обучению интеллектуальных систем нового поколения с использованием передовых методов.

Шесть ключевых способностей будущего ИИ

1️⃣ Планирование
Внешнее — LLM предлагает варианты, а другой алгоритм их проверяет.
Внутреннее — LLM обучается напрямую по данным, корректируя свои планы на основе взаимодействия с окружающей средой.

2️⃣ Использование инструментов
Простые подходы, такие как ReAct, просто вставляют вызовы API в код по шаблону.
Более продвинутые методы (Tool-integrated RL) позволяют агенту самостоятельно учиться, когда и какой инструмент лучше использовать.

3️⃣ Память
Внешняя (RAG-стиль): ИИ учится, когда и как делать запросы к внешней базе данных.
Встроенная (токен-регулируемая): агент решает, какую информацию сохранить или удалить, либо обновляет специальные «токены-памяти».
Структурированная: использование графов знаний, которыми ИИ мог бы динамически управлять — пока это открытая задача для исследователей.

4️⃣ Самосовершенствование
Кратковременное (вербальное): модель генерирует самокритику и дорабатывает ответ за один проход, как в методах Reflexion или Self-Refine.
Долговременное (интегрированное): способность к самопроверке улучшается через постоянную доработку с помощью обучения с подкреплением (RL).
Итеративное самообучение: агент сам создает для себя задачи, тестирует свои решения и учится на успехах и ошибках.

5️⃣ Мышление (Reasoning)
Быстрое (Система 1): интуитивное, прямое предсказание следующего слова.
Медленное (Система 2): вдумчивое, пошаговое построение цепочки рассуждений для повышения надежности ответа.
Гибридные стратегии: Баланс между скоростью и точностью путем адаптивного построения рассуждений.

6️⃣ Восприятие (Perception):
Пассивное: однократное обращение к изображению или видео для получения информации.
Активное: агент сам решает, на какой области изображения сфокусироваться, может вызывать инструменты для анализа, переформулировать вопросы к визуальным данным.

Где ждать новых открытий?

🔜 Обучение ИИ «эпистемической скромности»

Современные алгоритмы поощряют ИИ максимизировать вознаграждение любой ценой. Это приводит к тому, что агенты склонны соглашаться с некорректными запросами пользователей или «галлюцинировать», лишь бы дать быстрый ответ. Поэтому нужны методы, которые научат ИИ отказываться от ответа, если он не уверен в информации (эпистемическая скромность). Необходимо встроить в модель «штрафы» за выдачу неверных или не подтвержденных фактами данных, не снижая при этом общую эффективность.

🔜 Развитие «рефлексивных» мета-стратегий

Сегодня ИИ-агенты могут корректировать свои действия, но правила этой коррекции жестко заданы разработчиками. Нужны механизмы, с помощью которых агент будет сам решать, когда и как ему нужно запустить самоанализ. В будущем ИИ сможет самостоятельно адаптировать и оптимизировать свои же стратегии самокоррекции в процессе обучения.

🔜 Защита от новых видов атак

ИИ-агенты уязвимы для новых угроз: им можно «подсунуть» вредоносный инструмент или «отравить» память и внешние базы знаний. Необходимо формализовать новые угрозы, такие как непрямые промпт-инъекции через API. Требуется разработка многоуровневых систем защиты: изолированные среды (sandboxing), тренировка против подмены инструментов и постоянный мониторинг аномалий в работе агента.

💬 Тест Тьюринга. События в сфере ИИ. Подписаться