Почему ИИ-агенты пока не работают в реальности?

ИИ-агенты — горячая тема уже давно, начиная от генерации кода до создания текстов и изображений, они обещают революцию.

Но за хайпом стоит серьезная проблема, о которой говорят эксперты вроде Андрея Карпати, со-основателя OpenAI, и Баладжи Сринивасана в недавних обсуждениях на X.

Проблема в том, что ИИ отлично справляется с быстрой генерацией контента, но проверка результатов — настоящий камень преткновения.

Пользователи отмечают, что до 90% времени работы с ИИ уходит на проверку его выводов.

Люди тратят больше времени на проверку кода, созданного ИИ, чем на промпты. 90% работы с ИИ-агентами — это проверка результатов, говорят пользователи.

Почему генерация легкая?

- Изображения можно быстро оценить визуально.
- Простой код проверяется по шаблонам.
- Модели опираются на паттерны из огромных обучающих данных.

Почему верификация сложная?

1. Требует глубокого понимания предметной области, например, медицина, финансы, наука.
2. Нужны логические рассуждения, а не только распознавание паттернов.
3. Текущие модели, вроде трансформеров, оптимизированы для предсказания, а не для проверки фактов или логики.
4. Верификация требует более сложных моделей, способных к рассуждению, а не только к генерации.
5. В критических областях нет надежных эталонных данных для автоматической верификации.

Карпати называет это "verification gap" — новым узким местом ИИ после решения проблемы скорости генерации. Без надежной верификации ИИ-агенты остаются инструментами, требующими постоянного надзора, особенно в медицине, финансах и научных исследованиях.

Исследователи работают над решениями:

- Обучение с обратной связью (RLHF) для улучшения проверки.
- Специализированные модели для факт-чекинга и дебаггинга кода.
- Интеграция с внешними инструментами, такими как симуляторы или базы данных.

Пока verification gap не закрыт, ИИ-агенты — это мощный, но не автономный инструмент. Хайп вокруг них оправдан, но реальность требует трезвого взгляда.