Как создать агента, который со временем становится лучше

Есть три направления, в которых агент может обучаться:

1. Модель. Работает только для задач, где можно однозначно определить правильный и неправильный ответ, например в программировании и математике. Это лучше оставить крупным лабораториям.
2. Harness (обвязка). Это последовательность шагов, инструменты и проверки безопасности, которые вы выстраиваете вокруг модели. Этим легко управлять, и именно здесь можно быстро получить заметный результат.
3. Контекст. Это текстовое представление всего, чему агент уже научился. Вероятно, самое простое место, с которого стоит начать.

Но есть ещё одна вещь, которую многие упускают. Агент должен учиться у своих пользователей. Нужно извлекать опыт каждый раз, когда пользователь исправляет решение агента. Ничто не заменит обратную связь, полученную в реальном использовании.

p.s. Вот статья от Atai Barkai на эту тему 🐸