Все о машинном обучении
админ - @workakkk
@data_analysis_ml - анализ даннных
@ai_machinelearning_big_data - Machine learning
@itchannels_telegram -лучшие ит-каналы
@pythonl - Python
@pythonlbooks- python 📚
@datascienceiot - 📚
РКН: clck.ru/3FmrUw
Post #3401
2.36K
Title: SIA: Self Improving AI with Harness & Weight Updates
В этой работе показали, что ИИ лучше улучшает сам себя, когда меняет не только обвязку вокруг агента, но и обновляет модель.
Проблема в том, что прогресс ИИ до сих пор сильно зависит от людей: они вручную правят промпты, инструменты, код, данные для обучения и веса модели.
Авторы предлагают SIA - цикл, где один ИИ наблюдает за работой task-agent, а затем улучшает либо его внешнюю настройку, либо саму модель.
Внешняя настройка -это промпты, инструменты, правила повторных попыток, парсинг ответа и прочая обвязка. Обновление весов - это изменение поведения модели на основе обратной связи по задаче.
Работает это так: агент пробует много ответов или программ, верификатор оценивает результат, а эти оценки превращаются в обучающий сигнал.
После этого система обновляет небольшой набор дополнительных весов LoRA. Это меняет поведение модели без полного переобучения.
Базовая модель почти не трогается, но LoRA-адаптер постепенно учится: такие ответы давали высокий reward, а такие проваливались.
Авторы проверили подход на трёх разных задачах: классификация обвинений в китайском праве, ускорение GPU kernel-кода и denoising single-cell RNA.
Комбинированная версия обошла вариант, где улучшали только обвязку: 70.1% на LawBench, более быстрый GPU-код, чем у предыдущего лучшего решения, и 0.289 на задаче denoising.
Интересный вывод: хорошая обвязка помогает агенту действовать лучше, но обновление весов помогает ему выучить паттерны задачи, которые одними промптами и инструментами не находятся.
arxiv. org/abs/2605.27276
В этой работе показали, что ИИ лучше улучшает сам себя, когда меняет не только обвязку вокруг агента, но и обновляет модель.
Проблема в том, что прогресс ИИ до сих пор сильно зависит от людей: они вручную правят промпты, инструменты, код, данные для обучения и веса модели.
Авторы предлагают SIA - цикл, где один ИИ наблюдает за работой task-agent, а затем улучшает либо его внешнюю настройку, либо саму модель.
Внешняя настройка -это промпты, инструменты, правила повторных попыток, парсинг ответа и прочая обвязка. Обновление весов - это изменение поведения модели на основе обратной связи по задаче.
Работает это так: агент пробует много ответов или программ, верификатор оценивает результат, а эти оценки превращаются в обучающий сигнал.
После этого система обновляет небольшой набор дополнительных весов LoRA. Это меняет поведение модели без полного переобучения.
Базовая модель почти не трогается, но LoRA-адаптер постепенно учится: такие ответы давали высокий reward, а такие проваливались.
Авторы проверили подход на трёх разных задачах: классификация обвинений в китайском праве, ускорение GPU kernel-кода и denoising single-cell RNA.
Комбинированная версия обошла вариант, где улучшали только обвязку: 70.1% на LawBench, более быстрый GPU-код, чем у предыдущего лучшего решения, и 0.289 на задаче denoising.
Интересный вывод: хорошая обвязка помогает агенту действовать лучше, но обновление весов помогает ему выучить паттерны задачи, которые одними промптами и инструментами не находятся.
arxiv. org/abs/2605.27276
- 👍 4
- ❤ 2
- 🔥 2
