Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM.
MAX - https://max.ru/devsp
Личный блог - @just_genych
По вопросам рекламы или разработки - @g_abashkin
РКН: https://vk.cc/cJPGXD
Post #5537
2.71K
OpenClaw + RL
Агенты OpenClaw адаптируются с помощью файлов памяти и навыков (skills), но веса базовой модели на самом деле не меняются.
Как OpenClaw-RL решает эту проблему?
Когда стоит использовать OpenClaw-RL?
Агенты OpenClaw адаптируются с помощью файлов памяти и навыков (skills), но веса базовой модели на самом деле не меняются.
Как OpenClaw-RL решает эту проблему?
Он оборачивает самостоятельно размещённую модель в API, совместимый с OpenAI, перехватывает живые диалоги из OpenClaw и обучает политику в фоновом режиме с помощью RL (обучения с подкреплением).
Архитектура полностью асинхронная. Это означает, что:
обработка запросов,
оценка награды (reward scoring),
и обучение
выполняются параллельно.
После завершения обучения веса модели "hot" подменяются (hot-swap) после каждого батча, при этом агент продолжает отвечать без остановки.
В настоящее время поддерживаются два режима обучения:
Binary RL (GRPO): модель награды оценивает каждый ход диалога как хороший, плохой или нейтральный. Эта скалярная награда используется для обновления политики через PPO-подобную функцию цели с клиппингом.
On-Policy Distillation: когда появляются конкретные исправления, например
"тебе нужно было сначала проверить тот файл",
эта обратная связь используется как более богатый направленный сигнал обучения на уровне токенов.
Когда стоит использовать OpenClaw-RL?
Честно говоря, большую часть поведения агента уже можно улучшить через более грамотный дизайн памяти и навыков.
Существующая экосистема навыков OpenClaw и созданные сообществом навыки самоулучшения покрывают широкий спектр задач без изменения весов модели.
Если агент постоянно забывает предпочтения пользователя - это проблема памяти.
Если он не знает, как обработать конкретный рабочий процесс - это проблема навыков.
Обе задачи решаются на уровне промптов и контекста.
RL становится действительно интересным, когда источник ошибки лежит глубже - в самом механизме рассуждения модели.
Например:
систематически плохой порядок выбора инструментов,
слабое многошаговое планирование,
неспособность правильно интерпретировать неоднозначные инструкции так, как ожидает конкретный пользователь.
Исследования в области agentic RL (например, ARTIST и Agent-R1) показывают, что такие поведенческие паттерны достигают потолка, если использовать только промпт-подходы. Особенно это заметно в сложных многошаговых задачах, где модели нужно:
восстанавливаться после ошибок инструментов,
или менять стратегию прямо во время выполнения.
Именно этот уровень и является целью OpenClaw-RL - и это ключевое отличие от того, что предлагает обычный OpenClaw.
- ❤ 4






