[2/2] Hard Won Lessons from Building Effective AI Coding Agents (Рубрика #Agents)

Продолжая рассказ про этот доклад, надо рассказать про Cline-Bench - open source benchmark для реальных задач, который анонсирует Cline. Каждая задача внутри бенча это:
- Starting repo snapshot (git commit hash)
- Real prompt from user
- Ground truth tests на основе кода, который реально зашипился

Этот бенч
- Полностью open source, no secret sauce, no locked datasets
- Любой может использовать для SFT, RL, eval
- Любой может поучаствовать

Как контрибьютить
1. Работайте над open source проектом с включенным Cline Provider
2. Opt into cline-bench initiative
3. Если frontier model застрял и вы вмешались, чтобы починить — это идеальный кандидат для benchmark

В общем, просто используйте Cline, наблюдайте, где модель struggles, и Cline подберет эти задачи в open-source benchmark.

P.S.
Если подбивать мысли из доклада, то можно вынести следующее
1. Для инженеров, использующих AI coding agents
- Перестаньте over-engineering scaffolding. Проще = лучше
​- Фокусируйтесь на capability модели, а не на умных абстракциях
​- Ваши real-world failure cases — самые ценные данные для экосистемы
​- Contribution в open benchmarks помогает всем
​
2. Для исследователей и разработчиков моделей
- Сдвиг от scaffolding tricks к environment design
​- Качество верификатора критично: надо ориентироваться на outcome, а не имплементацию
​- Автоматизация создания RL environments из реальных задач
​- Измеряйте модели на реальных engineering work, а не на паззлах
​
3. Для компаний, строящих AI products
- Доступ к real-world engineering data — ключевое конкурентное преимущество
- RL environments > clever prompting
​- Benchmarks drive capability improvements
​- Open source collaboration ускоряет прогресс всей индустрии
​
#AI #ML #Agents #Software #Engineering #Architecture