⚪️ ForgeCode CLi и TerminalBench
Я уже перестал "оглашать весь список" посмотренных мною CLI агентов, потому как он весьма немалый уже, но они все плюс-минус одинаковые.
Но тут очередной агент взобрался в топ терминал-бенча, сместив дроида, и вышла любопытная статейка про их бенчмаксинг:
🔗 Почитать тут: https://forgecode.dev/blog/benchmarks-dont-matter/
Чтобы добавить вам аргументов зачем прочитать статейку - скажу что они сделали top-1 с Gemini 3.1 pro
👉 Gemini! )))
Любопытные наблюдения в чем проблемы. Несколько полезных вещей причерпнуть можно!
Код, кстати, в опенсорс они не отдали в итоге. Но хоть блог написали!
@deksden_notes
Post #552
1.2K

- ❤ 7
- 👍 2