Мы дали одну задачу двум ИИ-агентам
⠀
Один и тот же код: новый скил, который мы написали с нуля по принципам из пресс-релиза об очередном чудо-харнессе. Одинаковая модель GPT-5.6 Sol Medium. Задача тоже одинаковая: проверить что за код мы написали и найти ошибки.
Первое ревью сделал Grok Build, большая агентская система от xAI, которую только что релизнул в опенсорс Илон, который Маск.
Второе ревью провёл наш основной навык программирования для Hermes, /shaw. Я развиваю его с февраля 2026 года, ещё со времён OpenClaw, специально для кодинга через персонального агента в телеграм.
⠀
Grok Build нашёл 4 проблемы. Shaw нашёл 17 дефектов и пробелов.
Некоторые из них могли легко доехать до релиза. Одна команда не понимала успешный ответ собственного инструмента. Установщик навыков мог записать файлы не туда или затереть чужой навык. Проверка релиза видела хеши, но не убеждалась, что они относятся к нужному коду.
⠀
Получился хороший эксперимент. Модель в обоих случаях была одинаковой, результат получился разным. Одной сильной модели мало: на результат влияют правила, по которым она работает, что именно проверять, как доказывать ошибку, когда запускать тест и что считать готовой работой.
В этом Shaw оказался сильнее: копнул глубже и нашёл больше реальных проблем. Grok Build лучше оформил результат. Он аккуратнее расставил приоритеты и описал каждую проблему по одной схеме:
┈ где находится ошибка
┈ к чему она приводит
┈ как её повторить
┈ как исправить
┈ как проверить исправление
⠀
Прямо сейчас шуршит процесс: мы переносим в /shaw практики ранжирования и оформления из Grok Build. Shaw сохранит свою глубину, а отчёты станут точнее: сначала критические ошибки, потом проблемы для релиза, пробелы в тестах и оставшиеся риски. У каждой находки будет доказательство и конкретный план исправления.
На этом тесте наш навык опередил одну из самых серьёзных агентских систем на рынке: 17 находок против 4. А теперь мы забираем у неё то, что она умеет лучше. Шашечки.
⠀
Так и развивается хороший инструмент: сравниваешь на одном материале, сохраняешь своё преимущество и переносишь к себе сильные решения конкурента.
Кстати, своим скилом /shaw я делюсь на нашем обучении работе с агентами — воркшопе «Человек 2.0». Он доступен по ссылке: открыть воркшоп.
🧠🚀✅🐾💬
Post #447
579

- ❤ 3