⚡️ Agent Audit. Скилл, который тестирует вашего телеграм-бота как живой человек и в хвост и в гриву

Один из основных интерфейсов для моих командных агентов в агентстве — тележонька. Ну потому что это удобно и не надо каждого обучать чему-то новому.

Максимальная имитация работы с человеком.

Но есть и большая проблема в таком решении — куча багов в пользовательских сценариях. Всё сразу не предусмотреть же, да и рядовой пользователь не должен думать о том, «как ему правильно спросить агента». 

Как бы ни спросил, какой бы идиотский сценарий ни выдал кожаный — должно работать!

А следовательно, надо все эти сценарии прогонять и смотреть, где ломается. Ну и чинить потом.

Короче, я сначала хотел сделать ассистента, который помогает СОБИРАТЬ агентов. А по ходу выяснилось, что ПРОВЕРЯТЬ работу агентов куда важнее, чем первая сборка, и ест куда больше моего времени.

В итоге вместо создателя получился аудитор.

Он берёт бота, проходит его глазами обычного пользователя и ищет дыры по куче категорий. Потом находки перепроверяет независимый судья, на выходе выдаёт отчёт, понятный человеку без знания технических нюансов. 

Это важно!

И на днях добавил в скилл вообще офигенную фичу 👇

✦ ЖИВОЙ ПРОГОН

Аудитор садится в НАСТОЯЩИЙ Telegram под вашим аккаунтом и гоняет его как живой человек.

Жмёт кнопки, пишет одно и то же в трёх формулировках, кидает всякий мусор, возвращается «после паузы» и спрашивает «где мы» и тестит кучу других сценариев.

Можно для красоты поставить окно телеги рядом с Claude Code и просто смотреть, как он там шуршит за вас. 

👆 Вот это, конечно, космос.

Если нейронка не умеет пока ходить в телегу, то я добавил в скилл соответствующую инструкцию. Не захочется пускать автоматизацию в аккаунт — есть ассистированный режим, где нейромозг диктует шаги, а человек нажимает. Но, это такое себе.

Тестирует долго, тестирует качественно (потому и долго), и лучше использовать что-то мощное, типа Opus и выше.

На моём агенте Арсении товарищ за технические тесты выдал 84 находки, а живой прогон за полдня добавил ещё 18 критических багов. Две из них по коду в принципе не видны.

Короче, я перестал выискивать глюки сам, тыкая в бота по сценариям. Автоматизировал это и радуюсь.

Штука абсолютно безвозмездная, забирайте. Что не сработает или захочется докрутить — пишите в комментах, буду чинить. 

А если зашло, то ⚡️ под постом и ⭐️ на гитхабе. Так будет приятно и полезно!

👉 https://github.com/TimurUgulava/agent-audit

#skills