Аналитическая мастерская

Первая когорта прошла половину программы: три занятия позади, впереди проекты и защита 26 августа.

Второго сентября проведём открытый разбор её результатов: что получилось, что нет, сколько заняло. Защита закрытая, разбор открытый.

Вторая когорта стартует в среду 9 сентября. Занятия по средам в 19:00, шесть недель, группа до десяти человек.

Лист ожидания: analystcraft.ru/vibe-analytics

Перестроили бенчмарк для локальных моделей. И результаты стали заметно интереснее.

Когда мы только начинали проверять Подмастерье, бенчмарк был довольно "злым". Мы специально подсовывали моделям неоднозначные формулировки, конфликтующие документы, лишний контекст, провокационные инструкции. Проверяли, насколько хорошо они выдерживают подставы.
Для исследования это было полезно.
Но постепенно стало понятно, что мы измеряем немного не то.
В реальной работе системный аналитик не соревнуется с тестовым стендом. Он должен разбирать требования, находить противоречия, строить карту источников, готовить артефакты и передавать результат дальше по процессу.

Поэтому мы полностью поменяли подход.

Теперь вместо состязательной матрицы у нас 10 ролевых сценариев, которые имитируют обычную работу аналитика:
интеграция с внешним API;
несколько противоречащих источников;
неоднозначные требования;
поиск пробелов в документации;
подготовка System Context Pack;
Review Findings;
Task Pack;
и другие типовые ситуации.

Результаты оказались неожиданными.
✅ Qwen2.5 1.5B проходит все десять сценариев с медианой 29 секунд.
✅ Bonsai 8B тоже проходит все десять, но медленнее — 87 секунд.
Но самый интересный результат получился вообще не у отдельной модели.
Мы разделили роли.

Qwen делает быстрый черновик и простые задачи, Bonsai подключается там, где нужна более глубокая проверка, поиск конфликтов и подготовка сложных артефактов.
В итоге получили:
10 сценариев из 10;
1 автоматический ремонт;
медиана 71 секунда.
То есть лучшей стратегией оказалось не искать "идеальную модель", а правильно распределить работу между несколькими моделями.

Есть ещё один момент, который для меня принципиален.
Все эти эксперименты выполняются полностью локально. Документы проекта, требования, внутренние спецификации и исходный код не покидают машину. Для задач системного анализа это зачастую важнее, чем разница в несколько секунд между моделями.
Следующий шаг — перенести на новый бенчмарк наши старые состязательные сценарии и посмотреть, насколько результаты изменятся после пересчёта.
У меня есть ощущение, что сравнение получится намного честнее.

А как считаете вы? Что важнее для рабочего AI-инструмента аналитика: абсолютное качество одной модели или грамотно организованный пайплайн из нескольких специализированных моделей?

Вторая когорта интенсива «Вайб-аналитика v2» стартует в среду 9 сентября. Занятия по средам в 19:00, шесть недель, группа до десяти человек.

Первая когорта сейчас в середине программы, защита проектов 26 августа закрытая. Второго сентября проведём открытый разбор её результатов: что получилось, что нет, сколько заняло.

Лист ожидания: analystcraft.ru/vibe-analytics

Как мы проверяем, годится ли модель для работы аналитика.

Обычный способ — спросить у модели, хорош ли её ответ, или прогнать через бенчмарк общего качества. Оба варианта отвечают не на тот вопрос.

Нам нужно знать другое: справится ли она с конкретной работой. Для этого модель обязана выдать четыре артефакта: Source map, System Context Pack, Review Findings, Task Pack. Дальше их проверяет детерминированный код по сценарию.

Что именно смотрит проверка:

Источники разложены по карте корректно. Каждое требование подкреплено цитатой. Противоречия отделены от пробелов. Неизвестное осталось открытым вопросом, а не превратилось в выдуманный факт. Задачи ведут обратно к источникам.

Принцип простой: модель не оценивает саму себя. Оценивает внешний код, который не знает, кто сгенерировал артефакт.

Сейчас в матрице десять сценариев, включая утечку конфиденциального и prompt injection. Первый осмысленный локальный результат — 59.7% на самом простом из них. До приёмки далеко, но теперь провал измеряется, а не ощущается.

Метод, вокруг которого построены артефакты: https://analystcraft.ru/blog/source-map-dlya-analitika

Собрали харнесс для проверки локальных моделей на работе аналитика. Модель обязана выдать четыре артефакта, дальше их гоняет детерминированный код по десяти сценариям: от базовой интеграции до утечки конфиденциального и подмены запроса.

Первый осмысленный локальный результат: 59.7% на самом простом сценарии.

Технический разбор с таблицей замеров выйдет отдельной статьёй.

Выложили шаблон Source map: таблица источников с колонкой противоречий, заполненный пример на сквозном кейсе интеграции и чек-лист типовых ошибок.

Markdown, CSV и PDF, забирать без регистрации: https://github.com/InnokentyB/analystcraft-templates
А если хотите заполненный пример, то оно вот тут https://analystcraft.ru/coworker/templates?utm_campaign=lm01_flow_check

Завтра на интенсиве разбираем AI Workspace. Расскажу, что конкретно будет. Заодно это ответ на вопрос «а что вообще происходит на занятиях».

Начинаем с того, почему один чат с ИИ перестаёт работать, когда задача больше пары вопросов. Контексты наслаиваются, модель тянет в ответ то, что вы обсуждали полчаса назад, и уверенно достраивает то, чего вы не говорили.

Дальше собираем Workspace: не один универсальный собеседник, а несколько ролей под задачу. Research-роль ищет и сопоставляет источники. Code-роль работает с реализацией. Devil's Advocate ломает ваше решение до того, как его сломает жизнь. У каждой своя зона ответственности и свои правила: что она видит, а чего не видит.

Отдельно смотрим, как передавать контекст между ролями, не перетаскивая всё подряд, и почему изоляция контекстов даёт больше, чем полировка отдельных промптов.

Разберём и специализированный случай. Подмастерье как пример Workspace, заточенного под source-heavy задачи. Не как рекламу, а как разбор архитектуры: что там устроено иначе и почему.

К концу занятия у каждого участника собран свой Workspace под его рабочую задачу. Не абстрактный шаблон, а рабочая конфигурация, с которой он идёт дальше.

Занятие в среду 19:00 МСК. Место в потоке ещё есть: https://analystcraft.ru/vibe-analytics

Шаблон Source map — открыт и бесплатен.

Внутри: структура таблицы (источник, владелец, дата, статус актуальности, противоречия), заполненный worked example на кейсе Acme Pay и чек-лист типовых ошибок инвентаризации.

Зачем он нужен: первые 15–20 минут новой задачи стоит тратить не на чтение источников подряд, а на их карту. Дыры и противоречия видны до старта, каждое требование получает адрес, ИИ перестаёт собирать требования из устаревшей вики.

Забрать шаблон и как с ним работать

Это первый шаг метода source map → SCP → Review Findings → Task Pack. Шаблоны следующих артефактов — на подходе (SCP — в августе).

Итог недели на верстаке.

Главное: в среду стартовал первый поток «Вайб-аналитики v2». Открытое занятие, разбор SCP-кейса Acme Pay, первые проекты участников взяты в работу.

Ещё за неделю: в глоссарии вышел Task Pack — метод теперь описан целиком, все четыре артефакта; на VC — лонгрид про test-driven product development (как перестать ревьюить каждую строчку за агентами).

А сегодня — релиз, который многие ждали с митапа: бесплатный шаблон Source map с worked example. Выйдет вечером здесь и на сайте. Это первый шаг метода — та самая таблица, с которой начинается порядок в источниках.

В глоссарии вышла четвёртая страница метода — Task Pack.

Это финальный артефакт цикла: source map → System Context Pack → Review Findings → Task Pack. Заготовка постановки, которая в отличие от финального ТЗ сохраняет открытые вопросы и трассируемость до источников: каждое требование — с цитатой, каждое «мы не уверены» — явно.

Чем Task Pack отличается от ТЗ и SDD, что внутри и как он живёт дольше самого ТЗ: https://analystcraft.ru/blog/glossary/task-pack

Теперь весь метод описан в глоссарии — все четыре артефакта со ссылками друг на друга.

На первом открытом занятии «Вайб-аналитики» мы довольно быстро пришли к неожиданному выводу.

Большинство вопросов оказалось не про ChatGPT, Claude или Kimi. И даже не про промпты.

Главная проблема сегодня — контекст.

Современные LLM действительно стали заметно лучше. Они уже умеют находить противоречия между несколькими документами, неплохо выделяют риски и гораздо увереннее работают с проектной документацией, чем ещё несколько месяцев назад.

Но одна вещь не изменилась.

Модель не знает, какому источнику доверять.

Если дать ей официальный PDF, устаревшую страницу в Confluence, старый POC и свежую переписку с вендором, она не понимает, какой из этих документов является источником истины. Она просто строит наиболее вероятный ответ на основе того контекста, который получила.

Именно поэтому мы всё больше смещаем фокус с промптов на работу с проектным контекстом.

В нашей практике первым артефактом становится не запрос к модели, а Source Map — карта источников, их актуальности, владельцев и противоречий между ними.

Только после этого появляется смысл подключать AI.

Потому что модель может хорошо анализировать информацию.

Но она не может самостоятельно решить, какая информация заслуживает доверия.

📖 Если интересно разобраться в самом подходе, подробно описали метод в глоссарии:

https://analystcraft.ru/blog/glossary/source-map

Сегодня в 19:00 МСК стартует первое открытое занятие Вайб-аналитики v2.

Тема: аналитик в эпоху ИИ.

Разберём не «как написать хороший промпт», а более рабочий вопрос: как собрать вокруг своей задачи AI Workspace, где есть источники, карта контекста, найденные противоречия и понятный следующий артефакт.

На демо снова пойдём через кейс Acme Pay: PDF, Confluence, Git, письма поддержки. Именно на таких смешанных источниках видно, где AI полезен, а где он начинает уверенно склеивать то, что аналитику надо сначала проверить.

Если вы хотите прийти на открытое занятие или присоединиться к потоку, страница здесь:
https://analystcraft.ru/vibe-analytics?utm_source=telegram&utm_medium=social&utm_campaign=vibe_analytics_v2&utm_content=start_day_22

Старт в 19:00 МСК.

С сегодняшнего дня «Вайб-аналитика v2» стоит 24 900 ₽ — ранняя цена закончилась вчера.

Но два окна ещё открыты.

1. Промокод KLUB2026 для участников митапа 27 июня действует до 23:59 МСК сегодня.

2. Первое занятие завтра открытое: 22 июля, 19:00 МСК. Можно прийти без оплаты, посмотреть формат, разобрать SCP-кейс Acme Pay и решить на месте.

Записаться или зарегистрироваться на открытое занятие: https://analystcraft.ru/vibe-analytics

Итог недели на верстаке и важное на завтра.

За неделю: открыта запись на «Вайб-аналитику v2», в глоссарии вышли Source map, System Context Pack и Review Findings, идёт набор первого потока.

Важное: завтра, 20 июля, последний день ранней цены 19 900 ₽. С 21 июля место стоит 24 900 ₽. Старт в среду 22 июля, первое занятие открытое.

Забронировать по ранней цене: https://analystcraft.ru/vibe-analytics

Сегодня последний день early bird на Вайб-аналитику v2.

До 23:59 МСК цена — 19 900 ₽. С 21 июля — 24 900 ₽.

Старт: среда, 22 июля, 19:00 МСК. Первое занятие открытое.

Что делаем за 6 недель:

1. Собираем source map по реальному проекту.
2. Строим System Context Pack.
3. Ищем Review Findings: противоречия, пробелы, неоднозначности, риски.
4. Собираем Task Pack как рабочую заготовку решения.
5. Упаковываем результат так, чтобы с ним можно было идти к команде, PM или заказчику.

Фокус не в том, чтобы попросить AI написать требования. Фокус в том, чтобы построить вокруг проекта управляемый AI Workspace, где видно, на какие источники опирается вывод и где человек должен принять решение.

Страница интенсива: https://analystcraft.ru/vibe-analytics?utm_source=telegram&utm_medium=social&utm_campaign=vibe_analytics_v2&utm_content=early_bird_lastday_20

Вайб-аналитика v2 стартует в среду, 22 июля, 19:00 МСК.

Это 6 недель системной работы с AI на своём проекте. Не курс по промптам. Не «сделаем красивый чат». Цель другая: собрать личный AI Workspace, который помогает держать источники, контекст, противоречия и черновики решений под контролем.

Программа по средам:

22.07: аналитик в эпоху ИИ, первый разбор Acme Pay, карта источников.
29.07: AI Workspace аналитика и границы помощи AI.
05.08: совместное проектирование решений.
12.08: материализация решения и критерии качества.
19.08: ценность, упаковка результата, кейс для портфолио.
26.08: защита проектов.

Цена early bird — 19 900 ₽ до 20 июля включительно. С 21 июля — 24 900 ₽.

Для участников митапа Клуба тех. аналитиков действует KLUB2026 до 21 июля 23:59 МСК. Промокод скидки не даёт, он добавляет бонусы: 1 час 1-1 разбора, приоритетную поддержку, Founder User Pass.

Страница интенсива: https://analystcraft.ru/vibe-analytics?utm_source=telegram&utm_medium=social&utm_campaign=vibe_analytics_v2&utm_content=program_deadline_19

Разбор с Подмастерьем. На Хабре вышла хорошая статья Альфа-Банка про AI-агентов в работе аналитика:
https://habr.com/ru/companies/alfa/articles/1059296/

Главный вывод близок к тому, как устроено Подмастерье аналитика / AnalystCraft Coworker.

AI не должен сразу писать финальный use case. Сначала он должен пройти управляемый процесс:

1. Собрать источники.
2. Отделить подтвержденные факты от предположений.
3. Вынести открытые вопросы отдельно.
4. Проверить противоречия.
5. Сформировать заготовку спецификации.
6. Остановиться перед финальным решением.

В Подмастерье это раскладывается в рабочую цепочку:

Sources → Project-local RAG → System Context Pack → Review Findings → Task Pack → Export

Разница важная.

Обычный чат часто превращает пробел в красивую формулировку. Подмастерье должно оставить пробел пробелом: показать источник, подсветить риск и вынести вопрос мастеру.

Например:

- если endpoint не найден в источниках, он не появляется в API-спецификации;
- если макет не подтверждает текст кнопки, это open question;
- если Confluence говорит одно, а Git или OpenAPI другое, это Review Findings, а не "средняя версия правды";
- если данных мало, Task Pack остается заготовкой, а не финальной постановкой.

22 июля, 19:00 МСК проводим открытое первое занятие «Вайб-аналитики v2». На нем как раз разбираем, как собрать такой AI Workspace аналитика: источники, контекст, противоречия, заготовка решения и граница, где мастер принимает решение.

Программа и запись:
https://analystcraft.ru/vibe-analytics?utm_source=telegram&utm_medium=social&utm_campaign=vibe_analytics_v2&utm_content=alfa_habr_review_18

Одна из границ, которую я считаю обязательной для AI-инструмента аналитика: он не должен незаметно отправлять проектные данные во внешнюю модель.

В Подмастерье это решается через project-local RAG и selected chunks. Проектные материалы индексируются локально, а наружу уходят только конкретные фрагменты под задачу. Перед отправкой мастер видит, что именно уйдёт: можно раскрыть, проверить, убрать лишнее или отменить запрос.

Это не мелкая техническая деталь, а граница доверия. Если в источниках есть коммерческие условия, переписка с заказчиком или куски кода, инструмент обязан показывать, что собирается вынести наружу.

22 июля на открытом занятии покажу этот workflow на кейсе Acme Pay: source map → selected chunks → System Context Pack → Review Findings → Task Pack.

Запись и программа: https://analystcraft.ru/vibe-analytics?utm_source=telegram&utm_medium=social&utm_campaign=vibe_analytics_v2&utm_content=selected_chunks_17

Пауза в канале затянулась. Мастерская не остановилась: за это время мы пересобрали расписание интенсива, обновили материалы на сайте и привели план публикаций к новой дате старта.

Главное коротко.

Вайб-аналитика v2 стартует в среду, 22 июля, 19:00 МСК. Первое занятие открытое.

Это не курс по промптам и не попытка сделать «ещё один чат». Идея другая: собрать AI Workspace аналитика вокруг реального проекта, где есть источники, карта контекста, противоречия, открытые вопросы и черновик решения.

На первом занятии идём через кейс Acme Pay: PDF, Confluence, Git, письма поддержки. На таких смешанных источниках хорошо видно, где AI правда помогает аналитику, а где начинает уверенно склеивать то, что сначала нужно проверить.

Early bird — 19 900 ₽ до 20 июля включительно. С 21 июля — 24 900 ₽.

Страница интенсива: https://analystcraft.ru/vibe-analytics?utm_source=telegram&utm_medium=social&utm_campaign=vibe_analytics_v2&utm_content=channel_resume_16