Лиды выросли на 60%. Первый вопрос: а точно ли это мы? 🤔

Сейчас подбиваем итоги сентября, и в отчёте по одному из проектов видим: заявок из SEO на 60 с лишним процентов больше, чем в августе. Прямо хочется сказать, что мы классно отработали и это наша заслуга. Но сначала я задаю другие вопросы. Какую долю роста дал сезон? Что ещё менялось на сайте за этот месяц? Какие причины вообще могли сработать, кроме нашей работы?

Я заметил, что это стало одной из моих главных ролей в команде. Когда люди приходят с отчётом или выводом, я первым делом смотрю, насколько он твёрдый: на что он опирается, на факты или на мнение. Очень часто мнение подменяет факт. У человека появилась первая идея, он ею загорелся, нашёл ей подтверждение и другие причины уже не рассматривает. Происходит это на автомате.

Я и сам такой, как любой человек. Нейронки тоже: попросите проверить свой план, и почти наверняка услышите, что всё верно и логика сходится. Поэтому эту проверку я оформил в скилл, то есть в инструкцию, по которой нейронка каждый раз работает одинаково. Это один из скиллов, которыми я пользуюсь чаще всего, и он ловит такие моменты и у нейронки, и у меня.

Как устроена проверка

Приём известен давно: вывод проверяют попыткой его опровергнуть. Готовый промпт и скилл на эту тему я увидел у Ильи Красинского и сделал такой же себе. Нейронка записывает, что должно быть правдой, если вывод верен, и сверяет каждый пункт с первоисточником: записью разговора, таблицей, документом. В конце видно, что подтвердилось, что нет и что проверить не удалось.

От себя я добавил три правила, каждое после нашей же ошибки. Цитировать дословно, потому что пересказ незаметно смягчает смысл. Проверять таблицу под выводом: как-то в выводе стояло «у семи из восьми», а таблица под ним давала шесть. И пересчитывать числа по всем случаям, потому что на двух-трёх примерах подтверждается почти что угодно.

Как это выглядит на деле

Пример из подготовки к встрече с потенциальным клиентом. Нейронка изучила записи прошлых звонков и собрала план разговора: какие вопросы задаст клиент и с чего лучше начать. План выглядел убедительно, но я запустил проверку через скилл.

Нейронка нашла десять допущений о клиенте. Каждое из них мы проверили по записям разговоров и собранных данных.

Четыре допущения оказались неверными, ещё четыре подтвердились только частично. Например, по плану директор должен был первым делом спросить про калькулятор. А в записях он упомянул калькулятор один раз, и то со словом «наверное». Строить начало разговора вокруг этой темы не стоило, и план мы поправили до встречи.

Сильнее всего работает проверка нейронкой из другого семейства. Я работаю в Claude от Anthropic, а опровергать отдаю Codex от OpenAI. Это модели разных семейств, и по моему опыту они лучше ловят ошибки друг друга. В обычном чате это тоже работает: скопируйте вывод из ChatGPT в Claude или наоборот и попросите найти, где он неверен.

Промпт Ильи лежит в его посте https://t.me/ilya_krasinsky/607, а учебный скилл в соседнем https://t.me/ilya_krasinsky/608. Если будете собирать свой, допишите в него три правила выше.

Мои каналы: Telegram · Макс