А судьи кто?

На майских сам с собой разгонял мысль, что анализировать внутренние метрики продукта — правильно и увлекательно. Но ключевой результат от работы над продуктом лежит где-то за его пределами

Пришёл к промежуточному выводу, что должна быть некая независимая сущность. Вы готовитесь к ЕГЭ — результат оценит составитель КИМа. Вы учитесь в автошколе — решение по авто-правам примет сотрудник ГИБДД. И так далее

👍 Охват — прикольно, NPS и COR — здорово
Но если мы хотим, чтобы работа с продуктом повлияла на человека, надо обязательно выходить за границы внутри-продуктовых метрик

Например, наш проект «Старт карьеры в строительной сфере». Я знаю, сколько людей его изучили. Знаю, сколько раз. Знаю, какие там самые популярные профессии, какие — аутсайдеры. Знаю, сколько людей прошли наш профориентационный тест. И кто из них воспользовался рекомендацией и изучил предложенные профессии

💀 Круто? Нет!
Всё это бесполезно, если я не знаю, сколько людей после знакомства с нашим продуктом решили поступать в профильный вуз. А значит: подали документы в приемную комиссию (и ещё дальше — поступили, отучились, выпустились и продолжили работать по профессии)

Именно здесь лежит ответ на вопрос, стоящий ли мы сделали продукт. Решает ли он свою задачу. И, да, это не метрика внутри самого продукта. За этими данными мне надо идти в отраслевые вузы. Эта и есть та самая «независимая сущность», которая оценит результат моей работы

❓ То есть «работаем на дядю»?
Не совсем. «Дядя» объяснит мне результат работы, вытащит его на поверхность. На самом деле меня оценивает студент / клиент / пользователь. Просто в обучении его вердикт не может сводится только к «спасибо, это было полезно». Мне нужны оцифрованные доказательства