Я решил проверить, насколько экспертные оценки на входе акселератора действительно предсказывают успех проектов на выходе.

20 паспортов проектов прошлых наборов с их оценками и достоверно известными успехами.
8 новых экспертов, половина из которых оценивает по тем же критериям, которые были в оригинале, половина придумывает свои и оценивает по ним.

Пока промежуточный результат: 6 экспертов, каждый выстроил свой рейтинг «от лучшего к худшему».

Вот что пока видно

Первое. Эксперты сильно различаются по предсказательной валидности. У одного связь рейтинга с итоговым успехом слабая, у другого — вполне высокая. Это не про «хороший / плохой эксперт», а про разные модели мышления: кто-то лучше чувствует потенциал идеи, кто-то — способность команды доживать до конца. В зависимости от подхода, эксперт разным факторам уделяет внимание: кто-то мыслит функционально, кто-то результатами, а кто-то как инвестор.

Второе. Хорошо ранжировать — не значит хорошо выбирать. Один эксперт показал лучшую корреляцию с успехом в целом, но не лучший результат по выбору топ-5 самых успешных проектов. Другой — наоборот: хуже «чувствовал порядок», но чаще попадал в будущих победителей. Кто-то в топ-5 не особо угадал, а в топ-10 включил почти всех успешных. Ранжирование и управленческое решение — это разные навыки.

Третье. Коллективная экспертиза имеет смысл. Когда сравниваешь не отдельных людей, а согласованность моделей и консенсус, становится видно: одиночная экспертная интуиция нестабильна, а совпадение взглядов — уже сигнал. Пока видно, что консенсус экспертов выбирает лучше, чем отдельные индивиды и в единой. и в разных моделях оценки. Да, да — кэп.

И, пожалуй, главное. Экспертная оценка на входе — это не прогноз погоды, а гипотеза о будущем. Успех проекта определяется не только рынком и технологией, но и тем, что почти не видно на старте: мотивационной выносливостью, самоходностью, способностью переживать неопределенность и конкуренцией проекта со всеми остальными активностями команды — работой, семьей и отдыхом. Про это другая часть моего исследования.

С исследованием паспортов мне очень помогает моя коллега Кристина. Если ты читаешь, знай, я тебе очень благодарен за твой вклад. Читатель, поставь Кристине сердечко ♥️ на этом посте.

Отдельная благодарность 8 экспертам. Выбранные 20 паспортов далеко не самые простые и короткие, поэтому требуют вдумчивости и больших когнитивных усилий. Спасибо за ваше участие и серьезный подход. Поощрить экспертов можно смайликом 🧠.