Метрики эффективности нужно определять заранее

И то, что вы будете измерять как ROI, тоже. Потому что сначала нужно понять, что для вас эффективность обучения, потом понять, как это можно померить и наблюдать, и только потом нужно создавать такое обучение, которое приведет нас именно к такому результату.

Это часто наглядно заметно в обсуждении ROI. Тут недавно даже отвечала на такой вопрос на Яндекс. Кью. Сначала создается обучение, вроде уже даже все запускается, и только потом возникает вопрос - а как же нам понять, есть возврат инвестиций? Как узнать, что все не зря? Честный ответ: теперь уже никак. Это нужно проектировать заранее.

Как только появилась идея создания обучения, нам нужно понять:

- Что будет говорить о том, что обучение прошло успешно? Как мы можем это наблюдать? Как поймем, что обучение провалилось?
- Как будет собирать данные, чтобы понять все то, что мы хотим понять? Сейчас собираем такие данные или нужно организовать их сбор? Можно ли такое вообще сделать?
- Как будем трактовать полученные данные? Как будем их читать? Что будет говорить об успехе, а что - о неудаче?

И это все метрики, которые имеют отношение к финальному результату, потому как ROI реально только финальному результату.

Но есть еще и те, которые нужно собирать по процессу. Чтобы мониторить то, что происходит, иметь возможности для маневра, корректировать то, что ранее создали. И эти метрики тоже должны быть предусмотрены заранее. Чтобы их спроектировать и заложить в созданный процесс. По готовому продукту многие метрики собрать уже не получится.

Это еще один текст в защиту предварительного проектирования всего, что только можно.