Я 3 недели фиксил оценку грейда в нашем боте-тренажере собеседований @booster_tbot.

В общем, в июне мы выкатили версию бота, чтобы протестить гипотезу и по итогу двух месяцев в боте было около 700 человек, и почти 200 прошли грейдирование. Мой партнер по менторству, Саша Алексеев, передал бота в зону моей ответственности в августе, потому что я отвечаю за ПО. По итогам анализа я увидел, что бот сильно занижает оценку, а сеньора смог взять только один человек.

Я начал придумывать алгоритмы оценки и в итоге родилось нечто вроде: "Дать ожидаемый ответ на каждый грейд, а на сеньора ждать глубины ответа: плюсы-минусы решения, трейдофф с другими решениями". Пару недель назад я выкатил обнову и протестировал на C#. По результатам опроса пользователей, оценки стали точнее, а вопросов меньше.

В итоге, я разметил все вопросы, которые участвуют в грейдировании и моках по всем направлениям, сам прошел грейдирование кучу раз на дев стенде и отловил еще проблемы. Теперь бот перестал занижать оценку, но и сеньорских ответов стало больше. Аж почти 30% от всех ответов. Но это не значит, что взять сеньора легко. И еще, если ты не раскрыл тему на сеньора, но раскрыл в уточняющем вопросе; В финальной оценке такой ответ будет учтен с пониженным коэффициентом.

Я поймал когнитивное искажение и пытался сделать идеальную оценку, но так далеко не уедешь. Я добавил возможность оценить каждый вопрос после ответа, теперь все будет зависеть от ТЕБЯ. Подводя итог процитирую Юру Хоя: "Пусть в этой песне этом боте всё остаётся как было".

Вот саммари клода по изменениям одной строкой (Даже на 2к мониторе в терминале это — две строки):

Бот перестал оценивать «на глаз»: у каждого вопроса теперь прописано, что считается ответом на junior, middle и senior. Тест стартует с базовых вопросов, а сложное уходит в скрытые уточнения — если ты их заслужил. Из банка выкинут 91 вопрос, на который в принципе нет правильного ответа, и склеены 118 дублей. Go наконец назван полноценным стеком, а «общий бэкенд» честно предупреждает про потолок Middle до начала теста. И теперь на любой вопрос можно в одно нажатие сказать, что с ним не так.

Проходите грейдирование и оставляйте фидбек на вопросы (только честно). Так бот станет лучше (возможно).