https://habr.com/p/857024/
Кратко: Исследование на тему оценки кандидатов по резюме со стороны рекрутёров. Рекрутёрам показывали пачку резюме и задавали 2 вопроса.
- Вопрос № 1: Пригласили бы вы этого кандидата на собеседование?
- Вопрос №2: Какова вероятность, что этот кандидат успешно пройдет техническое собеседование?
Результат:
Когда два рекрутера оценивают одного и того же кандидата, их уровень расхождения почти такой же, как если бы они оценивали двух совершенно разных людей.
Основной причиной отказа оказался не «недостаток навыков», а «отсутствие опыта работы в крупной компании». Далее, что довольно неожиданно, но гораздо менее надежно (обратите внимание на большие погрешности), идет наличие степени MBA. «Отсутствие топового университета» и наличие степени магистра занимают третье и четвертое места. Обратите внимание: все четыре основных причины отказа касаются не навыков кандидата, а его профессионального или образовательного фона.
Ну и самый главный вопрос этого года: Может ли ИИ сделать это лучше?
Несмотря на очень ограниченные типы данных, которые мы ввели в обе модели, при оценке профилей кандидатов, не входивших в обучающую выборку, обе модели давали более точные прогнозы, чем человеческие рекрутеры.
В результате исследования даже выявили проблему, почему так происходит
Оказалось, что более длительное время, затраченное на оценку резюме, особенно более 45 секунд, связано с более точными прогнозами — всего лишь добавление 15 секунд к оценке увеличивает точность на 34%.7 Это может означать, что если бы рекрутеров побудить замедлиться, это могло бы привести к более качественному отбору резюме.
И тут начинается замкнутый круг. Рекрутёры вынуждены тратить на 1 резюме 30 секунд, потому что кол-во резюме со временем увеличивается. Но меньше их не станет, значит будут тратить ещё меньше времени и выдавать результат ещё хуже? А точно-ли нельзя заменить 90% рекрутинга правильно настроенной LLM на хороших данных и практически убить эту профессию?
Главное, при обучении LLM не забыть загрузить в неё гадальные карты, и вопросы про суперспособности🫡