Technical Lead LLM / HeadHunter
Remote

Ведущая платформа онлайн-рекрутинга в РФ. Активно масштабирует GenAI: LLM для генерации/диалогов/классификации, виртуальный HR-ассистент для B2B.
LLM Integration — внедрение и оценка больших языковых моделей в продукты HeadHunter для улучшения пользовательского опыта, автоматизации подбора и создания интеллектуальных рекомендаций.

Задачи:
🔹Построить company-wide фреймворк оценки LLM/пайплайнов: бенчмарки, метрики, регрессионные тесты, автоматизация;
🔹 Human-evaluation и LLM-as-a-judge: гайдлайны, качество, согласованность;
🔹 Сравнение vendor/OSS моделей, рекомендации по выбору;
🔹 Связка offline-оценки с A/B и продукт-метриками, rollout стандартов на десятки команд.

Требования:
🔹Опыт в ML/DS от 3 лет, LLM от 2 лет;
🔹 Практика оценки ML/LLM в продуктах: offline-метрики, human-eval, A/B;
🔹 Python (NumPy, pandas, sklearn, PyTorch), Hugging Face, LangChain; автоматизация прогонов/CI;
🔹 Опыт в NLP/LLM: генерация, классификация/извлечение, ранжирование, reasoning;
🔹 Навыки организации разметки/ассессоров; процессное лидерство (стандарты, документация, обучение).

Будет плюсом:
🔹 Open LLM Leaderboard, MT-Bench, Arena, trlx/vLLM; Toloka/Яндекс.Крауд.
🔹 Опыт обучения/внедрения LLM.

Компания предложит:
🔹 Удаленку без привязки к локации;
🔹 Гибкий график работы;
🔹 ДМС со стоматологией;
🔹 Обучение и участие в AI/ML-конференциях, техника за счёт компании.

Прямой контакт для отклика: @sotnikova_ey