Привет, не смог пройти мимо свежего датасета HeadHunter. У каких профессий быстрее/медленнее всего растет заработная плата с ростом стажа? К сожалению HH не показывает категории, а люди пишут названия вакансий с ошибками, переставляют слова, пишут иностранные слова кириллицей. Что бы быстро сгруппировать 200 тысяч вакансий, я использовал мультиязычный e5 трансформер для определения косинуса между парами названий вакансий (оставил cos >= 0.9), получился граф схожести профессий. Поверх графа использовал быструю Leiden кластеризацию. В качестве скорости роста зп брал наклон линейной регрессии по каждому кластеру, предсказывающей нижнюю границу вилки по нижней границе требуемого опыта, оставил только стат значимые результаты.