ИИ-тесты покрывают меньше 5% профессиональных задач в США
⠀
Mercor составила карту: какие рабочие задачи вообще проверяют тесты для ИИ. Взяли 29 наборов тестов и сопоставили с перечнем Минтруда США: 18 797 задач в 923 профессиях.
⠀
— 924 задачи покрыты хотя бы пятью тестовыми заданиями
— ~90% рабочих часов американцев приходится на задачи почти без проверок
— 208 из 923 профессий имеют хотя бы одну такую задачу
⠀
Лучше всего проверяют юристов, программистов и финансистов. Хуже всего врачей и преподавателей: из 89 врачебных профессий проверяемые задачи есть у 12, из 62 в образовании у 9.
⠀
Mercor пишет, что результаты предварительные, а список из 29 тестов неполный, так что покрытие могло оказаться занижено.
⠀
Свою профессию можно найти на интерактивной карте.
⠀
Когда пишут, что ИИ обогнал специалистов, посмотрите, по каким именно задачам его проверяли.
⠀
RAGNAROK | ИИ и технологии