Начинаю небольшую серию постов по мотивам статьи. Цель - пересказать в более популярной форме материал и добавить ту информацию, которая не влезла в исследование. Чуть позже я опубликую статью на Хабр, основой которой станут эти короткие посты.

Начнём с простого.
Уверен, что у большинства из нас бывала такая картина, что при просмотре какого-то фильма с семьёй \ друзьями возникали обсуждения или даже споры, сколько лет актёру. Часто они заканчиваются гуглом и удивлением😄

Так насколько же хорошо мы умеем предсказывать возраст? Кажется, что мы делаем это весьма часто в поседневной жизни и должны порядком поднатореть.

Вообще говоря, в ML любую задачу обязательно нужно начинать с установки уровня точности человека (в случаях, когда это реально). Если ориентироваться на ощущения, то может получиться плохо - люди очень склонны заблуждаться насчёт статистических вещей.

В процессе написания статьи с MiVOLO, я обсуждал с коллегами и друзьями свои результаты и предположения. И когда речь заходила про человеческую точность, я часто слышал мнение, что, вероятно, человек должен ошибаться в среднем где-то лет на 5. Мне стало интересно копнуть глубже.
Уже после публикации, тут и в LinkedIn я создал опросы. Суммарно проголосовало 105 человек, а сводный результат на изображении в комментариях.

Итак, в статье, по достаточно большой выборке, мы определили, что в среднем человек ошибается на 7.22 года.
Из респондентов, т.е. вас, 43% ответили абсолютно правильно!
Ещё 24% в человечество верят слабо, а 38% точность людей переоценивают 🙂

Но много это или мало - 7.2? На практике, это очень много. Человек показывает хорошие результаты только в вопросах общих категорий или в краевых случаях. Едва ли хоть один человек сможет не распознать младенца, а сеть всё ещё может круто сгаллюцинировать в таких "очевидных" случаях. Но внутри этих категорий, наша точность оставляет желать лучшего. И даже у самых точных предсказателей-людей она ниже, чем у нейросети.