В марте мы писали про наше исследование способности больших мультимодальных моделей определять возраст и пол человека по фото, а также сравнивали их с MiVOLOv2.
С тех пор, конечно, многое поменялось, и главное – вышел ChatGPT-4o. Модель сильно отличается от предыдущей 4Vision и поэтому было разумно ожидать изменения в результатах.
Недавно дошли руки это проверить, заодно обновили препринт.

TLDR: 🌿

4о совершила огромный рывок вперёд в определении возраста и делает это даже лучше MiVOLOv2. Причём, неожиданно, самый большой скачок в задаче определения возраста без лица на фотографии, по изображению тела. А ещё метрики у 4o при работе без лиц и с ними заметно ближе, чем у других моделей. Видимо, новая GPT стала меньше завязываться на лица, а это ещё одно хорошее подкрепление нашей идеи из оригинальной статьи, что нужно использовать всю доступную информацию.

А вот определение пола, в случае изображений с лицами, практически никак не улучшилось и осталось на невысоком уровне, ниже открытой LLaVA-NeXT. Дело явно не в возможностях модели.