Общая геометрия как Rosetta Stone для моделей

Qwen3 никогда не видел картинки. DINOv2 никогда не видел подписи к ним. Авторы не давали им ни одной пары «картинка + подпись», картинки и тексты вообще взяты из разных датасетов. Несмотря на это, пространства эмбеддингов этих моделей устроено "одинаково с точностью до поворота". Их можно наложить друг на друга: Картинки с собачками тогда будут рядом с текстом про собачек, картинки с котиками - рядом с текстом про котиков.

Пока выравнивание грубое: общую сцену оно схватывает, детали теряет. Но тем не менее, сам факт впечатляет: разные модели, обученные независимо и на разных модальностях, приходят к одной и той же картине мира. Ещё один аргумент в пользу гипотезы платоновских представлений.

Видео из поста автора в X, позалипать в интерактивные анимации можно тут, статья — arXiv.