Новая статья на ICML 2026 челленджит Platonic Representation Hypothesis: similarity scores получаюся завышены из-за ширины и глубины модели, из-за чего создаётся нечестный тренд глобальной конвергенции, но он пропадает, как только это смещение скорректировать.
Но при этом сохраняется local neighborhood alignment между моделями для картинок, текста и видео (похожие вещи остаются рядом друг с другом даже у совсем разных архитектур). Авторы называют это Aristotelian Representation Hypothesis :)
То есть две модели могут не шарить один representation space в каком-то сильном глобальном смысле, но при этом соглашаться насчёт локальных окрестностей (что на что похоже). Это, судя по всему, как раз та часть, которую мы реально используем в retrieval, transfer и мультимодальных системах, и которую потенциально можно переносить между learned approximations разных моделей.
http://arxiv.org/pdf/2602.14486
Post #13
2.26K

- ❤ 14
- 👍 9
- ⚡ 3
- ✍ 2
- 🎉 1