LeJEPA: шаг к реальному пониманию мира от Яна Лекуна

Ну что, название моделей с каждым разом становится всё интереснее, не так ли? 😁 На этот раз Ян Лекун представил LeJEPA — продолжение его экспериментов с миром self-supervised обучения. Для тех, кто может быть не в теме, JEPA расшифровывается как Joint Embedding Predictive Architecture. Это архитектура, предназначенная для того, чтобы ИИ лучше понимал внешний мир. То есть, не просто предсказывал пиксели, а реально пытался понять, что происходит в сцене.

Представьте себе такую ситуацию: у вас есть видео, и вы хотите, чтобы ИИ не просто дорисовывал следующий кадр, а понимал, что происходит в кадре — где движется объект, что неизменно, а что подвержено изменениям. JEPA именно это и пытается сделать. Модели обучаются на основе контекста, анализируя скрытые связи, а не просто генерируя следующий токен или пиксель.

Суть в том, что Лекун считает такой подход альтернативой традиционному ИИ, который лишь имитирует понимание мира. JEPA учит модель реально понимать физику и логику происходящего. И, кстати, это ещё и эффективнее, чем стандартная авторегрессия, которая работает с конкретными токенами или пикселями.

Но всё это было до того, как появилась LeJEPA. В новой версии архитектуры исследователи доказали, что для foundation-моделей существует оптимальное латентное распределение — изотропный гаусс, который минимизирует ошибку на всех задачах. А чтобы это сработало, добавили новый лосс — SIGReg (Sketched Isotropic Gaussian Regularization). Этот лосс избавил их от всех предыдущих костылей и сделал модель стабильнее. Результат? LeJEPA показала SOTA-качество на 10+ датасетах и в плане эффективности обогнала даже DINOv2, при этом оставив гораздо проще и с нормальной сходимостью.

Вполне рабочий метод, который может стать настоящим инструментом для будущих моделей. Лекун постепенно приближается к созданию искусственного интеллекта, который действительно способен понимать мир, или это лишь интересная теоретическая модель?

Data Science