Мы уже писали про варианты JEPA, например, JEPA для time series (https://t.me/gonzo_ML_podcasts/513) или для видео, типа V-JEPA (https://t.me/gonzo_ML/3501) и V-JEPA 2 (https://t.me/gonzo_ML/3953). Теперь JEPA доехала до LLM и есть LLM-JEPA!
https://t.me/gonzo_ML_podcasts/880
Результат интересный. Главный челлендж, как для языковых данных создавать различные view.
Post #4053
6.84K