H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning

В новой работе удалось сделать важный рывок: JEPA научили уверенно строить планы на длинной дистанции. На Visual AntMaze новый подход увеличил долю успешных прохождений с 18% до 73%, при этом расходы на планирование снизились.

Идея иерархической архитектуры проста: вместо одной world model используют несколько уровней с разными временными масштабами. Верхний уровень задает общее направление, следующий переводит его в более конкретные подцели, а нижний определяет, какие действия нужны прямо сейчас.

При этом верхние уровни учатся отбрасывать мелкие детали, неважные для долгосрочного планирования. Например, в лабиринте на верхних уровнях исчезает информация о точном положении ног, но сохраняется понимание того, где находится робот и как устроен маршрут.

https://alphaxiv.org/abs/2610.06805

INCUBE.AI | ПОДПИСАТЬСЯ