Создатели называют ее SOTA в симуляции физики мира. Относительно прошлой версии метрика на VBench physics скакнула с 49.7 до 58.5. А еще это самая большая модель стартапа.
Под капотом авторегрессионная модель (как LLM, только предсказывает не следующий токен, а следующее состояние).
Собственно, этим Odyssey и отличается от обычных генераторов видео типа SORA: авторегрессия генерирует видео не целиком заранее, а в реальном времени, последовательно и причинно + может реагировать на действия пользователя онлайн.
Поэтому на примерах сильно не обращайте внимание на фотореалистичность. Тут дело именно в симуляции физики, динамики мира и управляемости. Короче, это игровой движок на минималках.
Мы рассматриваем Odyssey-2 Max как форму предобученного физического интеллекта – что-то вроде человека, который много лет наблюдал за миром и взаимодействовал с ним, но еще только учится водить машину.
Или, если проводить аналогию с языковыми моделями, это уровень GPT-2, прямо перед переходом к ChatGPT.
odyssey.ml/introducing-odyssey-2-max