⚡️ Open VLA: Vision-Language модель с открытым исходным кодом

статья: https://arxiv.org/abs/2406.09246
страница проекта: https://openvla.github.io
код: https://github.com/openvla/openvla

Open VIA, модель открытым исходным кодом с параметрами 7B, отлаженную в Llama-2 в сочетании с визуальным кодером, который объединяет предварительно подготовленные функции из DINOv2 и SigLIP.

Она обучена на 970 тысячах эпизодов с роботами из открытого набора данных X-Embodion.

Модель превосходит 55B-param RT-2-X с закрытым исходным кодом на 16,5% по абсолютному показателю успешности выполнения задач в 29 задачах и нескольких вариантах робота, при этом его параметры в 7 раз меньше.


@bigdatai