Создатели FLUX выпустили открытую модель для управления роботами

Black Forest Labs представила FLUX 3 Action, модель на 7 млрд параметров с открытыми весами. Она одновременно рассчитывает действия робота и предсказывает, как после них изменится окружающий мир.

Модель получает изображения с камер и данные о положении робота, выполняет несколько движений, снова оценивает сцену и при необходимости корректирует план.

Более 95% данных на предварительном этапе составляло видео, поэтому модель сначала получила представление о движении и физике мира, а уже затем ее обучили управлять роботами.

На RoboLab-120 лучший вариант FLUX 3 Action показал 42,9% успешных задач против 36,8% у Cosmos 3 Nano и 28% у π0.5. При этом FLUX 3 Action меньше и в некоторых конфигурациях работает почти в четыре раза быстрее.

BFL также объединила модель с GPT-6 Astra. FLUX отвечает за быстрые движения, а Astra подключается для сложного планирования. Такая связка решила 90% тестовых эпизодов.

Веса модели уже опубликованы. В будущем ту же архитектуру хотят использовать не только для роботов, но и для агентов, которые смогут видеть интерфейс и управлять программами.

dailyprompts.ru
===
💬Это пост из ленты, которую читает Саша - автор канала Мальцев: Карьера. Маркетинг. AI. @maltsevprosto

Другие каналы по темам:
🤖 AI @maltsevdaily
🧑‍🎓 Карьеры @maltsevdailyc
🦹 Маркетинга @maltsevdailym