📛 FLUX 3 Action: открытые веса для роботов и первое место в RoboLab

Black Forest Labs 23 сентября представила FLUX 3 Action — модель на 7 млрд параметров, которая одновременно предсказывает действия и то, как после них изменится картинка с камеры. Веса уже доступны: можно дообучать её под своего робота или виртуальную среду.

Механика понятная: модель получает изображение, текущее состояние системы и текстовую задачу. Затем рассчитывает движения вместе с будущими кадрами. Робот выполняет часть плана, снова смотрит вокруг и корректирует следующие шаги. Такой подход называют World Action Model — моделью мира и действий.

В конфигурации DROID один план содержит 32 действия примерно на две секунды. Число команд зависит от робота: для SO-101 в документации указаны 42. Это цикл «посмотрел → спланировал → сделал → поправился». Подробнее о механике.

Что с результатами? В таблице RoboLab-120, теста робототехнических задач в симуляции, FLUX 3 Action занимает первое место с 42,9% успешных попыток. У Cosmos3-Nano-Policy — 36,8%: разница около 6,1 процентного пункта. При этом у FLUX 7 млрд параметров против 16 млрд — примерно на 56% меньше.

Со скоростью есть нюанс: сравниваются разные версии. По данным BFL в ветке, одношаговый вариант обрабатывает каждую секунду запланированного движения в 1,45–1,66 раза быстрее π0.5, а горизонт плана составляет 2,13 секунды против одной. Это заявленные замеры разработчика, а не ускорение самого робота во столько же раз.

Что можно забрать себе: базовые веса и версии для DROID и SO-101, код и рецепты дообучения. Есть интеграция с LeRobot в ветке main; BFL также сообщает о совместной работе с NVIDIA над запуском на Jetson. Веса распространяются по FLUX Kommunity License с условиями использования.

Разработчики уже обучили отдельные варианты играть в шутер и гонки, а также управлять дроном в симуляторе. Это ранние эксперименты под конкретные задачи. Практический интерес — возможность обучить модель своим действиям по демонстрациям, от перекладывания предметов до полёта под столом в виртуальной комнате.

🤑 ForgetMe | Boosty

💻 API нейросетей на 30-40% дешевле официалов

Приобрести подписку на любые сервисы
⏩ @forgetshop_bot

#нейросети #новости #flux