BFL научила FLUX управлять роботами, вышла FLUX 3 Action

Black Forest Labs дообучила основу своей видеомодели на данных с реальных роботов: видео с камер синхронизировали с положением суставов и выполняемыми действиями. В результате 7B-модель одновременно учится предсказывать будущее видео и движения робота.

На вход она получает текстовую задачу, текущие кадры и состояние робота, а на выходе генерирует команды для суставов и захвата вместе с визуальным прогнозом результата. Робот выполняет часть действий, получает новые кадры - и цикл повторяется.

На симуляционном RoboLab-120 авторы заявляют 42,9% успешных выполнений против 36,8% у 16B Cosmos 3 Nano. Для переноса на конкретного робота модель всё ещё нужно дообучать.

Веса доступны под FLUX Community License, код Apache 2.0.

Техрепорт · Веса · Код

📢 Bard & Gemini