BFL выпустили FLUX 3 Action для управления роботами

BFL дообучили основу видеомодели FLUX 3 на записях работы роботов, где кадры с камер синхронизированы с положениями суставов и действиями. Модель на 7B учится совместно восстанавливать из шума будущие кадры и последовательность движений.

По текстовой задаче, текущим кадрам и состоянию робота она предсказывает движения суставов и захвата вместе с их визуальным результатом. Робот исполняет часть команд, получает новые кадры и пересчитывает следующие движения.

На симуляционном RoboLab-120 заняли первое место с 42.9% успешных попыток против 36.8% у Cosmos 3 Nano на 16B. Под нового робота нужно дообучение. Веса под FLUX Community License, код под Apache 2.0.

Техрепорт
Веса
Код

@ai_newz