Black Forest Labs выпустила FLUX 3 Action — открытую модель для управления роботами

Благодаря этой модели робот не просто реагирует на текущий кадр, а мысленно «проигрывает» следующий шаг перед тем, как его сделать, — ИИ по текстовой команде и изображению с камеры предсказывает движения суставов и захвата. Робот выполняет часть команд, получает новые кадры и пересчитывает следующие движения.

На тестах роботы раскладывали вещи, подавали предметы, складывали их в стопку, работали с инструментами — это задачи для производства и логистики. В перспективе похожие сценарии применимы и в умном доме, и на стройке: подать инструмент, перенести деталь, разложить крепёж, убрать со стола. Пока модель обучена на манипуляторах Franka и SO-101, под конкретное «железо» её нужно дообучать.

Веса и код открыты.