شرکت Black Forest Labs مدل FLUX 3 Action را با هدف کنترل حرکت رباتها معرفی کرد. این مدل بر پایه نسخه ۷ میلیارد پارامتری FLUX 3 توسعه یافته و با استفاده از ویدیوهای ضبطشده از عملکرد رباتها که با دادههای حسگرهای حرکتی مفاصل همگامسازی شدهاند، آموزش دیده است.
مدل به صورت همزمان، پیشبینی وضعیت آینده مفاصل و نتیجه بصری آن را انجام میدهد. فرآیند کنترل به این صورت است که سیستم بر اساس ورودی متنی، تصاویر فعلی و وضعیت لحظهای ربات، دستورات حرکتی را تولید میکند. ربات بخشی از دستورات را اجرا کرده و پس از دریافت فیدبک تصویری جدید، گامهای بعدی را محاسبه میکند.
در بنچمارک شبیهساز RoboLab-120، این مدل با ثبت نرخ موفقیت ۴۲.۹ درصد، عملکرد بالاتری نسبت به Cosmos 3 Nano (با ۱۶ میلیارد پارامتر) داشته است.
دسترسی به منابع:
- وزنهای مدل
- کد برنامه
🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما
#FLUX_3_Action #RoboLab_120