یادگیری رباتیک یه مشکل بزرگ داده ای داره؛ چون برای یاد دادن هر مهارت جدید معمولاً باید داده‌های بیشتری جمع‌آوری بشه که هزینه‌بره. RoboTok برای حل این مشکل از ویدیوهای موجود روی اینترنت استفاده میکنه و اون‌ها رو مثل یه کتابخونه‌ی قابل جست‌وجو از حرکات و رفتارهای دست انسان در نظر می‌گیره.

به‌جای مقایسه‌ی ویدیوها بر اساس ظاهر یا کپشن، مسیر سه‌بعدی حرکت دست رو استخراج میکنه و ویدیوهایی رو پیدا میکنه که حرکت مشابهی دارن. این روش باعث میشه تفاوت‌هایی مثل دوربین، محیط، افراد مختلف و پوشیده‌شدن دست‌ها کمتر روی نتیجه تأثیر بذارن.

ایده‌ی اصلی اینه که ویدیوهای اینترنتی میتونن از یه منبع صرفاً آموزشی، به یه دیتابیس قابل جست‌وجو برای آموزش مهارت‌های رباتیک تبدیل بشن؛ یعنی لازم نیست برای هر مهارت، همه‌ی داده‌ها رو از صفر با ربات ضبط کنیم.

کد ها و مقاله :

huggingface.co/papers/2609.03199


@Linuxor