RoboTok؛ استفاده از ویدیوهای اینترنتی برای جست‌وجوی حرکات دست در آموزش رباتیک

یادگیری رباتیک با یک چالش مهم داده‌ای روبه‌رو است: برای آموزش هر مهارت تازه معمولاً باید داده‌های بیشتری جمع‌آوری شود؛ فرایندی که هزینه‌بر است. RoboTok با تکیه بر ویدیوهای موجود در اینترنت تلاش می‌کند این مسئله را کاهش دهد.

بر اساس یادداشت خبرنگار، RoboTok ویدیوهای اینترنتی را مانند یک کتابخانه قابل جست‌وجو از حرکات و رفتارهای دست انسان در نظر می‌گیرد. در این رویکرد، ویدیوها نه بر پایه ظاهر تصویر یا کپشن، بلکه بر اساس مسیر سه‌بعدی حرکت دست بررسی و با یکدیگر مقایسه می‌شوند.

این روش کمک می‌کند عواملی مانند تفاوت دوربین، محیط، افراد مختلف یا حتی پوشیده‌شدن بخشی از دست‌ها تأثیر کمتری بر نتیجه جست‌وجو داشته باشند. به این ترتیب، ویدیوهایی پیدا می‌شوند که از نظر حرکت دست به یکدیگر شبیه‌اند، حتی اگر ظاهر صحنه یا شرایط ضبط آن‌ها متفاوت باشد.

ایده اصلی RoboTok این است که ویدیوهای اینترنتی می‌توانند فراتر از یک منبع آموزشی ساده عمل کنند و به یک پایگاه داده قابل جست‌وجو برای آموزش مهارت‌های رباتیک تبدیل شوند. در چنین حالتی، برای هر مهارت جدید لازم نیست همه داده‌ها از ابتدا با ربات ضبط شود.

در یادداشت خبرنگار همچنین به مقاله و کدهای مرتبط با این کار در صفحه huggingface.co/papers/2609.03199 اشاره شده است.

منبع: گزارش رسیده از یک منبع خبری