RoboTok؛ استفاده از ویدیوهای اینترنتی برای جست‌وجوی حرکات دست در آموزش رباتیک

یادگیری رباتیک با یک چالش مهم داده‌ای روبه‌رو است: برای آموزش هر مهارت تازه، معمولاً باید داده‌های بیشتری جمع‌آوری شود؛ فرایندی که هزینه‌بر است. RoboTok با تکیه بر ویدیوهای موجود در اینترنت تلاش می‌کند این مشکل را کاهش دهد.

طبق یادداشت خبرنگار، RoboTok ویدیوهای اینترنتی را همچون کتابخانه‌ای قابل جست‌وجو از حرکات و رفتارهای دست انسان در نظر می‌گیرد. در این رویکرد، ویدیوها نه بر اساس ظاهر تصویر یا کپشن، بلکه بر پایه مسیر سه‌بعدی حرکت دست بررسی و با یکدیگر مقایسه می‌شوند.

این روش کمک می‌کند عواملی مانند تفاوت دوربین، محیط، افراد یا حتی پوشیده‌شدن بخشی از دست‌ها، تأثیر کمتری بر نتیجه جست‌وجو داشته باشند. به‌این‌ترتیب، ویدیوهایی پیدا می‌شوند که از نظر حرکت دست به یکدیگر شبیه‌اند، حتی اگر ظاهر صحنه یا شرایط ضبط آن‌ها متفاوت باشد.

ایده اصلی RoboTok این است که ویدیوهای اینترنتی می‌توانند فراتر از یک منبع آموزشی ساده عمل کنند و به پایگاه داده‌ای قابل جست‌وجو برای آموزش مهارت‌های رباتیک تبدیل شوند. در چنین شرایطی، برای هر مهارت جدید لازم نیست همه داده‌ها از ابتدا با ربات ضبط شوند.

در یادداشت خبرنگار، همچنین به مقاله و کدهای مرتبط با این کار در صفحه huggingface.co/papers/2609.03199 اشاره شده است.

منبع: گزارش رسیده از یک منبع خبری