RoboTok؛ استفاده از ویدیوهای اینترنتی برای جست‌وجوی حرکات دست در آموزش رباتیک
RoboTok با استخراج مسیر سه‌بعدی حرکت دست از ویدیوهای اینترنتی، این ویدیوها را به کتابخانه‌ای قابل جست‌وجو برای آموزش مهارت‌های رباتیک تبدیل می‌کند.
تهیه‌شده با کمک هوش مصنوعی از منابع ذکرشده · بازبینی و ویرایش: مهدی طالب لو · سیاست تحریریه
یادگیری رباتیک با یک چالش مهم داده‌ای روبه‌رو است: برای آموزش هر مهارت تازه، معمولاً باید داده‌های بیشتری جمع‌آوری شود؛ فرایندی که هزینه‌بر است. RoboTok با تکیه بر ویدیوهای موجود در اینترنت تلاش می‌کند این مشکل را کاهش دهد.
طبق یادداشت خبرنگار، RoboTok ویدیوهای اینترنتی را همچون کتابخانه‌ای قابل جست‌وجو از حرکات و رفتارهای دست انسان در نظر می‌گیرد. در این رویکرد، ویدیوها نه بر اساس ظاهر تصویر یا کپشن، بلکه بر پایه مسیر سه‌بعدی حرکت دست بررسی و با یکدیگر مقایسه می‌شوند.
این روش کمک می‌کند عواملی مانند تفاوت دوربین، محیط، افراد یا حتی پوشیده‌شدن بخشی از دست‌ها، تأثیر کمتری بر نتیجه جست‌وجو داشته باشند. به‌این‌ترتیب، ویدیوهایی پیدا می‌شوند که از نظر حرکت دست به یکدیگر شبیه‌اند، حتی اگر ظاهر صحنه یا شرایط ضبط آن‌ها متفاوت باشد.
ایده اصلی RoboTok این است که ویدیوهای اینترنتی می‌توانند فراتر از یک منبع آموزشی ساده عمل کنند و به پایگاه داده‌ای قابل جست‌وجو برای آموزش مهارت‌های رباتیک تبدیل شوند. در چنین شرایطی، برای هر مهارت جدید لازم نیست همه داده‌ها از ابتدا با ربات ضبط شوند.
در یادداشت خبرنگار، همچنین به مقاله و کدهای مرتبط با این کار در صفحه huggingface.co/papers/2609.03199 اشاره شده است.
منبع: گزارش رسیده از یک منبع خبری
مطالب مرتبط
برای ادامه مطالعه
این یادداشت‌ها بر اساس موضوع مشترک، هم‌پوشانی برچسب‌ها و تازگی انتشار انتخاب می‌شوند.
تازهQwenputer؛ پردازنده ۳۲ بیتی RISC-V درون وزن‌های Qwen
پروژه Qwenputer یک پردازنده ۳۲ بیتی RISC-V را داخل وزن‌های مدل Qwen جا داده تا محاسبات را واقعاً اجرا کند. نتیجه اولیه هم جالبه: دقت یک بنچمارک از ۴۸٫۶ به ۱۰۰ درصد رسیده.
Genie 4 گوگل دیپ‌مایند؛ ساخت دنیاهای تعاملی با متن و تصویر
گوگل دیپ‌مایند از Genie 4 رونمایی کرده؛ مدلی که تصویر و پرامپت متنی را به محیط‌های سه‌بعدی تعاملی تبدیل می‌کند و حتی اجازه می‌دهد وسط صحنه، ژانر را تغییر بدهید.
Genie 4 گوگل دیپ‌مایند؛ ساخت دنیاهای تعاملی با متن و تصویر
گوگل دیپ‌مایند از Genie 4 رونمایی کرده؛ مدلی که از تصویر و دستور متنی، یک دنیای تعاملی همراه با حرکت، صدا و گفت‌وگو می‌سازه. جالب‌تر اینکه می‌تونید همان لحظه صحنه را تغییر بدید و واکنش دنیا را ببینید.
دیدگاهها
اولین نفری باش که دیدگاه می‌ذاره