DayDreamer: الگوریتمی برای آموزش سریع رفتارهای جدید به روبات ها در دنیای واقعی

آموزش روبات ها برای انجام وظایف در دنیای واقعی می تواند یک فرآیند بسیار زمان بر باشد که شامل ساخت یک شبیه ساز سریع و کارآمد، انجام آزمایش های متعدد بر روی آن و سپس انتقال رفتارهای آموخته شده در طول این آزمایش ها به دنیای واقعی است. با این حال، در بسیاری از موارد، عملکرد به دست آمده در شبیه سازی ها به دلیل تغییرات غیرقابل پیش بینی در محیط یا کار، با عملکردی که در دنیای واقعی به دست آمده است، مطابقت ندارد.

محققان دانشگاه کالیفرنیا، برکلی (UC Berkeley) اخیراً DayDreamer را توسعه داده اند، ابزاری که می تواند برای آموزش ربات ها برای انجام وظایف دنیای واقعی به طور مؤثرتر مورد استفاده قرار گیرد. رویکرد آنها که در مقاله ای از پیش منتشر شده در arXiv معرفی شده است، مبتنی بر مدل های یادگیری جهان است که به ربات ها اجازه می دهد نتایج حرکات و اقدامات خود را پیش بینی کنند و نیاز به آموزش گسترده آزمون و خطا در دنیای واقعی را کاهش دهند.

دانیجار هافنر، یکی از محققانی که این مطالعه را انجام داده است، به TechXplore گفت: «ما می خواستیم روبات هایی بسازیم که به طور مداوم در دنیای واقعی بدون نیاز به ایجاد یک محیط شبیه سازی یاد بگیرند. ما قبلاً فقط مدل های جهانی بازی های ویدیویی را یاد گرفته بودیم، بنابراین بسیار هیجان انگیز بود که ببینیم همین الگوریتم به روبات ها اجازه می دهد تا به سرعت در دنیای واقعی نیز یاد بگیرند!»

با استفاده از رویکرد خود، محققان توانستند به طور موثر و سریع به روبات ها آموزش دهند تا رفتارهای خاصی را در دنیای واقعی انجام دهند. به عنوان مثال، آنها یک سگ رباتیک را آموزش دادند که تنها در یک ساعت از پشت خود بغلتد، بایستد و راه برود.

پس از آموزش، تیم شروع به هل دادن ربات کرد و متوجه شد که در عرض 10 دقیقه، می تواند در برابر فشارها مقاومت کند یا به سرعت روی پاهای خود بغلتد. این تیم همچنین ابزار خود را بر روی بازوهای رباتیک آزمایش کردند و به آنها آموزش دادند تا اشیاء را بردارند و آنها را در مکان های خاص قرار دهند، بدون اینکه به آنها بگوییم که در ابتدا اشیا در کجا قرار داشتند.

هافنر گفت: «ما دیدیم که روبات ها با تغییرات شرایط نوری، مانند حرکت سایه ها با خورشید در طول یک روز، سازگار شدند."علاوه بر یادگیری سریع و مداوم در دنیای واقعی، الگوریتم یکسان بدون هیچ تغییری در چهار ربات و وظایف مختلف به خوبی کار می کرد. بنابراین، ما فکر می کنیم که مدل های جهانی و انطباق آنلاین نقش بزرگی در روباتیک آینده خواهند داشت."

هافنر گفت: "یکی دیگر از مشکلات مرتبط با این کار این است که ما نمی توانیم بازخورد یا پاداش واسطه ای به ربات بدهیم تا اینکه واقعاً چیزی را درک نکرده باشد ، بنابراین چیزهای زیادی برای این روبات وجود دارد که بدون راهنمایی واسطه ای کشف کند.""در 10 ساعت از عملکرد کاملاً مستقل ، این ربات که با استفاده از Dreamer آموزش دیده به عملکرد اپراتورهای مخابراتی انسانی نزدیک شد. این نتیجه مدل های جهانی را به عنوان یک رویکرد امیدوارکننده برای اتوماسیون ایستگاه های موجود در انبارها و خطوط مونتاژ نشان می دهد."

محققان در آزمایشات خود با موفقیت از الگوریتم Dreamer برای آموزش چهار روبات متفاوت از نظر مورفولوژیکی در کارهای مختلف استفاده کردند. آموزش این روبات ها با استفاده از یادگیری تقویت کننده معمولی به طور معمول نیاز به تنظیم دستی قابل توجهی دارد ، بدون تنظیم اضافی ، در تمام کارها انجام می شود.

هافنر گفت: "بر اساس نتایج ما ، ما انتظار داریم که تیم های بیشتر روباتیک شروع به استفاده و بهبود Dreamer برای حل مشکلات روباتیک چالش برانگیز کنند.""داشتن یک الگوریتم یادگیری تقویت کننده که خارج از جعبه کار می کند ، به تیم ها فرصت بیشتری می دهد تا روی ساخت سخت افزار ربات تمرکز کنند و وظایفی را که می خواهند با مدل جهانی به صورت خودکار انجام دهند ، تمرکز کنند."

این الگوریتم به راحتی می تواند برای روبات ها اعمال شود و کد آن به زودی منبع باز خواهد بود. این بدان معنی است که تیم های دیگر به زودی قادر خواهند بود از آن برای آموزش روبات های خود با استفاده از مدل های جهانی استفاده کنند.

هافنر ، Escontrela ، وو و همکارانشان اکنون دوست دارند آزمایش های جدیدی را انجام دهند و یک ربات چهار نفره را به یک دوربین مجهز کنند تا بتواند نه تنها راه رفتن بلکه برای شناسایی اشیاء مجاور نیز یاد بگیرد. این امر باید به ربات اجازه دهد تا کارهای پیچیده تری را برطرف کند ، به عنوان مثال از جلوگیری از موانع ، شناسایی اشیاء مورد علاقه در محیط آن یا پیاده روی در کنار یک کاربر انسانی.

هافنر افزود: "یک چالش باز در رباتیک این است که چگونه کاربران می توانند به طور شهودی وظایف روبات ها را مشخص کنند.""در کار ما ، ما سیگنال های پاداش را اجرا کردیم که ربات با عملکرد پایتون بهینه می شود ، اما در نهایت خوب است که با گفتن مستقیم به آنها ، روبات ها را از ترجیحات انسانی آموزش دهیم. پاداش یا حتی با تجهیز روبات ها به درک زبان انسانی بدهید. "

تاکنون این تیم فقط از الگوریتم خود برای آموزش روبات ها در کارهای خاص استفاده کرده است که در ابتدای آزمایشات آنها به وضوح تعریف شده است. با این حال ، در آینده ، آنها همچنین دوست دارند بدون مقابله با یک کار کاملاً مشخص ، روبات ها را آموزش دهند تا محیط خود را کشف کنند.

هافنر افزود: "یک جهت امیدوارکننده ، آموزش روبات ها برای کشف محیط اطراف خود در صورت عدم وجود یک کار از طریق کنجکاوی مصنوعی ، و سپس بعداً برای حل وظایف مشخص شده توسط کاربران حتی سریعتر سازگار است."

اطلاعات بیشتر: فیلیپ وو و همکاران ، Daydreamer: مدل های جهانی برای یادگیری روبات فیزیکی. ARXIV: 2206. 14176v1 [Cs. ro] ، arxiv. org/abs/2206. 14176

© 2022 Science X Network

استناد: Daydreamer: یک الگوریتم برای آموزش سریع روبات ها رفتارهای جدید در دنیای واقعی (2022 ، 27 ژوئیه) در 12 آوریل 2023 از https://techxplore. com/news/2022-07-daydreamer-algorithm-squickly-robots-behaviors بازیابی شد. html

این برگه یا سند یا نوشته تحت پوشش قانون کپی رایت است. جدا از هرگونه معامله عادلانه به منظور مطالعه خصوصی یا تحقیق ، هیچ بخشی از مجوز کتبی قابل بازتولید نیست. محتوای مذکور فقط به هدف اطلاع رسانی ایجاد شده است.< SPAN> "یک جهت امیدوارکننده ، آموزش روبات ها برای کشف محیط اطراف خود در صورت عدم وجود یک کار از طریق کنجکاوی مصنوعی است ، و سپس بعداً برای حل وظایف مشخص شده توسط کاربران حتی سریعتر سازگار می شود."