要想在現(xiàn)實(shí)環(huán)境中成功部署，機(jī)器人必須能夠可靠地完成各種日常任務(wù)，從家務(wù)到工業(yè)流程。它們可以完成的一些任務(wù)包括操縱織物，例如折疊衣服放入衣柜或幫助行動不便的老年人在社交活動前打領(lǐng)帶。
開發(fā)能夠有效處理這些任務(wù)的機(jī)器人迄今為止已被證明是相當(dāng)具有挑戰(zhàn)性的。許多用于訓(xùn)練機(jī)器人進(jìn)行織物操作任務(wù)的方法都依賴于模仿學(xué)習(xí)，這是一種使用視頻、動作捕捉鏡頭和人類完成相關(guān)任務(wù)的其他數(shù)據(jù)來訓(xùn)練機(jī)器人控制的技術(shù)。
雖然其中一些技術(shù)取得了令人鼓舞的成果，但要取得良好效果，它們通常需要大量的人類演示數(shù)據(jù)。這些數(shù)據(jù)可能成本高昂且難以收集，而現(xiàn)有的開源數(shù)據(jù)集并不總是包含與訓(xùn)練其他計(jì)算技術(shù)(如計(jì)算機(jī)視覺或生成式 AI 模型)一樣多的數(shù)據(jù)。
新加坡國立大學(xué)、上海交通大學(xué)和南京大學(xué)的研究人員最近介紹了一種替代方法，可以通過人類演示來增強(qiáng)和簡化機(jī)器人算法的訓(xùn)練。這種方法在arXiv上預(yù)先發(fā)表的一篇論文中概述，旨在利用每天在線發(fā)布的大量視頻，將其用作日常任務(wù)的人類演示。
“這項(xiàng)工作始于一個簡單的想法，即建立一個系統(tǒng)，讓機(jī)器人利用網(wǎng)上無數(shù)的人類演示視頻來學(xué)習(xí)復(fù)雜的操作技能，”論文合著者彭偉昆告訴 Tech Xplore。“換句話說，給定一個任意的人類演示視頻，我們希望機(jī)器人完成視頻中顯示的相同任務(wù)。”
雖然之前的研究也引入了利用視頻片段的模仿學(xué)習(xí)技術(shù)，但他們使用的是特定領(lǐng)域的視頻(即人類在機(jī)器人稍后將處理任務(wù)的同一環(huán)境中完成特定任務(wù)的視頻)，而不是在任何環(huán)境或設(shè)置中收集的任意視頻。
另一方面，彭和他的同事開發(fā)的框架旨在讓機(jī)器人能夠從網(wǎng)上找到的任意演示視頻中進(jìn)行模仿學(xué)習(xí)。
該團(tuán)隊(duì)的方法有三個主要組成部分，即 Real2Sim、Learn@Sim 和 Sim2Real。第一個組成部分是該框架的核心和最重要的部分。
標(biāo)簽：
免責(zé)聲明：本文由用戶上傳，如有侵權(quán)請聯(lián)系刪除！