久久久91-久久久91精品国产一区二区-久久久91精品国产一区二区三区-久久久999国产精品-久久久999久久久精品

近日，中國科學(xué)院自動(dòng)化研究所深度強(qiáng)化學(xué)習(xí)團(tuán)隊(duì)提出大模型驅(qū)動(dòng)的機(jī)器人長序列決策與感知融合的RoboGPT方法，在具身智能測試平臺(tái)ALFRED榜單中取得第一名。 

RoboGPT方法將大模型常識(shí)推理融入環(huán)境感知和探索中，有效避免了無效信息干擾，提升了復(fù)雜開放場景下環(huán)境感知的效率和泛化能力，解決了機(jī)器人環(huán)境適應(yīng)性差、缺乏常識(shí)的難點(diǎn)。通過引入環(huán)境實(shí)時(shí)反饋，利用大模型強(qiáng)推理能力實(shí)現(xiàn)環(huán)境自適應(yīng)的長序列任務(wù)分解，突破了機(jī)器人長序列復(fù)雜任務(wù)難以規(guī)劃，環(huán)境先決條件難以引入決策的難題。 

該方法包含基于LLM的規(guī)劃器、重規(guī)劃(Re-Plan)和技能(RoboSkill)三個(gè)模塊。在給定任務(wù)指令后，基于LLM的RoboGPT規(guī)劃器可將其分解為多個(gè)子目標(biāo)。RoboSkill 根據(jù)子目標(biāo)執(zhí)行導(dǎo)航或操作技能，產(chǎn)生與環(huán)境交互的動(dòng)作，并按順序完成所有子目標(biāo)。如果某個(gè)子目標(biāo)未完成，Re-Plan模塊會(huì)接收反饋信息，并根據(jù)從環(huán)境中接收到的數(shù)據(jù)生成新的規(guī)劃。 

具體而言，團(tuán)隊(duì)構(gòu)建了一批高質(zhì)量的機(jī)器人規(guī)劃數(shù)據(jù)，提出RoboGPT機(jī)器人規(guī)劃大模型，可完成上百種日常任務(wù)的規(guī)劃。機(jī)器人可根據(jù)智能體第一視角圖像獲得深度和分割信息，進(jìn)行視覺SLAM（Simultaneous Localization and Mapping），得到語義地圖。在導(dǎo)航算法方面，團(tuán)隊(duì)根據(jù)語義地圖設(shè)計(jì)了一種知識(shí)引導(dǎo)的小物體探索方法，使得機(jī)器人很快地找到目標(biāo)物體。同時(shí)，相比于端到端的學(xué)習(xí)類方法，該方法易于遷移到其他機(jī)器人場景中，甚至是實(shí)體機(jī)器人場景，只需對(duì)根據(jù)第一視角圖像獲得深度和分割信息的模型進(jìn)行場景適應(yīng)。 

RoboGPT方法在ALFRED的Valid Unseen數(shù)據(jù)和構(gòu)造的通用任務(wù)Gen. Task的表現(xiàn)如表1所示。相較于目前基于ChatGPT（LLM-Planner）和基于模版的任務(wù)規(guī)劃方法（Prompter），RoboGPT方法在任務(wù)執(zhí)行成功率（SR, Success Rate）和任務(wù)規(guī)劃的正確性（HLP ACC, ACCuracy of High-Level instruction task Planning）上都取得了顯著的優(yōu)勢。相關(guān)工作在ALFRED的榜單中排名第一，并已整理成研究論文RoboGPT。 

ALFRED是由華盛頓大學(xué)、CMU、Nvidia等聯(lián)合創(chuàng)建的具身智能公開測試平臺(tái)，目前已有60多個(gè)全球知名高校、科研院所和公司在該平臺(tái)上進(jìn)行了公開測試。榜單提供了7類常見的日常指令任務(wù)，如“加熱蘋果放到櫥柜里”，要求機(jī)器人具有精準(zhǔn)的環(huán)境感知能力和強(qiáng)推理能力，僅僅通過第一視角的圖像，完成復(fù)雜的指令任務(wù)。

榜單鏈接： 

https://leaderboard.allenai.org/alfred/submissions/public 

論文鏈接： 

https://arxiv.org/abs/2311.15649 

圖1. ALFRED榜單排名（截至2023年12月25日）

圖2. RoboGPT系統(tǒng)框圖

表1 ALFRED Valid Unseen和通用任務(wù)Gen.Task 實(shí)驗(yàn)結(jié)果 

來源：中國科學(xué)院自動(dòng)化研究所