|
|
| 當前位置:首頁 > 機器人技術 |
ChatGPT for Robotics:大模型+智能機器人結合初探 |
| 來源:東方證券 時間:2024/9/5 |
| 微軟團隊發布了一篇名為《ChatGPT for Robotics: Design Principles and Model Abilities》的技術報告,展現出了使用 ChatGPT 來實現自然的人機交互的可能性,為如何將 ChatGPT 融入機器人L域提供了一種全新的視角,也是對于大模型和機器人的結合進行了初探。 ChatGPT 在機器人L域的應用主要體現在兩個方面:自然語言交互和自動化決策。大多數的機器人任務需要由工程師來構建完整的G低J指令代碼、不斷進行迭代循環才能完成任務。而 ChatGPT 則帶來了新的機器人任務范式,ChatGPT 具備自然語言交互和自動化決策能力,機器人可以通過 ChatGPT來理解人類的自然語言指令,并根據指令進行相應的動作。另外,機器人在 執行任務時需要做出各種決策,例如路徑規劃、物體識別等。ChatGPT 可以應用于機器人的自動 化決策中,機器人可以通過 ChatGPT 來生成任務方案,根據任務要求做出相應的決策。引入 ChatGPT 后,工程師僅需做好機器人的底層庫函數及其描述,ChatGPT 就能夠自己利用這些底 層函數來編寫代碼以完成目標,將工程師從循環中解放出來。
微軟團隊給出了一套適合為機器人任務編寫提示方法的設計原則。先,定義機器人的功能庫函 數,比如檢測物體、移動底盤等,函數命名要與實際動作符合。第二,為 ChatGPT 編寫 prompt, 描述任務目標,同時明確說明可用的GJ函數庫中的哪些函數。提示還可以包含有關任務約束的 信息,或者有關 ChatGPT如何形成其答案(特定編碼語言,使用輔助解析元素)的信息。第三, 在仿真環境中運行并評估 ChatGPT的代碼輸出,保證模型能夠安全完整地做好任務。后,將算 法部署到機器人上。 基于該設計原則可以實現多種 ChatGPT 結合機器人的應用,為進一步研究大模型+通用機器人打 下了基礎。微軟團隊也針對幾個場景進行了 ChatGPT 結合機器人的測試,包括用無人機檢查貨 架、模擬環境中用無人機進行工業巡檢、控制機器人手臂拼積木等。由于 ChatGPT只能用文字進行交互,對于外界環境的感知需要對傳感器傳回的圖像進行對象檢測,并轉化為文本描述才能輸 入給 ChatGPT。微軟團隊的研究初步展示了 ChatGPT 這一大語言模型作為機器人的決策中樞的 可能性,為后續更加深度的大模型+機器人探索邁出了D一步。
|
| 信息推薦 |