佐思汽研發(fā)布《2023年人形機(jī)器人產(chǎn)業(yè)研究報(bào)告》。主要從以下幾方面進(jìn)行研究：

AI人形機(jī)器人主要構(gòu)成及應(yīng)用場(chǎng)景；

AI大模型賦能人形機(jī)器人技術(shù)路徑；

主機(jī)廠和其他廠商AI人形機(jī)器人產(chǎn)品布局對(duì)比；

產(chǎn)品硬件拆解及軟件分析；

AI人形機(jī)器人的發(fā)展趨勢(shì)等。

與機(jī)械臂、AGV相比，AI人形機(jī)器人應(yīng)用場(chǎng)景更具通用性

AI人形機(jī)器人是指由AI大模型賦能，具有與人類似外觀和運(yùn)動(dòng)方式的機(jī)器人。AI大模型從語(yǔ)音、視覺(jué)、決策、控制等多方面與人形機(jī)器人結(jié)合，使機(jī)器人具備理解指令并執(zhí)行指令的功能。 借助AI大模型賦能，AI人形機(jī)器人應(yīng)用場(chǎng)景更具通用性。 例如，2023年8月，智元機(jī)器人推出的遠(yuǎn)征A1，由百億級(jí)參數(shù)的WorkGPT大模型賦能，擁有理解指令，并對(duì)指令進(jìn)行任務(wù)編排和執(zhí)行閉環(huán)能力。預(yù)計(jì)2024年商用，并率先用于工業(yè)制造領(lǐng)域如3C 制造、 汽車制造，隨后逐步走向to C應(yīng)用如家庭場(chǎng)景。 2022年8月，小米推出的Cyberone。其搭載自研Mi-Sense 深度視覺(jué)模組+ AI 交互算法，擁有三維空間感知能力，實(shí)現(xiàn)身份、手勢(shì)和表情識(shí)別。此外，在情緒感知上，其能識(shí)別85 種環(huán)境語(yǔ)義和 6 大類 45 種人類情緒。未來(lái)將率先用于小米智能制造工廠、同時(shí)還支持多種應(yīng)用場(chǎng)景，如家庭助理、陪伴機(jī)器人、教育輔助等。

智元機(jī)器人元征A1應(yīng)用場(chǎng)景示例

AI人形機(jī)器人大模型從VLM向VLA進(jìn)化

2023年7月，谷歌DeepMind推出了機(jī)器人模型Robotics Transformer 2 (RT-2)，這是一個(gè)視覺(jué)-語(yǔ)言-動(dòng)作（VLA）模型，實(shí)現(xiàn)了視覺(jué)語(yǔ)言模型與機(jī)器人動(dòng)作的結(jié)合。它能夠指導(dǎo)機(jī)器人識(shí)別視覺(jué)和語(yǔ)言，讓其理解指令并做出正確的操作。

與視覺(jué)語(yǔ)言模型（VLM）相比，VLA的主要進(jìn)化之處在于將機(jī)器人動(dòng)作直接作為模型token輸出，省去了VLM模型將輸出的指令翻譯成動(dòng)作控制信號(hào)的步驟。

RT-2的架構(gòu)和訓(xùn)練

來(lái)源：DeepMind

RT-2一方面吸收了VLM語(yǔ)義推理、問(wèn)題解決、視覺(jué)解釋能力，另一方面能從真實(shí)的機(jī)器人動(dòng)作中實(shí)現(xiàn)具身任務(wù)推理，且兩方面能夠相互促進(jìn)。

訓(xùn)練方式上，RT-2通過(guò)將機(jī)器人動(dòng)作拆解為文本token的形式，實(shí)現(xiàn)了直接與視覺(jué)語(yǔ)言數(shù)據(jù)混合后輸入VLM進(jìn)行聯(lián)合微調(diào)。

RT-2不僅是對(duì)現(xiàn)有VLM模型的簡(jiǎn)單而有效的修改，還展示了構(gòu)建通用物理機(jī)器人的前景，讓機(jī)器人可以推理、解決問(wèn)題和解釋信息，以在現(xiàn)實(shí)中執(zhí)行各種任務(wù)。

谷歌DeepMind RT-2大模型

來(lái)源：DeepMind

與汽車行業(yè)聯(lián)動(dòng)，主機(jī)廠押注人形機(jī)器人賽道

AI人形機(jī)器人可與汽車行業(yè)聯(lián)動(dòng)。如在汽車生產(chǎn)上，用于新能源汽車工廠裝配底盤(pán)、打螺絲，提升工廠智能化水平，降低人力成本；在汽車銷售環(huán)節(jié)上，用于門(mén)店為顧客介紹產(chǎn)品，提升品牌形象。

目前，已有包括特斯拉、小鵬和小米在內(nèi)的廠商推出了AI人形機(jī)器人。此外，比亞迪也于2023年9月入股人形機(jī)器人公司上海智元新創(chuàng)技術(shù)有限公司，未來(lái)智元科技的機(jī)器人遠(yuǎn)征A1可在比亞迪工廠參與外觀檢測(cè)流程、進(jìn)行裝配底盤(pán)等汽車裝配線上作業(yè)。

部分主機(jī)廠及其他廠商AI人形機(jī)器人產(chǎn)品布局

來(lái)源：佐思汽研《2023年人形機(jī)器人產(chǎn)業(yè)研究報(bào)告》

由于人形機(jī)器人與汽車之間存在技術(shù)同源，主機(jī)廠在汽車行業(yè)積累的技術(shù)經(jīng)驗(yàn)可直接復(fù)用到這一賽道上。 首先在軟件方面，主機(jī)廠可將車端算法復(fù)用至人形機(jī)器人上。 例如，特斯拉人形機(jī)器人Optimus采用與FSD同樣的神經(jīng)網(wǎng)絡(luò)“占用網(wǎng)絡(luò)”來(lái)對(duì)三維環(huán)境進(jìn)行建模。FSD算法在處理傳感器數(shù)據(jù)時(shí)，具備對(duì)道路、車輛和行人等物體進(jìn)行識(shí)別的能力，可幫助機(jī)器人在執(zhí)行任務(wù)時(shí)識(shí)別和定位物體。此外，Optimus的神經(jīng)網(wǎng)絡(luò)訓(xùn)練是完全端到端的，可直接從視頻輸入中獲取信息，并輸出控制指令。根據(jù)2023年9月特斯拉公布的視頻，Optimus已可僅依賴視覺(jué)對(duì)物體進(jìn)行分類，并完成簡(jiǎn)單的瑜伽動(dòng)作。 小鵬汽車在車端感知上采用激光雷達(dá)、毫米波雷達(dá)、攝像頭、超聲波等多種傳感器，及自研的深度學(xué)習(xí)算法，實(shí)現(xiàn)對(duì)周圍環(huán)境的高精度地圖構(gòu)建和實(shí)時(shí)動(dòng)態(tài)追蹤。該技術(shù)可使人形機(jī)器人具備在復(fù)雜道路穩(wěn)定行走的能力，及對(duì)障礙物和危險(xiǎn)物的規(guī)避和應(yīng)對(duì)能力。 此外，小鵬采用多種模塊，如規(guī)劃、決策、控制、校準(zhǔn)等，及自研的強(qiáng)化學(xué)習(xí)和多智能體協(xié)同算法，實(shí)現(xiàn)了對(duì)車輛運(yùn)行的安全和保障。該技術(shù)可使人形機(jī)器人具備在不同場(chǎng)景下自主完成任務(wù)的能力，以及與其他機(jī)器人或設(shè)備協(xié)同工作的能力。

小鵬AI人形機(jī)器人

來(lái)源：小鵬

其次在硬件方面，主機(jī)廠可將電動(dòng)汽車供應(yīng)鏈復(fù)用到人形機(jī)器人上。如共用汽車芯片、電池、攝像頭等，并對(duì)汽車電機(jī)電器、熱管理等做適應(yīng)性更改，以降低機(jī)器人制造成本。

例如特斯拉人形機(jī)器人的“大腦”搭載D1芯片（同為特斯拉車機(jī)的芯片），單芯片算力可達(dá)362TFLOPs，為機(jī)器人提供算力保障；頭部擁有3顆Autopilot攝像頭（魚(yú)眼攝像頭+左右攝像頭），分別控制左中右三個(gè)方向的畫(huà)面；電池組借鑒了電子產(chǎn)品與汽車產(chǎn)品的設(shè)計(jì)，將所有電池的電子設(shè)備集中到電池組的單個(gè)PCB中，從傳感、融合、充電管理匯集到一個(gè)系統(tǒng)中。

Optimus人形機(jī)器人大腦芯片D1架構(gòu)

來(lái)源：特斯拉