2024 年人形機器人最具突破性的進(jìn)展主要體現(xiàn)在具身智能領(lǐng)域：3 月，Covariant 發(fā) 布端到端具身大模型 RFM-1，具身智能創(chuàng)業(yè)團隊 Sergey Levine 和 Chelsea Finn 創(chuàng) 立 Pi（Physical Intelligence），F(xiàn)igure AI 發(fā)布接入 OpenAI GPT-4V 的 Figure 01 demo。4 月，李飛飛創(chuàng)立 World Labs，致力于解決 AI 在三維空間感知和理解方面的 難題。5 月，特斯拉發(fā)布視頻，展示 Optimus 精準(zhǔn)分揀特斯拉電動車 4680 電池的場 景，使用完全端到端神經(jīng)網(wǎng)絡(luò)，只利用 2D 攝像頭視頻和機載自傳感器，直接生成關(guān) 節(jié)控制序列，完全靠視覺輔助和人類示范進(jìn)行訓(xùn)練。國內(nèi)人形機器人產(chǎn)業(yè)硬件供應(yīng)鏈 優(yōu)勢明顯，在具身智能、數(shù)據(jù)采集、人才領(lǐng)域的短板需要補齊。

分層端到端是目前具身智能的主要路徑。大模型分為非具身大模型（基礎(chǔ)大模型）、 具身智能大模型（機器人大模型），區(qū)別是能否生成運動姿態(tài)。非具身大模型如 GPT、 Sora 等，輸入和輸出的模態(tài)都是語言、圖片和視頻。具身智能大模型輸入視覺、語 言信號，輸出三維物理世界的操作，其中，端到端的具身大模型對數(shù)據(jù)和算力要求高， 如 Tesla FSD、谷歌 RT 模型；Figure AI 等大多數(shù)公司都采取了分層端到端的具身 大模型，一般分為三層：基礎(chǔ)大模型（LLM 或 VLM）、決策大模型、操作大模型，其中 決策大模型以 ChatGPT for Robotics、谷歌 PaLM-E 為代表，技術(shù)方向從 LLM 向強 化學(xué)習(xí)（RL）演進(jìn)，基于 RL 的范式可以使模型能夠在不同環(huán)境和任務(wù)中學(xué)習(xí)和適應(yīng)， 實現(xiàn)更高級的決策能力。操作大模型根據(jù)決策大模型的輸出執(zhí)行具體動作，需要與機器人硬件深度集成，且必須通過數(shù)據(jù)采集來實現(xiàn)，技術(shù)方向從“MPC+WBC”向“RL+仿 真”演進(jìn)，MPC 更適合具有精確模型和短期優(yōu)化目標(biāo)的場景，RL 更適用于不確定性 高、需要長期學(xué)習(xí)和自適應(yīng)的環(huán)境。在操作大模型領(lǐng)域，大多數(shù)廠商都剛起步。

數(shù)據(jù)采集的主要方式：遠(yuǎn)程操作、仿真合成數(shù)據(jù)�；ヂ�(lián)網(wǎng)上各類文本、圖像和視頻數(shù) 據(jù)集龐大，機器人的場景和交互有價值的數(shù)據(jù)量小，限制了 AI 模型在人形機器人上 的泛化能力。特斯拉 Tesla Bot 開發(fā)團隊使用人類的真實運動方式來訓(xùn)練機器人，英 偉達(dá)推出 MimicGen 和 Robocasa 模型，通過真人的遙操作數(shù)據(jù)捕獲，再通過生成合成運動數(shù)據(jù)和模擬環(huán)境，加速機器人技術(shù)的研發(fā)和應(yīng)用。國內(nèi)人形機器人創(chuàng)新中心加速建設(shè)人形機器人訓(xùn)練場。

具身智能估值邏輯：硬件、數(shù)據(jù)、模型、人才。硬件是一切的基礎(chǔ)，如果沒有自己的 硬件，就無法根據(jù)算法和數(shù)據(jù)進(jìn)行硬件的快速優(yōu)化和修改。涉及數(shù)據(jù)的采集、組織管 理以及與模型的閉環(huán)開發(fā)，需要有強大組織能力的團隊，核心團隊需要具備組織大規(guī)模工程師的經(jīng)驗；越來越多的算法陸續(xù)開源，開源算法可以提供基礎(chǔ)的功能和技術(shù)， 但要實現(xiàn)高質(zhì)量、高性能的人形機器人，需要專業(yè)的算法團隊進(jìn)行深入研究和開發(fā)。

附件：機器人的大腦—具身智能，生成運動姿態(tài)，實現(xiàn)更高級的決策能力