機(jī)器人領(lǐng)域的一大核心挑戰(zhàn)在于如何讓機(jī)器人掌握新任務(wù)，而無(wú)需針對(duì)每個(gè)新任務(wù)和環(huán)境耗費(fèi)大量精力收集和標(biāo)注數(shù)據(jù)集。NVIDIA 的最新研究方案通過(guò)生成式 AI、世界基礎(chǔ)模型（如NVIDIA Cosmos）以及數(shù)據(jù)生成藍(lán)圖（如Isaac GR00T-Mimic與GR00T-Dreams）來(lái)克服這一挑戰(zhàn)。

本期 NVIDIA 機(jī)器人研究與開發(fā)摘要 (R2D2) 將介紹如何通過(guò)世界基礎(chǔ)模型實(shí)現(xiàn)可擴(kuò)展的合成數(shù)據(jù)生成與機(jī)器人模型訓(xùn)練工作流，具體包括：

DreamGen：Isaac GR00T-Dreams blueprint的研究基礎(chǔ)。

GR00T N1：開源基礎(chǔ)模型，使機(jī)器人能夠通過(guò)真實(shí)數(shù)據(jù)、人類演示和合成數(shù)據(jù)學(xué)習(xí)跨任務(wù)與形態(tài)的通用技能。

通過(guò)視頻進(jìn)行潛在動(dòng)作預(yù)訓(xùn)練：無(wú)監(jiān)督的學(xué)習(xí)方法，無(wú)需人工動(dòng)作標(biāo)注，就能從大規(guī)模視頻中學(xué)習(xí)機(jī)器人相關(guān)動(dòng)作。

仿真與現(xiàn)實(shí)協(xié)同訓(xùn)練：結(jié)合仿真環(huán)境與真實(shí)世界機(jī)器人數(shù)據(jù)的訓(xùn)練方法，可構(gòu)建更具魯棒性和適應(yīng)性的機(jī)器人策略。

機(jī)器人世界基礎(chǔ)模型

NVIDIA Cosmos 世界基礎(chǔ)模型經(jīng)過(guò)數(shù)百萬(wàn)小時(shí)真實(shí)世界數(shù)據(jù)訓(xùn)練，能夠預(yù)測(cè)未來(lái)世界狀態(tài)，并基于單張輸入圖像生成視頻序列。這項(xiàng)技術(shù)使機(jī)器人和自動(dòng)駕駛車輛具備預(yù)判未來(lái)事件的能力，這種預(yù)測(cè)能力對(duì)于合成數(shù)據(jù)生成流程至關(guān)重要，有助于快速創(chuàng)建多樣化、高保真的訓(xùn)練數(shù)據(jù)。這一方法大幅加速了機(jī)器人的學(xué)習(xí)過(guò)程，提升了模型的魯棒性，并將原本需要數(shù)月人工投入的開發(fā)時(shí)間縮短至僅數(shù)小時(shí)。

DreamGen

DreamGen 是一種合成數(shù)據(jù)生成流程。機(jī)器人學(xué)習(xí)需要收集大規(guī)模人類遠(yuǎn)程操作數(shù)據(jù)，成本高昂且耗費(fèi)人力，而 DreamGen 就有助于解決這一問(wèn)題，它是 Isaac GR00T-Dreams 的基礎(chǔ)，這一藍(lán)圖可借助世界基礎(chǔ)模型生成海量的合成機(jī)器人軌跡數(shù)據(jù)。

傳統(tǒng)的機(jī)器人基礎(chǔ)模型在面對(duì)每一項(xiàng)新任務(wù)和新環(huán)境時(shí)，都需要大量人工演示，這種方式不具備可擴(kuò)展性。而基于仿真的替代方案則經(jīng)常受到“仿真到現(xiàn)實(shí)”差距的困擾，且需要大量人工工程投入。

DreamGen 通過(guò)世界基礎(chǔ)模型突破這些限制，僅需極少量人工干預(yù)即可生成高真實(shí)性、多樣化的訓(xùn)練數(shù)據(jù)。該方法實(shí)現(xiàn)了機(jī)器人學(xué)習(xí)的規(guī)模化擴(kuò)展，并能在不同行為模式、環(huán)境場(chǎng)景及機(jī)器人形態(tài)間實(shí)現(xiàn)泛化。

圖 1. 通過(guò) DreamGen 實(shí)現(xiàn)泛化

DreamGen 技術(shù)流程包含四個(gè)核心步驟：

1. 世界基礎(chǔ)模型的后訓(xùn)練：

利用少量真實(shí)演示數(shù)據(jù)，將Cosmos-Predict2等世界基礎(chǔ)模型適配至目標(biāo)機(jī)器人。Cosmos-Predict2 能夠通過(guò)文本生成高質(zhì)量圖像（文本到圖像），并通過(guò)圖像或視頻生成視覺仿真內(nèi)容（視頻到世界）。

2. 生成合成視頻：

基于經(jīng)過(guò)后訓(xùn)練的模型，通過(guò)圖像和語(yǔ)言提示，為新任務(wù)與新環(huán)境創(chuàng)建多樣化、逼真的機(jī)器人視頻。

3. 提取偽動(dòng)作：

應(yīng)用潛在動(dòng)作模型或逆動(dòng)力學(xué)模型 (IDM)，將這些視頻轉(zhuǎn)換為帶標(biāo)簽的動(dòng)作序列（神經(jīng)軌跡）。

4. 訓(xùn)練機(jī)器人策略：

利用生成的合成軌跡訓(xùn)練視覺運(yùn)動(dòng)策略，使機(jī)器人能夠執(zhí)行新行為，并能泛化至未見過(guò)的場(chǎng)景。

圖 2. DreamGen 工作流概覽

DreamGen Bench

DreamGen Bench 是一個(gè)專門設(shè)計(jì)的基準(zhǔn)測(cè)試，用于評(píng)估視頻生成模型在適配特定機(jī)器人形態(tài)時(shí)的效果，同時(shí)考察這些模型對(duì)剛體物理規(guī)律的內(nèi)化程度，以及向新物體、新行為和新環(huán)境的泛化能力。該基準(zhǔn)測(cè)試對(duì)四個(gè)領(lǐng)先的世界基礎(chǔ)模型進(jìn)行測(cè)試，分別是 NVIDIA Cosmos、WAN 2.1、混元和 CogVideoX，并衡量?jī)身?xiàng)關(guān)鍵指標(biāo)：

指令遵循：評(píng)估生成視頻是否準(zhǔn)確反映任務(wù)指令（如"拿起洋蔥"），采用 Qwen-VL-2.5 等視覺語(yǔ)言模型和人工標(biāo)注進(jìn)行雙重驗(yàn)證。

物理規(guī)律遵循：通過(guò) VideoCon-Physics 和 Qwen-VL-2.5 等工具量化物理真實(shí)性，確保視頻符合真實(shí)世界物理規(guī)律。

如圖 3 所示，我們發(fā)現(xiàn)，在 DreamGen 基準(zhǔn)測(cè)試中得分較高的模型（即能夠生成更真實(shí)且符合指令的合成數(shù)據(jù)的模型），在用于機(jī)器人真實(shí)操作任務(wù)的訓(xùn)練和測(cè)試時(shí)，也有更優(yōu)的性能表現(xiàn)。這種正相關(guān)關(guān)系表明，投入研發(fā)更強(qiáng)大的世界基礎(chǔ)模型，不僅能提升合成訓(xùn)練數(shù)據(jù)的質(zhì)量，還能直接轉(zhuǎn)化為實(shí)際應(yīng)用中能力更強(qiáng)、適應(yīng)性更優(yōu)的機(jī)器人。

圖 3. DreamGen Bench 與 RoboCasa 之間的性能正相關(guān)

Isaac GR00T-Dreams

基于 DreamGen 研究的 Isaac GR00T-Dreams，是一套用于生成大規(guī)模機(jī)器人動(dòng)作合成軌跡數(shù)據(jù)集的工作流。這些數(shù)據(jù)集可用于實(shí)體機(jī)器人的訓(xùn)練，與收集真實(shí)世界動(dòng)作數(shù)據(jù)相比，能節(jié)省大量時(shí)間和人力投入。

GR00T-Dreams 借助 Cosmos Predict2 世界基礎(chǔ)模型和Cosmos Reason來(lái)為不同任務(wù)和環(huán)境生成數(shù)據(jù)。Cosmos Reason 模型包含多模態(tài)大型語(yǔ)言模型，能針對(duì)用戶提示生成基于物理原理的響應(yīng)。

通用機(jī)器人訓(xùn)練模型與工作流

視覺語(yǔ)言動(dòng)作 (VLA) 模型可以通過(guò)世界基礎(chǔ)模型生成的數(shù)據(jù)進(jìn)行后訓(xùn)練，從而在未知環(huán)境中實(shí)現(xiàn)新的行為和操作。

NVIDIA 研究中心使用 GR00T-Dreams blueprint 生成合成訓(xùn)練數(shù)據(jù)，僅用 36 小時(shí)就開發(fā)出了GR00T N1的升級(jí)版本GR00T N1.5。如果采用人工收集數(shù)據(jù)的方式，這個(gè)過(guò)程需要近三個(gè)月時(shí)間。

GR00T N1 是全球首個(gè)面向通用人形機(jī)器人的開源基礎(chǔ)模型，標(biāo)志著機(jī)器人和 AI 領(lǐng)域的重大突破。該模型采用受人類認(rèn)知啟發(fā)的雙系統(tǒng)架構(gòu)，統(tǒng)一了視覺、語(yǔ)言和動(dòng)作，使機(jī)器人能夠理解指令、感知環(huán)境并執(zhí)行復(fù)雜的多步驟任務(wù)。

GR00T N1 以通過(guò)視頻進(jìn)行潛在動(dòng)作預(yù)訓(xùn)練 (LAPA) 等技術(shù)為基礎(chǔ)，能夠從無(wú)標(biāo)簽的人類視頻中學(xué)習(xí)，同時(shí)它還采用了仿真與現(xiàn)實(shí)協(xié)同訓(xùn)練等方法，通過(guò)融合合成數(shù)據(jù)與真實(shí)世界數(shù)據(jù)來(lái)增強(qiáng)模型的泛化能力。本文后續(xù)將詳細(xì)介紹 LAPA 和仿真與現(xiàn)實(shí)協(xié)同訓(xùn)練技術(shù)。通過(guò)整合這些創(chuàng)新成果，GR00T N1 不僅能夠遵循指令、執(zhí)行任務(wù)，更在復(fù)雜且不斷變化的環(huán)境中，為通用人形機(jī)器人的能力設(shè)立了新標(biāo)桿。

GR00T N1.5 是基于 GR00T N1 升級(jí)的通用人形機(jī)器人開源基礎(chǔ)模型，其特點(diǎn)是采用了經(jīng)過(guò)優(yōu)化的視覺語(yǔ)言模型，該模型訓(xùn)練數(shù)據(jù)包括真實(shí)數(shù)據(jù)、仿真數(shù)據(jù)和 DreamGen 生成的合成數(shù)據(jù)的多樣化組合。

通過(guò)架構(gòu)優(yōu)化與數(shù)據(jù)質(zhì)量提升，GR00T N1.5 實(shí)現(xiàn)了三大核心突破：提升任務(wù)成功率、增強(qiáng)語(yǔ)言理解能力、增強(qiáng)對(duì)新物體與任務(wù)的泛化能力，從而成為更穩(wěn)定可靠、適應(yīng)性更強(qiáng)的先進(jìn)機(jī)器人操作解決方案。

通過(guò)視頻進(jìn)行潛在動(dòng)作預(yù)訓(xùn)練

通過(guò)視頻進(jìn)行潛在動(dòng)作預(yù)訓(xùn)練 (LAPA) 是一種用于視覺-語(yǔ)言-動(dòng)作 (VLA) 模型預(yù)訓(xùn)練的無(wú)監(jiān)督方法，無(wú)需使用成本高昂且需人工標(biāo)注的機(jī)器人動(dòng)作數(shù)據(jù)。LAPA 不依賴大規(guī)模帶標(biāo)注的數(shù)據(jù)集，這類數(shù)據(jù)集的收集既昂貴又耗時(shí)，而是利用超過(guò) 181,000 個(gè)未標(biāo)注的互聯(lián)網(wǎng)視頻來(lái)學(xué)習(xí)有效的特征表示。

這種方法在真實(shí)世界任務(wù)中，相比先進(jìn)模型實(shí)現(xiàn)了 6.22% 的性能提升，且預(yù)訓(xùn)練效率提高了 30 倍以上，這使得具備可擴(kuò)展性和穩(wěn)健性的機(jī)器人學(xué)習(xí)變得更加便捷高效。

LAPA 工作流分為三個(gè)階段：

潛在動(dòng)作量化：Vector Quantized Variational AutoEncoder (VQ-VAE) 模型通過(guò)分析視頻幀之間的轉(zhuǎn)換，學(xué)習(xí)離散的“潛在動(dòng)作”，從而構(gòu)建一套基礎(chǔ)行為詞匯（例如抓取、傾倒）。潛在動(dòng)作是低維度的習(xí)得表征，可概括復(fù)雜的機(jī)器人行為或運(yùn)動(dòng)，便于對(duì)高維度動(dòng)作進(jìn)行控制或模仿。

潛在預(yù)訓(xùn)練：利用行為克隆對(duì) VLM 進(jìn)行預(yù)訓(xùn)練，使其能基于視頻觀察結(jié)果和語(yǔ)言指令，預(yù)測(cè)第一階段得到的這些潛在動(dòng)作。行為克隆是一種模型學(xué)習(xí)方法，通過(guò)將觀察結(jié)果映射到動(dòng)作，利用演示數(shù)據(jù)中的示例來(lái)復(fù)制或模仿動(dòng)作。

機(jī)器人后訓(xùn)練：之后，使用小型帶標(biāo)簽數(shù)據(jù)集對(duì)預(yù)訓(xùn)練模型進(jìn)行后訓(xùn)練，使其適配實(shí)體機(jī)器人，將潛在動(dòng)作映射為物理指令。

圖 4. 潛在動(dòng)作預(yù)訓(xùn)練概覽

仿真與現(xiàn)實(shí)協(xié)同訓(xùn)練工作流

機(jī)器人策略訓(xùn)練面臨兩大關(guān)鍵挑戰(zhàn)：一是收集真實(shí)世界數(shù)據(jù)的成本高昂；二是存在“現(xiàn)實(shí)差距”，僅在仿真環(huán)境中訓(xùn)練的策略，往往難以在真實(shí)物理環(huán)境中良好運(yùn)行。

仿真與現(xiàn)實(shí)協(xié)同訓(xùn)練工作將少量真實(shí)世界機(jī)器人演示數(shù)據(jù)與大量仿真數(shù)據(jù)相結(jié)合，有效解決了這些問(wèn)題。這種方法能夠訓(xùn)練出魯棒策略，同時(shí)有效降低成本并彌合現(xiàn)實(shí)差距。

圖 5.仿真與現(xiàn)實(shí)協(xié)同訓(xùn)練工作流概覽

該工作流的關(guān)鍵步驟如下：

任務(wù)與場(chǎng)景設(shè)置：搭建真實(shí)世界任務(wù)場(chǎng)景，并選擇與任務(wù)無(wú)關(guān)的先驗(yàn)仿真數(shù)據(jù)集。

數(shù)據(jù)準(zhǔn)備：在數(shù)據(jù)準(zhǔn)備階段，從實(shí)體機(jī)器人收集真實(shí)世界演示數(shù)據(jù)，同時(shí)生成額外的仿真演示數(shù)據(jù)。這些仿真數(shù)據(jù)既包括與真實(shí)任務(wù)高度匹配的、具有任務(wù)針對(duì)性的“digital cousins”數(shù)據(jù)，也包括多樣化的、與任務(wù)無(wú)關(guān)的先驗(yàn)仿真數(shù)據(jù)。

協(xié)同訓(xùn)練參數(shù)調(diào)優(yōu)：隨后，將這些不同來(lái)源的數(shù)據(jù)按優(yōu)化后的協(xié)同訓(xùn)練比例進(jìn)行融合，重點(diǎn)在于對(duì)齊攝像頭視角并最大化仿真數(shù)據(jù)的多樣性（而非追求照片級(jí)真實(shí)感）。最后階段包括批量采樣，以及利用真實(shí)數(shù)據(jù)和仿真數(shù)據(jù)進(jìn)行策略協(xié)同訓(xùn)練，最終得到可部署在機(jī)器人上的穩(wěn)健策略。

圖 6. 仿真與現(xiàn)實(shí)任務(wù)對(duì)比示意圖

如圖 7 所示，增加真實(shí)演示數(shù)據(jù)的數(shù)量，能提升僅使用真實(shí)數(shù)據(jù)訓(xùn)練策略，以及經(jīng)過(guò)協(xié)同訓(xùn)練策略的成功率。即使使用 400 組真實(shí)演示數(shù)據(jù)，協(xié)同訓(xùn)練策略的表現(xiàn)仍始終優(yōu)于僅用真實(shí)數(shù)據(jù)訓(xùn)練的策略，平均提升幅度達(dá) 38%。這表明，即便在數(shù)據(jù)充足的場(chǎng)景中，仿真與現(xiàn)實(shí)協(xié)同訓(xùn)練依然能帶來(lái)顯著成效。

圖 7. 協(xié)同訓(xùn)練策略與純真實(shí)數(shù)據(jù)策略性能對(duì)比圖

生態(tài)系統(tǒng)應(yīng)用

領(lǐng)先的機(jī)器人公司正在采用 NVIDIA 研究中心開發(fā)的工作流來(lái)加速研發(fā)進(jìn)程。GR00T N 系列模型的早期采用者包括：

AeiRobot：應(yīng)用該模型使工業(yè)機(jī)器人能夠理解自然語(yǔ)言指令，完成復(fù)雜分揀放置任務(wù)。

Foxlink：利用模型提升工業(yè)機(jī)械臂的作業(yè)靈活性與操作效率。

光輪智能：通過(guò)模型驗(yàn)證合成數(shù)據(jù)，加速人形機(jī)器人在工廠場(chǎng)景的部署進(jìn)程。

NEURA Robotics：評(píng)估模型性能以加速家庭自動(dòng)化系統(tǒng)的研發(fā)。