1月6日,NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛在 CES 上宣布 NVIDIA 正式推出用于合成運(yùn)動(dòng)生成的 NVIDIA Isaac GR00T Blueprint,該 Blueprint 可幫助開發(fā)者生成海量的合成運(yùn)動(dòng)數(shù)據(jù),以便通過(guò)模仿學(xué)習(xí)來(lái)訓(xùn)練人形機(jī)器人。
官方表示,未來(lái)二十年,預(yù)計(jì)人形機(jī)器人市場(chǎng)將達(dá)到 380 億美元。為了滿足這一巨大需求,尤其是工業(yè)和制造業(yè)領(lǐng)域的需求,NVIDIA 發(fā)布了一系列機(jī)器人基礎(chǔ)模型、數(shù)據(jù)管線和仿真框架,以加速下一代人形機(jī)器人的開發(fā)進(jìn)程。
模仿學(xué)習(xí)是機(jī)器人學(xué)習(xí)的一個(gè)子集,它能讓人形機(jī)器人通過(guò)觀察和模仿人類專家的示范來(lái)獲取新技能。在真實(shí)世界中收集這些廣泛、高質(zhì)量的數(shù)據(jù)集既繁瑣又耗時(shí),而且成本往往高得令人卻步。通過(guò)用于合成運(yùn)動(dòng)生成的 Isaac GR00T Blueprint,開發(fā)者只需少量人類示范,就能輕松生成海量的合成數(shù)據(jù)集。
首先通過(guò) GR00T-Teleop 工作流,用戶可以借助 Apple Vision Pro 在數(shù)字孿生環(huán)境中捕捉人類動(dòng)作。這些人類動(dòng)作會(huì)被記錄下來(lái)作為金標(biāo)準(zhǔn),并在仿真環(huán)境中由機(jī)器人模仿學(xué)習(xí)。
然后,GR00T-Mimic 工作流會(huì)將捕捉到的人類示范擴(kuò)展成更大的合成運(yùn)動(dòng)數(shù)據(jù)集。最后,基于 NVIDIA Omniverse 和 NVIDIA Cosmos 平臺(tái)構(gòu)建的 GR00T-Gen 工作流,會(huì)通過(guò)域隨機(jī)化和 3D 提升技術(shù),指數(shù)級(jí)擴(kuò)增這個(gè)數(shù)據(jù)集。
之后,該數(shù)據(jù)集可作為機(jī)器人策略的輸入,在 NVIDIA Isaac Lab(一個(gè)用于機(jī)器人學(xué)習(xí)的開源模塊化框架)中,教會(huì)機(jī)器人如何在其環(huán)境中高效且安全地移動(dòng)和互動(dòng)。
NVIDIA在 CES 上還發(fā)布了 Cosmos 平臺(tái),該平臺(tái)擁有一系列開放的預(yù)訓(xùn)練世界基礎(chǔ)模型,專為生成具有物理感知的視頻和物理 AI 開發(fā)所需的世界狀態(tài)而設(shè)計(jì)。它包含自回歸模型和擴(kuò)散模型,有各種模型尺寸并適用于多種輸入數(shù)據(jù)格式。這些模型基于 1800 萬(wàn)億個(gè)數(shù)據(jù)單元進(jìn)行訓(xùn)練,其中包括 200 萬(wàn)小時(shí)的自動(dòng)駕駛、機(jī)器人、無(wú)人機(jī)拍攝的視頻以及合成數(shù)據(jù)。
除了幫助生成大型數(shù)據(jù)集外,Cosmos 還能通過(guò)將圖像從 3D 擴(kuò)展到真實(shí)場(chǎng)景,縮小仿真與現(xiàn)實(shí)之間的差距。將 Omniverse(一個(gè)用于構(gòu)建 3D 應(yīng)用程序和服務(wù)的應(yīng)用程序編程接口和微服務(wù)開發(fā)平臺(tái))與 Cosmos 相結(jié)合至關(guān)重要,通過(guò)其高度可控、物理精確的仿真提供關(guān)鍵保障,有助于最大限度地減少世界模型常見的幻覺問(wèn)題。
NVIDIA Isaac GR00T、Omniverse 和 Cosmos 正在助力物理 AI 和人形機(jī)器人創(chuàng)新實(shí)現(xiàn)巨大飛躍。包括波士頓動(dòng)力和 Figure 在內(nèi)的主要機(jī)器人公司已開始采用 Isaac GR00T,并展示了相關(guān)成果。
據(jù)介紹,人形機(jī)器人的軟件、硬件制造商以及機(jī)器人廠商還可以申請(qǐng)?zhí)崆凹尤?NVIDIA 的人形機(jī)器人開發(fā)者計(jì)劃。
x
-
英偉達(dá)宣布推出Isaac GR00T Blueprint,加速人形機(jī)器人開發(fā) 2025-01-07 21:51
-
2025年度智能座駕評(píng)選”啟動(dòng),首次加入跨品牌城市NOA評(píng)測(cè) 2025-01-05 16:50
-
可醇可電可油,吉利年內(nèi)將推兩款全新“超醇電混”車型 2025-01-05 17:30
-
2024,寧德時(shí)代變得讓人不認(rèn)識(shí)了 2025-01-06 11:47