北大攜智元機(jī)器?團(tuán)隊(duì)提出OmniManip架構(gòu)
近日，北京大學(xué)與智元機(jī)器人的聯(lián)合實(shí)驗(yàn)室有了重大成果，北?攜?智元機(jī)器?團(tuán)隊(duì)提出 OmniManip 架構(gòu)。
在具身智能領(lǐng)域，將視覺(jué)語(yǔ)言基礎(chǔ)模型（VLMs）應(yīng)用于機(jī)器人實(shí)現(xiàn)通用操作一直是核心問(wèn)題。目前存在兩大挑戰(zhàn)，一是VLMs缺乏精確3D理解能力，二是難以將高層次推理轉(zhuǎn)化為機(jī)器人低層次動(dòng)作。
為解決這些難題，OmniManip架構(gòu)應(yīng)運(yùn)而生。它基于以對(duì)象為中心的3D交互基元，把VLM的高層次推理能力轉(zhuǎn)化為機(jī)器人的低層次高精度動(dòng)作。針對(duì)大模型幻覺(jué)和真實(shí)環(huán)境操作的不確定性，OmniManip引入了VLM規(guī)劃和機(jī)器人執(zhí)行的雙閉環(huán)系統(tǒng)設(shè)計(jì)。
OmniManip的關(guān)鍵設(shè)計(jì)亮點(diǎn)頗多，包括基于VLM的任務(wù)解析，可將復(fù)雜任務(wù)分解為多個(gè)明確主動(dòng)物體、被動(dòng)物體和動(dòng)作類型的結(jié)構(gòu)化階段。還有閉環(huán)機(jī)器人執(zhí)行，通過(guò)物體6D姿態(tài)跟蹤器實(shí)時(shí)更新物體位姿，轉(zhuǎn)換為機(jī)械臂操作軌跡。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
機(jī)器人
+關(guān)注
關(guān)注
213文章
29757瀏覽量
213055 -
語(yǔ)言模型
+關(guān)注
關(guān)注
0文章
561瀏覽量
10802
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
智子科技攜小智機(jī)器人首秀高校講臺(tái)
近日，上海建橋?qū)W院課堂迎來(lái)一位特殊“講師”——小智機(jī)器人。在智子科技專業(yè)團(tuán)隊(duì)的支持下，這位機(jī)器人“助教”以生動(dòng)形式為“自媒體創(chuàng)作及應(yīng)用”微專業(yè)的學(xué)生帶來(lái)了一堂聚焦前沿營(yíng)銷科技的互動(dòng)課程，核心內(nèi)容是智子科技自主研發(fā)的SingerM
宇樹(shù)科技攜兩款機(jī)器人亮相2025GDC
等大模型AI突破的刺激下， 有望成為人形機(jī)器人真正的量產(chǎn)元年。 在春晚亮相的宇樹(shù)科技一直備受關(guān)注，我們今天又看到一條消息，宇樹(shù)科技攜兩款機(jī)器人亮相2025GDC。 2025全球開(kāi)發(fā)者先鋒大會(huì)（GDC）于22日在上海徐匯西岸大劇
寧德時(shí)代自研機(jī)器人團(tuán)隊(duì)成立，探索多元科技領(lǐng)域
寧德時(shí)代近期加大對(duì)機(jī)器人領(lǐng)域的投入，已在上海組建了一支數(shù)十人的專業(yè)團(tuán)隊(duì)，專注于自研機(jī)器人本體、控制算法以及人機(jī)交互技術(shù)。該團(tuán)隊(duì)的目標(biāo)是推動(dòng)機(jī)械臂、AGV等工業(yè)
字節(jié)豆包大模型團(tuán)隊(duì)提出稀疏模型架構(gòu)
字節(jié)跳動(dòng)豆包大模型Foundation團(tuán)隊(duì)近期研發(fā)出UltraMem，一種創(chuàng)新的稀疏模型架構(gòu)，旨在解決推理過(guò)程中的訪存問(wèn)題，同時(shí)確保模型效果不受影響。
字節(jié)豆包大模型團(tuán)隊(duì)推出UltraMem稀疏架構(gòu)
字節(jié)跳動(dòng)豆包大模型Foundation團(tuán)隊(duì)近期在稀疏模型架構(gòu)領(lǐng)域取得了新突破，提出了一種名為UltraMem的新型架構(gòu)。這一架構(gòu)通過(guò)將計(jì)算和
寧德時(shí)代自研機(jī)器人團(tuán)隊(duì)成立
寧德時(shí)代在機(jī)器人領(lǐng)域的布局正逐步展開(kāi)。去年底，該公司開(kāi)始加大對(duì)機(jī)器人領(lǐng)域的投入，并已在上海組建了一支由數(shù)十人構(gòu)成的團(tuán)隊(duì)，專注于自研機(jī)器人本體、控制及人機(jī)交互算法。 該
智元與匯川加碼，機(jī)器人如何利好電機(jī)市場(chǎng)？
智元官宣量產(chǎn)近千臺(tái)機(jī)器人、工控巨頭匯川科技入局，近期的機(jī)器人行業(yè)釋放了怎樣的信號(hào)?電機(jī)行業(yè)是否又能乘借東風(fēng)，迎來(lái)發(fā)展新的發(fā)展機(jī)遇? 機(jī)器人行業(yè)正迎來(lái)發(fā)展高峰。 近日，智
《具身智能機(jī)器人系統(tǒng)》第7-9章閱讀心得之具身智能機(jī)器人與大模型
研讀《具身智能機(jī)器人系統(tǒng)》第7-9章，我被書中對(duì)大模型與機(jī)器人技術(shù)融合的深入分析所吸引。第7章詳細(xì)闡述了ChatGPT for Robotics的核心技術(shù)創(chuàng)新：它摒棄了傳統(tǒng)的分層控制架構(gòu)，創(chuàng)造性地
發(fā)表于 12-24 15:03
走進(jìn)北大 | 算能RISC-V通用處理器設(shè)計(jì)成功開(kāi)課
近日，北京大學(xué)集成電路學(xué)院賈天宇老師開(kāi)設(shè)的《現(xiàn)代SoC處理器架構(gòu)設(shè)計(jì)》如期進(jìn)行，算能首席科學(xué)家楊柳西博士、處理器架構(gòu)師張明俊受邀，為北大博士講授了RXU高性能通用處理器設(shè)計(jì)的課程。《現(xiàn)代系統(tǒng)SoC
“0元購(gòu)”智元靈犀X1機(jī)器人，軟硬件全套圖紙和代碼全公開(kāi)！資料免費(fèi)下載！
出定制化的運(yùn)動(dòng)控制策略。尤其是專業(yè)人士或初創(chuàng)團(tuán)隊(duì)，基于智元提供的核心組件，可以輕松打造出個(gè)性化的人形機(jī)器人產(chǎn)品，并借助開(kāi)源代碼快速完成整機(jī)工程，極大地降低了研發(fā)成本和門檻。
智元靈犀X
發(fā)表于 10-25 15:20
飛利浦家電全球首席執(zhí)行官攜全球高層團(tuán)隊(duì)來(lái)華 持續(xù)看好中國(guó)市場(chǎng)
下，展開(kāi)了為期4天的交流。 這也是自Véronique今年3月上任以來(lái)，攜高層團(tuán)隊(duì)首次來(lái)華訪問(wèn)。此行不僅極大地促進(jìn)了總部與中國(guó)團(tuán)隊(duì)之間的緊密聯(lián)系與高效協(xié)作，也彰顯了在中國(guó)市場(chǎng)強(qiáng)大的"磁吸力"下，飛利浦家電對(duì)于中國(guó)市場(chǎng)的高度重視及
【「大模型時(shí)代的基礎(chǔ)架構(gòu)」閱讀體驗(yàn)】+ 未知領(lǐng)域的感受
”，好奇于這種大模型算力中心到底是如何建設(shè)的，用什么設(shè)備、什么架構(gòu)建設(shè)的？對(duì)這些問(wèn)題真是一無(wú)所知，甚至都沒(méi)有想過(guò)，帶著這份好奇開(kāi)始閱讀。
先瀏覽目錄，共分十三章，目錄中出現(xiàn)最多的就是GPU，比如機(jī)器學(xué)習(xí)
發(fā)表于 10-08 10:40
AMD贊助多支FIRST機(jī)器人競(jìng)賽團(tuán)隊(duì)
AMD 在 2024 賽季贊助了多支 FIRST 機(jī)器人競(jìng)賽團(tuán)隊(duì)。FIRST 機(jī)器人競(jìng)賽旨在教導(dǎo)高中生如何構(gòu)建能夠執(zhí)行特定任務(wù)的機(jī)器人，同時(shí)也讓他們有機(jī)會(huì)學(xué)習(xí)重要的商業(yè)和時(shí)間管理技能、
軟通動(dòng)力與智元機(jī)器人攜手亮相世界機(jī)器人大會(huì)
應(yīng)用解決方案服務(wù)商與制造商，軟通動(dòng)力攜人形機(jī)器人關(guān)鍵能力，與戰(zhàn)略合作伙伴智元機(jī)器人以聯(lián)展的形式亮相本屆大會(huì)。 大會(huì)現(xiàn)場(chǎng)，軟通動(dòng)力展示了自身在人形機(jī)器
戴爾重組銷售架構(gòu)，成立AI新團(tuán)隊(duì)
戴爾公司近期宣布了一項(xiàng)重大戰(zhàn)略調(diào)整，旨在通過(guò)銷售團(tuán)隊(duì)重組及新團(tuán)隊(duì)的成立，加速其向人工智能（AI）領(lǐng)域的轉(zhuǎn)型步伐。此次重組中，戴爾不僅裁減了部分銷售人員以優(yōu)化成本結(jié)構(gòu)，更關(guān)鍵的是，公司正式成立了專注于AI產(chǎn)品和服務(wù)的新團(tuán)隊(duì)，標(biāo)志著
工商網(wǎng)監(jiān)
評(píng)論