時時頭條
  • 娛樂
  • 體育
  • 財經
  • 科技
  • 旅遊
  • 軍事
  • 育兒
  • 時尚
  • 遊戲
  • 歷史
  1. 首頁
  2. 科技

Meta觸覺機械手登Science子刊封面,操作未知物體精度最高提升94%

2024-11-16 09:45:51

奇月 發自 凹非寺量子位 | 公眾號 QbitAI

現在,隨便丟給機械手一個陌生物體,它都可以像人類一樣輕鬆拿捏了——

除了,罐頭、樂高積木、大象玩偶、骰子,都不在話下:

這就是來自Meta FAIR團隊最新的NeuralFeels技術,透過融合觸覺和視覺,機械手可以更精確地操作未知物體,精度最高提升了94%!

這項研究還登上了Science Robotics的封面,團隊同時也公開了包含70個實驗的新測試基準FeelSight。

如何讓機械手精確操作未知物體?

讓機械手拿取常見的魔方、水果等早已是基操,但如何讓機器人更好地操作未知物體一直是一個研究難題。

一個重要原因是目前的機械手訓練都太過於依靠視覺,並且僅限於操作已知的先驗物體,而現實中很多時候物體都會受到視覺遮擋,導致訓練往往進步緩慢。

對此,團隊研發出一種名為NeuralFeels的創新技術,為機器人在複雜環境中的物體感知與操作帶來了新的突破。

這究竟是怎麼做到的呢?讓我們來一起看一下技術細節——

融合了觸覺的多模態感知

NeuralFeels技術的創新之處在於結合了視覺和觸覺,透過多模態融合的方式,讓機器手能夠對未知物體持續進行3D建模,更精確地估計手持操作中物體的姿態和形狀。

具體的處理流程如下圖所示,前端實現了視覺和觸覺的魯棒分割和深度預測,而後端將此資訊結合成一個神經場,同時透過體積取樣進一步最佳化姿態。

而在遮擋視角下,視覺與觸覺融合有助於提高跟蹤效能,還可以從無遮擋的區域性視角進行跟蹤。團隊在攝像機視角的球面上量化了這些收益。

從下圖中可以觀察到,當視覺嚴重遮擋時,觸覺的作用更大,而在幾乎沒有遮擋時,觸覺會發揮微調作用。

前端深度學習策略

首先來看看NeuralFeels技術的前端(Front end),它採用了基於深度學習的分割策略和觸覺Transformer,可以精確提取目標物件深度。

用運動學分割一切

神經最佳化非常依賴分割物件的輸入深度,所以團隊將前端設計成能夠從視覺中魯棒地提取物件深度的形式。深度在RGB-D相機中是現成的,但為了應對嚴重遮擋的問題,團隊還引入了一種基於強大視覺基礎模型的動力學感知分割策略。

觸覺Transformer

最近有研究表明,在自然影象中使用ViT進行密集深度預測更有效,於是團隊提出了一種觸覺Transformer,用於透過視覺觸覺預測接觸深度,這個Transformer完全在模擬中訓練,可在多個真實世界的DIGIT感測器上通用。機械手可以用嵌入式攝像頭直接感知發光的膠墊,透過監督學習獲得接觸深度。

後端姿勢最佳化

NeuralFeels的後端(Back end)部分透過使用Theseus中的自定義測量因子,將前端的中間輸出轉化為非線性最小二乘問題進行最佳化。

形狀和姿態最佳化器

後端模組從前端模組得到中間輸出,並在線構物件模型。這個過程將交替使用來自視覺-觸覺深度流的樣本進行地圖和姿態最佳化步驟。在本研究的地圖最佳化器中,即時NGP模型的權重可以完全描述物體的3D幾何結構。

神經SLAM

在現實世界和模擬中,團隊構建了一個不斷演進的神經SDF,它整合了視覺和觸覺,並可以同時跟蹤物體。下圖展示了對應的RGB-D和觸覺影象的輸入流,以及相應的姿態重建。

神經跟蹤:給定形狀的物件姿態估計

當目標物件存在對應的CAD模型時,NeuralFeels可以實現優秀的多模態姿態跟蹤能力。此時目標物件的SDF模型是預先計算的,NeuralFeels會凍結神經場的權重,僅使用前端估計進行視覺-觸覺跟蹤。

NeuralFeels大大提升了機械手效能

為了評估NeuralFeels技術的效能,研究團隊在模擬和真實世界環境中進行了多次實驗,涉及14種不同物體,相關測試集FeelSight也已釋出!

實驗中使用了多種評估指標,包括用於評估姿勢跟蹤誤差的對稱平均歐幾里得距離(ADD-S),以及用於衡量形狀重建精度和完整性的F分數等。

結果非常令人驚喜,NeuralFeels技術在以下3個方面都有非常出色的表現:

1.物體重建精度大幅提升

在物體重建方面,研究發現結合觸覺資訊後,表面重建精度在模擬環境中平均提高了15.3%,在真實世界中提高了 14.6%。

最終重建結果在模擬環境中的中位誤差為2.1毫米,真實世界中為3.9毫米。這表明NeuralFeels技術能夠有效地利用觸覺資訊補充視覺資訊,更準確地重建物體形狀。

2.物體姿態跟蹤更加精準

在物體姿態跟蹤方面,NeuralFeels技術相比僅使用視覺資訊的基線方法有顯著改進。

在模擬環境中,姿態跟蹤精度提高了21.3%,真實世界中提高了26.6%。

在已知物體形狀的姿態跟蹤實驗中,即使存在不精確的視覺分割和稀疏的觸控訊號,該技術也能實現低誤差的姿態跟蹤,平均姿態誤差可降至2毫米左右。

並且,觸覺資訊在降低平均姿態誤差方面發揮了重要作用,在模擬環境中可使誤差降低22.29%,在真實世界中降低 3.9%。

3.應對複雜場景表現出色

在面對嚴重遮擋和視覺深度噪聲等具有挑戰性的場景時,NeuralFeels技術同樣表現非常出色。

在模擬的200個不同相機視角的遮擋實驗中,平均跟蹤效能提升 21.2%,在嚴重遮擋情況下提升幅度可達94.1%!

在視覺深度噪聲模擬實驗中,隨著噪聲增加,融合觸覺資訊能有效降低誤差分佈,使機器人在視覺資訊不理想的情況下仍能準確跟蹤物體姿態。

研究意義

NeuralFeels技術的創新之處在於它融合了多模態資料、並結合了線上神經場,這些技術讓機器人能夠在操作未知物體時實現更準確的姿態跟蹤和形狀重建。

而且,與複雜的感測器相比,團隊使用空間感知組合所需的硬體更少,也比端到端感知方法更容易解釋。

儘管目前在一些方面仍存在改進空間,如在長期跟蹤中由於缺乏閉環檢測可能導致小誤差累積,但對於提升機械手操作精度的效果非常顯著,

未來,研究人員計劃進一步最佳化技術,例如透過基於特徵的前端獲取更粗略的初始化,加入長期閉環檢測以減少姿態誤差的累積,透過控制神經SLAM的輸出進行通用靈巧性研究等。

這樣一來,家庭、倉庫和製造業等複雜環境中作業的機器人的效能都有可能得到極大的提升了!

參考資料:[1]https://www.science.org/doi/10.1126/scirobotics.adl0628[2]https://suddhu.github.io/neural-feels/

熱門資訊
  • 又一篇!西北農林科技大學博士研究生以第一作者身份在《PNAS》雜誌上發表研究成果 | 2024-11-29 23:24:05
  • 博主標配!短影片引爆無線麥克風,未來的競爭焦點依然是AI? | 2024-11-29 23:29:14
  • AI晶片,美國急於打響最後一戰! | 2024-11-29 23:31:14
  • 人類首次!中國將提前去火星取樣返回,實施時間確定!外媒反常點評 | 2024-11-29 23:31:30
  • 5年後,人類將進入“長生時代”?未來學家爆出驚人預測! | 2024-11-29 23:31:37
  • 中國電信800M重耕二期集採:華為、中興、諾基亞、愛立信、大唐移動5家中標 | 2024-11-29 23:37:10
  • 世界大國為何陷入晶片之爭? | 2024-11-29 23:37:19
  • 導航定位精度達分米級!下一代北斗系統有多強 | 2024-11-30 00:21:37
  • “頂尖科學家們為何離開西方前往中國?” | 2024-11-30 00:41:52
  • 親眼目睹!震驚全球的水凝膠文章出現,分子動力學與第一性原理的相愛相殺! | 2024-11-30 01:41:26
  • "一箭雙星"成功發射!可提供全天時、全天候、高解析度雷達影像 | 2024-11-30 02:48:14
  • 馬雲現身阿里巴巴全球總部新園區,阿里合夥人邵曉鋒陪同 | 2024-11-30 02:50:10
  • 蘋果已向臺積電訂購M5晶片 預計2025年底投產 | 2024-11-30 03:33:03
  • “亦莊箭”攜六大國內首創技術成功入軌 | 2024-11-30 05:57:58
  • 三季度電視出貨量同比下降6.6%,大尺寸、Mini LED成未來增長關鍵力量 | 2024-11-30 07:17:17
  • 華碩與智譜攜手合作,共創AIPC新時代 | 2024-11-30 07:29:58
  • 西湖大學葉宇軒課題組Nat. Chem.:新型去飽和化酶解鎖烯還原酶的非天然反應性實現選擇性脫氫 | 2024-11-30 07:34:13
  • JCI | 王紅豔/沈鍵鋒合作報道microRNA調控心臟內皮細胞發育機制研究新進展 | 2024-11-30 07:42:56
  • 英特爾正在研發一顆怪獸晶片 | 2024-11-30 07:42:58
  • 清華學者製備電磁超表面感測器,將聯合汽車廠商推進落地 | 2024-11-30 07:43:01
  • 從生命複雜系統看腫瘤微環境:預測腫瘤細胞組成的新方法|週二直播·生命複雜性讀書會 | 2024-11-30 08:27:36
  • 報道稱因重型運載火箭研製經費不足,俄羅斯推遲載人登月計劃 | 2024-11-30 08:31:34
  • AI助理,能否變成現實 | 2024-11-30 08:34:13
  • 鐳射雷達“價格戰”再添一員!禾賽科技ATX明年價格或降至200美元 行業已進入“千元時代” | 2024-11-30 08:47:55
  • 高通閃電研發:小米澎湃OS 2程式碼發現第二代驍龍 8至尊版晶片蹤跡 | 2024-11-30 08:47:59
  • 俞敏洪稱新東方教室100%是格力空調 用了20年:董明珠曾稱不買格力是傻瓜 | 2024-11-30 09:12:31
  • 湖南大學段輝高教授《AM》:幹法剝離的力學光刻正規化--賦能半導體制造工藝更綠色環保 | 2024-11-30 09:24:57
  • 已經近11年,嫦娥三號著陸器還“活著”,荷載能開機探測,傳資料 | 2024-11-30 09:25:40
  • 海森堡 —— 一個被誤解誤傳的量子力學奠基人(上) | 2024-11-30 09:27:22
  • Nature刊文:“open”AI的實際作用非常有限 | 2024-11-30 10:08:46
最近發布
突發!TVB知名女星毫無預警宣佈與未婚夫分手,結束長達八年情 面對被黑,蘭姐強勢迴歸。小菲狀態好轉,發宣告。更多內幕揭曉! 中國男籃決戰日本隊,首發五人曝光,廣東隊大贏家,徐傑第一後衛 孫穎莎奪女單冠軍!採訪謙遜立足拼,劉國樑給中國選手頒獎笑開花 分析 馬威交易取消後的影響:湖人還有什麼選擇?只能等休賽期? 火箭vs猛龍前瞻:範弗裡特有望復出戰舊主,火箭欲終結六連敗 梅西轟動宏都拉斯!當地媒體:這是世紀體育盛事! 登記開啟!金中、29中、13中等校動了! 開年暴擊!南京又一家機構跑路了? TechInsights:AI PC未能提振筆記本市場 2024年僅增長5% 睡覺時突然腿抽筋,就是缺鈣?錯!還有這4個原因,別輕易忽視了 泡泡瑪特又贏麻了!此前被調侃是“境內最大的博彩公司” 再也不用扎手指!5億糖尿病患者有福了 傳《尼爾:機械紀元》續作、新《古墓麗影》今年公佈 有工作經驗的畫素畫師如何寫簡歷? 離譜!Xun被搶3條龍,JDG仍然獲勝!Peyz力挽狂瀾,WBG痛失好局 將耗死在國際空間站?59歲美滯留女宇航員求救:喪失重要身體機能 華為FreeClip耳機玫瑰金開售 開放式聆聽設計 CBA俱樂部杯-山西淘汰北控晉級4強 原帥18分 小紅書上移民的中產:曾經北京七套房, 羨慕海外一張床, 如今卻...... 不可抗力停課2天以上退一半保教費,佛山幼兒園收費新規釋出 紅棉襯醉美,2020番順醉美青餅評測 華為FreeClip耳夾耳機玫瑰金配色開售:1299元 64歲寧波老闆,跨界無數次,給員工發8億,即將擁有第三家IPO? 卡友資訊股東持股情況變動 廣州“城市合夥人”:城市與人才的雙向奔赴 有人說孫穎莎粉絲是飯圈文化的時候 卻有些人用真金白銀愛孫穎莎! 男生剪“短髮”髮型乾淨利落,試試這3款,剪完帥氣提升顏值! 7個臀部訓練最佳動作,打造迷人的蜜桃臀! 偉大的4-2!林詩棟奪冠:新科世界第1誕生、超越王楚欽,狂攬3冠 新疆完美了!新小外強於皮特森+黑根斯,承認補強大外良性競爭! 林詩棟奪男單冠軍!採訪大談不容易太謙遜,單獨拍照露出笑容! 國乒最新戰報!林詩棟第2局11-8,衝3冠王,梁靖崑救2局點仍輸球 替補奇兵!快船大將5記3分助隊贏球 哈登好幫手 爆冷!北控男籃吊打奪冠大熱門球隊,外援決定比賽的走向 官宣離任,胡明軒宣佈重要決定,廣東宏遠遺憾,杜鋒祝福 又一個賈德松!崔康熙看人很準,魯媒:卡約又要錯過中國聯賽了 劉國樑憔悴!黑眼圈很重,擋住蒯曼被提醒,孫穎莎王楚欽被裁判整 林詩棟逆轉梁靖崑奪冠,成就三冠王,綜合實力更加突出 CBA最新外援註冊資訊,遼籃4人,新疆補充新援,廣東男籃放棄萊斯 大滿貫收官獎金排名:林詩棟三冠60萬第1,孫穎莎第2王曼昱10萬第9 臺灣律師分析大S遺產劃分,S媽要錢得看汪小菲臉色,打臉光頭安排 臺媒曝大S家人鬆手,讓出撫養權給汪小菲,希望馬筱梅善待孩子 二線白酒暴雷,狼真的來了! 搭上比亞迪,自動駕駛獨角獸,利潤大增170%! 炸裂!外資吹響“加倉中國”集結號背後:科技格局重塑與資產重估 這波夢幻西遊副本積分兌換真是血虧,四賜福的山賊值得買嗎? 《星戰亡命之徒》高階美工又回到CDPR 開發《巫師4》 《哪吒2》登陸北美,首映禮現好萊塢!有觀眾哭花眼妝:特效超預期,買票靠搶 曝張蘭被封年損失近4億,麻六記絕地自救太壯觀,員工曬張蘭近況

©2024 時時頭條 版權所有

隱私政策 | 服務條款 | 聯繫我們