時時頭條
  • 娛樂
  • 體育
  • 財經
  • 科技
  • 旅遊
  • 軍事
  • 育兒
  • 時尚
  • 遊戲
  • 歷史
  1. 首頁
  2. 科技

再也不怕視訊記憶體爆炸了!高效重建「幾何精準」的大規模複雜三維場景,中科院提出CityGaussianV2

2024-12-13 13:41:09

新智元報道

編輯:LRST

【新智元導讀】是否還在擔心大規模場景訓練和壓縮耗時太長、視訊記憶體開銷太大?是否還在苦惱重建出的建築物和道路表面破碎不堪?是否還在困擾如何定量衡量大規模場景幾何重建的精確程度?來自中科院自動化所的研究團隊提出了用於大規模複雜三維場景的高效重建演算法CityGaussianV2,能夠在快速實現訓練和壓縮的同時,得到精準的幾何結構與逼真的實時渲染體驗。

三維場景重建旨在基於圍繞目標場景拍攝的一組影象恢復出場景的三維結構,其核心追求是精準的幾何結構以及逼真的影象渲染。

隨著近兩年的發展,3D Gaussian Splatting(3DGS)因其訓練和渲染效率上的優勢逐漸成為該領域的主流演算法。這一技術使用一組離散的高斯橢球來表示場景,並使用高度最佳化的光柵器進行渲染。

然而,這一離散且無序的表徵形式通常難以很好地擬合物體表面的實際分佈,導致重建出的場景幾何結構並不精準。近來包括SuGaR、2DGS、GOF在內的一系列傑出工作針對這一問題進行了探索,並給出了有效的解決方案。

幾何重建質量視覺化比較

儘管這些技術在單一目標或小場景上取得了巨大的成功,但它們應用於複雜的大規模場景卻往往面臨比3DGS更加嚴峻的挑戰。

從不同演算法在大規模場景下的幾何重建效果中可以看出,SuGaR的模型容量有限,難以還原精細的幾何結構;GOF受到嚴重的模糊鬼影的干擾,許多視角下畫面被鬼影完全遮擋,以至於監督失效,重建結果面對顯著的欠擬合;2DGS受到模糊鬼影的影響較弱,但也妨礙了其收斂效果,並且退化現象容易誘發高斯基元的過度增長,進而引起視訊記憶體爆炸,訓練難以為繼。

此外,大規模場景下長期以來缺少幾何重建質量的有效評估手段,已有的工作或只進行了視覺化定性比較,或忽視了欠觀測區域不穩定的重建效果對指標產生的干擾。

大規模場景的重建往往還意味著顯著的訓練開銷,要重建1.97的區域會產生接近兩千萬的高斯點,意味著需要4.6G的儲存以及31.5G的視訊記憶體開銷,以及超過三小時的訓練時長。如果要進一步完成壓縮,通常還需要額外將近一個小時的時間。

針對這三方面的技術挑戰,中科院自動化所的研究人員提出了CityGaussianV2。該演算法繼承了CityGaussian的子模型劃分與資料分配方案,並使用2DGS作為基元來重建。

專案主頁: https://dekuliutesla.github.io/CityGaussianV2

論文連結: https://arxiv.org/pdf/2411.00771

程式碼連結(500+星): https://github.com/DekuLiuTesla/CityGaussian

在此基礎上,CityGaussianV2引入了基於延展率過濾和梯度解耦的稠密化技術,以及深度迴歸監督,同時合併了訓練和壓縮過程,得到了端到端的高效訓練管線,不僅有效加速演算法收斂,同時保障了穩定、快速、低視訊記憶體開銷的並行訓練。

CityGaussianV2演算法介紹

場景重建基礎

3DGS使用一組高斯分佈表徵的橢球對場景進行表徵,每個高斯球同時繫結包括不透明度、顏色以及高階球諧係數等用於alpha blending渲染的屬性,並透過包含L1損失和SSIM損失的加權和對渲染質量進行監督。

在訓練過程中,演算法還會根據每個高斯基元的梯度資訊進行自適應地分裂和克隆,使得重建效果不佳的區域能夠自動被更合適的基元填充。

2DGS旨在增強幾何重建精度,並將橢球降維為橢圓面片作為基元表徵場景,同時對渲染出的深度和法向量分佈施加監督,保證重建表面的平整性。

CityGaussian旨在將3DGS泛化到大場景,首先預訓練一個表徵全域性場景的粗粒度的3DGS場,隨後將預訓練結果劃分為一系列子模型,並根據子模型對訓練檢視渲染的貢獻程度為每個子模型分配訓練資料。每個子模型隨後會用不同的GPU並行微調,並在訓練結束後進行合併和壓縮,得到場景的最終表徵。

CityGaussianV2的最佳化演算法

高斯基元最佳化演算法示意圖

現有表面重建方案在泛化到大場景時往往展現出收斂遲緩、訓練不穩定等問題,導致並行訓練失敗,難以取得良好的重建效果。

演算法以泛化能力最好的2DGS為基元,在引入Depth-Anything-V2的偽深度監督提供幾何先驗的基礎上,進一步提出了新的高斯基元稠密化方案。

可以觀察到,在複雜大規模場景上,2DGS在早期訓練階段比3DGS受到更嚴重的模糊偽影的干擾,導致在迭代次數有限的情況下效能顯著劣於3DGS。

為了緩解這一問題,研究人員引入梯度解耦策略,利用對影象結構差異更為敏感的SSIM損失作為稠密化的主要梯度來源:

此處用於控制梯度的尺度;另外在大規模場景下用2DGS進行重建的障礙在於其退化現象。實驗證據表明,當從遠距離或側面視角渲染時,部分面片可能會退化成線或點,尤其是那些延展率比較高的面片。

對於那些具有高不透明度的投影點,它們的移動往往意味著畫素值的劇烈變化,從而使得它們獲得較高的梯度,並在稠密化過程中大量增殖,導致基元數量指數級增長,最終導致視訊記憶體爆炸問題。

為了解決這一問題,在稠密化過程中,對容易引起退化和梯度集中的具有極端延展率的高斯面片進行了篩選,並對其增殖過程進行了限制,從而在不犧牲效能的情況下有效穩定了訓練過程,保障了最佳化過程的順利進行。

CityGaussianV2的並行訓練管線

CityGaussianV2訓練管線,虛線框為摒棄的演算法流程

CityGaussianV2在V1的基礎上進一步優化了並行訓練管線,使得訓練和壓縮過程得到統一,刪除了冗餘的後處理流程。

具體而言,演算法在子模型的並行訓練過程中週期性地遍歷訓練視角集合並計算每個高斯基元的重要性分數:

其中為第張訓練檢視的畫素集合,為第n個基元的不透明度。以此為基礎,重要性低於一定百分比閾值的基元會被刪除,從而降低視訊記憶體和儲存的開銷,使得訓練對於低端裝置更友好,也顯著加速了模型總體的收斂速度。

大規模重建幾何評估協議

大規模場景幾何精度評估流程

CityGaussianV2填補了大規模場景下幾何評測協議長期以來的空白,在Tanks and Temple (TnT) 資料集的啟發下,基於點雲的目擊頻次統計設計了針對大規模場景欠觀測區域的邊界估計方案。

具體而言,點雲真值會首先被初始化為3DGS,在遍歷所有訓練檢視的同時記錄每個點的觀測頻次,觀測頻次低於閾值的點將被濾除;剩餘的點將用於估計垂直方向的高度分佈範圍,以及地平面內的多邊形外接輪廓,二者構成的Crop Volume進一步用於TnT形式的指標計算。

這一方案有效規避了欠觀測區域重建效果不穩定帶來的指標波動,使得大規模複雜場景的幾何效能評估更為客觀公正。

實驗與分析

與主流演算法的效能對比

在實驗中,相比於已有演算法,CityGaussianV2在幾何精度(精度P,召回率R,綜合指標F1-Score)方面達到了最佳的效能表現。

從視覺化結果中也可以看到,CityGaussianV2的重建結果具有更準確的細節,完整性也更高。而渲染質量方面,CityGaussianV2則達到了和V1相媲美的程度,能夠帶來逼真的瀏覽體驗。此外,CityGaussianV2還能較好地泛化到街道景觀,並且在渲染質量和幾何精度上都取得良好的效能結果。

渲染質量視覺化比較

街拍場景視覺化比較

高斯基元數量相近情況下的重建效能及訓練開銷比較

在訓練開銷方面,CityGaussianV2克服了2DGS泛化到大規模複雜場景下的種種挑戰,不僅有效規避視訊記憶體爆炸問題,而且實現了相對於V1顯著的視訊記憶體最佳化,同時在訓練用時和幾何質量方面大幅領先。針對2DGS的量化壓縮策略也使得大規模場景的重建結果能夠以400M左右的開銷儲存下來。

總結

研究人員致力於大規模複雜場景的高效精準重建,並建立了大規模場景下的幾何精度評估基準,提出的CityGaussianV2以2DGS為基元,消除了其收斂速度和擴充套件能力方面的問題,並實現了高效的並行訓練和壓縮,從而大大降低了模型的訓練成本。在多個具有挑戰性的資料集上的實驗結果證明了該方法的效率、有效性和魯棒性。

參考資料:

https://dekuliutesla.github.io/CityGaussianV2

熱門資訊
  • 蘇東莊逝世 | 2025-01-31 18:04:08
  • 訊息稱 Rapidus 計劃引入 10 臺 EUV 光刻機 | 2025-01-31 18:04:12
  • Apple Intelligence將從四月起支援更多語言 包括簡體中文 | 2025-01-31 18:15:23
  • Cancer Cell:董晨院士團隊發現影響癌症免疫治療效果的T細胞亞群 | 2025-01-31 18:48:08
  • 曝驍龍X2系列晶片正在研發中 將於今年晚些時候釋出 | 2025-01-31 19:04:27
  • 復刻太空梭的貨運飛船"追夢者號"透過空間站貨運任務測試 | 2025-01-31 19:04:28
  • 德商德靜界推出 be quiet!Power Zone 2 系列電源 | 2025-01-31 19:09:09
  • 2499元 HKC推出新款27寸顯示器:2K 300Hz屏 | 2025-01-31 19:19:16
  • 美商海盜船更新 Vengeance 桌上型電腦產品線:引入 50 系顯示卡 | 2025-01-31 19:49:50
  • 新春首篇!山東大學研究成果登《Cell》 | 2025-01-31 20:08:35
  • 氧化鋁,Science! | 2025-01-31 20:08:37
  • 加速起飛 2025年成都造飛行汽車將開啟載人飛行實驗 | 2025-01-31 20:08:47
  • 突破性進展!有望引發重大變革 | 2025-01-31 20:08:49
  • 3DMark 新增支援 RTX50 系列顯示卡 DLSS 4 / 多幀生成技術 | 2025-01-31 20:12:07
  • NASA宇航員蘇尼·威廉姆斯剛剛創造了太空行走的歷史 | 2025-01-31 20:45:25
  • HIV的治療方法可能隱藏在FDA已批准的藥物中 | 2025-01-31 20:45:31
  • Minimal Phone 墨水屏全鍵盤智慧手機宣佈完成眾籌目標 | 2025-01-31 20:54:03
  • 科學家在北美髮現首例亨尼巴病毒 引發大流行擔憂 | 2025-01-31 21:25:13
  • 上線秒售罄 你搶到沒!英偉達曬首批買到RTX 50使用者:笑到合不攏嘴 | 2025-01-31 21:41:00
  • OPPO Watch X2智慧手錶專利曝光:全新血壓測量技術 | 2025-01-31 22:00:47
  • 曝Mini LED屏手機快來了:年後試產 | 2025-01-31 22:00:53
  • 銘凡海外推出迷你主機 UN100P:N100 + 16G + 256G 售 179 美元 | 2025-01-31 22:25:28
  • 特朗普命令馬斯克:去找他們! | 2025-01-31 22:48:05
  • 傳蘋果即將選定可摺疊顯示屏供應商 | 2025-01-31 23:47:09
  • 英特爾確認下半年開發Panther Lake 次年是Nova Lake 取消Falcon Shores | 2025-01-31 23:47:16
  • NVIDIA的RTX 5090無懸念缺貨 因為它幾乎沒有庫存 | 2025-01-31 23:58:12
  • 美國找到六代機落後的原因:驅逐華裔工程師,美軍工都是印度人 | 2025-02-01 00:46:53
  • 師從鄧秀新院士,以第一作者身份發表The Plant Cell,入職山東農大 | 2025-02-01 00:47:31
  • Aurora 超級計算機正式向全球科學界開放,效能突破 Exascale | 2025-02-01 00:54:58
  • 深圳,正在成為“全球科技創新中心” | 2025-02-01 01:32:17
最近發布
突發!TVB知名女星毫無預警宣佈與未婚夫分手,結束長達八年情 面對被黑,蘭姐強勢迴歸。小菲狀態好轉,發宣告。更多內幕揭曉! 中國男籃決戰日本隊,首發五人曝光,廣東隊大贏家,徐傑第一後衛 孫穎莎奪女單冠軍!採訪謙遜立足拼,劉國樑給中國選手頒獎笑開花 分析 馬威交易取消後的影響:湖人還有什麼選擇?只能等休賽期? 火箭vs猛龍前瞻:範弗裡特有望復出戰舊主,火箭欲終結六連敗 梅西轟動宏都拉斯!當地媒體:這是世紀體育盛事! 登記開啟!金中、29中、13中等校動了! 開年暴擊!南京又一家機構跑路了? TechInsights:AI PC未能提振筆記本市場 2024年僅增長5% 睡覺時突然腿抽筋,就是缺鈣?錯!還有這4個原因,別輕易忽視了 泡泡瑪特又贏麻了!此前被調侃是“境內最大的博彩公司” 再也不用扎手指!5億糖尿病患者有福了 傳《尼爾:機械紀元》續作、新《古墓麗影》今年公佈 有工作經驗的畫素畫師如何寫簡歷? 離譜!Xun被搶3條龍,JDG仍然獲勝!Peyz力挽狂瀾,WBG痛失好局 將耗死在國際空間站?59歲美滯留女宇航員求救:喪失重要身體機能 華為FreeClip耳機玫瑰金開售 開放式聆聽設計 CBA俱樂部杯-山西淘汰北控晉級4強 原帥18分 小紅書上移民的中產:曾經北京七套房, 羨慕海外一張床, 如今卻...... 不可抗力停課2天以上退一半保教費,佛山幼兒園收費新規釋出 紅棉襯醉美,2020番順醉美青餅評測 華為FreeClip耳夾耳機玫瑰金配色開售:1299元 64歲寧波老闆,跨界無數次,給員工發8億,即將擁有第三家IPO? 卡友資訊股東持股情況變動 廣州“城市合夥人”:城市與人才的雙向奔赴 有人說孫穎莎粉絲是飯圈文化的時候 卻有些人用真金白銀愛孫穎莎! 男生剪“短髮”髮型乾淨利落,試試這3款,剪完帥氣提升顏值! 7個臀部訓練最佳動作,打造迷人的蜜桃臀! 偉大的4-2!林詩棟奪冠:新科世界第1誕生、超越王楚欽,狂攬3冠 新疆完美了!新小外強於皮特森+黑根斯,承認補強大外良性競爭! 林詩棟奪男單冠軍!採訪大談不容易太謙遜,單獨拍照露出笑容! 國乒最新戰報!林詩棟第2局11-8,衝3冠王,梁靖崑救2局點仍輸球 替補奇兵!快船大將5記3分助隊贏球 哈登好幫手 爆冷!北控男籃吊打奪冠大熱門球隊,外援決定比賽的走向 官宣離任,胡明軒宣佈重要決定,廣東宏遠遺憾,杜鋒祝福 又一個賈德松!崔康熙看人很準,魯媒:卡約又要錯過中國聯賽了 劉國樑憔悴!黑眼圈很重,擋住蒯曼被提醒,孫穎莎王楚欽被裁判整 林詩棟逆轉梁靖崑奪冠,成就三冠王,綜合實力更加突出 CBA最新外援註冊資訊,遼籃4人,新疆補充新援,廣東男籃放棄萊斯 大滿貫收官獎金排名:林詩棟三冠60萬第1,孫穎莎第2王曼昱10萬第9 臺灣律師分析大S遺產劃分,S媽要錢得看汪小菲臉色,打臉光頭安排 臺媒曝大S家人鬆手,讓出撫養權給汪小菲,希望馬筱梅善待孩子 二線白酒暴雷,狼真的來了! 搭上比亞迪,自動駕駛獨角獸,利潤大增170%! 炸裂!外資吹響“加倉中國”集結號背後:科技格局重塑與資產重估 這波夢幻西遊副本積分兌換真是血虧,四賜福的山賊值得買嗎? 《星戰亡命之徒》高階美工又回到CDPR 開發《巫師4》 《哪吒2》登陸北美,首映禮現好萊塢!有觀眾哭花眼妝:特效超預期,買票靠搶 曝張蘭被封年損失近4億,麻六記絕地自救太壯觀,員工曬張蘭近況

©2024 時時頭條 版權所有

隱私政策 | 服務條款 | 聯繫我們