引用論文
He, N., Huang, J., Liu, S. et al. Deep Learning-Based Invalid Point Removal Method for Fringe Projection Profilometry. Chin. J. Mech. Eng. 37, 142 (2024). https://doi.org/10.1186/s10033-024-01095-5
(戳連結，下載全文)
關於文章
01
研究背景及目的
條紋投影輪廓技術（FPP）以其高精度和高速度被廣泛應用於工業領域的非接觸式三維測量。點雲作為 FPP 系統的測量結果，通常包含大量由背景、環境光、陰影和物體邊緣區域引起的無效點。在過去的二十年裡，有關噪聲點檢測和消除的研究一直在進行。然而，現有的無效點消除方法都是基於影象強度分析，僅適用於純暗的簡單測量背景。本文提出了一種新的無效點去除框架，包括兩個方面：(1)設計了一個（CNN），用於從 FPP 測量環境中不同強度條件的背景中分割前景，以去除背景點和背景區域中的大部分離散點。(2) 提出了一種基於邊緣影象強度閾值和雙邊濾波器的兩步法，以消除背景分割後剩餘的少量離散點，這些離散點是由物體上的陰影和邊緣區域引起的。實驗結果驗證了所提出的框架：(1)能在各種複雜情況下智慧、準確地去除背景點；(2)在物體區域離散點檢測中表現出色。
02
試驗方法
我們在 FPP 系統中提出了一種基於深度學習的邊緣影象背景點分割方法，以去除了不同工業場景中的背景。此外，我們還提出了一種基於邊緣影象和高度圖的兩步演算法來去除離散點，從而檢測出陰影和邊緣區域造成的無效點。具體方法如下：
(1)對於背景點，利用深度學習對邊緣影象進行調製，自動識別物體區域，然後生成興趣區域（ROI）掩碼，去除複雜背景區域中的背景點和最離散的點。
(2)對於物體區域內的少量離散點，可透過兩個步驟分別剔除由陰影和邊緣區域引起的無效點。首先，提出一種基於邊緣影象的簡單閾值方法來剔除陰影區域的點。其次，由於解包相點陣圖的單調性會導致過度平滑，因此提出了在高度圖上使用雙邊濾波器來剔除環境光和邊緣區域造成的離散點。在這一步驟中，利用了在(1)中生成的 ROI 掩膜。
03
結果
對於背景點去除方法，為了驗證我們提出的方法的分割準確性，我們使用 mIoU（mean Intersection over Union，交併比）來表示網路和其他方法的整體準確性。三種方法分割結果的 mIoU 如表 1 所示。實驗設定了三度顏色的背景板，並隨機放置了一些雜物。我們用三種方法計算了三種背景條件下的 mIoU。可以看出，在黑灰背景下，三種方法都達到了較高的分割精度。但是，Zhang 方法和 K-means 方法的 mIoU 都低於我們提出的方法，這是因為背景區域中的雜物被錯誤地分割成了物體。而在白色背景下，Zhang 方法和 K-means 方法的 mIoU 遠遠低於我們提出的方法，因為整個背景板都被分割為物件區域，這在很大程度上影響了分割精度。
表1 三種方法的交併比
我們進行了整體測試實驗，以綜合測試我們提出的方法，尤其是基於深度學習的背景移除方法的魯棒性和泛化能力。如圖 1(a) 所示，為了測試訓練網路的物體識別能力，我們在圖 1 右側的背景區域放置了一個在網路訓練集中沒有出現過的金屬罐。圖 1(b) 是相應的解包相點陣圖，可以看出陰影區域、罐子區域和沒有投影儀光線的區域存在隨機噪聲。圖 1(c) 是經過訓練的網路的預測結果，它正確地將目標物體從背景中分割出來。圖 1(d)和圖 1(e)顯示了我們提出的方法和Wang的方法的點雲圖結果。雖然Wang的方法清除了金屬罐和其他區域的隨機噪聲，但金屬罐區域並沒有被分割為背景並清除。相比之下，我們提出的框架在背景分割和離散點去除方面都表現出色。
圖 1 整體測試效果圖
04
結論
本文采用了深度學習中的語義分割技術，將物體區域從背景和其他雜物中分割出來。採用基於邊緣強度閾值和雙邊濾波的兩步法消除陰影和邊緣區域產生的離散點。經過實驗驗證，我們提出的演算法具有以下優勢：(1)我們提出的框架有較好高的可行性和魯棒性，它能完全消除不同背景情況下的背景和隨機噪聲，(2)我們提出的基於深度學習的方法在不同背景環境下具有出色的背景消除效能。
05
前景與應用
面結構光三維測量因其具有非接觸、全場測量、低成本等眾多優點，成為三維測量技術領域中一個具有代表性的技術。基於面結構光照明的相位輔助三維測量技術採用條紋編碼結構光照射到被測物體表面，物體形貌對結構光進行調製，使結構光的圖案發生相應的形變，即結構光對物體進行了編碼，透過系統標定和條紋分析等技術可以從採集的影象資訊中解調出物體的三維資料，具有測量精度高、資料密 度大、普適性、靈活性等優點。目前，面結構光三維測量技術在醫療衛生、古文物修繕、工業零件檢測和目標識別等領域都有著廣泛的應用。
相關文章/圖書推薦
[1] Jinfeng Gao, Fengyuan Wu, Cheng Cheng, Chengbai Wu, Yangfan Zhou, A Markov random field based method for removing invalid unwrapping phase points in 3D reconstruction. IET Image Process. 17, 3477–3487 (2023)
[2] Xiaolong Luo, Wanzhong Song, Songlin Bai, Yu Li, Zhihe Zhao, Deep learning-enabled invalid-point removal for spatial phase unwrapping of 3D measurement, Optics & Laser Technology, Volume 163, 2023.
[3] Wenbin Deng, Byeong-Mook Chung, Optimal pulse width modulation technique combined with stair phase-coding method for absolute phase retrieval with projector defocusing, Optics Communications, Volume 437, 2019, Pages 193-198.
[4] Xiaoyu He, Qian Kemao, A comparison of n-ary simple code and n-ary gray code phase unwrapping in high-speed fringe projection profilometry, Optics and Lasers in Engineering, Volume 128, 2020.
[5] Kaifeng Zhu, Xin He, Yi Gao, Ruidong Hao, Zhonghui Wei, Bing Long, Zhiya Mu, Jun Wang, Invalid point removal method based on error energy function in fringe projection profilometry, Results in Physics, Volume 41, 2022.
關於作者
01
作者團隊介紹
劉少麗，2012年獲得清華大學機械工程博士學位，目前於北京理工大學機械與車輛學院擔任副教授、博士生導師，研究方向包括機器視覺、線上測量、深度學習、精密裝配。
何楠，北京理工大學博士研究生，北京衛星製造廠有限公司研究員，研究方向：視覺測量、面結構光。
黃嘉淳，北京理工大學碩士研究生，研究方向：視覺測量、相機標定。
02
團隊研究方向
面結構光、虛擬裝配、影象處理
03
近年團隊代表性文章
[1] Z. Jian, S. He, S. Liu, J. Liu and Y. Fang, "A Multiple Species Railway Defects Detection Method Based on Sample Generation," in IEEE Transactions on Instrumentation and Measurement, vol. 73, pp. 1-14, 2024.
[2] S. He, Z. Jian, S. Liu, J. Liu, Y. Fang and J. Hu, "PCSGAN: A Perceptual Constrained Generative Model for Railway Defect Sample Expansion From a Single Image," in IEEE Transactions on Intelligent Transportation Systems.
作 者：何 楠
責任編輯：謝雅潔
責任校對： 向映姣
審 核：張 強
JME學院簡介
JME學院是由《機械工程學報》編輯部2018年建立，以關注、陪伴青年學者成長為宗旨，努力探索學術傳播服務新模式。
歡迎各位老師掃碼新增小助理-暖暖為好友，由小助理拉入JME學院官方群！
歡迎關注JME學院影片號~
尋覓合作伙伴
有一種合作叫做真誠，有一種發展可以無限，有一種夥伴可以互利共贏，願我們合作起來流連忘返，發展起來前景可觀。關於論文推薦、團隊介紹、圖書出版、學術直播、招聘資訊、會議推廣等，請與我們聯絡。
感謝關注我們！《機械工程學報》編輯部將努力為您打造一個有態度、有深度、有溫度的學術媒體！
版權宣告：
本文為《機械工程學報》編輯部原創內容，歡迎轉載！
在公眾號後臺留言需要轉載的文章題目及要轉載的公眾號ID以獲取授權!
聯絡人：暖暖
電話：010-88379909
E-mail：[email protected]
網 址：http://www.cjmenet.com.cn
官方微訊號：jmewechat
