《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計應(yīng)用 > 基于距離正則化的單視圖三維重建
基于距離正則化的單視圖三維重建
信息技術(shù)與網(wǎng)絡(luò)安全
胡茂林,,李金龍,胡 濤
(中國科學(xué)技術(shù)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,,安徽 合肥230027)
摘要: 針對從一張物體有限的二維RGB圖像信息中還原物體的三維形狀信息,,提出了基于距離正則化的單視圖三維重建,。利用二維卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)設(shè)計圖像編碼器和三維卷積神經(jīng)網(wǎng)絡(luò)設(shè)計殘差塊,,再利用殘差塊為基礎(chǔ)設(shè)計三維形狀生成器,即三維殘差生成器,。給定一張物體的二維RGB圖像,首先使用圖像編碼器提取RGB圖像的語義信息,;然后,,三維形狀生成器使用語義信息,恢復(fù)RGB圖像中物體的三維形狀信息,。同時,,提出了距離規(guī)則化損失,在訓(xùn)練過程中,,保證三維物體形狀重建質(zhì)量,。實驗結(jié)果顯示,本方法在交并比(Intersection over Union,,IoU)評價指標(biāo)上超過了之前最好的方法,。
中圖分類號: TP391
文獻標(biāo)識碼: A
DOI: 10.19358/j.issn.2096-5133.2021.05.010
引用格式: 胡茂林,李金龍,,胡濤. 基于距離正則化的單視圖三維重建[J].信息技術(shù)與網(wǎng)絡(luò)安全,,2021,40(5):56-61.
Single-view 3D reconstruction based on margin regularization
Hu Maolin,Li Jinlong,,Hu Tao
(School of Computer Science and Technology,,University of Science and Technology of China,Hefei 230027,,China)
Abstract: In order to recover the 3D shape of the object in the input image from the limited information of 2D RGB image, this paper proposes a single image 3D reconstruction method based on a margin regularization loss. This paper uses 2D convolutional neural network(CNN) to design an image encoder and employ 3D CNN to design a special residual block, and then uses residual block to design 3D residual generator. Given a 2D RGB image of an object, firstly, we use our designed image encoder to extract the semantic information of the RGB image; then, the 3D residual generator takes the semantic information as input and recover the 3D shape of the object in the RGB image. At the training phase, this paper proposes a distance regularization loss to ensure the quality of 3D object shape reconstruction during the recovering process. Experiment results demonstrate that the proposed method surpasses the previous best method in the metrics of Intersection over Union(IoU).
Key words : 3D reconstruction,;convolutional neural networks;residual block,;residual network

0 引言

三維重建是指給定一張或多張RGB圖像的情況下重建該RGB圖像中物體的三維形狀,。三維重建已經(jīng)被探索了幾十年,它是計算機視覺領(lǐng)域一個基礎(chǔ)性任務(wù)之一,,擁有大量應(yīng)用場景,,例如,機器人導(dǎo)航,、虛擬現(xiàn)實,、計算機輔助設(shè)計、無人駕駛,、醫(yī)學(xué)圖像處理等領(lǐng)域,。三維重建是一個非常復(fù)雜的過程,從二維圖像恢復(fù)三維形狀,,恢復(fù)缺失的信息往往具有歧義性,。為克服三維形狀的歧義性,三維重建方法通常需要結(jié)合圖像信息和先驗形狀知識,。

隨著大型數(shù)據(jù)集的出現(xiàn),,數(shù)據(jù)驅(qū)動的方法一定程度上克服歧義性問題,數(shù)據(jù)集提供三維形狀先驗知識,。三維重建方法利用CNN在大型數(shù)據(jù)集進行預(yù)測物體三維形狀取得了巨大的成功,,預(yù)測的三維形狀可以被歸結(jié)為三類:體素網(wǎng)格表示[1]、點云表示[2],、網(wǎng)格表示[3],。近年來,大量基于深度學(xué)習(xí)的方法被提出來進行三維重建,,例如,,3D-R2N2[4]、Pix2Vox,、PSGN[2]和AttSets[5],。CHOY C B[4]率先提出使用長短期記憶網(wǎng)絡(luò)(Long Short Term Memory,LSTM)[6]來融合不同視角圖像的信息,,一步一步重建三維物體的形狀,。PSGN使用點云表示三維形狀進行單視圖三維重建。Pix2Vox++直接使用CNN融合不同視角圖像信息來進行三維重建,。AttSets使用一個注意力聚合模塊去預(yù)測一個權(quán)重矩陣作為輸入特征的注意力得分,。



本文詳細內(nèi)容請下載:http://forexkbc.com/resource/share/2000003552




作者信息:

胡茂林,李金龍,,胡  濤

(中國科學(xué)技術(shù)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,,安徽 合肥230027)


此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載,。