引言

    虛擬視圖合成技術(shù)是從現(xiàn)有的圖像或視頻，生成原本不存在的圖像或視頻，是計算機(jī)視覺領(lǐng)域的一個重要研究課題，廣泛應(yīng)用于2D到3D視頻轉(zhuǎn)化，自由視角電視，虛擬現(xiàn)實技術(shù)，3D視頻編解碼。而基于深度圖的虛擬視圖合成（depth-image-basedrendering，DIBR）是虛擬視圖合成最常用的方法，該技術(shù)通過現(xiàn)有的2D圖像/視頻和對應(yīng)的深度圖把原始視角視頻映射到虛擬視角上，形成虛擬圖像/視頻。

    早在2002年，ATTEST提出了把3D視頻分離成2D視頻和深度圖傳輸，在用戶端播放3D視頻時再通過DIBR合成兩路或多路的視頻。德國費勞恩霍夫通訊技術(shù)研究所（HHI）細(xì)化了DIBR算法以獲取更高的立體視頻質(zhì)量。俄羅斯莫斯科國立大學(xué)在虛擬視圖合成的研究已有10年，其成立的公司YUVsoft已有成熟的2D轉(zhuǎn)3D、立體轉(zhuǎn)多視角視頻、立體視頻增強(qiáng)的產(chǎn)品。日本的名古屋大學(xué)谷本研究室（NagoyaUniversityTanimotoLaboratory）除了參與開發(fā)虛擬視頻合成軟件（ViewSynthesisReferenceSoftware，VSRS），還提供有效的深度圖估計算法，并公開了其拍攝和制作的多視點視頻數(shù)據(jù)集，為學(xué)術(shù)界和工業(yè)界研究提供了參照基礎(chǔ)。

1空洞產(chǎn)生原理與填補(bǔ)難點

    在基于深度圖的虛擬視圖合成技術(shù)中，原始視圖的像素通過深度值和原始攝像機(jī)參數(shù)反向投影到世界坐標(biāo)，然后再通過虛擬攝像機(jī)參數(shù)把世界坐標(biāo)投影變換到虛擬視圖的像平面，即3D扭曲（3Dwarping）。

    在合成過程中，在原始視點中，有部分背景被前景遮擋著，而到了新的虛擬視點時，被前景遮擋的部分背景會暴露出來，這部分內(nèi)容是無法知曉的，從而產(chǎn)生空洞區(qū)域；另外，由于原始攝像機(jī)拍攝范圍有限，新視點的部分邊界區(qū)域無法在原始視點找到對應(yīng)的映射區(qū)域，在經(jīng)過3D扭曲變化后，虛擬視點部分邊界也會存在較大的空洞。消除這些空洞區(qū)域是虛擬視點合成的一個重要步驟。

圖1產(chǎn)生空洞的實例

    圖1展示了實際場景中產(chǎn)生空洞的例子，在“Ballet”序列中，把原始視點的2D圖像和對應(yīng)的深度圖通過3D扭曲映射到了虛擬視點位置，由于前景（芭蕾舞者和男士）離攝像頭更近，他們把部分背景給遮擋了，這部分被遮擋的背景暴露在虛擬視點下，形成空洞區(qū)域（白色區(qū)域）。另外，由于虛擬視點位置更加偏左邊，導(dǎo)致虛擬視點的左邊邊界處存在較大的空洞。

    空洞問題是虛擬視圖合成中最難解決的問題，原因如下：

（1）空洞區(qū)域所占面積比較大

    空洞面積大小是由虛擬視圖與原始視圖之間的偏離程度決定的，它們的之間的距離越大，空洞面積越大，距離越小，空洞面積越小。通常情況下，即使它們的距離很小，非閉塞區(qū)域的空洞水平寬度也在10個像素以上。由于這些空洞較大，無法使用簡單的線性插值之類的方法填補(bǔ)。

（2）空洞里的真實內(nèi)容難以獲取

    對于單幀圖像，空洞里的內(nèi)容無法知曉，只能通過空洞周圍的像素信息預(yù)測空洞部分的內(nèi)容，預(yù)測出來的不一定是真實的，特別是對于大的空洞，過多信息的缺失導(dǎo)致真實恢復(fù)空洞內(nèi)容變得十分困難。對于無法恢復(fù)真實值的區(qū)域，如何保證修復(fù)得到的結(jié)果看起來“合理”，也是一個關(guān)鍵難點。

（3）前景目標(biāo)的干擾

    根據(jù)空洞產(chǎn)生的原理，空洞需要使用背景內(nèi)容來填補(bǔ)。填補(bǔ)過程中如何很好地區(qū)分前景與背景本身就是一個難題，如果沒有把前景目標(biāo)排除，填補(bǔ)出來的空洞通常會夾雜著前景物體的瑕疵。許多方法會采取一些措施加以限制，但仍然有部分區(qū)域，比如前景邊緣處，會存在一些瑕疵。

（4）虛擬視圖需保持連續(xù)性。

    人眼對于視頻幀與幀之間的跳變十分敏感，過多的跳變會引起觀看者不舒適，因此需要保持視頻里空洞部分內(nèi)容具有連續(xù)性，幀與幀之間空洞的內(nèi)容應(yīng)避免不一致、閃爍現(xiàn)象發(fā)生，保持幀與幀之間的內(nèi)容一致是一個關(guān)鍵難點。

2空洞填補(bǔ)方法研究現(xiàn)狀

    虛擬視圖非閉塞區(qū)域的填充可以分為2類，第一類是預(yù)處理深度圖以減少非閉塞區(qū)域的產(chǎn)生，第二類是不預(yù)處理深度圖，利用視頻的時域或空域間關(guān)聯(lián)性獲取填充信息，以填充非閉塞區(qū)域。

2.1預(yù)處理深度圖方法

    虛擬視圖里產(chǎn)生空洞主要是因為深度圖發(fā)生突變造成的，特別是前景和背景的交界處，深度值變化劇烈，導(dǎo)致空洞的產(chǎn)生。深度圖的預(yù)處理方法通過低通濾波器把這些突變過濾掉，使得深度圖的變化變得平緩，減少了虛擬視圖空洞。

    深度圖的預(yù)處理過程可采用對稱或非對稱高斯低通濾波。對稱高斯低通濾波會產(chǎn)生嚴(yán)重失真，比如放大前景目標(biāo)，即橡皮效應(yīng)（rubbersheeteffect）。為了解決這一缺陷，可利用非對稱高斯低通濾波對深度圖的水平和垂直方向進(jìn)行不同程度的平滑，水平方向比垂直方向平滑的程度更高。由于各向異性的性質(zhì)，非對稱高斯低通濾波在一定程度減少了空洞的產(chǎn)生。對稱或非對稱高斯低通濾波能夠在水平方向上平滑深度圖邊緣區(qū)域，但同時也會平滑非空洞區(qū)域，從而引起非空洞區(qū)域圖像質(zhì)量的下降。為了克服這個問題，邊緣依賴高斯濾波器（edge-dependentGaussianfilter）只在水平方向上平滑邊緣，自適應(yīng)邊緣定向平滑濾波器（adaptiveedge-orientedsmoothingfilter）在預(yù)處理深度圖時不平滑非空洞區(qū)域。深度圖的預(yù)處理方法只能適用于攝像機(jī)之間基線較小的情況，很難應(yīng)用于基線較大的情形，即無法填補(bǔ)較大的空洞。

    基于深度圖平滑的方法，由于深度信息大部分被過濾掉，使得生成的虛擬視圖的3D效果大大減少，合成的3D視圖本來是想讓人體驗強(qiáng)烈的層次感的，平滑深度圖違背了原始意圖；深度圖的失真同樣導(dǎo)致生成的虛擬視圖產(chǎn)生失真，特別是前景目標(biāo)變形了，垂直方向上的紋理錯位了。

2.2非預(yù)處理深度圖方法

    另一類方法是不預(yù)處理深度圖，利用視頻時域或空域間的關(guān)聯(lián)性獲取填充信息。根據(jù)所利用的關(guān)聯(lián)性類別，可分為三類：基于空域方法，基于時域方法，基于時空域方法。

（1）基于空域方法

    該方法利用圖像在幀內(nèi)空域上的相關(guān)性，根據(jù)空洞周圍的背景信息填補(bǔ)空洞。在空域上，視圖混合方法能夠利用多個視角信息填充大部分空洞區(qū)域。視圖混合方法需要多份攝像采集設(shè)備和傳輸帶寬，成本較高，所以單個視角的應(yīng)用得到更廣泛的關(guān)注。分層視圖合成方法通過下采樣和上采樣的方法逐步填補(bǔ)虛擬視圖的空洞，這樣產(chǎn)生的視圖不會產(chǎn)生幾何失真，但當(dāng)空洞區(qū)域比較大時會產(chǎn)生模糊效應(yīng)。目前流行的不會產(chǎn)生模糊效應(yīng)的空洞填補(bǔ)是基于圖像修復(fù)的方法。Criminisi等人提出了利用圖像修復(fù)（imageinpainting）和紋理合成相結(jié)合的方案，它首先計算空洞邊界像素的優(yōu)先程度，然后從非空洞區(qū)域搜索匹配塊，并把它填充到優(yōu)先級最高的區(qū)域。直接使用圖像修復(fù)方法可以有效的填充大的空洞，但填充的區(qū)域存在大量的前景瑕疵。為了減輕這個問題，許多圖像修復(fù)提升方法利用深度信息把前景排除于填充過程。Daribo和Saito把深度信息加入到Criminisi算法的圖像塊優(yōu)先級和距離的計算過程中，方差低的圖像塊被賦予高的優(yōu)先級，然后從深度值和顏色相似的區(qū)域選取最匹配的圖像塊。Gautier等人也拓展了Criminisi的算法，他們使用DiZenzo矩陣的結(jié)構(gòu)張量定義數(shù)據(jù)項（dataterm），也把深度信息加入到最優(yōu)圖像塊的計算模型中。文獻(xiàn)假設(shè)虛擬視圖的深度圖是提供的，這在實際中是不合理的。Ahn和Kim，Köppel等人，Buyssens等人的方法同樣使用深度圖改進(jìn)了填補(bǔ)的優(yōu)先級和圖像塊的選擇過程，而且這些方法不需要提供虛擬視圖的深度圖，而是在修復(fù)虛擬視圖空洞的過程中，同步修復(fù)虛擬視圖的深度圖。

（2）基于時域方法

    在時域上，由于前景的運動，當(dāng)前幀被前景遮擋的區(qū)域可能會在其它幀會變得可見，因此可以利用背景建模的方法恢復(fù)被遮擋區(qū)域的背景。平均背景模型先從場景中分割出背景，然后動態(tài)更新形成穩(wěn)定的背景，該方法只適合準(zhǔn)靜止背景的場景。時域背景模型使用深度值方差在參考視頻前向和后向搜索未被遮擋的背景信息，中值濾波這部分信息形成參考背景，然而，合適的背景信息受限于相鄰時間段。文獻(xiàn)先預(yù)測非閉塞區(qū)域的深度值，然后采用深度值做門限分割前景和背景，并更新背景深度圖和背景視頻。在文獻(xiàn)中，利用混合高斯背景建模方法產(chǎn)生背景視頻，還加入前景深度關(guān)聯(lián)修正混合高斯背景建模，以去除旋轉(zhuǎn)的前景和靜止的前景，但當(dāng)深度圖不準(zhǔn)確時，F(xiàn)DC會前景瑕疵塊引入到背景里。為了減少計算量并提高對場景的適應(yīng)性，文獻(xiàn)提出了在線的可切換高斯模型。文獻(xiàn)提出的基于背景建模的框架，先挖出前面，然后再進(jìn)行背景建模，并采用了運動估計，能避免前景紋理瑕疵且適用于運動的背景。

（3）基于時空域方法

    Wexler等人的視頻修復(fù)方法采用全局優(yōu)化方法，使得填充的內(nèi)容能夠在時域和空域內(nèi)都保持最佳連續(xù)性，能夠填補(bǔ)視頻序列中的大面積空洞區(qū)域。該方法由于采用了時空域圖像塊在時域和空域內(nèi)尋求最佳匹配，計算復(fù)雜度與時間和圖像成比例增長，即使文中介紹了采用由粗到細(xì)的優(yōu)化方法，但其運行時間依然太高，無法適用于實際場景。PatchMatch方法能大大降低塊匹配計算復(fù)雜度，得到近似的最佳結(jié)果。Newson等人把PatchMatch優(yōu)化方法拓展到了時空域,進(jìn)一步優(yōu)化了視頻修復(fù)性能和速度。Huang等人提出了適合于運動背景的視頻修復(fù)方法。直接使用視頻修復(fù)方法在填充空洞區(qū)域時會引入大量的前景瑕疵。Choi等人同時考慮了時域和空域的關(guān)聯(lián)性，在原本只利用空域關(guān)聯(lián)信息的Criminisi修復(fù)算法中加入時間維度，同時利用幀內(nèi)、幀間關(guān)聯(lián)信息填補(bǔ)空洞，使得幀與幀之間更具連續(xù)性，減少了閃爍現(xiàn)象。Hsu等人，Kim等人相繼提出了基于能量函數(shù)最優(yōu)化的時空域空洞填補(bǔ)方法，也能夠保證修復(fù)視頻的時空域連續(xù)性。

3各類方法評述

    空洞填補(bǔ)是虛擬視圖合成需要解決的關(guān)鍵問題，理想的空洞填補(bǔ)需要滿足以下特性：1）反映真實值；2）看起來自然直觀；3）保持時域的連續(xù)性；4）處理速度快。

    對于基于深度圖預(yù)處理的方法，由于深度圖經(jīng)過了平滑，使得生成的視圖3D效果減少，也不適用于處理大面積空洞的場景。算法雖然簡單快速，但虛擬視圖嚴(yán)重失真。

    圖像修復(fù)的方法能夠恢復(fù)未知區(qū)域的內(nèi)容，能夠用來填補(bǔ)大面積空洞，填補(bǔ)的結(jié)果不會引起模糊效應(yīng)。但把圖像修復(fù)的方法直接用于填補(bǔ)非閉塞區(qū)域，可能會采集前景內(nèi)容來填充空洞區(qū)域，導(dǎo)致“前景穿透”現(xiàn)象。一些基于修復(fù)的提升方法利用非閉塞區(qū)域特性以更好的填補(bǔ)空洞，但這些方法的改進(jìn)需要結(jié)合所采用的修復(fù)方法，對其它修復(fù)方法并不一定適用，不具有普遍性。而且修復(fù)所得到的內(nèi)容雖然看起來與周圍的內(nèi)容相似，但不一定是真實內(nèi)容。

    基于背景建模方法可以恢復(fù)部分背景，卻無法恢復(fù)視頻中被靜止前景遮擋的那部分背景或者一些無法在原始視圖中找到對應(yīng)映射區(qū)域的邊界部分；而且，傳統(tǒng)的背景建模方法會把一些前景紋理帶入到構(gòu)建的背景中，或者不適合攝像機(jī)運動的場景；文獻(xiàn)所提出的基于背景建模的框架能避免前景紋理瑕疵，但未考慮幀與幀之間的連續(xù)性問題，存在閃爍現(xiàn)象。

    時空域填補(bǔ)法采用全局優(yōu)化，能夠選取最佳的時空圖像塊填補(bǔ)空洞，但每次最匹配時空圖像塊的選擇都是遍歷視頻中所有幀圖像，計算復(fù)雜度太高。

    綜上所述，目前還沒有理想的方法能夠同時滿足反映真實值，保持連續(xù)性和速度快這幾點要求。