- 相關(guān)推薦
基于融合細(xì)分的紋理圖像重構(gòu)模型
摘要：針對分段迭代曲線擬合存在的重建區(qū)域輪廓不連續(xù)、重建區(qū)域尺寸有誤差等問題，提出了一種基于融合細(xì)分的紋理圖像重構(gòu)模型。首先提取原始圖像的分割區(qū)域，經(jīng)過輪廓跟蹤與下采樣得到區(qū)域形狀的特征向量;然后利用三重逼近與三重插值統(tǒng)一的融合細(xì)分方法，重建區(qū)域輪廓曲線;最后合成區(qū)域紋理，得到紋理圖像重構(gòu)結(jié)果。在多幅自然場景圖像上進(jìn)行實(shí)驗(yàn)驗(yàn)證，并給出相應(yīng)的實(shí)驗(yàn)結(jié)果和分析。實(shí)驗(yàn)結(jié)果表明，所提模型正確有效，具有和人類視覺特性相符合的重構(gòu)結(jié)果; 所提算法能夠減少圖像重建時(shí)的處理時(shí)間，并在圖像質(zhì)量主觀評價(jià)指標(biāo)上明顯優(yōu)于多區(qū)域圖像重建算法。
關(guān)鍵詞：紋理圖像重構(gòu);融合細(xì)分;紋理合成;圖像分割
一、引言
隨著數(shù)字多媒體技術(shù)的發(fā)展，人們對高效的圖像信息處理提出了更高的要求�，F(xiàn)有的基于像素/塊的圖像處理技術(shù)忽略了圖像的層級結(jié)構(gòu)，無法直接用于內(nèi)容分析;而基于對象的又難以滿足圖像處理在通用性方面的需求[1]。因此，如何找到一種更加有效的圖像表征方法一直是圖像處理領(lǐng)域的研究熱點(diǎn)與難點(diǎn)問題。
紋理是表達(dá)圖像內(nèi)容的一個(gè)非常重要的屬性，它廣泛存在于各類圖像中。紋理圖像通常構(gòu)成圖像或視頻的靜止背景。圖像中的紋理分為兩大類：不重要主觀細(xì)節(jié)紋理和重要主觀細(xì)節(jié)紋理[2]。由于人類視覺系統(tǒng)固有的缺陷，人眼對平滑區(qū)域的敏感性遠(yuǎn)高于紋理密集區(qū)域，圖像中的紋理通常是人眼不關(guān)注的那部分內(nèi)容，因此紋理細(xì)節(jié)的變化不會影響對原始紋理的主觀理解[3]。
近年來，基于樣圖的紋理合成在圖像修復(fù)、壓縮編碼、紋理傳輸?shù)确矫嬗兄鴱V泛的應(yīng)用[4-6]。Efros等[7]提出一種計(jì)算較簡單的Image Quilting算法，通過計(jì)算紋理重疊區(qū)域的累積誤差和最小誤差路徑進(jìn)行紋理拼接。而旋轉(zhuǎn)的Wang Tiles 紋理合成算法[8]能夠克服Wang Tiles 存在的樣圖利用不完全、切割路徑非最優(yōu)、中心和拐角區(qū)域不匹配等缺點(diǎn)。
圖像中的線結(jié)構(gòu)是指用來定義目標(biāo)形狀的輪廓或劃分區(qū)域的邊界，是圖像的形狀特征表達(dá)[9-10]。早期的形狀描述方法使用二進(jìn)制圖像，基于二進(jìn)制邊緣的方法有很多，例如多邊形近似、曲率的頻域表示等。Zhang等[11]系統(tǒng)闡述了兩類圖像形狀的表示算法：一類是基于輪廓，另一類是基于區(qū)域。每一類形狀表示算法可分為結(jié)構(gòu)方法和全局方法，并適用于空域和變換域。
利用圖像的線結(jié)構(gòu)與紋理特性，文獻(xiàn)[12]提出了一種基于分段迭代曲線擬合的多區(qū)域圖像重建算法。包含了大量紋理的多區(qū)域重建結(jié)果用于構(gòu)建圖像或視頻的靜止背景，而圖像的前景是駿馬、蒼鷹或美女等，視頻的前景是飛馳的獵豹、飛翔的蒼鷹或游泳的美女等。由人類視覺系統(tǒng)的感知特性可知，人眼的視覺注意力主要集中于上述前景，而靜止背景的視覺關(guān)注度是低的，尤其是紋理靜止背景[12]�；诰�結(jié)構(gòu)和紋理特性的圖像重建方法適用于構(gòu)建圖像與視頻的靜止背景圖像。
但是，利用分段迭代曲線擬合重建的區(qū)域輪廓曲線是不連續(xù)的，需使用膨脹算法進(jìn)行修復(fù)，從而造成重建區(qū)域的尺寸存在誤差，因此會引起重建質(zhì)量差的問題。針對上述問題，提出利用三重逼近與三重插值統(tǒng)一的融合細(xì)分方法，重建區(qū)域輪廓曲線;將合成的區(qū)域紋理填充到重建的區(qū)域輪廓曲線中，從而得到紋理圖像重構(gòu)結(jié)果。實(shí)驗(yàn)結(jié)果表明本文算法重構(gòu)的圖像質(zhì)量良好，圖像質(zhì)量的主觀評價(jià)指標(biāo)明顯優(yōu)于多區(qū)域圖像重建算法。
圖1是本文提出的基于融合細(xì)分的紋理圖像重構(gòu)模型結(jié)構(gòu)流程，主要包括預(yù)處理、融合細(xì)分和重構(gòu)紋理圖像3個(gè)階段。
預(yù)處理階段首先利用圖像分割與區(qū)域融合方法獲得原始紋理圖像的多個(gè)區(qū)域及其索引號;然后通過輪廓跟蹤與下采樣，獲得代表區(qū)域輪廓結(jié)構(gòu)特征的有序序列。
融合細(xì)分階段利用三重逼近與三重插值統(tǒng)一的融合細(xì)分方法，重建區(qū)域輪廓曲線。
重構(gòu)紋理圖像階段首先，得到包含區(qū)域紋理局部與全局特征的區(qū)域紋理樣本;然后，利用基于樣圖的紋理合成算法合成區(qū)域紋理;最后，將合成的區(qū)域紋理填充到重建的區(qū)域輪廓曲線中，實(shí)現(xiàn)紋理圖像重構(gòu)。
1.1預(yù)處理
首先，原始圖像被分割為許多包含同質(zhì)顏色與紋理特征的小分割區(qū)域[13-14]，同時(shí)考慮到紋理樣本選擇對分割結(jié)果是敏感的，空間緊鄰的小分割區(qū)域必須合并成較大的區(qū)域，每個(gè)區(qū)域獲得一個(gè)唯一的索引號。
然后，利用輪廓跟蹤算法[10-11]得到一個(gè)由區(qū)域邊界曲線上的像素點(diǎn)組成的有序序列，按照隨機(jī)間隔進(jìn)行有序抽樣即下采樣提取，得到代表區(qū)域輪廓形狀的特征向量(xs，ys)，其中s是向量元素在區(qū)域輪廓曲線上的位置序號。
1.2融合細(xì)分
為了得到插值與逼近統(tǒng)一的融合細(xì)分方法，本文用新的角度觀察三重逼近細(xì)分。
首先設(shè)定初始控制頂點(diǎn)P0i(i=1，2，…，n);其次在P0i和P0i+1之間的1/3和2/3處分別插入兩個(gè)新的頂點(diǎn)P03i+1和P03i+2：
P03i+1=23P0i+13P0i+1
P03i+2=13P0i+23P0i+1(1
然后定義位移Δi如下所示：
Δi=-127P0i-1+227P0i-127P0i+1(2
將P03i+1和P03i+2分別移到新位置P13i+1和P13i+2，位移分別是Δi和Δi+1;同時(shí)將P03i移到新位置P13i，其位移恰好是4Δi。根據(jù)上述步驟，經(jīng)過k次修改后，可得到一組新的控制頂點(diǎn)Pk+1。因此，三重逼近細(xì)分的遞推公式可歸納為：
Pk+13i=Pki-4Δki
Pk+13i+1=23Pki+13Pki+1-Δki
Pk+13i+2=13Pki+23Pki+1-Δki+1 (3
基于上述三重逼近細(xì)分的推導(dǎo)方法，可推出新的三重插值細(xì)分。首先，保持控制網(wǎng)格中P0i固定不動(dòng);然后，將新插入的頂點(diǎn)P03i+1和P03i+2移到新位置P13i+1和P13i+2，位移分別為Δ′3i+1和Δ′3i+2，其位移方向恰好與三重逼近細(xì)分的頂點(diǎn)位移方向相反。Δ′3i+1和Δ′3i+2通過線性加權(quán)組合得到，并且滿足細(xì)分曲線的收斂性和光滑性[15-16]，定義如下：
Δ′3i+d=ωΔi+d-1+υΔi+2-d; d=1，2 (4)
其中：ω=32(1+μ)，υ=32(1-μ)， μ是自由參數(shù)。
根據(jù)式(4)定義的位移算子，得到三重插值細(xì)分新的表示：
P′k+13i=Pki
P′k+13i+1=23Pki+13Pki+1+ωΔki+υΔki+1
P′k+13i+2=13Pki+23Pki+1+υΔki+ωΔki+1 (5
然后，利用權(quán)值參數(shù)α(0≤α≤1)得到三重逼近與三重插值統(tǒng)一的融合細(xì)分。三重逼近細(xì)分規(guī)則和三重插值細(xì)分規(guī)則統(tǒng)一的表示：
Pk+13i=Pki-4αΔki
Pk+13i+1=23Pki+13Pki+1-αΔki+(1-α)(ωΔki+υΔki+1)
Pk+13i+2=13Pki+23Pki+1-αΔki+1+(1-α)(υΔki+ωΔki+1) (6
顯然，式(3)和式(5)均為式(6)的特殊情況。當(dāng)α=1時(shí)，式(6)代表三重逼近細(xì)分;當(dāng)α=0時(shí)，式(6)代表三重插值細(xì)分;當(dāng)0<α<1時(shí)，式(6)可生成介于三重逼近細(xì)分和三重插值細(xì)分之間的細(xì)分曲線。
圖2 給出了一簇由融合細(xì)分生成的從逼近到插值的細(xì)分曲線，權(quán)值參數(shù)α從里到外依次為1.0，0.8，0.6，0.4，0.2，0。最里層的實(shí)線為逼近細(xì)分曲線，最外層的實(shí)線為插值細(xì)分曲線，中間4條虛線是介于逼近細(xì)分和插值細(xì)分之間的細(xì)分曲線。實(shí)驗(yàn)證明，融合細(xì)分中的權(quán)值參數(shù)α能調(diào)節(jié)細(xì)分曲線的插值特性與逼近特性。
最后，進(jìn)一步整理式(6)，得到三重融合細(xì)分方法新的表示：
Pk+13i=a0Pki-1+a1Pki+a0Pki+1
Pk+13i+1=b0Pki-1+b1Pki+b2Pki+1+b3Pki+2
Pk+13i+2=b3Pki-1+b2Pki+b1Pki+1+b0Pki+2 (7)
其中： a0=427α， a1=1-827α， b0=127-127(1-α)(ω+1)， b1=1627+127(1-α)(2+2ω-υ)， b2=1027+127(1-α)(-1-ω+2υ)， b3=-127(1-α)υ， 0≤α≤1，ω=32(1+μ)，υ=32(1-μ)，μ是自由參數(shù)。實(shí)驗(yàn)證明，當(dāng)1/5<μ<1/3時(shí)，三重逼近與三重插值統(tǒng)一的融合細(xì)分生成的細(xì)分極限曲線可達(dá)到C2連續(xù)[17]。
1.3重構(gòu)紋理圖像
首先，利用自回歸統(tǒng)計(jì)分析模型對區(qū)域內(nèi)部紋理進(jìn)行分析;然后，選擇包含區(qū)域紋理局部與全局特征信息的區(qū)域紋理樣本，合成區(qū)域紋理[7-8];最后，把合成的區(qū)域紋理填充到重建的區(qū)域輪廓曲線中，得到紋理圖像重構(gòu)結(jié)果。具體的過程示例如圖3所示。
二、實(shí)驗(yàn)結(jié)果與分析
為驗(yàn)證本文給出的基于融合細(xì)分的紋理圖像重構(gòu)模型的正確性與有效性，選取包含大量紋理的自然場景圖像進(jìn)行實(shí)驗(yàn)，并分別使用文獻(xiàn)[12]算法和本文算法進(jìn)行紋理圖像重建�；贑++語言實(shí)現(xiàn)算法。實(shí)驗(yàn)環(huán)境為3.3GHz，Intel Core i3處理器，內(nèi)存2GB。融合細(xì)分中的自由參數(shù)μ=3/10，α=0.27。
由實(shí)驗(yàn)結(jié)果(圖4～8)可知，本文的紋理圖像重構(gòu)質(zhì)量優(yōu)于對比算法。影響紋理圖像重構(gòu)質(zhì)量的因素主要有兩個(gè)：
1) 區(qū)域輪廓曲線重建結(jié)果。如果重建的輪廓曲線不正確，則重建的區(qū)域形狀就不正確。文獻(xiàn)[12]使用分段迭代曲線擬合重建的區(qū)域輪廓不能正確反映區(qū)域形狀特征;而本文利用融合細(xì)分重建的區(qū)域輪廓曲線更合理。
2) 重建區(qū)域尺寸。為了使重建的區(qū)域輪廓曲線是連續(xù)、封閉的，文獻(xiàn)[12]使用了膨脹算法，造成重建區(qū)域的尺寸誤差;原始區(qū)域尺寸越小，這種誤差就越明顯;本文中重建區(qū)域的尺寸是正確的。
本文提出的基于融合細(xì)分的紋理圖像重構(gòu)模型的目的并不是為了使重構(gòu)紋理圖像與原始紋理圖像完全一致，而是使人眼盡可能看起來自然、不令人討厭。本文采用主觀質(zhì)量評價(jià)方法――雙刺激失真衡量階梯(Double Stimulus Impairment Scale， DSIS)。挑選25名非圖像專業(yè)的一年級學(xué)生作為觀測者。表1是ITUR五分制評分等級。平均意見分(Mean Opinion Score，MOS)代表觀測者評分的平均水平;標(biāo)準(zhǔn)差用于計(jì)算主觀質(zhì)量評分結(jié)果的可信范圍即95%置信區(qū)間[18]。
表2是文獻(xiàn)[12]算法與本文算法重構(gòu)結(jié)果的視覺質(zhì)量評價(jià)參數(shù)值比較。由表2可知，本文算法的實(shí)驗(yàn)結(jié)果與文獻(xiàn)[12]算法相比，MOS值分別提高了0.84，0.8，0.76，0.8，0.48。比較其他實(shí)驗(yàn)的MOS值，實(shí)驗(yàn)5的MOS值僅提高了0.48，這是由于該幅圖像的區(qū)域輪廓曲線基本是平滑的，分段迭代曲線擬合重建的輪廓曲線與融合細(xì)分重建的輪廓曲線基本相同，文獻(xiàn)[12]只是造成重建區(qū)域的尺寸誤差。實(shí)驗(yàn)1的MOS值提高了0.84，這是由于該幅圖像的區(qū)域輪廓曲線包含很多類似毛刺的形狀特征，而文獻(xiàn)[12]中分段迭代曲線擬合重建的輪廓曲線是平滑的，對區(qū)域輪廓形狀造成明顯的視覺損傷。
表3是文獻(xiàn)[12]算法與本文算法的紋理圖像重構(gòu)所需數(shù)據(jù)量比較。測試結(jié)果表明，與文獻(xiàn)[12]算法相比，本文算法的紋理圖像重構(gòu)所需數(shù)據(jù)量略有增加。表4是本文算法與文獻(xiàn)[12]算法運(yùn)行時(shí)間的比較。測試結(jié)果表明，與文獻(xiàn)[12]算法相比，本文算法的輪廓重建計(jì)算復(fù)雜度有所降低。
三、結(jié)語
本文提出一種基于融合細(xì)分的紋理圖像重構(gòu)模型。該模型首先得到原始圖像的分割區(qū)域，進(jìn)而提取代表輪廓形狀的特征向量;然后利用融合細(xì)分重建區(qū)域輪廓，最后將合成的區(qū)域紋理填充到重建的區(qū)域輪廓曲線中，實(shí)現(xiàn)紋理圖像重建。
與其他基于區(qū)域形狀與紋理信息的圖像重建算法相比，用本文給出的三重逼近與三重插值統(tǒng)一的融合細(xì)分方法重建的區(qū)域輪廓，能更準(zhǔn)確有效地表征區(qū)域輪廓形狀。對于包含大量紋理的原始圖像，本文算法能得到好的重建結(jié)果，但對于含有非紋理細(xì)節(jié)信息的原始圖像，重建質(zhì)量不理想。因此，如何能夠依據(jù)圖像自身特點(diǎn)，設(shè)計(jì)出更合理的重建方法，適用于更復(fù)雜的圖像是今后進(jìn)一步努力的方向。
參考文獻(xiàn)：
[1]SIKORA T. Trends and perspectives in image and video coding[J]. Proceedings of the IEEE， 2005， 93(1)： 6-17.
[2]NDJIKINYA P， BULL D， WIEGAND T. Perceptionoriented video coding based on texture analysis and synthesis[C]// Proceedings of the 16th IEEE International Conference on Image Processing. Piscataway： IEEE， 2009： 2273-2276.
[3]SUN K， YE L， YANG Y， et al. Image restoration using piecewise iterative curve fitting and texture synthesis[C]// Proceedings of the 4th International Conference on Intelligent Computing. Piscataway： IEEE， 2008： 1056-1063.
[4]ZUJOVIC J， PAPPAS T N， NEUHOFF D L. Structural texture similarity metrics for image analysis and retrieval[J]. IEEE Transactions on Image Processing， 2013， 22(7)： 2545-2558.
[5]BALLE J， STOJANOVIC A， OHM J R. Models for static and dynamic texture synthesis in image and video compression[J]. Journal of Selected Topics in Signal Processing， 2011， 5(7)： 1353-1365.
[6]ZHANG X， KIM Y J. Efficient texture synthesis using strict Wang Tiles[J]. Graphical Models， 2008， 70(3)： 43-56.
[7]EFROS A A， FREEMAN W T. Image quilting for texture synthesis and transfer[C]// Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM， 2001： 341-346.
[8]WANG J， PANG M， ZHAO R. Texture synthesis using rotational Wang Tiles[J]. Journal of Image and Graphics， 2013， 18 (1)： 49-54. (王繼東， 龐明勇， 趙瑞斌. 旋轉(zhuǎn)的Wang Tiles紋理合成算法[J]. 中國圖象圖形學(xué)報(bào)， 2013， 18(1)： 49-54.)
[9]GAO C， ZHOU J， HU J， et al. Edge detection of colour image based on quaternion fractional differential[J]. IET Image Processing， 2011， 5(3)： 261-272.
[10]ADAMEK T， O’CONNOR N. Efficient contourbased shape representation and matching[C]// Proceedings of the 5th ACM SIGMM International Workshop on Multimedia Information Retrieval. New York： ACM， 2003： 138-143.
[11]ZHANG D， LU G. Review of shape representation and description techniques [J]. Pattern Recognition， 2004， 37(1)： 1-19.
[12]WAN J， YE L. Multiregion image reconstruction algorithm[J]. Journal of Computer Applications， 2013， 33(12)： 3544-3547. (萬金梁， 葉龍. 多區(qū)域圖像重建算法[J]. 計(jì)算機(jī)應(yīng)用， 2013， 33(12)： 3544-3547.)
[13]DENG Y， MANJUNATH B S. Unsupervised segmentation of colortexture regions in images and video[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2001， 23(8)： 800-810.
【基于融合細(xì)分的紋理圖像重構(gòu)模型】相關(guān)文章：
基于離散小波變換和圖像融合的彩色圖像數(shù)字水印算法03-07
基于視覺注意力模型的圖像檢索的研究11-22
圖像紋理特征的分析方法研究03-07
勞瑞模型的重構(gòu)03-07
圖像標(biāo)注的迭代關(guān)聯(lián)模型03-07
現(xiàn)行審計(jì)風(fēng)險(xiǎn)模型的缺陷與重構(gòu)03-21
基于高斯混合模型和變量重構(gòu)組合法的故障診斷與分離11-20
基于內(nèi)容的圖像檢索研究11-20