- 相關(guān)推薦
雙目立體視覺技術(shù)的實(shí)現(xiàn)及其進(jìn)展
摘要：闡述了雙目立體視覺技術(shù)在國(guó)內(nèi)外應(yīng)用的最新動(dòng)態(tài)及其優(yōu)越性。指出雙目體視技術(shù)的實(shí)現(xiàn)分為國(guó)像獲取、攝像機(jī)標(biāo)定、特片提取、立體匹配和三維重建幾個(gè)步驟，詳細(xì)分析了各個(gè)步驟的技術(shù)特點(diǎn)、存在的問題和解決方案，并對(duì)雙目體視技術(shù)的發(fā)展做了展望。雙目立體視覺是計(jì)算機(jī)視覺的一個(gè)重要分支，即由不同位置的兩臺(tái)或者一臺(tái)攝像機(jī)（CCD）經(jīng)過移動(dòng)或旋轉(zhuǎn)拍攝同一幅場(chǎng)景，通過計(jì)算空間點(diǎn)在兩幅國(guó)像中的視差，獲得該點(diǎn)的三維坐標(biāo)值。80年代美國(guó)麻省理工學(xué)院人工智能實(shí)驗(yàn)室的Marr提出了一種視覺計(jì)算理論并應(yīng)用在雙睛匹配上，使兩張有視差的平面圖產(chǎn)生在深度的立體圖形，奠定了雙目立體視覺發(fā)展理論基礎(chǔ)。相比其他類的體視方法，如透鏡板三維成像、投影式三維顯示、全息照相術(shù)等，雙目本視直接模擬人類雙眼處理景物的方式，可靠簡(jiǎn)便，在許多領(lǐng)域均極具應(yīng)用價(jià)值，如微操作系統(tǒng)的位姿檢測(cè)與控制、機(jī)器人導(dǎo)航與航測(cè)、三維測(cè)量學(xué)及虛擬現(xiàn)實(shí)等。
1 雙目體視的技術(shù)特點(diǎn)
雙目標(biāo)視技術(shù)的實(shí)現(xiàn)可分為以下步驟：圖像獲取、攝像機(jī)標(biāo)定、特征提取、圖像匹配和三維重建，下面依次介紹各個(gè)步驟的實(shí)現(xiàn)方法和技術(shù)特點(diǎn)。
1.1 圖像獲取
雙目體視的圖像獲取是由不同位置的兩臺(tái)或者一臺(tái)攝像機(jī)（CCD）經(jīng)過移動(dòng)或旋轉(zhuǎn)拍攝同一幅場(chǎng)景，獲取立體圖像對(duì)。其針孔模型如圖1。假定攝像機(jī)C1與C2的角距和內(nèi)部參數(shù)都相等，兩攝像機(jī)的光軸互相平行，二維成像平面X1O1Y1和X2O2Y2重合，P1與P2分別是空間點(diǎn)P在C1與C2上的成像點(diǎn)。但一般情況下，針孔模型兩個(gè)攝像機(jī)的內(nèi)部參數(shù)不可能完成相同，攝像機(jī)安裝時(shí)無法看到光軸和成像平面，故實(shí)際中難以應(yīng)用。
上海交大在理論上對(duì)會(huì)攝式雙目體視系統(tǒng)的測(cè)量精度與系統(tǒng)結(jié)構(gòu)參數(shù)之間的關(guān)系作了詳盡分析，并通過試驗(yàn)指出，對(duì)某一特定點(diǎn)進(jìn)行三角測(cè)量。該點(diǎn)測(cè)量誤差與兩CCD光軸夾角是一復(fù)雜的函數(shù)關(guān)系；若兩攝像頭光軸夾角一定，則被測(cè)坐標(biāo)與攝像頭坐標(biāo)系之間距離越大，測(cè)量得到點(diǎn)距離的誤差就越大。在滿足測(cè)量范圍的前提下，應(yīng)選擇兩CCD之間夾角在50℃～80℃之間。
1.2 攝像機(jī)的標(biāo)定
對(duì)雙目體視而言，CCD攝像機(jī)、數(shù)碼相機(jī)是利用計(jì)算機(jī)技術(shù)對(duì)物理世界進(jìn)行重建前的基本測(cè)量工具，對(duì)它們的標(biāo)定是實(shí)現(xiàn)立體視覺基本而又關(guān)鍵的一步。通常先采用單攝像機(jī)的標(biāo)定方法，分別得到兩個(gè)攝像機(jī)的內(nèi)、外參數(shù)；再通過同一世界坐標(biāo)中的一組定標(biāo)點(diǎn)來建立兩個(gè)攝像機(jī)之間的位置關(guān)系。目前常用的單攝像機(jī)標(biāo)定方法主要有：
（1）攝影測(cè)量學(xué)的傳統(tǒng)設(shè)備標(biāo)定法。利用至少17個(gè)參數(shù)描述攝像機(jī)與三維物體空間的結(jié)束關(guān)系，計(jì)算量非常大。
（2）直接線性變換性。涉及的參數(shù)少、便于計(jì)算。
（3）透視變換短陣法。從透視變換的角度來建立攝像機(jī)的成像模型，無需初始值，可進(jìn)行實(shí)時(shí)計(jì)算。
（4）相機(jī)標(biāo)定的兩步法。首先采用透視短陣變換的方法求解線性系統(tǒng)的攝像機(jī)參數(shù)，再以求得的參數(shù)為初始值，考慮畸變因素，利用最優(yōu)化方法求得非線性解，標(biāo)定精度較高。
（5）雙平面標(biāo)定法。
在雙攝像機(jī)標(biāo)定中，需要精確的外部參數(shù)。由于結(jié)構(gòu)配置很難準(zhǔn)確，兩個(gè)攝像機(jī)的距離和視角受到限制，一般都需要至少6個(gè)以上（建議取10個(gè)以上）的已知世界坐標(biāo)點(diǎn)，才能得到比較滿意的參數(shù)矩陣，所以實(shí)際測(cè)量過程不但復(fù)雜，而且效果并不一定理想，大大地限制了其應(yīng)用范圍。此外雙攝像機(jī)標(biāo)定還需考慮鏡頭的非線性校正、測(cè)量范圍和精度的問題，目前戶外的應(yīng)用還有少。
上海大學(xué)通信與信息工程學(xué)院提出了基于神經(jīng)網(wǎng)絡(luò)的雙目立體視覺攝像機(jī)標(biāo)定方法。首先對(duì)攝像機(jī)進(jìn)行線性標(biāo)定，然后通過網(wǎng)絡(luò)訓(xùn)練建立起三維空間點(diǎn)位置補(bǔ)償?shù)亩鄬忧梆伾窠?jīng)網(wǎng)絡(luò)模型。此方法對(duì)雙目立體視覺攝像機(jī)的標(biāo)定具有較好的通用性，但是精確測(cè)量控制點(diǎn)的世界坐標(biāo)和圖像坐標(biāo)是一項(xiàng)嚴(yán)格的工作。因此神經(jīng)網(wǎng)絡(luò)中訓(xùn)練樣本集的獲得非常困難。
1.3 特征點(diǎn)提取
立體像對(duì)中需要撮的特征點(diǎn)應(yīng)滿足以下要求：與傳感器類型及抽取特征所用技術(shù)等相適應(yīng)；具有足夠的魯棒性和一致性。需要說明的是：在進(jìn)行特征點(diǎn)像的坐標(biāo)提取前，需對(duì)獲取的圖像進(jìn)行預(yù)處理。因?yàn)樵趫D像獲取過程中，存在一系列的噪聲源，通過此處理可顯著改進(jìn)圖像質(zhì)量，使圖像中特征點(diǎn)更加突出。
1．4 立體匹配
立體匹配是雙目體視中最關(guān)系、困難的一步。與普通的圖像配準(zhǔn)不同，立體像對(duì)之間的差異是由攝像時(shí)觀察點(diǎn)的不同引起的，而不是由其它如景物本身的變化、運(yùn)動(dòng)所引起的。根據(jù)匹配基元的不同，立體匹配可分為區(qū)域匹配、特征匹配和相位匹配三大類。
區(qū)域匹配算法的實(shí)質(zhì)是利用局部窗口之間灰度信息的相關(guān)程度，它在變化平緩且細(xì)節(jié)豐富的地方可以達(dá)到較高的精度。但該算法的匹配窗大小難以選擇，通常借助于窗口形狀技術(shù)來改善視差不連續(xù)處的匹配；其次是計(jì)算量大、速度慢，采取由粗至精分級(jí)匹配策略能大大減少搜索空間的大小，與匹配窗大小無關(guān)的互相關(guān)運(yùn)算能顯著提高運(yùn)算速度。
特片匹配不直接依賴于灰度，具有較強(qiáng)的抗干擾性，計(jì)算量小，速度快。但也同樣存一些不足：特征在圖像中的稀疏性決定特征匹配只能得到稀疏的視差場(chǎng)；特征的撮和定位過程直接影響匹配結(jié)果的精確度。改善辦法是將特征匹配的魯棒性和區(qū)域匹配的致密性充分結(jié)合，利用對(duì)高頻噪聲不敏感的模型來提取和定位特征。
相位匹配是近二十年才發(fā)展起來的一類匹配算法。相位作為匹配基元，本身反映信號(hào)的結(jié)構(gòu)信息，對(duì)圖像的高頻噪聲有很好的抑制作用，適于并行處理，能獲得亞像素級(jí)精度的致密視差。但存在相位奇點(diǎn)和相位卷繞的問題，需加入自適應(yīng)濾波器解決。
1．5 三維重建
在得到空間任一點(diǎn)在兩個(gè)圖像中的對(duì)應(yīng)坐標(biāo)和兩攝像機(jī)參數(shù)矩陣的條件下，即可進(jìn)行空間點(diǎn)的重
【雙目立體視覺技術(shù)的實(shí)現(xiàn)及其進(jìn)展】相關(guān)文章：
基于雙目計(jì)算機(jī)視覺的自適應(yīng)識(shí)別算法及其監(jiān)控應(yīng)用11-14
數(shù)字下變頻技術(shù)的研究及其FPGA實(shí)現(xiàn)03-07
醫(yī)學(xué)圖像配準(zhǔn)技術(shù)及其研究進(jìn)展03-01
COM服務(wù)器的偽異步技術(shù)及其實(shí)現(xiàn)03-18
TMS320F206的中斷技術(shù)及其實(shí)現(xiàn)03-18
反義核酸技術(shù)及其在寄生蟲學(xué)中的應(yīng)用進(jìn)展03-18
V-BLAST的實(shí)現(xiàn)及其檢測(cè)03-07
肺隔離技術(shù)進(jìn)展03-08