雙目立體(雙目視覺三維點云獲取要學習什么知識)

1.雙目視覺三維點云獲取要學習什么知識

雙目攝像頭是利用仿生學原理，通過標定后的雙攝像頭得到同步曝光圖像，然后計算獲取的2維圖像像素點的第三維深度信息。雙目攝像頭利用視覺計算原理，可以計算出拍攝場景內(nèi)物體的3維空間位置信息，在此基礎(chǔ)上可以實現(xiàn)環(huán)境感知、體感、建模、行為識別等各種應用。相比單目攝像頭，雙目攝像頭的功能更加豐富，可獲取依靠單目攝像頭無法準確識別的信息。

國內(nèi)這兩年有不少科技類初創(chuàng)企業(yè)都在積極布局深度攝像頭市場，其中冒出了不少做雙目視覺硬件的公司。我們公司最近因為一個項目在尋找合適的雙目硬件，幾經(jīng)對比下來，發(fā)現(xiàn)國內(nèi)居然有一款各方面參數(shù)都不錯的雙目——小覓雙目攝像頭深度版。經(jīng)過和他們公司的接觸，拿到了一款他們這個版本的內(nèi)測版，拿回來測試了之后效果還不錯，只是有些小的bug，所以準備等到他們深度版的正式量產(chǎn)后再購買。據(jù)說，這款深度版攝像頭將在今年三季度上市，“雙目+IMU”的方案本身就不錯，而且是彩色圖像輸出，可以直出深度圖，三維點云的獲取也很順暢。

2.雙目立體視覺原理最早什么時候提出的

一、雙目立體視覺原理最早始于上世紀的60年代中期提出。

分析：雙目立體視覺的開創(chuàng)性工作始于上世紀的60年代中期。美國MIT的Roberts通過從數(shù)字圖像中提取立方體、楔形體和棱柱體等簡單規(guī)則多面體的三維結(jié)構(gòu)，并對物體的形狀和空間關(guān)系進行描述，把過去的簡單二維圖像分析推廣到了復雜的三維場景，標志著立體視覺技術(shù)的誕生。

二、雙目立體視覺原理簡介：

雙目立體視覺是機器視覺的一種重要形式，是基于視差原理并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法。

3.雙眼立體視覺檢查圖

目前國內(nèi)外對視覺研究非常重視，因為它是揭示腦奧秘的最 好途徑，而立體視覺是視覺研究中的重要課題，隨著科學技術(shù)的高度發(fā)展，越來越多的職業(yè)需高敏立體視功能，故國內(nèi)外對立體 視覺的檢測法做了很多研究，盡管如此，立體視覺產(chǎn)生機制等問 題還不是很清楚。

現(xiàn)簡單介紹幾種國內(nèi)外常用的立體視覺檢測法。1。

dolman深徑計：此法是直觀式、三維信息刺激型、遠距 離檢測法，正常值為二根垂直桿相差在3cm內(nèi)，臨床已很少應用。2。

Titmus立體圖：依偏振光原理而制，屬圖像式，檢查時 需戴偏振光眼鏡，視差范圍400〃?40"。 該圖檢查方便，被檢者 易于理解，但準確性差，有單眼立體線索，重復性差，易記憶， 易出現(xiàn)假陽性，還有印刷質(zhì)量問題。

目前在國外此法應用最多。3。

同視機檢查法：圖像式、遠距離法，國內(nèi)使用很廣。傳 統(tǒng)的立體視圖片只能定性，不能定量，準確性較差，不能滿足臨 床需要。

顏少明新研制的隨機點同視機立體定量圖，視差范圍800"? 60"，圖形不重復，無暗示信號，無法猜測，極易識別，還能捕 捉雙眼單視破裂點，準確測定立體視，受到國內(nèi)外的重視，國外多采用近距檢查法。遠距與近距的立體視機制的內(nèi)涵不完全相同，這里有靜態(tài)和 動態(tài)立體視的問題，現(xiàn)代研究表明，規(guī)范的立體視檢查方法必須雙相測定，二者不可偏廢，彼此不可代替。

故隨機點同視機立體圖在對立體視覺研究和臨床應用上有更重要的意義和廣闊的前景。4。

Frisby立體板：直觀式、隨機點立體圖，不需戴偏振光 鏡或紅綠膠片鏡，視差范圍875" ~ 20"，檢查方便，但準確性較差，被檢者頭部固定不好時，易產(chǎn)生假陽性。 5。

TNO隨機點立體圖：戴紅綠眼鏡檢查，視差400"?15"， 正常值60"，此圖為測定整體視功能，有人對比了該圖與Titams 立體圖及Frisby立體板及雙桿立體測量儀，結(jié)論是測定有無立體視以該圖最好，但由于印刷質(zhì)量問題，圖片顏色與膠片不一定一 致，設(shè)計上存在暗示信號，密碼特性發(fā)揮不充分。 6。

顏氏隨機立體視覺檢查圖：該圖隨機點偽裝嚴密徹底， 項目齊全，客觀準確性好，自1985年出版以來，已在全國各地普遍使用。郭靜秋等利用三種方法進行兒童立體視銳度測定，發(fā) 現(xiàn)顏氏法及Frisby法正常值為≤60",Titmus法似以。

4.雙目立體視覺原理最早什么時候提出的

一、雙目立體視覺原理最早始于上世紀的60年代中期提出。

分析：雙目立體視覺的開創(chuàng)性工作始于上世紀的60年代中期。美國MIT的Roberts通過從數(shù)字圖像中提取立方體、楔形體和棱柱體等簡單規(guī)則多面體的三維結(jié)構(gòu)，并對物體的形狀和空間關(guān)系進行描述，把過去的簡單二維圖像分析推廣到了復雜的三維場景，標志著立體視覺技術(shù)的誕生。

二、雙目立體視覺原理簡介： 雙目立體視覺是機器視覺的一種重要形式，是基于視差原理并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法。

5.雙目立體視覺檢測的主要步驟有哪些

與普通的圖像模板匹配不同的是，立體匹配是通過在兩幅或多幅存在視點差異、幾何畸變、灰度畸變、噪聲干擾的圖像對之間進行的，不存在任何標準模板進行匹配。

立體匹配方法一般包含以下三個問題：（1）基元的選擇，即選擇適當?shù)膱D像特征如點、直線、相位等作為匹配基元；（2）匹配的準則，將關(guān)于物理世界的某些固有特征表示為匹配所必須遵循的若干規(guī)則，使匹配結(jié)果能真實反映景物的本來面目；（3）算法結(jié)構(gòu)，通過利用適當?shù)臄?shù)學方法設(shè)計能正確匹配所選擇基元的穩(wěn)定算法。根據(jù)匹配基元的不同，立體視覺匹配算法目前主要分為三大類，即區(qū)域匹配、相位匹配和特征匹配：基于區(qū)域灰度的匹配算法是把一幅圖像（基準圖）中某一點的灰度鄰域作為模板，在另一幅圖像（待匹配圖）中搜索具有相同（或相似）灰度值分布的對應點鄰域，從而實現(xiàn)兩幅圖像的匹配。

這類算法的性能取決于度量算法及搜索策略的選擇。另外，也必須考慮匹配窗口大小、形式的選擇，大窗口對于景物中存在的遮擋或圖像不光滑的情況會更多的出現(xiàn)誤匹配，小窗口則不具有足夠的灰度變化信息，不同的窗口形式對匹配信息也會有不同的影響。

因此應該合理選取匹配區(qū)域的大小和形式來達到較好的匹配結(jié)果。相位匹配是近二十年發(fā)展起來的。

與普通的圖像模板匹配不同的是，立體匹配是通過在兩幅或多幅存在視點差異、幾何畸變、灰度畸變、噪聲干擾的圖像對之間進行的，不存在任何標準模板進行匹配。立體匹配方法一般包含以下三個問題：（1）基元的選擇，即選擇適當?shù)膱D像特征如點、直線、相位等作為匹配基元；（2）匹配的準則，將關(guān)于物理世界的某些固有特征表示為匹配所必須遵循的若干規(guī)則，使匹配結(jié)果能真實反映景物的本來面目；（3）算法結(jié)構(gòu)，通過利用適當?shù)臄?shù)學方法設(shè)計能正確匹配所選擇基元的穩(wěn)定算法。

根據(jù)匹配基元的不同，立體視覺匹配算法目前主要分為三大類，即區(qū)域匹配、相位匹配和特征匹配：基于區(qū)域灰度的匹配算法是把一幅圖像（基準圖）中某一點的灰度鄰域作為模板，在另一幅圖像（待匹配圖）中搜索具有相同（或相似）灰度值分布的對應點鄰域，從而實現(xiàn)兩幅圖像的匹配。這類算法的性能取決于度量算法及搜索策略的選擇。

另外，也必須考慮匹配窗口大小、形式的選擇，大窗口對于景物中存在的遮擋或圖像不光滑的情況會更多的出現(xiàn)誤匹配，小窗口則不具有足夠的灰度變化信息，不同的窗口形式對匹配信息也會有不同的影響。因此應該合理選取匹配區(qū)域的大小和形式來達到較好的匹配結(jié)果。

相位匹配是近二十年發(fā)展起來的一種匹配算法，相位作為匹配基元，即認為圖像對中的對應點局部相位是一致的。最常用的相位匹配算法有相位相關(guān)法和相位差——頻率法，雖然該方法是一種性能穩(wěn)定、具有較強的抗輻射抗透視畸變能力、簡單高效、能得到稠密視差圖的特征匹配方法。

但是，當局部結(jié)構(gòu)存在的假設(shè)不成立時，相位匹配算法因帶通輸出信號的幅度太低而失去有效性，也就是通常提到的相位奇點問題，在相位奇點附近，相位信息對位置和頻率的變化極為敏感，因此用這些像素所確定的相位差異來衡量匹配誤差將導致極不可靠的結(jié)果。此外，相位匹配算法的收斂范圍與帶通濾波器的波長有關(guān)，通常要考慮相位卷繞，在用相位差進行視差計算時，由于所采用的相位只是原信號某一帶通條件下的相位，故視差估計只能限制在某一限定范圍之內(nèi)，隨視差范圍的增大，其精確性會有所下降。

基于特征的圖像匹配方法是目前最常用的方法之一，由于它能夠?qū)φ麄€圖像進行的各種分析轉(zhuǎn)化為對圖像特征（特征點、特征曲線等）的分析的優(yōu)點，從而大大減小了圖像處理過程的計算量，對灰度變化、圖像變形、噪音污染以及景物遮擋等都有較好的適應能力。基于特征的匹配方法是為使匹配過程滿足一定的抗噪能力且減少歧義性問題而提出來的。

與基于區(qū)域的匹配方法不同，基于特征的匹配方法是有選擇地匹配能表示景物自身特性的特征，通過更多地強調(diào)空間景物的結(jié)構(gòu)信息來解決匹配歧義性問題。這類方法將匹配的搜索范圍限制在一系列稀疏的特征上。

利用特征間的距離作為度量手段，具有最小距離的特征對就是最相近的特征對，也就是匹配對。特征間的距離度量有最大最小距離、歐氏距離等。

特征點匹配算法嚴格意義上可以分成特征提取、特征匹配和消除不良匹配點三步。特征匹配不直接依賴于灰度，具有較強的抗干擾性。

該類方法首先從待匹配的圖像中提取特征，用相似性度量和一些約束條件確定幾何變換，最后將該變換作用于待匹配圖像。匹配中常用的特征基元有角點、邊緣、輪廓、直線、顏色、紋理等。

同時，特征匹配算法也同樣地存在著一些不足，主要表現(xiàn)為：（l）特征在圖像中的稀疏性決定了特征匹配只能得到稀疏的視差場，要獲得密集的視差場必須通過使用插值的過程，插值過程通常較為復雜。（2）特征的提取和定位的準確與否直接影響特征匹配結(jié)果的精確度。

（3）由于其應用場合的局限性，特征匹配往往適用于具有特征信息顯著的環(huán)境中，在缺少顯著主導特征環(huán)境中該方法有很大困難?？傊?，特征匹配基元包含了算法編程上的靈活性。

6.關(guān)于眼睛的一些經(jīng)典的小知識

眼，視覺器官。亦稱眼睛、目、招子，是大部分動物接收光線并在大腦形成影像的器官。對于人類來說，它是視覺器官，最重要的感覺器官之一。眼是一個非常精細的器官，可以在不同的環(huán)境下對自己 的具體形態(tài)進行改變，使得人類在復雜的環(huán)境中獲取正確的信息。

最簡單的眼睛結(jié)構(gòu)可以探測周圍環(huán)境的明暗，更復雜的眼睛結(jié)構(gòu)可以提供視覺（復眼通常在節(jié)肢動物，例如昆蟲中發(fā)現(xiàn)，通常有很多簡單的小眼面組成，并產(chǎn)生一個影像）。

在很多脊椎動物和一些軟體動物中，眼睛通過把光投射到對光敏感的視網(wǎng)膜成像，在那里，光線被接收并轉(zhuǎn)化成信號并通過視神經(jīng)傳遞到腦部。通常眼睛是球狀的，當中充滿透明的凝膠狀的物質(zhì)，有一個聚焦用的晶狀體，通常還有一個可以控制進入眼睛光線多少的虹膜。

而且，人眼睛的顏色取決于虹膜。

7.雙目立體視覺重構(gòu)三維空間點時候,如何考慮畸變因素

人類的空間知覺系由兩種因素所組成。一種并不是人體固有的，它是由過去的實踐經(jīng)驗所形成的一種空間判斷能力。另一種，是人體固有的本能，它是由于兩眼視網(wǎng)膜像的輕度差異所導致的立體感覺。前者可以由單獨一只眼去實現(xiàn)，而后者要靠兩眼的聯(lián)合作用去完成。再者，正常的雙眼空間定位是根據(jù)兩眼的正常像差所形成，當兩眼的像差超過了正常范圍，必然地要發(fā)生錯誤的空間定位，因而導致所處環(huán)境中各種物貌的改變。

兩眼對著圖中的 F 點注視時，兩眼單視圖上的兩個物體 A 和 B 在兩眼視網(wǎng)膜的對應點處結(jié)成像點為 a 和 b ，如把水平性等像透鏡放在右眼之前，使右眼所成的像均沿著水平子午線放大，則原來的 AB ，在右眼看來變?yōu)?A 1 B 1 。右眼視網(wǎng)膜上的像亦由 ab 變?yōu)?a ′ b ′ ，但左眼者不變。因為能夠同時刺激左眼 a 點和右眼 a ′ 點的物體只有 c 點，因而被試者感到 A 點向 C 點移近。又因為能夠同時刺激左眼 b 點和右眼 b ′ 點的物體只有 D 點，因而感到 F 點向 D 點后退。由于物像在視網(wǎng)膜上的水平差異，因而產(chǎn)生外界實體的畸變，使圖中的 AB 平面以 F 為固定點向 CD 的位置旋轉(zhuǎn)。

假若被試者右眼戴著等像透鏡，觀察正前方的兩條大小相同、距離相等的豎立著的棍子，會感到右側(cè)的要粗大些，并且距離要遠些。整個視野的物體部是右半較大些。一個平的桌面變得右側(cè)向下，左側(cè)向上偏斜。受試者所處的地平面也發(fā)生同樣的偏斜，好像在一個斜坡上走動。如果觀察人臉，也是右側(cè)大些.成為不對稱的怪樣子：正方形的物體都成為不規(guī)則的四邊形，圓形成為卵圓形。如果這個試驗繼續(xù)一段相當長的時間，這些不常見的怪現(xiàn)象會慢慢地消失。 Burian 于 1943 年的實驗證實，如果戴著這種鏡子堅持 3~4d ，并且生活在熟悉的環(huán)境中，上述的畸變就可完全消失。但是如果把他領(lǐng)進—個參照景物較少的生疏環(huán)境中上述視畸變又會再次出現(xiàn)。

從上面的試驗不難看出，盡管兩眼空間視覺的最基本條件：正常范圍的雙眼像差受到影響，但仍可用視覺心理的因素予以糾正。這種糾正首先是靠實踐，也就是除了視覺以外的其他感覺器官，如手、足等，直接與外界物體的接觸，還有大腦的高級神經(jīng)活動的興奮和抑制作用的互相協(xié)調(diào)。既要實踐，就要時間，所需時間的長短，與被糾正的難易程度和各人的神經(jīng)體質(zhì)、精神狀態(tài)有很大關(guān)系。因此，如果兩眼像差不很明顯，在正常情況下并不顯現(xiàn)癥狀，但當身體暫時虛弱，精神沮喪，或者高空飛行員，由于客觀環(huán)境的改變，部可以保高空缺氧時，隱性斜視變?yōu)轱@性斜視—樣，導致像不等癥狀的出現(xiàn)。