基于ARM平臺的深度圖像采集程序設計與實現(xiàn)計算機專業(yè)

1、摘 要在當今這一智能化的信息時代，三維圖像采集技術發(fā)展迅猛，應用廣泛。通過鏡頭對目標進行識別、跟蹤和測量，之后再做進一步的圖像處理，得到適合人類觀察或機器識別的圖像是三維圖像采集的主要作用。目前關于深度信息采集的研究方法有多種，包括：三角測量法、TOF測距、干涉法和結(jié)構光。本課題主要研究的是基于ARM平臺的深度圖像采集系統(tǒng)，其測量原理是通過計算發(fā)射信號與返回信號的相位差，進而得到各像素點的距離，實現(xiàn)三維圖像的實時獲取。主要完成的工作包括以下幾點：（1）了解TOF測距技術在國內(nèi)外的發(fā)展現(xiàn)狀，查閱資料了解不同三維信息采集方法及其優(yōu)缺點，根據(jù)設計要求，制定完整的系統(tǒng)設計方案。（2）掌握epc610芯

2、片的TOF測距原理，各引腳參數(shù)，寄存器的讀寫命令字以及LED調(diào)制，繪制epc610采集系統(tǒng)的電路圖。（3）編寫并調(diào)試程序?qū)崿F(xiàn)圖像數(shù)據(jù)的采集與處理，得到最終的三維信息，解決零點漂移，積分時間的選擇等關鍵問題。（4）完成在不同條件下的數(shù)據(jù)測量，計算測量精度，結(jié)合理論知識對結(jié)果進行分析，得出結(jié)論。關鍵詞：三維圖像采集；TOF測距；積分時間；調(diào)制光；SPIDesign and implementation of depth image acquisition progame base on ARM platformAbstract In today's intelligent informat

3、ion age, three-dimensional image acquisition is developing rapidly and used widely. Through the lens to identify, track and measure the target, and then do further image processing, the pictures which get suitable for human observation or machine identification are the main role of three-dimensional

4、 image acquisition. At present, there are several research methods on the depth of image acquisition, including triangulation, TOF ranging, interferometry and structural light. The subject mainly study a image acquisition system based on the ARM platform, the measurement principle is phase differenc

5、e calculated by the transmission signal and the return signal, and then the distance of each pixel is gotten. The main work of thesis is as follows:(1) Understand the development of TOF distance measurement technology at home and abroad, access to information to understand the different three-dimens

6、ional information collection methods and their advantages and disadvantages. According to the design requirements, a complete system design is formulated.(2) Master the epc610 chip TOF ranging principle, the pin parameters, register read and write command words and LED modulation, drawing epc610 acq

7、uisition system circuit diagram.(3) Prepare and debug the program to achieve the image data collection and processing, get the final three-dimensional information to solve the zero drift, the choice of integration time and other key issues.(4)Complete the measurement of data in different conditions,

8、 calculate the measure- ment accuracy, combine with the theoretical knowledge to analysis experimental result, and draw conclusions.Key words: 3D image acquisition; TOF ranging; integration time; modulated light; SPI目 錄摘 要IAbstractII引 言11 緒論21.1 選題21.1.1 課題來源21.1.2 研究目的21.1.3 研究意義21.2 國內(nèi)外研究現(xiàn)狀31.3 論文

9、的主要研究和結(jié)構41.3.1 主要研究內(nèi)容41.3.2 論文結(jié)構安排52 系統(tǒng)的測量原理62.1 不同深度測量方法概述及比較62.1.1 三角測量法62.1.2 結(jié)構光62.1.3 TOF測量72.2 系統(tǒng)測量原理73 基于epc610芯片的深度圖像采集系統(tǒng)設計103.1 系統(tǒng)總體設計指標103.2 系統(tǒng)測量解決的關鍵問題103.3 系統(tǒng)測量的整體方案103.4 各項性能指標分析133.4.1 距離分辨率、可確定距離與調(diào)制光頻率的關系133.4.2 靈敏度、運行范圍與積分時間的關系143.4.3 芯片分辨率影響因素的分析144 系統(tǒng)硬件電路設計164.1 epc610傳感器模塊164.1.1

10、片上系統(tǒng)組成及特點164.1.2 芯片參數(shù)和引腳圖174.1.3 epc610圖像采集模塊電路圖184.2 主處理器184.3 LED光源及其驅(qū)動電路194.4 電源管理單元214.5 SPI總線225 數(shù)據(jù)結(jié)果分析24結(jié) 論25參 考 文 獻26附錄A 測量數(shù)據(jù)28致 謝3337引 言科技改變世界，從1839年世界上第一臺木箱照相機的誕生，到彩照照相機，再到如今的3D立體照相機。人類生活在一個三維的世界，科技使得人們更加立體地認識世界，三維立體成像技術能夠?qū)崟r和同步獲取目標物體的距離信息，對各像素點的采樣值進行識別、處理，進而得到類似于人眼看到的立體視覺效果。這一技術的實現(xiàn)，在眾多領域都有巨

11、大的應用價值，為人們的生活提供了更加便利的條件。計算機視覺技術在許多領域都有應用，諸如體感游戲、手勢識別、智能互動、汽車無人駕駛等。它們研究的一個主要方向就是圖像的深度測量，運用深度信息使得上述的應用變得更加地可靠、可行。目前關于深度圖像采集的研究方法有多種，本課題研究的是基于epc610芯片的直接飛行時間（TOF）測量的一種方法，它較其他幾種測量方法具有低成本、光學系統(tǒng)結(jié)構簡單、受環(huán)境光影響較小等優(yōu)點?；趀pc610芯片的深度圖像采集系統(tǒng)的原理是通過測量調(diào)制光經(jīng)過目標物體反射回來被傳感器接收，在適當?shù)姆e分時間內(nèi)接收到的光電子轉(zhuǎn)換成電容兩端的電壓，然后通過A/D轉(zhuǎn)換器將電壓模擬量轉(zhuǎn)換成數(shù)字量

12、，其中包含了采樣時刻的幅值和相位差信息。之后經(jīng)過SPI串行接口將8×8像素點的4個采樣值發(fā)送到ARM處理器中，運用數(shù)學邏輯運算得到個像素點的相位差以及深度距離。在數(shù)據(jù)采集過程中，重點是要選擇合適的積分時間，因為積分時間的大小會影響系統(tǒng)的靈敏度。積分時間越長，系統(tǒng)的靈敏度越高；但是積分時間過長，會導致像素點的采樣值飽和，影響距離的測量。因此，選擇合適的積分時間使得接收到的調(diào)制光的幅值在100-1000LSB的范圍內(nèi)，以保證測量值的質(zhì)量。調(diào)制光的頻率越高，系統(tǒng)的分辨率越高，但會減小可確定距離。因此，為了提高系統(tǒng)的精度，可以適當?shù)靥岣哒{(diào)制光的頻率，還可以多次測量求平均值，設定一個基準點來減

13、小零點漂移對精度的影響。近幾年來，直接飛行時間測量技術成為了最有前景的深度測距方法。它不需要太復雜的光學系統(tǒng)，也不依賴于昂貴的信號處理電路。相對于雙目視覺測量技術，它受環(huán)境光的影響較小，無論白天黑夜都能進行測量，適用性較為廣泛。1 緒論1.1 選題1.1.1 課題來源目前，基于單目結(jié)構光的深度攝像頭代表產(chǎn)品有微軟Kinect1、英特爾RealSense、Google Project Tango等，基于飛行時間法的深度攝像頭代表有微軟Kinect2，這些產(chǎn)品所實現(xiàn)的功能以及精度已經(jīng)相當完善，但其成本較高。本課題主要對基于epc610芯片的8×8像素點的深度圖像采集的研究，其在室內(nèi)和太陽

14、光不是很強的地方都可以進行測量，開始先實現(xiàn)較少像素點的深度距離測量，研究積分時間、調(diào)制頻率、環(huán)境光等因素對精度的影響，之后還會進行更高精度的研究。1.1.2 研究目的1. 理解深度圖像采集的原理。2. 熟悉ESPROS公司epc610芯片功能及使用。3. 掌握深度圖像采集板的硬件原理。4. 理解SPI通信協(xié)議。5. 熟悉VIVADO開發(fā)環(huán)境。6. 通過編程實現(xiàn)深度圖像采集。1.1.3 研究意義隨著科學技術的不斷發(fā)展，計算機視覺技術在許多領域起著越來越重要的作用，例如在手勢識別，汽車自動駕駛，目標物體跟蹤，人機交互智能游戲等。其中，一個重要的研究方向就是3D深度圖像采集，它可以對目標物體進行深度

15、采集，實現(xiàn)目標物體與背景的分離，進而對圖像進行處理識別，從二維平面圖像中恢復出三維空間信息1。3D深度圖像采集有多種方法，包括雙目視覺結(jié)構光投影成像技術以及TOF激光測距技術。雙目立體視覺是基于三角測量法，運用幾何運算得出被測物體到測量點的距離；結(jié)構光投影成像技術是將特定形狀投影打在目標物體上，通過檢測投影的形變量得出各點的深度距離；TOF激光測距技術是通過測量調(diào)制光來回的飛行時間得出深度距離。近年來，TOF激光測距越來越得到重視，世界上許多大公司都開始研究基于該原理的深度圖像采集。其相比于前兩種技術，可在CMOS芯片上實現(xiàn)，成本較低，受外界環(huán)境的影響較小，對光學系統(tǒng)的要求較低，對傳感器接收到

16、的反射光信息的后處理較簡單，通常只需要簡單的轉(zhuǎn)換，然后將相應的讀數(shù)映射到實際距離范圍2。而且TOF技術通過測量激光發(fā)射并由目標物體反射回來的時間可以實時獲取目標物體表面距離信息的特點，實現(xiàn)對目標物體的三維立體重建。目前，TOF技術的分辨率還低于結(jié)構光投影成像技術，且最大測量距離通常不超過光信號在半個周期內(nèi)飛行的距離3，這些難題仍需要去克服，因此對其的研究具有重大意義。1.2 國內(nèi)外研究現(xiàn)狀針對TOF深度圖像采集技術，國內(nèi)外許多學者做了相關的研究，并取得了一些顯著的成果。1997年，R Miyagawa，T Kanade發(fā)明了一種基于CCD的測距傳感器4，它是基于飛行時間的原理進行距離測量。傳感

17、器在一定的積分時間內(nèi)將接收光信號，通過直接處理圖像產(chǎn)生的電荷來得到深度信息。2007年，Yang Ruigang，Davis J等人，將三維攝像機與單個攝像機相結(jié)合5，通過構造代價函數(shù)，并采用雙邊濾波器進行迭代處理,將開始的64×64像素點的圖像采集系統(tǒng)的分辨率提高了10倍。2008年，丹麥理工大學的Henrik Aanas等人，提出了將TOF測距和立體視覺圖像相結(jié)合的算法6，先通過TOF測距的方法得到三維信息，然后將其轉(zhuǎn)換成視差進行圖像的立體匹配，最后利用分層的方法提高系統(tǒng)的分辨率。在2009年6月2日的E3展覽會上，微軟展出了XBOX系列體感游戲機Kinect 7。它完全不同于以

18、往游戲機，用人機互動的方式代替單一操作。它具有實時圖像采集、姿態(tài)辨識、語音輸入、社群互動等功能。在游戲中玩家可以通過身體的擺動開車、打網(wǎng)球，而且可以與其他玩家聯(lián)機、在網(wǎng)上分享他們的游戲戰(zhàn)績和心得等，大大提高了游戲體驗。2012年，德國的PMDTec公司研制出Photon ICS 19K-s3型號的3D-TOF芯片，該芯片具有160×120分辨率，由于其采用了環(huán)境光抑制技術，削弱外界環(huán)境對其的影響，所以它用于室外測量，大大提高了它的實用性。但是它也存在一定的弊端，測量距離較短8。 MESA公司生產(chǎn)的SR4000 3D測距相機能以視頻幀速率實時輸出距離值和振幅值，它可以很方便地通過USB

19、2.0或者以太網(wǎng)接口連接到電腦或者網(wǎng)絡中，快速生成實時深度圖9。在2013年國際消費電子產(chǎn)品展覽會上10，德州儀器公司展示了其3D-TOF影像傳感器芯片組。該芯片組不僅集成DepthSense像素技術，而且可跟蹤手指、手掌甚至全身的動作。其結(jié)構組成如圖1.1所示，包括TOF傳感器，控制器，電源管理單元等。圖1.1 3D-TOF芯片組目前，國外在TOF深度圖像采集技術較國內(nèi)更為成熟，已有一些公司有相關的產(chǎn)品，但這一研究方向還有很大的發(fā)展空間。1.3 論文的主要研究和結(jié)構1.3.1 主要研究內(nèi)容本課題希望通過epc610芯片實現(xiàn)對8×8個像素點實時的深度距離測量，其研究的主要內(nèi)容包括：（

20、1） 系統(tǒng)的測量原理850nm的紅外光線經(jīng)epc610芯片上的LED驅(qū)動器調(diào)制后照射在目標物體上，反射光被傳感器接收，通過比較入射光與反射光的相位差得到光信號往返所需要的時間，進而求出目標物體到零點的距離。（2） 系統(tǒng)測量的性能指標及影響因素系統(tǒng)測量的性能指標包括：精度，靈敏度，可確定距離范圍等。影響它們的因素有很多，包括：積分時間，環(huán)境光，調(diào)制光頻率等。本課題會研究這些因素對各性能指標的影響。（3） epc610芯片的功能及使用此測量系統(tǒng)利用epc610上集成的大功率的LED驅(qū)動器調(diào)節(jié)不同頻率的調(diào)制光；利用光電COMS充電原理將接收到的光信號轉(zhuǎn)換成電信號，再通過A/D轉(zhuǎn)換器將電信號轉(zhuǎn)換成數(shù)字

21、量。（4） 硬件電路的理解設計LED驅(qū)動電路和電源管理模塊，理解各電容、電阻的作用，繪制電路圖。將傳感器模塊搭建在以Zynq-7000為主處理器的開發(fā)板上，采用SPI總線進行通訊。（5） SPI通信協(xié)議SPI串行通訊接口負責向傳感器相應的寄存器發(fā)送讀寫命令字，完成初始化配置，并將A/D轉(zhuǎn)換器轉(zhuǎn)換得到的數(shù)字量傳送到ARM處理器進行一系列的數(shù)學邏輯運算。（6） Vivado開發(fā)環(huán)境學習在Vivado開發(fā)環(huán)境下創(chuàng)建工程，設計文件導入及工程的實現(xiàn)。（7） 編程實現(xiàn)深度圖像采集首先，向各個特定寄存器發(fā)送命令字進行初始化，然后判斷測量模式，寫入積分時間。自動模式下選擇合適的積分時間采樣，非自動模式下依據(jù)寫

22、入的積分時間采樣，將最終的采樣值發(fā)送給處理器。設置基準點，測量目標物體與基準點的相對距離。1.3.2 論文結(jié)構安排本論文主要研究的是基于ARM平臺的深度圖像采集系統(tǒng)，以Zynq-7000為主處理器的開發(fā)板與epc610圖像采集模塊通過SPI總線進行通訊，完成深度信息的采集與處理。本文研究了環(huán)境光強度、頻率、積分時間不同情況下，圖像采集系統(tǒng)的測量精度，驗證了相應的結(jié)論。第1章講述了課題的來源，研究目的，研究的主要內(nèi)容以其研究意義，并概述了TOF測量技術在國內(nèi)外的發(fā)展歷程和其廣泛的應用領域。目前，基于TOF測距的深度圖像采集作為一種新興技術，有它獨特的優(yōu)勢，但也存在著一些尚未解決的問題，具有很大的

23、發(fā)展前景。第2章首先介紹了不同深度測量方法并進行了比較，說明了各自的優(yōu)點與不足，之后又詳細介紹了epc610芯片基于直接飛行時間的測量原理，重點說明了返回信號的采集和深度距離的數(shù)學計算。第3章給出系統(tǒng)測量的理論性能指標，敘述了在程序編寫時主要解決的技術問題，之后概述了系統(tǒng)的整體設計方案，并就各性能指標的影響因素進行了分析，其中包括：積分時間，環(huán)境光，調(diào)制光頻率等。第4章是測量系統(tǒng)硬件電路的設計，主要包括：芯片的選取，LED驅(qū)動電路和電源管理單元的設計，SPI通訊協(xié)議及其時序圖。第5章針對不同測量條件下的結(jié)果進行了分析，驗證了測量精度與調(diào)制光頻率，積分時間，以及環(huán)境光強度之間的關系。2 系統(tǒng)的測

24、量原理2.1 不同深度測量方法概述及比較2.1.1 三角測量法三角測量法是運用數(shù)學中三角函數(shù)求解的一種方法，其按照有無光源可以分為主動式三角法和被動式三角法11。立體視覺技術應用的就是被動式三角法測量原理，類似于人眼視覺系統(tǒng)。利用兩個或多個相機去拍攝同一目標物體，不同視角下獲取圖像信息，然后測量同一被測點在不同相機的視角以及兩相機之間的距離，運用幾何關系得出目標物體到水平線的距離12。測量原理圖如2.1所示。圖2.1 立體視覺技術測量原理立體視覺技術具有系統(tǒng)結(jié)構簡單，可靠性高，適合人眼觀察的優(yōu)點，但是其受陰影和反射光的影響較大,需要進行大量的后處理13。它面臨的一個主要挑戰(zhàn)是解決通信問題：在一

25、幅圖像中給定一個點，如何在另一個攝像機中匹配到相同的點。需要建立通訊，這就涉及到用于特征提取和匹配的復雜算法。它們也需要足夠的亮度和圖像中顏色的鮮明變化來提高系統(tǒng)的穩(wěn)定性和精度14。如果被測物體缺少這些條件，會使立體視覺效果更差。2.1.2 結(jié)構光結(jié)構光是將特定圖形的投影打在目標物體上，通過測量圖形投影的變形情況來測量物體各點的深度距離，如圖2.2所示。其類型主要有兩種：一是光柵條紋，通過將排列均勻的長條紋投影在目標物體上，攝像機獲取光柵條紋的投影信息，根據(jù)其產(chǎn)生的偏移量計算各點的距離15。二是激光散斑，利用其高度的隨機性，將其投射在目標物體上，比較照射在不同位置亮斑的大小和形狀得出各點的距離

26、16。 圖2.2 結(jié)構光測距結(jié)構光測量的分辨率較高，但是其易受環(huán)境光的影響，適合于在室內(nèi)進行測量，測量時需要保持相對靜止，以免導致圖像采集模糊不清。而且該方法需要大功率，高密度光源，成本較高17。2.1.3 TOF測量顧名思義，TOF18測量就是測量調(diào)制光發(fā)射和返回的飛行時間來計算目標物體的距離。在測量時，需要保證發(fā)送裝置和接收裝置始終同步；注意接收裝置提供信號的傳輸時間的長短。TOF是一種經(jīng)濟有效的深度成像解決方案，TOF對機械對準和環(huán)境照明條件敏感程度較小，不依賴于顏色或紋理來測量距離，并且大大簡化了通常需要的圖像與背景的分離處理。雖然其分辨率相對于結(jié)構光測量法較低，但仍在不斷地改善。2.

27、2 系統(tǒng)測量原理 本課題所用到的epc610傳感器就是基于TOF測距的原理。調(diào)制光由發(fā)射器發(fā)出，經(jīng)目標物體反射，通過接收鏡頭被傳感器接收，比較入射光與反射光的相位差計算出發(fā)出與接收的時間差，進而得到各像素點物體的深度距離19，如圖2.3所示。圖2.3 系統(tǒng)測量原理圖假設有發(fā)射器發(fā)出的調(diào)制光和經(jīng)目標物體反射被傳感器接收到的反射光為理想的正弦波信號，為保證返回信號幅值和相位的可靠性，在采樣過程中，我們會在一個測量周期內(nèi)進行4次采樣，且每個采樣值的相位相差90°，如圖2.4所示。這樣的采樣方式可以消除物體反射率，反射光功率的絕對值，快門時間等因素對測量造成的影響。從上述4次采樣中提取反射光

28、的相位和幅值有多種方法。如圖2.5表示了接收到的反射光信號經(jīng)過混合器和低通濾波器等一系列信號處理技術得到其幅值和相位信息。將接受到的返回信號與發(fā)射的調(diào)制信號經(jīng)過混合器混合得到一個含有高頻分量的正弦信號，之后再由低通濾波器將其高頻分量過濾掉，得到一個只含振幅和相位信息的常數(shù)分量，即DCS0-3，還有其他方法，如文獻20所提出的。 (2.1)在實際測量中，會存在背景光幅值K21。圖2.4 接收波形的采樣圖2.5 接收信號的處理Epc610芯片是利用器件級充電處理來有效地實現(xiàn)TOF測量原理。該傳感器具有8×8像素陣列，并采用普通的低成本CMOS工藝在單個芯片上實現(xiàn)，它還集成了一個A/D數(shù)模

29、轉(zhuǎn)換和產(chǎn)生高速調(diào)制信號的電路。其關鍵部分是特殊的像素結(jié)構，像素的橫截面如圖2.6所示。它采用差分結(jié)構，照片生成的正負電荷分別移向CMOS管的兩極。由于芯片內(nèi)部調(diào)制信號與發(fā)射信號同步，因此取決于入射光的相位，一個節(jié)點收集比另一個更多的電荷。在積分結(jié)束時，兩個節(jié)點間的電壓差作為發(fā)射光與反射光相位差的度量。實際上，該像素同時執(zhí)行混合,低通濾波的功能22。從而得到4個相位差90°的采樣值，通過其比值能夠得出入射光和反射光的相位差： (2.2)進而得到不同像素點處物體的深度距離： (2.3)圖2.6 像素結(jié)構同時，由返回信號的4個采樣值還可以得到，返回信號的幅值A以及偏移量B： (2.4) (

30、2.5) 深度測量方差： (2.6)其中，表示TOF傳感器分離和收集光電子的方式，由等式（2.6）可得：返回信號的幅值越大，偏移量越小，系統(tǒng)的測量精度越高，同時偏移量過大，可能會導致像素點飽和。3 基于epc610芯片的深度圖像采集系統(tǒng)設計3.1 系統(tǒng)總體設計指標表3.1 epc610芯片的測量參數(shù)激光調(diào)制頻率可確定距離距離分辨率LED時鐘分頻器20MHz7.5m0.25cm110MHz15m0.50cm25MHz30m1.00cm42.5MHz60m2.00cm81.25MHz120m4.00cm16 如圖3.1表示基于epc610芯片的深度測量參數(shù)，由表可得：調(diào)制光的頻率越高，系統(tǒng)的可確定

31、距離越小，距離分辨率越高，所需的LED時鐘分頻器數(shù)目越少。在實際測量中，可以采用多調(diào)制頻率技術提高系統(tǒng)的分辨率。3.2 系統(tǒng)測量解決的關鍵問題（1）光源與調(diào)制信號同步在測量過程中，每個像素點都需要進行4次采樣，他們之間90°的相位差要求傳感器必須在調(diào)制光與傳感器內(nèi)部時鐘信號的相位差為0°，90°，180°，270°時采集數(shù)據(jù)，能否滿足這一要求會影響系統(tǒng)的測量精度。（2）最佳積分時間的選擇積分時間的長短會影響傳感器接受到的調(diào)制光的幅值，而返回信號的值又會影響系統(tǒng)測量的精度。因此，選擇合適的積分時間可以保證測量的精度。（3）設置系統(tǒng)的零點在實際測量

32、過程中，會由于環(huán)境的變化、設備的微小移動等各種因素導致零點漂移，影響測量精度，甚至造成測量結(jié)果的錯誤。為解決這一問題，這里采用了設置基準點的方法，先確定一個基準點的位置，通過將兩次測量結(jié)果求均值，然后測量目標物體與基準點的相對距離。3.3 系統(tǒng)測量的整體方案本課題設計的深度圖像采集系統(tǒng)主要分為兩部分：一是epc610深度傳感器模塊。它主要完成調(diào)制光信號的發(fā)送與接收，紅外線由片上的LED驅(qū)動器調(diào)制后發(fā)射，經(jīng)目標物體反射后被傳感器接收，記錄下64個點陣的信息。之后，經(jīng)過A/D轉(zhuǎn)換器轉(zhuǎn)換成數(shù)字量;二是處理器模塊。它主要負責將SPI傳送過來的數(shù)據(jù)進行處理，通過章節(jié)2.2所述的數(shù)運算得到最終的距離值。在

33、測量前，需要先通過從處理器發(fā)送命令，在傳感器芯片相應的寄存器中設置測量類型、調(diào)制光頻率以及積分時間。接下來進行4次采樣，每次完成一個積分周期或下一行像素數(shù)據(jù)加載時，微處理器必須通過SPI讀取數(shù)據(jù)，包括：每行8個采樣值，MSB和LSB部分像素區(qū)域的溫度值以及飽和像素數(shù)目，如圖3.1所示。圖3.1 epc610芯片一次完整的測量周期本課題程序編寫的主框架如圖3.2所示。首先，向各個特定寄存器發(fā)送命令字進行初始化，然后判斷測量模式，寫入積分時間。當系統(tǒng)工作在自動模式下，系統(tǒng)會自動選擇合適的積分時間，使得各像素點接收到的調(diào)制光幅值均處于100-1000LSB，保證測量數(shù)據(jù)的質(zhì)量。若幅值小于100LSB

34、說明被測點距離太遠，物體反射率太小或LED光線太暗，需要增加積分時間重新采樣；若幅值大于1000LSB說明物體反射率太大，被測點距離太近，光線太強，需要減小積分時間。當系統(tǒng)工作在非自動模式下，系統(tǒng)會按照提前設置好的積分時間進行采樣。若采樣過程中出現(xiàn)錯誤，系統(tǒng)會執(zhí)行不同積分時間對應的延時程序，舍棄本次采樣數(shù)據(jù)，重新采樣。之后，將每一積分周期內(nèi)8行數(shù)據(jù)依次發(fā)送給處理器，依據(jù)等式（2.2-2.5）得到調(diào)制信號振幅和距離。將前兩次測得的距離求平均作為基準點，測量目標物體與基準點的相對距離，消除環(huán)境變化引起的溫度漂移和硬件電路不完善產(chǎn)生的誤差。SPI數(shù)據(jù)傳送流程圖如下圖3.3所示。圖3.2 系統(tǒng)流程圖圖

35、3.3 SPI數(shù)據(jù)傳送流程圖3.4 各項性能指標分析3.4.1 距離分辨率、可確定距離與調(diào)制光頻率的關系由表3.1可得：隨著調(diào)制光頻率的增大，系統(tǒng)測量的可確定距離減小，但距離分辨率提高。測量時，一定要保證測量的距離小于調(diào)制光在半個周期內(nèi)飛行的距離，否則會出現(xiàn)混疊問題。例如，當調(diào)制光頻率為10MHz時，系統(tǒng)的可確定距離范圍是15m，距離傳感器2m的位置與距離傳感器17m的物體會得到相同的測量值。為解決這一問題，可以采用多個不同頻率的調(diào)制光進行測量，使得系統(tǒng)的可確定距離增加為不同頻率下最大可確定距離的最小公倍數(shù)22。如圖3.4所示，假設在距離傳感器13m的位置放一個物體，用25MHz的調(diào)制光測量時

36、可以推斷出物體的位置在1m、7m、13m或19m；用18.75MHz的調(diào)制光測量時可以推斷出物體的位置在5m、13m或21m。通過上述兩個不同頻率調(diào)制光的測量結(jié)果可以得出：目標物體的位置一定在13m處，其測量的可確定距離范圍相對于單頻測量時顯著增加。圖3.4 多頻測距3.4.2 靈敏度、運行范圍與積分時間的關系系統(tǒng)測量時的距離范圍一般情況下小于可確定距離，其大小受傳感器的靈敏度，物體的反射率，積分時間和調(diào)制光源的照明功率的限制。采樣值是單位時間內(nèi)傳感器接收反射光的功率，因此當積分時間變長，物體的反射率增大，或者光源的照明功率增大，都會使得傳感器的采樣值增加，測量越靈敏，測量范圍越大。但是，積分

37、時間過大，會使像素的采樣值飽和以及系統(tǒng)對環(huán)境光的敏感程度增大。因此，選擇合適的積分時間既能提高測量范圍，又能保證測量數(shù)據(jù)的質(zhì)量。3.4.3 芯片分辨率影響因素的分析 分辨率是深度圖像采集系統(tǒng)重要的性能指標之一，它表示了系統(tǒng)測量每個像素點的距離偏離準確值的程度。接下來，對影響分辨率的因素進行分析。在一個積分周期內(nèi)一個像素點接到的光電子總數(shù)： (3.1) 其中，是光源發(fā)射光功率，是量子效率，是光學系統(tǒng)特性所確定的常系數(shù)，T是一個積分周期的時間，A是返回信號的幅值，r是目標物體相應點的反射率。傳感器將接收到的光電子存儲在電容中，然后轉(zhuǎn)換成相應的電壓來表示入射光與反射光相位差的大小。在一個積分周期內(nèi)電

38、容兩端的電壓： (3.2) 其中，q是電子的電荷量1.6×10-19 C，p表示返回信號與參考信號的相位重疊程度，不同像素點的p值與該點目標物體到傳感器的距離有關。 噪聲是影響分辨率的一個重要因素，其中包括：ADC量化噪聲，kT/C復位噪聲，熱噪聲等隨機噪聲以及影響電容兩端電壓的散射噪聲。改善其影響的方法有兩種：一是采用中值濾波23，將每個像素點的灰度值設置為該點某鄰域內(nèi)的所有像素點灰度值的中值，讓周圍像素點的值盡可能接近真實值，從而減小或消除噪聲帶來的干擾誤差。同時該方法還具有保護信號邊緣的效果，使之不被模糊，結(jié)果更加可靠，而且其硬件電路較容易實現(xiàn)。二是采用將時間、空間域噪聲值平均

39、的方法來減小噪聲對圖像采集的影響24。這兩種方法都能夠抑制噪聲對系統(tǒng)的影響。其中，由接收到的光電子總數(shù)的不確定度引起的電容電壓誤差: (3.3)由上述變量可得，系統(tǒng)距離分辨率： (3.4)其中，表示與時電容電壓的差值，是調(diào)制頻率。由等式（3.4）可得：系統(tǒng)分辨率與光源發(fā)射光功率，一個積分周期時間T，目標物體的反射率r，以及調(diào)制光的調(diào)制頻率有關。光源功率越大，積分時間越長，目標物體的反射率越高，分辨率越高。但是，功率過大會造成電力損耗過大和成本增加；積分時間過長將不能滿足應用程序?qū)俾实囊?；而增大調(diào)制光頻率會減小系統(tǒng)的可確定距離。因此，要適當?shù)卣{(diào)節(jié)各參數(shù)，使系統(tǒng)的分辨率盡可能高22。4 系統(tǒng)

40、硬件電路設計4.1 epc610傳感器模塊Epc610傳感器是Corporation（EPC）公司研發(fā)的Epc6XX系類芯片，作為深度圖像采集系統(tǒng)的核心元件，負責發(fā)射光的調(diào)制以及反射光的接收。它是單片、完全集成的光電CMOS器件。4.1.1 片上系統(tǒng)組成及特點Epc610芯片的內(nèi)部結(jié)構如圖4.1所示，包括：（1）含LED驅(qū)動器的完整數(shù)據(jù)采集路徑，具有8×8像素TOF CCD陣列的光電接收器，信號調(diào)節(jié)器，A/D轉(zhuǎn)換器和信號處理。（2）管理數(shù)據(jù)采集和數(shù)據(jù)通信的片上控制器。 （3）用于命令和數(shù)據(jù)通信的SPI接口。 （4）電源電源管理單元。圖4.1 epc610片上系統(tǒng)結(jié)構Epc610傳感器

41、模塊成本低廉；具有完整的數(shù)據(jù)采集系統(tǒng)，可用于芯片上的距離測量或物體檢測；具有大功率LED驅(qū)動器；集成信號處理；響應時間不到1ms；具備環(huán)境光抑制能力，高達>100kLux；內(nèi)含環(huán)境光調(diào)節(jié)計，可用于亮度控制或調(diào)光功能；電源電壓低，功耗低；采用SPI接口進行命令和數(shù)據(jù)傳輸；采用完全貼片兼容的倒裝芯片CSP24封裝，占地面積小。4.1.2 芯片參數(shù)和引腳圖表4.1 芯片參數(shù)參數(shù)值電源電壓-0.5V+9.5V工作溫度-2065相位抖動50ps時鐘頻率10MHz像素感光區(qū)域40×40LED調(diào)制頻率1.25MH峰值波長850nm工作波長范圍550-1000nm封裝CSP-24 2.77&#

42、215;2.76 m2圖4.2 epc610芯片引腳圖4.1.3 epc610圖像采集模塊電路圖4.2 主處理器本課題是將epc610傳感器模塊搭建在以Zynq-7000為主處理器的開發(fā)板上。Zynq-7000芯片是賽靈思公司生產(chǎn)的可擴展處理平臺，該產(chǎn)品集成了功能豐富的雙核ARM Cortex-A9 MPCore處理系統(tǒng)（PS）和賽靈思可編程邏輯（PL），采用低功耗28nm工藝技術提高芯片性能。PL負責控制SPI數(shù)據(jù)的傳輸；PS負責啟?？删幊踢壿嬈骷?，并且控制電源管理單元來啟停epc610芯片。其中，主處理系統(tǒng)包括：ARM Cortex-A9 MPCore CPU，片上存儲器，外部存儲器，內(nèi)存

43、接口和I/O外設。其內(nèi)部結(jié)構組成如圖4.3所示。圖4.3 Zynq-7000芯片內(nèi)部結(jié)構微處理器系統(tǒng)通過SPI總線控制器與epc610傳感器進行通信。其內(nèi)部包含兩個獨立的SPI控制器，每個控制器的I/O信號可以由MIO引腳或EMIO接口引出，他們都有自己獨立的控制和狀態(tài)寄存器，可以在主模式，從模式或多主機模式工作。在主模式下，它通過向32位讀/寫數(shù)據(jù)端口寄存器寫入字節(jié)來讀寫從設備，可編程實現(xiàn)SS和MOSI延遲。SPI控制系統(tǒng)的結(jié)構框圖如圖4.4所示。圖4.4 SPI控制系統(tǒng)結(jié)構框圖4.3 LED光源及其驅(qū)動電路由于epc610芯片工作在波長為550-1000nm的范圍內(nèi)，而波長小于830nm的

44、光會被鏡頭過濾掉，又考慮到850nm的波長既能滿足傳感器的最大靈敏度，又能被傳感器接收，所以選擇歐司朗公司生產(chǎn)的SFH4059大功率LED作為光源。它具有切換時間短，功率大，封裝小的優(yōu)點，其產(chǎn)品的實物圖如圖4.5所示，參數(shù)如下表4.2所示：表4.2 SFH4059參數(shù)參數(shù)值輻照強度100mW/sr封裝3.2×1.6×1.85mm工作溫度-4085反向電壓5V正向電壓70mA功耗140mW光源中心波長850nm總輻射通量40mW圖4.5 SFH4059大功率LED實物圖大功率近紅外線光源發(fā)出的光需要經(jīng)過恒電流驅(qū)動電路調(diào)制后才能照射到被測物體上，這里所提到的驅(qū)動電路包括兩種：（

45、1）片上LED驅(qū)動器圖4.6電路驅(qū)動兩個大功率紅外LED，輸出LED由開漏開關晶體管驅(qū)動。LED的照明強度取決于流過電阻器R1的電流，當輸出LED導通時，電阻R1的電流<180mA。為了使輸出LED（+5.0V）具有安全的電壓工作條件，在關閉狀態(tài)下，流過LED二極管和D1二極管的最小電流<1mA，該電流由電阻R2確定。C3和C4是用于提供LED電荷的電容器，為了滿足快速切換的要求，C3應為陶瓷型電容，epc610芯片的電源電壓由C1和C2（陶瓷型）解耦。電阻R3從ep610電源中抽出LED供電電路，通過二極管D1A和D1B的電壓降將電壓調(diào)節(jié)到LED所需的電平。這種方法的優(yōu)點在于它能

46、夠在epc610與LED供電之間實現(xiàn)良好的去耦。圖4.6 短距離LED驅(qū)動電路（2）外加LED驅(qū)動器當調(diào)制光的頻率為10MHz或者更大時，LED就需要使用外部LED驅(qū)動器驅(qū)動。在設計驅(qū)動電路圖時一定要注意LED正常工作時的電壓與電流，如圖4.7是原理圖。epc610的引腳LED由開漏開關晶體管驅(qū)動，上拉終端電阻R1的作用是滿足輸出LED的安全電壓工作條件。將輸出的調(diào)制信號送給反相數(shù)字緩沖器IC1。它驅(qū)動快速開關晶體管T1，T1通過LED1-LEDn開關電流來調(diào)節(jié)亮度，輸出LED為低電平對應燈為亮。與片上驅(qū)動器相比，這種設計可以具有額外的光級。微處理器的I/O端口將強度切換到LOW或HIGH電平

47、。IC1和IC2是驅(qū)動晶體管T1和T2所需的選擇邏輯，亮度（通過LED1-LEDn的電流）由高和低照明級別的R2和R3控制。該電路的優(yōu)點是：照明功率（LED數(shù)量）可以自由設計，具有用于擴展工作范圍的額外可選擇的亮度級別，LED的獨立電源以及epc610電源和LED電路的強耦合。圖4.7 外接驅(qū)動電路原理圖4.4 電源管理單元在測量系統(tǒng)中，各個芯片正常工作時的電壓通常不同，如果不能按照芯片的要求提供其所需的電壓，系統(tǒng)將不能正常工作，甚至可能會燒壞。電源管理單元正是用來解決這一問題，并且可以提供過流保護和過壓保護的功能，使系統(tǒng)更加安全可靠。如表4.3所示是系統(tǒng)中各芯片正常工作時的電壓值。表4.3

48、各芯片正常工作電壓芯片引腳電壓值（V）Zynq-7000 PS1.83.3Zynq-7000 PL1.83.3Epc6108.5Epc610 5Epc610 5Epc6105根據(jù)上述的各芯片正常工作電壓設計的電源管理單元如圖4.8所示，電源輸入電壓8.5V。圖4.8 電源管理單元電路圖4.5 SPI總線SPI(Serial Peripheral Interface)是由摩托羅拉公司開發(fā)的全雙工同步串行總線，連接一個主設備和一個或多個從設備，實現(xiàn)同步數(shù)據(jù)傳輸。本課題采用SPI總線實現(xiàn)處理器與傳感器模塊的通訊，其主要功能是讀取數(shù)據(jù)和設置用戶參數(shù)，其連接方式如圖4.9所示。SPI總線通過同步串行3線

49、方式進行通訊：一條時鐘線SCLK，一條串行數(shù)據(jù)輸入線MOSI（主設備數(shù)據(jù)輸出，從設備數(shù)據(jù)輸入），一條串行數(shù)據(jù)輸入線（主設備數(shù)據(jù)輸入，從設備數(shù)據(jù)輸出）。主從設備在使用SPI通訊時，首先要保證兩者之間的時鐘要嚴格一致，之后再進行數(shù)據(jù)的發(fā)送，一個完整的SPI幀由16位二進制數(shù)組成，分為：2位命令ID（CID）或響應ID（RID），6位讀或?qū)懙刂罚?位數(shù)據(jù)。圖4.9 SPI接線圖4.10 SPI通訊時序圖在SPI接口內(nèi)部有兩個移位寄存器，由上圖4.10時序圖可得：在時鐘信號的上升沿處理器發(fā)送命令字給epc610芯片，設置測量類型、調(diào)制光頻率和積分時間；下降沿處理器接收采樣值，在移位脈沖作用下，數(shù)據(jù)由高

50、到低位傳送。5 數(shù)據(jù)結(jié)果分析在硬件電路搭建和程序編寫完成后，在不同條件下進行數(shù)據(jù)測量，參見附錄A。（1）在強光條件下，調(diào)制光頻率20MHz，由測量值與真實值可得：絕對誤差的最大值為12cm，精度： （2）在暗光條件下，調(diào)制光頻率10MHz，由測量值與真實值可得：絕對誤差的最大值為9cm，精度： （3）在無光條件下，調(diào)制光頻率10MHz, 由測量值與真實值可得：絕對誤差的最大值為7cm，精度： （4）在強光條件下，調(diào)制光頻率5MHz, 由測量值與真實值可得：絕對誤差的最大值為14cm，精度： （5）在強光條件下，調(diào)制光頻率20MHz, 由測量值與真實值可得：絕對誤差的最大值為7cm，精度： 由調(diào)

51、制光頻率相同，環(huán)境光強度不同條件下測量的數(shù)據(jù)（1）（2）（3）可得：環(huán)境光會影響系統(tǒng)測量的精度，但影響程度較小。由環(huán)境光強度相同，調(diào)制光頻率不同條件下測量的數(shù)據(jù)（1）（4）（5）可得：調(diào)制光頻率越大，系統(tǒng)測量的絕對誤差越小。在測量值中，部分像素點測量誤差較大的可能原因是調(diào)制脈沖與傳感器之間的同步信號發(fā)生偏移，測量點光線太暗，硬件電路設計不完善等。結(jié) 論分析比較目前常用的幾種3D測距方法，雖然TOF測距相比于結(jié)構光測距分辨率較低，測量距離一般小于調(diào)制光半個周期的傳播距離。但它成本低廉，可以借助CMOS的特性，獲取大量的數(shù)據(jù)信息，對復雜物體的姿態(tài)進行判斷分析。而且，它相比于雙目視覺技術后續(xù)的數(shù)據(jù)處

52、理較為簡單，相比于結(jié)構光不需要復雜的光學系統(tǒng)，對環(huán)境光的敏感度較低。本課題主要研究的是基于ARM開發(fā)平臺的深度圖像采集系統(tǒng)，epc610傳感器模塊作為此系統(tǒng)的核心，是基于直接TOF測距原理。將大功率LED發(fā)出的紅外光線經(jīng)調(diào)制后照射在被測物體上，返回信號被傳感器接收，每個像素點將其接收到的光電子轉(zhuǎn)換成相應的電壓值，采集完成后，再通過SPI總線將采樣值傳送給微處理器進行運算，實時獲取被測物體的三維信息。理論上，該圖像采集系統(tǒng)在調(diào)制光頻率為10MHz，環(huán)境光影響較小時，分辨率可達到0.5cm。在實際測量結(jié)果中，系統(tǒng)的分辨率很難達到理論值，大多數(shù)像素點的測量誤差在3cm左右，有的像素點誤差甚至更大。造

53、成這種情況的可能原因是調(diào)制調(diào)制脈沖與傳感器之間的同步信號發(fā)生偏移，測量點光線太暗，硬件電路設計不完善等。但是通過比較不同情況下的測量結(jié)果，仍然可以得到：調(diào)制光頻率越大，系統(tǒng)測量的分辨率越小；積分時間越長，采集到的返回信號的幅值越大；積分時間過短，會使測量精度減小，積分時間過長，會使像素點飽和。這些結(jié)論與理論結(jié)果相同，基本達到了既定的設計目標。由于第一次接觸這一方向的研究，且時間有限，本課題主要研究的是8×8個像素點實時的深度距離測量，分辨率較低，測量距離有限。在今后研究工作中，還會對160×120像素點的測量系統(tǒng)進行研究，改進光學系統(tǒng)提高測量距離，改進通訊模塊提高幀的傳輸速

54、率，運用Matlab軟件顯示深度圖像。爭取實現(xiàn)三維圖像采集在解決地鐵站臺乘車人數(shù)分布不均勻問題的應用。參 考 文 獻1Liu R C, Liu Y G, University S, et al. 3D Information Extraction Algorithm Based on a Single ImageJ. Computer Science, 2010, 37(5):243-246.2Breuer P, Eckes C, Müller S. Hand Gesture Recognition with a Novel IR Time-of-Flight Range Camer

55、aA Pilot StudyM/ Computer Vision/Computer Graphics Collaboration Techniques. Springer Berlin Heidelberg, 2007:247-260.3 Moring I, Heikkinen T, Myllyla R, et al. Acquisition Of Three-Dimensional Image Data By A Scanning Laser Range FinderJ. Optical Engineering, 1989, 28(8):897.4Miyagawa R, Kanade T. CCD-based range-finding sensorJ. IEEE Transactions on Electron Devices, 1997, 44(10):1648-1652. 5Yang Q, Yang R, Davis J, et al. Spatial-Depth Super Resolution for Range ImagesC