嵌入式系統(tǒng)調(diào)研報告.doc

北京聯(lián)合大學嵌入式系統(tǒng)設(shè)計與應(yīng)用調(diào)研報告 學 院： 專 業(yè)： 課 程： 班 級： 姓 名： 學 號： 年月日 基于流媒體技術(shù)的網(wǎng)絡(luò)化嵌入式視頻監(jiān)控系統(tǒng) 北京聯(lián)合大學 XXX 原作者：陳耀武,伍鵬, 汪樂宇 (浙江大學儀器科學與工程學系,浙江杭州310027)摘要:視頻監(jiān)控系統(tǒng)是日常生產(chǎn)生活中的重要輔助設(shè)備,提出并研究設(shè)計了基于流媒體技術(shù)的網(wǎng)絡(luò)化嵌入式視頻監(jiān)控系統(tǒng).以高性能嵌入式處理器、DSP處理器和嵌入式Linux操作系統(tǒng)為核心進行系統(tǒng)設(shè)計.系統(tǒng)通過DSP處理器進行視頻信號的MPEG4數(shù)據(jù)壓縮,在嵌入式處理器上采用流媒體技術(shù)通過網(wǎng)絡(luò)傳播實時視頻流.詳細論述了系統(tǒng)設(shè)計、硬件設(shè)計和軟件設(shè)計,并給出了實際運行結(jié)果.關(guān)鍵詞: 視頻監(jiān)控系統(tǒng); 流媒體; MPEG4; 嵌入式系統(tǒng)Stream media technology based network embedded video monitoring system CHEN Yao-wu, WU Peng, WANG Le-yuAbstract: The video monitoring system is an important assistant device in our life. A network embedded video monitoring system based on the stream media technology is presented and developed. The system is designed of the embedded processor, the DSP processor and embedded Linux operating system. The video compression part of the system is based on the MPEG4 algorithmia the DSP processor, while multicasting the real time video stream to the network based on the stream media technology via embedded processor. The system design, hardware design, software design, and the practical operating results are discussed in detail.Key words: video monitoring system; stream media; MPEG4; embedded system 視頻監(jiān)控系統(tǒng)是日常生產(chǎn)生活中的重要輔助設(shè)備,應(yīng)用十分廣泛.當前視頻監(jiān)控系統(tǒng)正逐步由模擬化走向數(shù)字化.隨著視頻壓縮技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展,開發(fā)新一代的基于計算機網(wǎng)絡(luò)和多媒體MPEG4壓縮算法的視頻監(jiān)控系統(tǒng)已成為整個行業(yè)技術(shù)發(fā)展的主要方向之一1,2.本文提出并研究設(shè)計了一種基于流媒體技術(shù)的網(wǎng)絡(luò)化嵌入式視頻監(jiān)控系統(tǒng).該系統(tǒng)采用目前計算機領(lǐng)域最為活躍的嵌入式系統(tǒng)技術(shù),以高性能嵌入式處理器、DSP處理器和嵌入式Linux操作系統(tǒng)為核心對嵌入式視頻監(jiān)控模塊進行設(shè)計,并采用流媒體技術(shù),通過IP多播技術(shù)、RTP/RTCP協(xié)議3實時傳送視頻監(jiān)控流.該系統(tǒng)跟傳統(tǒng)的模擬監(jiān)控系統(tǒng)和基于PC組合的計算機數(shù)字監(jiān)控系統(tǒng)相比有以下優(yōu)勢:(1)布控區(qū)域廣泛.嵌入式數(shù)字監(jiān)控系統(tǒng)的服務(wù)器和終端設(shè)備可直接連入網(wǎng)絡(luò),沒有線纜長度和信號衰減的限制,同時網(wǎng)絡(luò)是沒有距離概念的,因此徹底拋棄了地域的概念,擴展了布控區(qū)域.(2)可組成非常復(fù)雜的監(jiān)控網(wǎng)絡(luò).如果采用基于嵌入式流媒體服務(wù)器為核心的監(jiān)控系統(tǒng),由于流媒體服務(wù)器輸出已完成模擬到數(shù)字的轉(zhuǎn)換并壓縮,采用統(tǒng)一的協(xié)議在網(wǎng)上傳輸,支持跨網(wǎng)關(guān),跨路由器的遠程視頻傳輸,所以其在組網(wǎng)方式上和基于PC平臺的監(jiān)控方式有極大的不同,能支持更為復(fù)雜的監(jiān)控網(wǎng)絡(luò).(3)性能穩(wěn)定可靠,無需專人管理.嵌入式數(shù)字監(jiān)控系統(tǒng)用嵌入式實時多任務(wù)操作系統(tǒng),視頻壓縮和流媒體服務(wù)功能集中到一個體積很小的設(shè)備內(nèi),直接連入局域網(wǎng)或廣域網(wǎng),即插即看,系統(tǒng)的實時性、穩(wěn)定性、可靠性大大提高.所以,無需專人管理,適合于無人值守的環(huán)境.1系統(tǒng)的設(shè)計原理1.1系統(tǒng)總體設(shè)計基于流媒體技術(shù)的網(wǎng)絡(luò)化嵌入式視頻監(jiān)控系統(tǒng)如圖1所示.安裝在現(xiàn)場的嵌入式視頻監(jiān)控模塊從攝像頭獲得原始的視頻信號,經(jīng)過硬件壓縮成MPEG4視頻數(shù)據(jù),然后通過流媒體服務(wù)器轉(zhuǎn)換成流媒體格式,從以太網(wǎng)接口實時傳送到計算機網(wǎng)絡(luò)上;實時監(jiān)控客戶端連接到計算機網(wǎng)絡(luò)上,從嵌入式視頻監(jiān)控模塊獲得MPEG4視頻數(shù)據(jù),通過流媒體視頻播放軟件實時地解壓MPEG4視頻數(shù)據(jù)并播放,而且該系統(tǒng)支持多客戶端同時監(jiān)控.1.2嵌入式視頻監(jiān)控系統(tǒng)硬件設(shè)計嵌入式視頻監(jiān)控系統(tǒng)的硬件主要分為兩大部分:DSP視頻硬件壓縮子模塊和嵌入式處理器子模塊.DSP視頻硬件壓縮子模塊以美國ANALOGDEVICES公司最新推出的DSP處理器BlackfinBF5335為核心,實現(xiàn)硬件的MPEG4視頻數(shù)據(jù)壓縮.Blackfin BF533是一款新型的高性能、低功耗的音視頻DSP,其片內(nèi)有Blackfin處理器核,主頻高達600 MHz,完全適合MPEG4等復(fù)雜音視頻的壓縮運算;并且片上的增強型動態(tài)電源管理模塊實現(xiàn)了極低功耗的解決方案,所以該DSP主要面向消費類電子、音視頻處理、VoIP等應(yīng)用領(lǐng)域.在BF533芯片外圍擴展了1 Mbyte閃存(Flash),用于存放MPEG4視頻壓縮算法程序代碼和參數(shù)變量;擴展32 Mbyte的同步動態(tài)數(shù)據(jù)存儲器(SDRAM),用于存放數(shù)據(jù)和運行程序.嵌入式處理器子模塊需要運行嵌入式操作系統(tǒng)和嵌入式流媒體服務(wù)器,并擴展本地MPEG4視頻數(shù)據(jù)回放,所以選用了INTEL公司的最新嵌入式處理器XScale PXA2616作為整個系統(tǒng)的控制.PXA261是XScale PXA26x新系列中的一款高度集成化的嵌入式處理器,它集成了Intel XScale Mi-croarchitecure處理器核心,16 Mbyte的片內(nèi)閃存,LCD控制器,USB從端控制器,I2S,SSP,AC97等一系列多媒體處理模塊.由于其高度的集成性和低功耗特性,PXA261十分合適多媒體處理、手持設(shè)備、PDA等應(yīng)用領(lǐng)域.在PXA261周圍還外擴了32Mbyte的SDRAM用于存放數(shù)據(jù)和運行程序;外擴了USB主端控制器,這樣可以為系統(tǒng)加入多種USB設(shè)備;外接LCD控制器可以本地回放視頻數(shù)據(jù)和提供人機交互;外擴的以太網(wǎng)接口可以實現(xiàn)視頻網(wǎng)絡(luò)傳輸?shù)男枰?圖2表明了整個硬件系統(tǒng)的框架結(jié)構(gòu)和數(shù)據(jù)流程.首先通過攝像頭獲得原始視頻信號,送入視頻A/D采樣輸入Blackfin BF533作MPEG4壓縮;然后BF533把壓縮得到的MPEG4數(shù)據(jù)通過高速SPI接口送入XScale嵌入式處理器;運行有嵌入式Linux操作系統(tǒng)的XScale處理器把MPEG4數(shù)據(jù)轉(zhuǎn)化為流媒體數(shù)據(jù)格式,通過以太網(wǎng)接口傳送到計算機網(wǎng)絡(luò).XScale嵌入式處理器通過串口向DSP發(fā)送命令.1.3嵌入式視頻監(jiān)控系統(tǒng)軟件設(shè)計在該系統(tǒng)高性能的硬件基礎(chǔ)上,嵌入式視頻監(jiān)控系統(tǒng)軟件包括兩個大的層次:嵌入式Linux操作系統(tǒng)和嵌入式流媒體服務(wù)器軟件(不包括DSP固件MPEG4壓縮算法程序),如圖3所示.嵌入式Linux操作系統(tǒng)越來越多地成為嵌入式系統(tǒng)設(shè)計的主流.其具有任務(wù)調(diào)度、存儲管理、消息隊列、中斷處理等現(xiàn)代操作系統(tǒng)特征;并且針對嵌入式系統(tǒng)進行了優(yōu)化,具有體積小、固化容易、現(xiàn)場實時反應(yīng)能力強、可靠性好等特點;而且操作系統(tǒng)本身包含TCP/IP協(xié)議棧,以及大量跟硬件相關(guān)的驅(qū)動程序.另外Linux操作系統(tǒng)上的開發(fā)資源十分豐富,為嵌入式軟件開發(fā)人員提供了良好的開發(fā)平臺.硬件驅(qū)動程序位于嵌入式Linux操作系統(tǒng)之中,是上層應(yīng)用軟件和下層嵌入式硬件之間的唯一橋梁.對于特定的嵌入式硬件就需要編寫特定的驅(qū)動程序.在該系統(tǒng)中主要開發(fā)了高速SPI接口驅(qū)動程序模塊,這樣上層嵌入式流媒體服務(wù)器就可以通過SPI接口驅(qū)動來接受DSP壓縮好的MPEG4視頻數(shù)據(jù).嵌入式流媒體服務(wù)器是系統(tǒng)嵌入式軟件設(shè)計的核心部分.首先通過串口驅(qū)動程序來設(shè)置DSP的壓縮過程并啟動壓縮,接著通過高速SPI驅(qū)動程序獲得DSP壓縮好的MPEG4數(shù)據(jù),轉(zhuǎn)換其為適于流式傳輸?shù)臄?shù)據(jù)后通過基于IP多播技術(shù)的實時傳輸協(xié)議RTP(realtime transfer protocol)、實時傳輸控制協(xié)議RTCP(RTP control protocol)、會話描述協(xié)議SDP(session description protocol)4等一系列標準的IP實時多媒體數(shù)據(jù)傳輸協(xié)議傳送到網(wǎng)絡(luò)上.1.4嵌入式流媒體服務(wù)器軟件詳細設(shè)計嵌入式流媒體服務(wù)器整個軟件采用C+語言編寫,圖4是該軟件的靜態(tài)UML類圖設(shè)計.如圖4所示,整個系統(tǒng)其實就是由CMediaFlow類所代表的視頻媒體數(shù)據(jù)流.數(shù)據(jù)流由一系列節(jié)點串連而成.抽象類CMediaNode類抽象代表這些一系列的節(jié)點,每一個節(jié)點其實就是一個線程,而每個線程都有一個消息隊列(CMsgQueue類),用來接受相應(yīng)的消息(CMsg類)作出處理動作.具體來講,CMediaSource類派生至CMediaNode類代表所有數(shù)據(jù)流源頭的節(jié)點,也就是數(shù)據(jù)流的入口點.同樣的,CMediaSink類也派生至CMediaNode類代表所有數(shù)據(jù)流的接受節(jié)點,可以用來表示數(shù)據(jù)流的出口點.CMediaFrame類代表這個數(shù)據(jù)流中真正的數(shù)據(jù),它從數(shù)據(jù)源流向數(shù)據(jù)流的出口.CVideoSource類是派生至CMediaSource類,代表視頻數(shù)據(jù)的入口點,它調(diào)用嵌入式Linux操作系統(tǒng)的SPI驅(qū)動來獲得實時的視頻數(shù)據(jù).CRtpTransmitter類派生至CMediaSink類,代表視頻數(shù)據(jù)的出口點,它封裝了基于流媒體技術(shù)的網(wǎng)絡(luò)化嵌入式視頻監(jiān)控系統(tǒng)對網(wǎng)絡(luò)RTP/RTCP協(xié)議的操作,把視頻數(shù)據(jù)流直接發(fā)送到網(wǎng)絡(luò)上.CHttpServer類實現(xiàn)了一個簡單的HTTP服務(wù)器的功能,主要是可以通過HTTP協(xié)議傳送SDP文件給客戶端,客戶端獲得SDP文件后就可以根據(jù)SDP文件的描述信息來獲得視頻流的IP多播包.CSdpFile類實現(xiàn)了對SDP會話描述協(xié)議文件的操作,根據(jù)當前的視頻流配置信息產(chǎn)生SDP文件.圖5為嵌入式流媒體服務(wù)器軟件UML動態(tài)序列圖.具體的動態(tài)流程描述如下:(1) 系統(tǒng)初始化過程程序入口main函數(shù)首先創(chuàng)建CMediaConfig類對象pConfig,并從配置文件里獲得配置信息而初始化該對象.pConfig對象里面包含了整個系統(tǒng)的配置信息,比如視頻源類型、視頻壓縮編碼器類型、網(wǎng)絡(luò)傳輸?shù)脑O(shè)置等等.根據(jù)pConfig對象的配置來創(chuàng)建類CMediaFlow的對象pFlow,并且Start這個數(shù)據(jù)流.pFlow對象會去創(chuàng)建視頻數(shù)據(jù)源對象CVideoSource和數(shù)據(jù)流的出口對象CRtpTransmitter.用CVideoSource的AddSink操作告訴CRtpTransmiter類的對象是數(shù)據(jù)源的接收者.啟動CRtpTransmitter的對象,同時創(chuàng)建CSdpFile類對象,并通過GenerateSdpFile操作來產(chǎn)生SDP描述文件.創(chuàng)建CHttpServer類對象,并啟動HTTP server服務(wù),提供SDP文件下載.(2) 視頻流處理發(fā)送過程. pFlow對象調(diào)用CVideoSource類對象的StartVideo操作來啟動視頻流.從SPI驅(qū)動獲得MPEG4的數(shù)據(jù)幀,接著創(chuàng)建CMediaFrame類的對象pFrame,用ForwardFrame操作把MPEG4數(shù)據(jù)幀送入接受者CRtpTrans-mitter類的對象.CRtpTransmitter類的對象調(diào)用DoSendFrame函數(shù)通過網(wǎng)絡(luò)發(fā)送該MPEG4數(shù)據(jù)幀.CVideoSource類對象通過RealseFrame操作釋放該MPEG4數(shù)據(jù)幀,并銷毀pFrame對象.重復(fù)以上過程就可以得到連續(xù)的視頻流數(shù)據(jù).(3) 中止該視頻流的過程.Main函數(shù)調(diào)用pFlow對象的Stop操作來中止該視頻流.pFlow對象會依次去停止和銷毀CVideoSource類對象和CRtpTransmitter類對象,刪除SDP文件,銷毀CS-dpFile類對象,停止和銷毀CHttpServer類對象.Main函數(shù)銷毀pFlow對象,銷毀pConfig對象并結(jié)束程序.1.4客戶端視頻監(jiān)控軟件的設(shè)計由于服務(wù)器端采用標準的RTP協(xié)議,客戶端播放軟件只要遵循該協(xié)議,就可以獲得視頻流.服務(wù)器端采用IP多播技術(shù),只需發(fā)送一份數(shù)據(jù)包就可以支持多客戶端同時監(jiān)控,而不會增加服務(wù)器的負擔.一般來說,客戶端只要安裝有與DSP的MPEG4壓縮算法相應(yīng)的解碼器,然后使用Re-alOne等標準播放軟件都可以作視頻流的播放了.也可以根據(jù)RTP協(xié)議,自己編寫客戶端播放軟件來進行視頻監(jiān)控.2系統(tǒng)實踐該系統(tǒng)已經(jīng)在實驗室和一些現(xiàn)場進行過系統(tǒng)實踐,如圖6和圖7的屏幕截圖所示.3結(jié)論根據(jù)當前計算機網(wǎng)絡(luò)技術(shù)和視頻數(shù)據(jù)壓縮技術(shù)的發(fā)展現(xiàn)狀,提出并研究設(shè)計了一個基于流媒體技術(shù)的網(wǎng)絡(luò)化嵌入式視頻監(jiān)控系統(tǒng).該系統(tǒng)以高速發(fā)展的嵌入式網(wǎng)絡(luò)技術(shù)為核心進行設(shè)計,具有很好的可靠性和性能價格比.該系統(tǒng)在一定應(yīng)用場所已得到了試驗應(yīng)用.參考文獻:1GREIFFENHAGEN M,COMANICIU D,NIEMANNH,et al.Design,analysis and engineering of videomonitoring systems: an approach and a case studyJ.Proceedings of the IEEE, 2001,90(10):1498-1517.2 Zingirian Baglietto Maresca, Migliardi.MPEG Coding of Highway Monitoring Video SequencesM. Univer-sity of Genoa, Italy: Internal Report DIST,1996.3SCHULZRINNE H, CASNER S, FREDERICK R,et al. RTP: a transport protocol for real-time applica-tionsJ.RFC3550, 2003.4 HANDLEY M, JACOBSON V. SDP: session descrip-tion protocolJ.RFC2327, 1998.5ADSP-BF531/ADSP-BF532/ADSP-BF533.BLACKfinEmbedded Processor Preliminary Data SheetM.Ana-log Devices, Inc, 2003.6 Intel Corporation.Intel PXA26x Processor Family Developers ManualM, 2003. 論文認識體會這篇論文寫的是關(guān)于基于流媒體技術(shù)的網(wǎng)絡(luò)化嵌入式系統(tǒng)在視頻監(jiān)控中的應(yīng)用。通過閱讀這篇論文，我認識到現(xiàn)如今隨著網(wǎng)絡(luò)、通信和數(shù)字信息技術(shù)的不斷進步，監(jiān)控系統(tǒng)的組成模式也在快化和發(fā)展中。視頻監(jiān)控系統(tǒng)是安全防范系統(tǒng)的組成部分，它是一種防范能力較強的綜合系統(tǒng)。視頻監(jiān)控以其直觀、方便、信息內(nèi)容豐富而廣泛應(yīng)用于許多場合。近年來，隨著計算機、網(wǎng)絡(luò)以及圖像處理、傳輸技術(shù)的飛速發(fā)展，涌現(xiàn)出大量的嵌入式視頻監(jiān)控系統(tǒng)。視頻監(jiān)控技術(shù)的發(fā)展大致可分為四個階段：閉路電視系統(tǒng)構(gòu)建的模擬系統(tǒng)、數(shù)字信號控制的模擬視頻監(jiān)控系統(tǒng)、數(shù)字硬盤錄像設(shè)備為核心的視頻監(jiān)控系統(tǒng)和現(xiàn)在的數(shù)字網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)。我認為論文中設(shè)計的視頻監(jiān)控之所以采用嵌入式Linux系統(tǒng)是因為嵌入式Linux操作系統(tǒng)越來越多地成為嵌入式系統(tǒng)設(shè)計的主流.其具有任務(wù)調(diào)度、存儲管理、消息隊列、中斷處理等現(xiàn)代操作系統(tǒng)特征;并且針對嵌入式系統(tǒng)進行了優(yōu)化,具有體積小、固化容易、現(xiàn)場實時反應(yīng)能力強、可靠性好等特點;而且操作系統(tǒng)本身包含TCP/IP協(xié)議棧,以及大量跟硬件相關(guān)的驅(qū)動程序.另外Linux操作系統(tǒng)上的開發(fā)資源十分豐富,為嵌入式軟件開發(fā)人員提供了良好的開發(fā)平臺.硬件驅(qū)動程序位于嵌入式Linux操作系統(tǒng)之中,是上層應(yīng)用軟件和下層嵌入式硬件之間的唯一橋梁.對于特定的嵌入式硬件就需要編寫特定的驅(qū)動程序.在該系統(tǒng)中主要開發(fā)了高速SPI接口驅(qū)動程序模塊,這樣上層嵌入式流媒體服務(wù)器就可以通過SPI接口驅(qū)動來接受DSP壓縮好的MPEG4視頻數(shù)據(jù).嵌入式流媒體服務(wù)器是系統(tǒng)嵌入式軟件設(shè)計的核心部分。通過這篇論文我體會到嵌入式系統(tǒng)已經(jīng)涉及到生活中各項領(lǐng)域，不僅是視頻監(jiān)控領(lǐng)域，還有手機，PDA，機頂盒，高清電視，路由器，汽車電子，智能家電，醫(yī)療儀器，航天設(shè)備等等這些都是嵌入式系統(tǒng)的典型應(yīng)用。嵌入式系統(tǒng)將會有更加廣闊的發(fā)展空間。 課程總結(jié)通過8周的嵌入式系統(tǒng)課程學習，我對嵌入式系統(tǒng)以及ARM微處理器有了更加深刻的認識。以往我對嵌入式系統(tǒng)是極其陌生的，并且認為這是非常難理解和學習的。但經(jīng)過了上學期微機原理和本學期的嵌入式系統(tǒng)課程，我對這個系統(tǒng)有了全新的認識。課本對該系統(tǒng)的描述：嵌入式系統(tǒng)是“控制、監(jiān)視或者輔助裝置、機器和設(shè)備運行的裝置”。這主要是從應(yīng)用上定義的，從中可看出嵌入式系統(tǒng)是軟件和硬件的綜合體。但上述定義并不能充分體現(xiàn)出嵌入式系統(tǒng)的精髓，目前國內(nèi)一個普遍被認同的定義是：以應(yīng)用為中心、以計算機技術(shù)為基礎(chǔ)、軟件硬件可裁剪、適應(yīng)應(yīng)用系統(tǒng)對功能、可靠性、成本、體積、功耗嚴格要求的專用計算機系統(tǒng)。我對這個系統(tǒng)的理解是這樣的：嵌入式系統(tǒng)是集系統(tǒng)的應(yīng)用軟件與硬件于一體，類似于 PC 機中 BIOS 的工作方式，具有軟件代碼小、高度自動化、響應(yīng)速度快等特點，特別適合于要求實時和多任務(wù)的體系。不僅如此，我認為嵌入式系統(tǒng)是面向用戶、面向產(chǎn)品、面向應(yīng)用的