嵌入式系統(tǒng)調研報告

北京聯(lián)合大學嵌入式系統(tǒng)設計與應用

調研報告學院:專業(yè):課程:班級:姓名:學號:基于流媒體技術的網(wǎng)絡化嵌入式視頻監(jiān)控系統(tǒng)北京聯(lián)合大學XXX原作者：陳耀武,伍鵬,汪樂宇

（浙江大學儀器科學與工程學系,浙江杭州310027）摘要:視頻監(jiān)控系統(tǒng)是日常生產生活中的重要輔助設備,提出并研究設計了基于流媒體技術的網(wǎng)絡化嵌入式視頻監(jiān)控系統(tǒng).以高性能嵌入式處理器、DSP處理器和嵌入式Linux操作系統(tǒng)為核心進行系統(tǒng)設計?系統(tǒng)通過DSP處理器進行視頻信號的MPEG4數(shù)據(jù)壓縮,在嵌入式處理器上采用流媒體技術通過網(wǎng)絡傳播實時視頻流.詳細論述了系統(tǒng)設計、硬件設計和軟件設計,并給出了實際運行結果.關鍵詞：視頻監(jiān)控系統(tǒng)；流媒體；MPEG4;嵌入式系統(tǒng)StreammediatechnologybasednetworkembeddedvideomonitoringsystemCHENYao-wu,WUPeng,WANGLe-yuAbstract:Thevideomonitoringsystemisanimportantassistantdeviceinourlife.Anetworkembeddedvideomonitoringsystembasedonthestreammediatechnologyispresentedanddeveloped.Thesystemisdesignedoftheembeddedprocessor,theDSPprocessorandembeddedLinuxoperatingsystem.ThevideocompressionpartofthesystemisbasedontheMPEG4algorithmiatheDSPprocessor,whilemulticastingtherealtimevideostreamtothenetworkbasedonthestreammediatechnologyviaembeddedprocessor.Thesystemdesign,hardwaredesign,softwaredesign,andthepracticaloperatingresultsarediscussedindetail.Keywords:videomonitoringsystem;streammedia;MPEG4;embeddedsystem視頻監(jiān)控系統(tǒng)是日常生產生活中的重要輔助設備,應用十分廣泛.當前視頻監(jiān)控系統(tǒng)正逐步由模擬化走向數(shù)字化.隨著視頻壓縮技術和網(wǎng)絡技術的發(fā)展,開發(fā)新一代的基于計算機網(wǎng)絡和多媒體MPEG4壓縮算法的視頻監(jiān)控系統(tǒng)已成為整個行業(yè)技術發(fā)展的主要方向之一[1,2].本文提出并研究設計了一種基于流媒體技術的網(wǎng)絡化嵌入式視頻監(jiān)控系統(tǒng).該系統(tǒng)采用目前計算機領域最為活躍的嵌入式系統(tǒng)技術，以高性能嵌入式處理器、DSP處理器和嵌入式Linux操作系統(tǒng)為核心對嵌入式視頻監(jiān)控模塊進行設計,并采用流媒體技術,通過IP多播技術、RTP/RTCP協(xié)議[3]實時傳送視頻監(jiān)控流.該系統(tǒng)跟傳統(tǒng)的模擬監(jiān)控系統(tǒng)和基于PC組合的計算機數(shù)字監(jiān)控系統(tǒng)相比有以下優(yōu)勢:(1)布控區(qū)域廣泛.嵌入式數(shù)字監(jiān)控系統(tǒng)的服務器和終端設備可直接連入網(wǎng)絡，沒有線纜長度和信號衰減的限制，同時網(wǎng)絡是沒有距離概念的，因此徹底拋棄了地域的概念，擴展了布控區(qū)域.(2)可組成非常復雜的監(jiān)控網(wǎng)絡.如果采用基于嵌入式流媒體服務器為核心的監(jiān)控系統(tǒng)，由于流媒體服務器輸出已完成模擬到數(shù)字的轉換并壓縮，采用統(tǒng)一的協(xié)議在網(wǎng)上傳輸，支持跨網(wǎng)關，跨路由器的遠程視頻傳輸，所以其在組網(wǎng)方式上和基于PC平臺的監(jiān)控方式有極大的不同，能支持更為復雜的監(jiān)控網(wǎng)絡.(3)性能穩(wěn)定可靠，無需專人管理.嵌入式數(shù)字監(jiān)控系統(tǒng)用嵌入式實時多任務操作系統(tǒng)，視頻壓縮和流媒體服務功能集中到一個體積很小的設備內，直接連入局域網(wǎng)或廣域網(wǎng)，即插即看，系統(tǒng)的實時性、穩(wěn)定性、可靠性大大提高.所以，無需專人管理，適合于無人值守的環(huán)境.1系統(tǒng)的設計原理1.1系統(tǒng)總體設計基于流媒體技術的網(wǎng)絡化嵌入式視頻監(jiān)控系統(tǒng)如圖1所示.安裝在現(xiàn)場的嵌入式視頻監(jiān)控模塊從攝像頭獲得原始的視頻信號，經(jīng)過硬件壓縮成MPEG4視頻數(shù)據(jù)，然后通過流媒體服務器轉換成流媒體格式，從以太網(wǎng)接口實時傳送到計算機網(wǎng)絡上;實時監(jiān)控客戶端連接到計算機網(wǎng)絡上，從嵌入式視頻監(jiān)控模塊獲得MPEG4視頻數(shù)據(jù)，通過流媒體視頻播放軟件實時地解壓MPEG4視頻數(shù)據(jù)并播放,而且該系統(tǒng)支持多客戶端同時監(jiān)控.圈L系軌總休堵構圖FJig.IStrurturenIIlip^v^trm1.2嵌入式視頻監(jiān)控系統(tǒng)硬件設計嵌入式視頻監(jiān)控系統(tǒng)的硬件主要分為兩大部分:DSP視頻硬件壓縮子模塊和嵌入式處理器子模塊.DSP視頻硬件壓縮子模塊以美國ANALOGDEVICES公司最新推出的DSP處理器BlackfinBF533[5]為核心，實現(xiàn)硬件的MPEG4視頻數(shù)據(jù)壓縮.BlackfinBF533是一款新型的高性能、低功耗的音視頻 DSP,其片內有Blackfin處理器核，主頻高達600MHz,完全適合MPEG4等復雜音視頻的壓縮運算;并且片上的增強型動態(tài)電源管理模塊實現(xiàn)了極低功耗的解決方案,所以該DSP主要面向消費類電子、音視頻處理、VoIP等應用領域?在BF533芯片外圍擴展了1Mbyte閃存(Flash),用于存放MPEG4視頻壓縮算法程序代碼和參數(shù)變量;擴展32Mbyte的同步動態(tài)數(shù)據(jù)存儲器(SDRAM),用于存放數(shù)據(jù)和運行程序.嵌入式處理器子模塊需要運行嵌入式操作系統(tǒng)和嵌入式流媒體服務器，并擴展本地MPEG4視頻數(shù)據(jù)回放，所以選用了INTEL公司的最新嵌入式處理器XScalePXA261[6]作為整個系統(tǒng)的控制.PXA261是XScalePXA26x新系列中的一款高度集成化的嵌入式處理器，它集成了IntelXScaleMi-croarchitecure處理器核心，16Mbyte的片內閃存,LCD控制器,USB從端控制器,I2S,SSP,AC97等一系列多媒體處理模塊.由于其高度的集成性和低功耗特性,PXA261十分合適多媒體處理、手持設備、PDA等應用領域?在PXA261周圍還外擴了32Mbyte的SDRAM用于存放數(shù)據(jù)和運行程序；外擴了USB主端控制器，這樣可以為系統(tǒng)加入多種USB設備;外接LCD控制器可以本地回放視頻數(shù)據(jù)和提供人機交互;外擴的以太網(wǎng)接口可以實現(xiàn)視頻網(wǎng)絡傳輸?shù)男枰?圖2表明了整個硬件系統(tǒng)的框架結構和數(shù)據(jù)流程.首先通過攝像頭獲得原始視頻信號，送入視頻A/D采樣輸入BlackfinBF533作MPEG4壓縮；然后BF533把壓縮得到的MPEG4數(shù)據(jù)通過高速SPI接口送入XScale嵌入式處理器;運行有嵌入式Linux操作系統(tǒng)的XScale處理器把MPEG4數(shù)據(jù)轉化為流媒體數(shù)據(jù)格式，通過以太網(wǎng)接口傳送到計算機網(wǎng)絡.XScale嵌入式處理器通過串口向DSP發(fā)送命令.團2嵌入或視頻監(jiān)控模墳硬件結構團Fig.2Hardwarestrudurein「ih暑rmInddidvirlcoIIISJllIISJfIII2.IIIP】丨I」I曠1.3嵌入式視頻監(jiān)控系統(tǒng)軟件設計在該系統(tǒng)高性能的硬件基礎上，嵌入式視頻監(jiān)控系統(tǒng)軟件包括兩個大的層次:嵌入式Linux操作系統(tǒng)和嵌入式流媒體服務器軟件（不包括DSP固件MPEG4壓縮算法程序），如圖3所示.:旣九式武收価腥旁器圖m言入式視頻監(jiān)控換映軟件結啕曲卩瞎?了Sollwar#sirurlu「便"「山鯉Embedd暑丨videoIH?.iIilk.<rIli2.IIuli!'

嵌入式Linux操作系統(tǒng)越來越多地成為嵌入式系統(tǒng)設計的主流.其具有任務調度、存儲管理、消息隊列、中斷處理等現(xiàn)代操作系統(tǒng)特征；并且針對嵌入式系統(tǒng)進行了優(yōu)化，具有體積小、固化容易、現(xiàn)場實時反應能力強、可靠性好等特點；而且操作系統(tǒng)本身包含TCP/IP協(xié)議棧，以及大量跟硬件相關的驅動程序?另外Linux操作系統(tǒng)上的開發(fā)資源十分豐富，為嵌入式軟件開發(fā)人員提供了良好的開發(fā)平臺?硬件驅動程序位于嵌入式Linux操作系統(tǒng)之中，是上層應用軟件和下層嵌入式硬件之間的唯一橋梁?對于特定的嵌入式硬件就需要編寫特定的驅動程序.在該系統(tǒng)中主要開發(fā)了高速SPI接口驅動程序模塊,這樣上層嵌入式流媒體服務器就可以通過SPI接口驅動來接受DSP壓縮好的MPEG4視頻數(shù)據(jù).嵌入式流媒體服務器是系統(tǒng)嵌入式軟件設計的核心部分?首先通過串口驅動程序來設置DSP的壓縮過程并啟動壓縮，接著通過高速SPI驅動程序獲得DSP壓縮好的MPEG4數(shù)據(jù)，轉換其為適于流式傳輸?shù)臄?shù)據(jù)后通過基于IP多播技術的實時傳輸協(xié)議RTP(realtimetransferprotocol)、實時傳輸控制協(xié)議RTCP(RTPcontrolprotocol)、會話描述協(xié)議SDP(sessiondescriptionprotocol)[4]等一系列標準的IP實時多媒體數(shù)據(jù)傳輸協(xié)議傳送到網(wǎng)絡上.1.4嵌入式流媒體服務器軟件詳細設計嵌入式流媒體服務器整個軟件采用C++語言編寫，圖4是該軟件的靜態(tài)UML類圖設計.CXLi.aSodeCMediaSiurcc「MWi眄inkCXLi.aSodeCMediaSiurcc「MWi眄ink*CSdl[]Fitc1■r-[J11 CMtdiaConfig性I4 啟人式?jīng)Q振體砸務器稱態(tài)I'iLi,■4-StaIifUML<-lass：I r：lnisjI11ie<?inbed；11^1stTeamn]Qirlijhservai如圖4所示,整個系統(tǒng)其實就是由CMediaFlow類所代表的視頻媒體數(shù)據(jù)流.數(shù)據(jù)流由一系列節(jié)點串連而成.抽象類CMediaNode類抽象代表這些一系列的節(jié)點,每一個節(jié)點其實就是一個線程,而每個線程都有一個消息隊列(CMsgQueue類)，用來接受相應的消息(CMsg類)作出處理動作.具體來講,CMediaSource類派生至CMediaNode類代表所有數(shù)據(jù)流源頭的節(jié)點,也就是數(shù)據(jù)流的入口點.同樣的,CMediaSink類也派生至CMediaNode類代表所有數(shù)據(jù)流的接受節(jié)點，可以用來表示數(shù)據(jù)流的出口點.CMediaFrame類代表這個數(shù)據(jù)流中真正的數(shù)據(jù)，它從數(shù)據(jù)源流向數(shù)據(jù)流的出口.CVideoSource類是派生至CMediaSource類,代表視頻數(shù)據(jù)的入口點,它調用嵌入式Linux操作系統(tǒng)的SPI驅動來獲得實時的視頻數(shù)據(jù).CRtpTransmitter類派生至CMediaSink類，代表視頻數(shù)據(jù)的出口點，它封裝了基于流媒體技術的網(wǎng)絡化嵌入式視頻監(jiān)控系統(tǒng)對網(wǎng)絡RTP/RTCP協(xié)議的操作,把視頻數(shù)據(jù)流直接發(fā)送到網(wǎng)絡上.CHttpServer類實現(xiàn)了一個簡單的HTTP服務器的功能，主要是可以通過HTTP協(xié)議傳送SDP文件給客戶端，客戶端獲得SDP文件后就可以根據(jù)SDP文件的描述信息來獲得視頻流的IP多播包.CSdpFile類實現(xiàn)了對SDP會話描述協(xié)議文件的操作，根據(jù)當前的視頻流配置信息產生SDP文件.圖5為嵌入式流媒體服務器軟件UML動態(tài)序列圖.具體的動態(tài)流程描述如下：系統(tǒng)初始化過程程序入口main函數(shù)首先創(chuàng)建CMediaConfig類對象pConfig,并從配置文件里獲得配置信息而初始化該對象.pConfig對象里面包含了整個系統(tǒng)的配置信息,比如視頻源類型、視頻壓縮編碼器類型、網(wǎng)絡傳輸?shù)脑O置等等?根據(jù)pConfig對象的配置來創(chuàng)建類CMediaFlow的對象pFlow,并且Start這個數(shù)據(jù)流.pFlow對象會去創(chuàng)建視頻數(shù)據(jù)源對象CVideoSource和數(shù)據(jù)流的出口對象CRtpTransmitter.用CVideoSource的AddSink操作告訴CRtpTransmiter類的對象是數(shù)據(jù)源的接收者.啟動CRtpTransmitter的對象，同時創(chuàng)建CSdpFile類對象，并通過GenerateSdpFile操作來產生SDP描述文件.創(chuàng)建CHttpServer類對象，并啟動HTTPserver服務，提供SDP文件下載.

riMteisCfonfiStcrlVidkciiFerwiardipJmnRp二S^pTtamd.dhletfStapltaciiii.dcl加1貝欄即列￡,血|證-Sro^Thread.-del>?[?(MCU1bIcI?pCon帥l--hlU￥l|iE4riMteisCfonfiStcrlVidkciiFerwiardipJmnRp二S^pTtamd.dhletfStapltaciiii.dcl加1貝欄即列￡,血|證-Sro^Thread.-del>?[?(MCU1bIcI?pCon帥l--hlU￥l|iE4r ■ WMdlSi-L: * ?-J 1$i-trk— il Qwjrrit-cSpJFiItAninircFramoPfrSffirtFrwielil5蠱扎式班媒悻服務器動態(tài)LMI-序列囹FLg.5Dyn.：nnirUMLsc<|UM?n.cer：mi“IIImji-mbrJdedsireamimlLaserver視頻流處理發(fā)送過程.pFlow對象調用CVideoSource類對象的StartVideo操作來啟動視頻流.從SPI驅動獲得MPEG4的數(shù)據(jù)幀，接著創(chuàng)建CMediaFrame類的對象pFrame，用ForwardFrame操作把MPEG4數(shù)據(jù)幀送入接受者CRtpTrans-mitter類的對象.CRtpTransmitter類的對象調用DoSendFrame函數(shù)通過網(wǎng)絡發(fā)送該MPEG4數(shù)據(jù)幀.CVideoSource類對象通過RealseFrame操作釋放該MPEG4數(shù)據(jù)幀，并銷毀pFrame對象.重復以上過程就可以得到連續(xù)的視頻流數(shù)據(jù).中止該視頻流的過程.Main函數(shù)調用pFlow對象的Stop操作來中止該視頻流.pFlow對象會依次去停止和銷毀CVideoSource類對象和CRtpTransmitter類對象，刪除SDP文件，銷

毀CS-dpFile類對象，停止和銷毀CHttpServer類對象.Main函數(shù)銷毀pFlow對象，銷毀pConfig對象并結束程序.1.4客戶端視頻監(jiān)控軟件的設計由于服務器端采用標準的RTP協(xié)議，客戶端播放軟件只要遵循該協(xié)議，就可以獲得視頻流?服務器端采用IP多播技術，只需發(fā)送一份數(shù)據(jù)包就可以支持多客戶端同時監(jiān)控,而不會增加服務器的負擔?一般來說,客戶端只要安裝有與DSP的MPEG4壓縮算法相應的解碼器，然后使用Re-alOne等標準播放軟件都可以作視頻流的播放了.也可以根據(jù)RTP協(xié)議，自己編寫客戶端播放軟件來進行視頻監(jiān)控.2系統(tǒng)實踐該系統(tǒng)已經(jīng)在實驗室和一些現(xiàn)場進行過系統(tǒng)實踐，如圖6和圖7的屏幕截圖所示.traJfan 同"Hjni岸| 圖tritraJfan 同"Hjni岸| 圖tri圖6觀頻播啟器或團Fi*■&Sen!in^liolofIIm-vi；hxi|訂加丫和:II?HM- 圈7Redone器屛慕蒂圖F電shotq\'Ihr player3結論根據(jù)當前計算機網(wǎng)絡技術和視頻數(shù)據(jù)壓縮技術的發(fā)展現(xiàn)狀,提出并研究設計了一個基于流媒體技術的網(wǎng)絡化嵌入式視頻監(jiān)控系統(tǒng).該系統(tǒng)以高速發(fā)展的嵌入式網(wǎng)絡技術為核心進行設計,具有很好的可靠性和性能價格比.該系統(tǒng)在一定應用場所已得到了試驗應用.參考文獻:GREIFFENHAGENM,COMANICIUD,NIEMANNH,etal.Design,analysisandengineeringofvideomonitoringsystems:anapproachandacasestudy[J].ProceedingsoftheIEEE,2001,90(10):1498-1517.ZingirianBagliettoMaresca,Migliardi.MPEGCodingofHighwayMonitoringVideoSequences[M].Univer-sityofGenoa,Italy:InternalReportDIST,1996.SCHULZRINNEH,CASNERS,FREDERICKR,etal.RTP:atransportprotocolforreal-timeapplica-tions[J].RFC3550,2003.HANDLEYM,JACOBSONV.SDP:sessiondescrip-tionprotocol[J].RFC2327,1998.ADSP-BF531/ADSP-BF532/ADSP-BF533.BLACKfinEmbeddedProcessorPreliminaryDataSheet[M].Ana-logDevices,Inc,2003.IntelCorporation.IntelPXA26xProcessorFamilyDeveloper'sManual[M],2003.論文認識體會這篇論文寫的是關于基于流媒體技術的網(wǎng)絡化嵌入式系統(tǒng)在視頻監(jiān)控中的應用。通過閱讀這篇論文，我認識到現(xiàn)如今隨著網(wǎng)絡、通信和數(shù)字信息技術的不斷進步，監(jiān)控系統(tǒng)的組成模式也在快化和發(fā)展中。視頻監(jiān)控系統(tǒng)是安全防范系統(tǒng)的組成部分，它是一種防范能力較強的綜合系統(tǒng)。視頻監(jiān)控以其直觀、方便、信息內容豐富而廣泛應用于許多場合。近年來，隨著計算機、網(wǎng)絡以及圖像處理、傳輸技術的飛速發(fā)展，涌現(xiàn)出大量的嵌入式視頻監(jiān)控系統(tǒng)。視頻監(jiān)控技術的發(fā)展大致可分為四個階段：閉路電視系統(tǒng)構建的模擬系統(tǒng)、數(shù)字信號控制的模擬視頻監(jiān)控系統(tǒng)、數(shù)字硬盤錄像設備為核心的視頻監(jiān)控系統(tǒng)和現(xiàn)在的數(shù)字網(wǎng)絡視頻監(jiān)控系統(tǒng)。我認為論文中設計的視頻監(jiān)控之所以采用嵌入式Linux系統(tǒng)是因為嵌入式Linux操作系統(tǒng)越來越多地成為嵌入式系統(tǒng)設計的主流.其具有任務調度、存儲管理、消息隊列、中斷處理等現(xiàn)代操作系統(tǒng)特征;并且針對嵌入式系統(tǒng)進行了優(yōu)化,具有體積小、固化容易、現(xiàn)場實時反應能力強、可靠性好等特點;而且操作系統(tǒng)本身包含TCP/IP協(xié)議棧，以及大量跟硬件相關的驅動程序.另外Linux操作系統(tǒng)上的開發(fā)資源十分豐富,為嵌入式軟件開發(fā)人員提供了良好的開發(fā)平臺.硬件驅動程序位于嵌入式Linux操作系統(tǒng)之中，是上層應用軟件和下層嵌入式硬件之間的唯一橋梁.對于特定的嵌入式硬件就需要編寫特定的驅動程序.在該系統(tǒng)中主要開發(fā)了高速SPI接口驅動程序模塊，這樣上層嵌入式流媒體服務器就可以通過SPI接口驅動來接受DSP壓縮好的MPEG4視頻數(shù)據(jù).嵌入式流媒體服務器是系統(tǒng)嵌入式軟件設計的核心部分。通過這篇論文我體會到嵌入式系統(tǒng)已經(jīng)涉及到生活中各項領域，不僅是視頻監(jiān)控領域，還有手機，PDA，機頂盒，高清電視，路由器，汽車電子，智能家電，醫(yī)療儀器，航天設備等等這些都是嵌入式系統(tǒng)的典型應用。嵌入式系統(tǒng)將會有更加廣闊的發(fā)展空間。課程總結通過8周的嵌入式系統(tǒng)課程學習，我對嵌入式系統(tǒng)以及ARM微處理器有了更加深刻的認識。以往我對嵌入式系統(tǒng)是極其陌生的，并且認為這是非常難理解和學習的。但經(jīng)過了上學期微機原理和本學期的嵌入式系統(tǒng)課程，我對這個系統(tǒng)有了全新的認識。課本對該系統(tǒng)的描述：嵌入式系統(tǒng)是“控制、監(jiān)視或者輔助裝置、機器和設備運行的裝置”。這主要是從應用上定義的，從中可看出嵌入式系統(tǒng)是軟件和硬件的綜合體。但上述定義并不能充分體現(xiàn)出嵌入式系統(tǒng)的精髓，目前國內一個普遍被認同的定義是：以應用為中心、以計算機技術為基礎、軟件硬件可裁剪、適應應用系統(tǒng)對功能、可靠性、成本、體積、功耗嚴格要求的專用計算機系統(tǒng)。我對這個系統(tǒng)的理解是這樣