基于WEB的嵌入式視頻采集壓縮瘦身服務器的設計

1、2022-4-17歐賽爾電子工作室http:/基于基于WEBWEB的嵌入式視頻采集壓的嵌入式視頻采集壓縮瘦身服務器的設計縮瘦身服務器的設計西安交通大學信號與信息處理研究所 報告人：王黎明2022-4-17歐賽爾電子工作室http:/概述概述 1.系統(tǒng)的開發(fā)背景系統(tǒng)的開發(fā)背景 2.系統(tǒng)實現(xiàn)的主要功能系統(tǒng)實現(xiàn)的主要功能 3.系統(tǒng)實現(xiàn)具體方案系統(tǒng)實現(xiàn)具體方案 4.主要使用的技術主要使用的技術 2022-4-17歐賽爾電子工作室http:/1 1、系統(tǒng)的開發(fā)背景、系統(tǒng)的開發(fā)背景2022-4-17歐賽爾電子工作室http:/嵌入式視頻采集壓縮系統(tǒng)嵌入式視頻采集壓縮系統(tǒng) 開發(fā)背景開發(fā)背景嵌入式嵌入式323

2、2位微控制器系統(tǒng)與高性能數字信號處理器相結合位微控制器系統(tǒng)與高性能數字信號處理器相結合視頻實時性要求進行硬壓縮以及要求可以實現(xiàn)幾種壓縮標準視頻實時性要求進行硬壓縮以及要求可以實現(xiàn)幾種壓縮標準未來智能化網絡化的需要未來智能化網絡化的需要2022-4-17歐賽爾電子工作室http:/1.1.嵌入式視頻采集壓縮系統(tǒng)嵌入式視頻采集壓縮系統(tǒng) 開發(fā)背景（開發(fā)背景（1 1）（1）運行嵌入式操作系統(tǒng)的運行嵌入式操作系統(tǒng)的3232位微控制器系統(tǒng)與數字信號處理器相結合位微控制器系統(tǒng)與數字信號處理器相結合 數字信號處理（數字信號處理（DSP）芯片技術發(fā)展很快，因其強大的計算能力廣泛應用于通信、控）芯片技術發(fā)展很快，

3、因其強大的計算能力廣泛應用于通信、控制、信號分析等領域。但作為一種專用處理器，通常不能完成一些通用微處理器完成的工制、信號分析等領域。但作為一種專用處理器，通常不能完成一些通用微處理器完成的工作，也就不能有效地支持各種網絡協(xié)議如作，也就不能有效地支持各種網絡協(xié)議如TCP/IP或者或者UDP/IP。 而運行嵌入式操作系統(tǒng)的而運行嵌入式操作系統(tǒng)的32位微控制器系統(tǒng)能夠有效支持各種網絡協(xié)議，但是在處位微控制器系統(tǒng)能夠有效支持各種網絡協(xié)議，但是在處理一些運算量較大的任務（如語音和圖像信號的壓縮和解壓縮、數據通信中的加解密算法理一些運算量較大的任務（如語音和圖像信號的壓縮和解壓縮、數據通信中的加解密算法

4、等）有時就不能夠勝任。等）有時就不能夠勝任。 因此本系統(tǒng)就是將兩者因此本系統(tǒng)就是將兩者結合結合起來，共同實現(xiàn)一個任務。起來，共同實現(xiàn)一個任務。ADC轉換ADC轉換高速DSP處理高速DSP處理和編碼和編碼共享存儲器共享存儲器雙口SRAM雙口SRAM32位嵌入式32位嵌入式微處理器微處理器串口串口DSP總線擴展DSP總線擴展以太網接口以太網接口擴展存儲器擴展存儲器2022-4-17歐賽爾電子工作室http:/1.1.嵌入式視頻采集壓縮系統(tǒng)嵌入式視頻采集壓縮系統(tǒng) 開發(fā)背景（開發(fā)背景（2 2）（2）視頻實時性要求進行硬壓縮以及要求可以實現(xiàn)幾種壓縮標準視頻實時性要求進行硬壓縮以及要求可以實現(xiàn)幾種壓縮標準

5、 當前當前PC機通用機通用CPU的處理能力和操作系統(tǒng)的結構，壓縮實時性不高的處理能力和操作系統(tǒng)的結構，壓縮實時性不高 硬件的實時壓縮是專用芯片。對于用戶很難能進行二次開發(fā)。硬件的實時壓縮是專用芯片。對于用戶很難能進行二次開發(fā)。 通用通用DSP作為編解碼芯片的視頻壓縮具有較強的擴展性和二次開發(fā)能力作為編解碼芯片的視頻壓縮具有較強的擴展性和二次開發(fā)能力2022-4-17歐賽爾電子工作室http:/1.1.嵌入式視頻采集壓縮系統(tǒng)嵌入式視頻采集壓縮系統(tǒng) 開發(fā)背景（開發(fā)背景（3 3）（3）未來網絡化的需要）未來網絡化的需要 Internet和和Intranet已經滲透到社會生活的每個角落，當一臺設備具有

6、網絡已經滲透到社會生活的每個角落，當一臺設備具有網絡智能時，人們可以在任何地方、任何時間、任何地點、使用任何平臺隨時瀏覽實智能時，人們可以在任何地方、任何時間、任何地點、使用任何平臺隨時瀏覽實時的狀態(tài)，并在遠程實現(xiàn)對這臺設備的監(jiān)視、控制、診斷、測試和配置。時的狀態(tài)，并在遠程實現(xiàn)對這臺設備的監(jiān)視、控制、診斷、測試和配置。 預計在不遠的未來，每個設備中都將有一個預計在不遠的未來，每個設備中都將有一個IP地址，每個設備都具有遠程維地址，每個設備都具有遠程維護功能并都能從護功能并都能從Internet獲取智能控制獲取智能控制。也就是嵌入式操作系統(tǒng)設備作為網絡服。也就是嵌入式操作系統(tǒng)設備作為網絡服務器，

7、擁有自己的務器，擁有自己的IP地址，所面向的設備作為客戶機地址，所面向的設備作為客戶機。2022-4-17歐賽爾電子工作室http:/1.1.嵌入式視頻采集壓縮系統(tǒng)嵌入式視頻采集壓縮系統(tǒng) 開發(fā)背景（開發(fā)背景（4 4） 本系統(tǒng)將運行嵌入式操作系統(tǒng)的本系統(tǒng)將運行嵌入式操作系統(tǒng)的3232位微處理器系統(tǒng)與數字信號處理器相位微處理器系統(tǒng)與數字信號處理器相結合，構成一個基于視頻采集壓縮系統(tǒng)的瘦身結合，構成一個基于視頻采集壓縮系統(tǒng)的瘦身WEBWEB服務器。服務器。2022-4-17歐賽爾電子工作室http:/2、系統(tǒng)實現(xiàn)的功能、系統(tǒng)實現(xiàn)的功能2022-4-17歐賽爾電子工作室http:/2.2. 嵌入式視頻

8、采集壓縮系統(tǒng)實現(xiàn)的功能嵌入式視頻采集壓縮系統(tǒng)實現(xiàn)的功能1) ) 支持支持PAL/NTSC合成視頻的捕捉和采集，可以接受合成視頻的捕捉和采集，可以接受CCD攝像頭輸出的模擬視頻信號，將其攝像頭輸出的模擬視頻信號，將其 采樣量化為復合采樣量化為復合CCIR.601標準的數字視頻信號標準的數字視頻信號2) 能夠對數字視頻數據進行壓縮和編碼處理，能夠對數字視頻數據進行壓縮和編碼處理，具體采用的多媒體壓縮標準可以具體采用的多媒體壓縮標準可以H.263 、MJPEG MJPEG2000、 MPEG1、MPEG2等等3) 帶有音頻擴展接口，可以很方便的構成音頻視頻同步的網絡視頻監(jiān)控系統(tǒng)，帶有音頻擴展接口，可

9、以很方便的構成音頻視頻同步的網絡視頻監(jiān)控系統(tǒng)，Audio/Video流的流的復合，完全實現(xiàn)音視頻同步復合，完全實現(xiàn)音視頻同步4) 視頻亮度對比度飽和度色度灰度可調等視頻亮度對比度飽和度色度灰度可調等 5）監(jiān)控系統(tǒng)可對鏡頭進行光圈、焦距、景深距離的控制操作對云臺可做全方位控制，系統(tǒng)可以對）監(jiān)控系統(tǒng)可對鏡頭進行光圈、焦距、景深距離的控制操作對云臺可做全方位控制，系統(tǒng)可以對云臺的上下左右的轉動以及配套的云臺護罩的相應設備進行全方位的控制云臺的上下左右的轉動以及配套的云臺護罩的相應設備進行全方位的控制 6 6）通過局域網或者因特網和提供在線監(jiān)控，可以在遠程工作站查看，）通過局域網或者因特網和提供在線監(jiān)

10、控，可以在遠程工作站查看，通過局域網或者因特網和實通過局域網或者因特網和實現(xiàn)遠程搖攝現(xiàn)遠程搖攝/傾斜傾斜/放縮放縮8） 系統(tǒng)留有進一步完善和二次開發(fā)的余地，具有良好的軟硬件接口，可以方便的集成到其它系統(tǒng)留有進一步完善和二次開發(fā)的余地，具有良好的軟硬件接口，可以方便的集成到其它視頻處理之中視頻處理之中2022-4-17歐賽爾電子工作室http:/3. 3. 系統(tǒng)的實現(xiàn)方案系統(tǒng)的實現(xiàn)方案2022-4-17歐賽爾電子工作室http:/3.3. 嵌入式視頻采集壓縮系統(tǒng)的實現(xiàn)方案嵌入式視頻采集壓縮系統(tǒng)的實現(xiàn)方案 1）系統(tǒng)總體實現(xiàn)方案 2）系統(tǒng)總體實現(xiàn)框圖 3）系統(tǒng)實現(xiàn)的創(chuàng)新性 4）系統(tǒng)實現(xiàn)的主要模塊 5

11、）系統(tǒng)的軟件模塊2022-4-17歐賽爾電子工作室. 系統(tǒng)的總體實現(xiàn)方案系統(tǒng)的總體實現(xiàn)方案 本用于視頻會議或者監(jiān)控的嵌入式視頻壓縮卡系統(tǒng)是以SAMSUNG公司的嵌入式ARM-S3C4510B芯片技術和TI公司的高性能C62x系列定點DSP芯片技術為基礎，以太網絡（Ethernet）接口結構的嵌入式視頻圖像采集壓縮系統(tǒng)，其主要功能是將由CCD攝像頭獲得的模擬視頻信號經A/D轉換為數字視頻信號后，視頻信號通過高速DSP壓縮成各種符合不同壓縮標準的數據碼流。視頻壓縮后的數據流由嵌入式微控制芯片ARM-S3C4510B通過DSP的擴展總線xBUS讀出，通過嵌入式操作系統(tǒng)的UD

12、P/IP協(xié)議棧，將數據打包，并運行web服務器，等待客戶服務端通過網絡訪問數據流。 從而實現(xiàn)一個基于web的嵌入式視頻壓縮瘦身服務器。 DSP（SLAVE mode） ARM（MASTER mode）2022-4-17歐賽爾電子工作室. 系統(tǒng)總體實現(xiàn)框圖系統(tǒng)總體實現(xiàn)框圖2022-4-17歐賽爾電子工作室http:/3.33.3. .系統(tǒng)實現(xiàn)的創(chuàng)新性系統(tǒng)實現(xiàn)的創(chuàng)新性 （1 1）采用獨立的雙處理器的結構，一個處理器用于視頻的壓縮，一個處理器用于運行操作系統(tǒng)采用獨立的雙處理器的結構，一個處理器用于視頻的壓縮，一個處理器用于運行操作系統(tǒng)實現(xiàn)控制功能，實現(xiàn)實現(xiàn)控制功能，實現(xiàn)DS

13、P的強大運算功能與嵌入式微處理器的強大控制功能相結合。的強大運算功能與嵌入式微處理器的強大控制功能相結合。 （2）操作系統(tǒng)）操作系統(tǒng)uClinux內核嵌入到微處理器中，這種嵌入式操作系統(tǒng)內核源代碼是公開的，易于內核嵌入到微處理器中，這種嵌入式操作系統(tǒng)內核源代碼是公開的，易于在此基礎上進行開發(fā)，同時在此基礎上進行開發(fā)，同時uClinux操作系統(tǒng)本身帶有完整的網絡協(xié)議棧，無需開發(fā)者移植網操作系統(tǒng)本身帶有完整的網絡協(xié)議棧，無需開發(fā)者移植網絡協(xié)議。絡協(xié)議。 （3）獨立的雙處理器通信中采用）獨立的雙處理器通信中采用DSP的擴展總線的擴展總線xBUS，這樣可以充分利用，這樣可以充分利用DSP的雙總線結構，

14、的雙總線結構，盡量減少總線帶寬的沖突。盡量減少總線帶寬的沖突。 （4）壓縮算法上使用了國際上最新的）壓縮算法上使用了國際上最新的MotionJPEG2000的壓縮算法。的壓縮算法。 （5）對攝像頭現(xiàn)場控制也可以通過網絡進行遠程控制。）對攝像頭現(xiàn)場控制也可以通過網絡進行遠程控制。 2022-4-17歐賽爾電子工作室http:/3.43.4系統(tǒng)的主要模塊系統(tǒng)的主要模塊視頻DSP壓縮模塊硬件系統(tǒng)軟件系統(tǒng)存儲器模塊視頻采集模塊主處理器模塊音頻模塊電源模塊硬件驅動模塊視頻編碼子系統(tǒng)控制子系統(tǒng)DSP處理器模塊處理器模塊2022-4-17歐賽爾電子工作室http:/3.4 3.4 系統(tǒng)的主要模塊系統(tǒng)的主要模

15、塊嵌入式微處理器模塊微處理器模塊存儲模塊以太網控制模塊DSP接口控制模塊硬件系統(tǒng)軟件系統(tǒng)BOOT啟動代碼uClinux操作系統(tǒng)代碼嵌入式微處理器模塊嵌入式微處理器模塊2022-4-17歐賽爾電子工作室http:/3.4 3.4 系統(tǒng)的主要模塊系統(tǒng)的主要模塊CCD攝像頭視頻A/DSAA7114HCVBSS-VideoAL440BFIFOVPOBUSTMS320C6202BDSPEMIFEPM7128SEPM7128SCPLDCPLDIGPHIGPVIDQIGP1GIO1RTS1F_RCKF_WCKWRSTRRSTREWEINT0INT1nCE2nRE視頻采集模塊：視頻采集模塊： 該模塊的主要功能

16、是將從CCD攝像頭輸入的模擬視頻信號轉換為數字信號。普通CCD攝像頭的輸出是NTSC制式(或PAL制式)的復合全電視信號CVBS或是S-Video信號，二者均為模擬信號。通過PHILIPS公司的TV 解碼芯片SAA7114H將模擬TV信號解碼并且模數轉換為符合CCIR.601標準的數字視頻信號，并且存儲到專用的視頻FIFO芯片AL440B中，等待DSP處理。 CPLD通過SAA7114H的輸出狀態(tài)信號以及C6202B DSP的相應輸出控制信號生成FIFO AL440B的控制信號。通過檢測SAA7114H輸出的同步信號來生成DSP中斷，通知DSP讀取視頻FIFO中已滿的一場圖像數據。 2022-

17、4-17歐賽爾電子工作室http:/3.43.4 系統(tǒng)的主要模塊系統(tǒng)的主要模塊主處理器模塊主處理器模塊 模塊主要是由TMS320C6202B DSP芯片，以及時鐘電路等DSP外圍器件構成。DSP運行的內部時鐘是264MHz，外部的SDRAM運行在132MHz時鐘。主要實現(xiàn)的功能：完成對視頻AD模塊輸出的數字視頻流的壓縮編碼完成對整個硬件系統(tǒng)各模塊的控制功能，實現(xiàn)數字視頻流的傳輸控制通過C6202B DSP的xBUS總線將壓縮后的視頻流傳送到微控制器上通過C6202B DSP的McBSP1模擬I2C總線，對視頻AD芯片SAA7114H進行初始化，對視頻FIFO通過模擬I2C總線進行配置。對于需要

18、進行語音處理的，完成相應的語音壓縮編碼的功能。2022-4-17歐賽爾電子工作室http:/3.4 3.4 系統(tǒng)的主要模塊系統(tǒng)的主要模塊EMIF數據總線技術數據總線技術TMS320C6202BTMS320C6202BDSPDSP8M8bit 150MHz8M8bit 150MHzSDRAMSDRAM塊2 CE0ED31:08M8bit 150MHz8M8bit 150MHzSDRAMSDRAM塊1 CE0ED15:0ED31:16LVTH162245LSD15:04Mbits 80MHz4Mbits 80MHzFIFOFIFO段2 CE2LSD15：84Mbits 80MHz4Mbits 80

19、MHzFIFOFIFO段1 CE2LSD7:0512Kbyte512KbyteFLASHFLASHCE1LSD7:02022-4-17歐賽爾電子工作室http:/3.4 3.4 系統(tǒng)的主要模塊系統(tǒng)的主要模塊TMS320C6202BTMS320C6202BDSPDSPEA21:2EA14:2SDRAMSDRAM塊1塊1CE0SDRAMSDRAM塊2塊2CE0SDA15.2EA18:2512Kbyte512KbyteFLASHFLASHCE1FA16:0ALB16244ALB16244EMIF地址總線技術地址總線技術2022-4-17歐賽爾電子工作室http:/3.4 3.4 系統(tǒng)的主要模塊系統(tǒng)的

20、主要模塊音頻模塊音頻模塊 系統(tǒng)的音頻模塊主要是以一塊語音AD/DA芯片TLC320AD50C以及與之配套的模擬音頻輸入輸出電路構成。TLC320AD50C芯片最高采樣率到22.05KHz，可以滿足絕大多數語音應用的要求。該芯片的數字音頻輸入輸出接口采用SPI模式，直接和C6202B DSP的McBSP0無縫連接。 系統(tǒng)中AD50采用主模式方式，而DSP的McBSP接口采用從模式形式，SPI總線通信中所需要的時鐘CLK和分幀信號FS均由AD50產生并輸入到DSP。 AD50SCLKFSDOUTDINC6202BDSPMcBSP0CLKS0FSR0FSX0DR0DX02022-4-17歐賽爾電子工

21、作室http:/3.4 3.4 系統(tǒng)的主要模塊系統(tǒng)的主要模塊電源模塊電源模塊 DSP的電源采用兩種電壓供電，DSP對這兩種電壓有上電順序的要求，要求內要求內核電源（核電源（CVdd）先于）先于I/O電源（電源（DVdd）上電。）上電?？紤]到DSP的功耗問題，采用TI公司的電源模塊TPS56300對DSP分別供電。 為了保證C6202B芯片在電源低于要求的電平時會產生失控狀態(tài)，在系統(tǒng)中加入了電源監(jiān)控電路。該電路能確保DSP在系統(tǒng)加電過程中及電源電壓低于一定門限值時始終處于復位狀態(tài)。電源監(jiān)控電路采用電源監(jiān)控電路采用TI公司的公司的TPS3707-33，同時它還可接手工復位開關以便人工控制。 考慮到

22、因為整個系統(tǒng)的器件比較多，功耗可能比較大，因此使用了一片LM1117為系統(tǒng)提供3.3V的備用電源。整個系統(tǒng)的電源為：模擬 3.3v，5.0V 數字 1.5v，3.3v，5.0v 2022-4-17歐賽爾電子工作室http:/3.4 3.4 系統(tǒng)的主要模塊系統(tǒng)的主要模塊 以太網控制模塊以太網控制模塊 因為S3C4510B微控制器本身內置的以太網控制器，因此在硬件的設計上只需用實現(xiàn)物理層的一些協(xié)議要求。如電平轉換，隔離濾波等。2022-4-17歐賽爾電子工作室http:/3.4 3.4 系統(tǒng)的主要模塊系統(tǒng)的主要模塊C6202B DSP與與S3C4510B接口模塊接口模塊 DSP與微控制器的接口是通

23、過C6202B的擴展總線xBUS實現(xiàn)的。這樣做的優(yōu)點是充分利用DSP的帶寬資源，減少總線上的沖突，減輕EMIF總線壓力。接口DSP采用異步從模式，即DSP（slave），S3C4510B（master） DSP為高速器件，S3C4510B為低速器件，況且DSP工作在從模式下，這樣就無需加入共享存儲器模塊，節(jié)省了開發(fā)的成本，同時也降低了開發(fā)的難度。2022-4-17歐賽爾電子工作室http:/3.5 3.5 系統(tǒng)的軟件模塊系統(tǒng)的軟件模塊DSP初始化程序包初始化程序包 1）C6202B上電初始化配置上電初始化配置 2）EMIF總線控制寄存器以及總線控制寄存器以及McBSP寄存器配置寄存器配置 3）設置）設置DMA傳輸寄存器傳輸寄存器 4）設置中斷向量表）設置中斷向量表視頻視頻AD和和FIFO初始化程序包初始化程序包 1）I2C總線模擬軟件包總線模擬軟件包 2）視頻）視頻AD配置軟件包配置軟件包 3）視頻）視頻FIFO配置軟件包配置軟件包音頻音頻AD/DA程序包程序包 1）設置）設置DMA傳輸通道寄存器傳輸通道寄存器2022-4-17歐賽爾電子工作室http:/3.5 3.5 系統(tǒng)的軟件模塊系統(tǒng)的軟件模塊視頻壓縮程序包視頻壓縮程序包 1）DMA傳輸奇數場圖像和偶數場圖像插成一幀圖像程序傳輸奇數場圖像