視頻監(jiān)控和視頻圖像分析的基礎(chǔ)知識

1、.wd.wd.wd.視頻監(jiān)控和視頻圖像分析根基知識視頻監(jiān)控的定義利用視頻技術(shù)探測、監(jiān)視設(shè)防區(qū)域，實(shí)時(shí)顯示、記錄現(xiàn)場圖像，檢索和顯示歷史圖像的電子系統(tǒng)或網(wǎng)絡(luò)系統(tǒng)視頻監(jiān)控系統(tǒng)是安全技術(shù)防范的一個(gè)子系統(tǒng)視頻監(jiān)控技術(shù)是安全防范技術(shù)的一局部它包括模擬視頻監(jiān)控系統(tǒng)、網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)。模擬視頻監(jiān)控圖1 模擬視頻監(jiān)控的 基本構(gòu)造網(wǎng)絡(luò)視頻監(jiān)控圖2 網(wǎng)絡(luò)視頻監(jiān)控的 基本構(gòu)造技術(shù)：主要是視頻編解碼技術(shù)、嵌入式技術(shù)組成：硬盤錄像機(jī)、攝像機(jī)、監(jiān)視器等功能：監(jiān)視監(jiān)聽、控制、錄像、回放、對講等線纜：視頻電纜、 485控制線主要應(yīng)用：金融、樓宇、小區(qū)等網(wǎng)絡(luò)視頻監(jiān)控優(yōu)點(diǎn)可通過網(wǎng)絡(luò)組建低成本跨區(qū)域監(jiān)控系統(tǒng)一機(jī)多路，使用大容量硬盤

2、可長期存儲數(shù)字信號長期保存信號不失真采用智能檢索，檢索與錄像可同時(shí)進(jìn)展循環(huán)錄像方式，節(jié)約人力 基本概念圖像Image像素Pixel分辨率Resolution水平：Width垂直：Height視頻Video時(shí)間上連續(xù)的圖像組成視頻：ImageVideo視頻中的某一幅圖像稱為一幀F(xiàn)rame幀率Frame RateFPS 每秒的幀數(shù)碼流Bit Stream將圖像壓縮后形成的數(shù)據(jù)碼率Bit Ratebps/Bps 對碼流進(jìn)展量化碼率類型：定碼率CBR、變碼率VBR碼流類型：視頻流、音頻流、復(fù)合流掃描方式隔行掃描Interlaced和逐行掃描Progressive都是在顯示設(shè)備表示運(yùn)動圖像的方法，隔行掃

3、描方式是每一幀被分割為兩場畫面交替顯示，逐行掃描方式是將每幀的所有畫面同時(shí)顯示。通常的液晶電視顯示畫面的掃描方法都是從左到右從上到下，每秒鐘掃描固定的幀數(shù)。隔行掃描(Interlacing隔行掃描就是每一幀被分割為兩場，每一場包含了一幀中所有的奇數(shù)掃描行或者偶數(shù)掃描行，通常是先掃描奇數(shù)行得到第一場，然后掃描偶數(shù)行得到第二場。由于視覺暫留效應(yīng)，人眼將會看到平滑的運(yùn)動而不是閃動的半幀半幀的圖像。但是這時(shí)會有幾乎不會被注意到的閃爍出現(xiàn)，使得人眼容易疲勞。當(dāng)屏幕的內(nèi)容是橫條紋時(shí)，這種閃爍特別容易被注意到。逐行掃描(Progressive)逐行掃描每次顯示整個(gè)掃描幀，如果逐行掃描的幀率和隔行掃描的場率一

4、樣，人眼將看到比隔行掃描更平滑的圖像，相對于隔行掃描來說閃爍較小。視頻制式PAL Phase Alternating Line：供電頻率為50Hz、場頻為每秒50場、幀頻為每秒25幀、掃描線為625行 圖像彩色誤差較小，與黑白電視的兼容也好 中國、德國NTSC National Television System Committee：供電頻率為60Hz，場頻為每秒60場，幀頻為每秒30幀，掃描線為525行 美國、日本SECAMSequentiel Couleur A Memoire ：按順序傳送彩色與存儲 俄羅斯、法國、埃及分辨率分辨率可以從顯示分辨率與圖像分辨率兩個(gè)方向來分類。顯示分辨率屏幕

5、分辨率是屏幕 HYPERLINK s:/baike.baidu /item/%E5%9B%BE%E5%83%8F t _blank 圖像的精細(xì)度，是指 HYPERLINK s:/baike.baidu /item/%E6%98%BE%E7%A4%BA%E5%99%A8 t _blank 顯示器所能顯示的 HYPERLINK s:/baike.baidu /item/%E5%83%8F%E7%B4%A0 t _blank 像素有多少。由于屏幕上的點(diǎn)、線和面都是由像素組成的，顯示器可顯示的像素越多，畫面就越 HYPERLINK s:/baike.baidu /item/%E7%B2%BE%E7%B

6、B%86 t _blank 精細(xì)，同樣的屏幕區(qū)域內(nèi)能顯示的信息也越多，所以 HYPERLINK s:/baike.baidu /item/%E5%88%86%E8%BE%A8%E7%8E%87 t _blank 分辨率是個(gè)非常重要的性能指標(biāo)之一?？梢园颜麄€(gè)圖像想象成是一個(gè)大型的棋盤，而分辨率的表示方式就是所有經(jīng)線和緯線穿插點(diǎn)的數(shù)目。顯示分辨率一定的情況下，顯示屏越小圖像越清晰，反之，顯示屏大小固定時(shí)，顯示分辨率越高圖像越清晰。圖像分辨率那么是單位英寸中所包含的像素點(diǎn)數(shù)，其定義更趨近于分辨率本身的定義分辨率制式WD1D14CIF112CIF1 1/2DCIF3/4 2/3CIF1/2 1/2QC

7、IF1/4 1/4PAL960576720576704576704288528384352288176144NTSC960480720480704480704240528320352240176120高清分辨率分辨率大于等于720p稱為高清數(shù)碼監(jiān)控的根基技術(shù)：編碼和壓縮一路4CIF分辨率的圖像，進(jìn)展A/D轉(zhuǎn)換后未經(jīng)壓縮的數(shù)據(jù)量是(RGB)：一幀：7045763字節(jié)1216512字節(jié)不包括文件頭大小一秒：1216512字節(jié)/幀25幀/秒30412800字節(jié)/秒29MB/秒一小時(shí)：29MB/秒3600秒/小時(shí)101.9GB/小時(shí)一天：101.9GB/小時(shí)24小時(shí)2.4TB/天壓縮 基本原理安防監(jiān)控

8、中的視頻數(shù)據(jù)有極強(qiáng)的相關(guān)性，有大量的冗余信息冗余信息分為空域冗余信息和時(shí)域冗余信息壓縮技術(shù)就是將數(shù)據(jù)中的冗余信息去掉壓縮技術(shù)包括幀內(nèi)壓縮技術(shù)、幀間壓縮技術(shù)和熵編碼壓縮技術(shù)壓縮標(biāo)準(zhǔn)監(jiān)控中主要采用MJPEG、MPEG1/2、MPEG4(SP/ASP)、H.264/AVC等幾種視頻編碼技術(shù)Chronological Progression of ITU and MPEGH264概述H264 基本原理H264壓縮技術(shù)主要采用了以下幾種方法對視頻數(shù)據(jù)進(jìn)展壓縮。包括：幀內(nèi)預(yù)測壓縮，解決的是空域數(shù)據(jù)冗余問題。幀間預(yù)測壓縮運(yùn)動估計(jì)與補(bǔ)償，解決的是時(shí)域數(shù)據(jù)冗余問題。整數(shù)離散余弦變換DCT，將空間上的相關(guān)性變?yōu)轭l

9、域上無關(guān)的數(shù)據(jù)然后進(jìn)展量化。CABAC壓縮。經(jīng)過壓縮后的幀分為：I幀，P幀和B幀:I幀：關(guān)鍵幀，采用幀內(nèi)壓縮技術(shù)。P幀：向前參考幀，在壓縮時(shí)，只參考前面已經(jīng)處理的幀。采用幀音壓縮技術(shù)。B幀：雙向參考幀，在壓縮時(shí)，它即參考前而的幀，又參考它后面的幀。采用幀間壓縮技術(shù)。除了I/P/B幀外，還有圖像序列GOP。GOP:兩個(gè)I幀之間是一個(gè)圖像序列，在一個(gè)圖像序列中只有一個(gè)I幀。如以以下圖所示：下面我們就來詳細(xì)描述一下H264壓縮技術(shù)。H264壓縮技術(shù)H264的 基本原理其實(shí)非常簡單，下我們就簡單的描述一下H264壓縮數(shù)據(jù)的過程。通過攝像頭采集到的視頻幀按每秒 30 幀算，被送到 H264 編碼器的緩沖

10、區(qū)中。編碼器先要為每一幅圖片劃分宏塊。以下面這張圖為例:劃分宏塊H264默認(rèn)是使用 16X16 大小的區(qū)域作為一個(gè)宏塊，也可以劃分成 8X8 大小。劃分好宏塊后，計(jì)算宏塊的象素值。以此類推，計(jì)算一幅圖像中每個(gè)宏塊的像素值，所有宏塊都處理完后如下面的樣子。劃分子塊H264比照擬平坦的圖像使用 16X16 大小的宏塊。但為了更高的壓縮率，還可以在 16X16 的宏塊上更劃分出更小的子塊。子塊的大小可以是 8X16 16X8 8X8 4X8 8X4 4X4非常的靈活。上幅圖中，紅框內(nèi)的 16X16 宏塊中大局部是藍(lán)色背景，而三只鷹的局部圖像被劃在了該宏塊內(nèi)，為了更好的處理三只鷹的局部圖像，H264就

11、在 16X16 的宏塊內(nèi)又劃分出了多個(gè)子塊。這樣再經(jīng)過幀內(nèi)壓縮，可以得到更高效的數(shù)據(jù)。以以下圖是分別使用mpeg-2和H264對上面宏塊進(jìn)展壓縮后的結(jié)果。其中左半局部為MPEG-2子塊劃分后壓縮的結(jié)果，右半局部為H264的子塊劃壓縮后的結(jié)果，可以看出H264的劃分方法更具優(yōu)勢。宏塊劃分好后，就可以對H264編碼器緩存中的所有圖片進(jìn)展分組了。幀分組對于視頻數(shù)據(jù)主要有兩類數(shù)據(jù)冗余，一類是時(shí)間上的數(shù)據(jù)冗余，另一類是空間上的數(shù)據(jù)冗余。其中時(shí)間上的數(shù)據(jù)冗余是最大的。下面我們就先來說說視頻數(shù)據(jù)時(shí)間上的冗余問題。為什么說時(shí)間上的冗余是最大的呢假設(shè)攝像頭每秒抓取30幀，這30幀的數(shù)據(jù)大局部情況下都是相關(guān)聯(lián)的。

12、也有可能不止30幀的的數(shù)據(jù)，可能幾十幀，上百幀的數(shù)據(jù)都是關(guān)聯(lián)特別密切的。對于這些關(guān)聯(lián)特別密切的幀，其實(shí)我們只需要保存一幀的數(shù)據(jù)，其它幀都可以通過這一幀再按某種規(guī)那么預(yù)測出來，所以說視頻數(shù)據(jù)在時(shí)間上的冗余是最多的。為了到達(dá)相關(guān)幀通過預(yù)測的方法來壓縮數(shù)據(jù)，就需要將視頻幀進(jìn)展分組。那么如何判定某些幀關(guān)系密切，可以劃為一組呢我們來看一下例子，下面是捕獲的一組運(yùn)動的臺球的視頻幀，臺球從右上角滾到了左下角。H264編碼器會按順序，每次取出兩幅相鄰的幀進(jìn)展宏塊比較，計(jì)算兩幀的相似度。如以以下圖：通過宏塊掃描與宏塊搜索可以發(fā)現(xiàn)這兩個(gè)幀的關(guān)聯(lián)度是非常高的。進(jìn)而發(fā)現(xiàn)這一組幀的關(guān)聯(lián)度都是非常高的。因此，上面這幾幀就

13、可以劃分為一組。其算法是：在相鄰幾幅圖像畫面中，一般有差異的像素只有10%以內(nèi)的點(diǎn),亮度差值變化不超過2%，而色度差值的變化只有1%以內(nèi)，我們認(rèn)為這樣的圖可以分到一組。在這樣一組幀中，經(jīng)過編碼后，我們只保存第一帖的完整數(shù)據(jù)，其它幀都通過參考上一幀計(jì)算出來。我們稱第一幀為IDRI幀，其它幀我們稱為PB幀，這樣編碼后的數(shù)據(jù)幀組我們稱為GOP。運(yùn)動估計(jì)與補(bǔ)償在H264編碼器中將幀分組后，就要計(jì)算幀組內(nèi)物體的運(yùn)動矢量了。還以上面運(yùn)動的臺球視頻幀為例，我們來看一下它是如何計(jì)算運(yùn)動矢量的。H264編碼器首先按順序從緩沖區(qū)頭部取出兩幀視頻數(shù)據(jù)，然后進(jìn)展宏塊掃描。當(dāng)發(fā)現(xiàn)其中一幅圖片中有物體時(shí)，就在另一幅圖的鄰

14、近位置搜索窗口中進(jìn)展搜索。如果此時(shí)在另一幅圖中找到該物體，那么就可以計(jì)算出物體的運(yùn)動矢量了。下面這幅圖就是搜索后的臺球移動的位置。通過上圖中臺球位置相差，就可以計(jì)算出臺圖運(yùn)行的方向和距離。H264依次把每一幀中球移動的距離和方向都記錄下來就成了下面的樣子。運(yùn)動矢量計(jì)算出來后，將一樣局部也就是綠色局部減去，就得到了補(bǔ)償數(shù)據(jù)。我們最終只需要將補(bǔ)償數(shù)據(jù)進(jìn)展壓縮保存，以后在解碼時(shí)就可以恢復(fù)原圖了。壓縮補(bǔ)償后的數(shù)據(jù)只需要記錄很少的一點(diǎn)數(shù)據(jù)。如下所示：我們把運(yùn)動矢量與補(bǔ)償稱為幀間壓縮技術(shù)，它解決的是視頻幀在時(shí)間上的數(shù)據(jù)冗余。除了幀間壓縮，幀內(nèi)也要進(jìn)展數(shù)據(jù)壓縮，幀內(nèi)數(shù)據(jù)壓縮解決的是空間上的數(shù)據(jù)冗余。下面我們

15、就來介紹一下幀內(nèi)壓縮技術(shù)。幀內(nèi)預(yù)測人眼對圖象都有一個(gè)識別度，對低頻的亮度很敏感，對高頻的亮度不太敏感。所以基于一些研究，可以將一幅圖像中人眼不敏感的數(shù)據(jù)去除掉。這樣就提出了幀內(nèi)預(yù)測技術(shù)。H264的幀內(nèi)壓縮與JPEG很相似。一幅圖像被劃分好宏塊后，對每個(gè)宏塊可以進(jìn)展 9 種模式的預(yù)測。找出與原圖最接近的一種預(yù)測模式。下面這幅圖是對整幅圖中的每個(gè)宏塊進(jìn)展預(yù)測的過程。幀內(nèi)預(yù)測后的圖像與原始圖像的比照方下：然后，將原始圖像與幀內(nèi)預(yù)測后的圖像相減得殘差值。再將我們之前得到的預(yù)測模式信息一起保存起來，這樣我們就可以在解碼時(shí)恢復(fù)原圖了。效果如下：經(jīng)過幀內(nèi)與幀間的壓縮后，雖然數(shù)據(jù)有大幅減少，但還有優(yōu)化的空間。

16、對殘差數(shù)據(jù)做DCT可以將殘差數(shù)據(jù)做整數(shù)離散余弦變換，去掉數(shù)據(jù)的相關(guān)性，進(jìn)一步壓縮數(shù)據(jù)。如以以下圖所示，左側(cè)為原數(shù)據(jù)的宏塊，右側(cè)為計(jì)算出的殘差數(shù)據(jù)的宏塊。將殘差數(shù)據(jù)宏塊數(shù)字化后如以以下圖所示：將殘差數(shù)據(jù)宏塊進(jìn)展 DCT 轉(zhuǎn)換。去掉相關(guān)聯(lián)的數(shù)據(jù)后，我們可以看出數(shù)據(jù)被進(jìn)一步壓縮了。做完 DCT 后，還不夠，還要進(jìn)展 CABAC 進(jìn)展無損壓縮。CABAC上面的幀內(nèi)壓縮是屬于有損壓縮技術(shù)。也就是說圖像被壓縮后，無法完全復(fù)原。而CABAC屬于無損壓縮技術(shù)。無損壓縮技術(shù)大家最熟悉的可能就是哈夫曼編碼了，給高頻的詞一個(gè)短碼，給低頻詞一個(gè)長碼從而到達(dá)數(shù)據(jù)壓縮的目的。MPEG-2中使用的VLC就是這種算法，我們以

17、 A-Z 作為例子，A屬于高頻數(shù)據(jù)，Z屬于低頻數(shù)據(jù)?？纯此侨绾巫龅摹ABAC也是給高頻數(shù)據(jù)短碼，給低頻數(shù)據(jù)長碼。同時(shí)還會根據(jù)上下文相關(guān)性進(jìn)展壓縮，這種方式又比VLC高效很多。其效果如下：現(xiàn)在將 A-Z 換成視頻幀，它就成了下面的樣子。從上面這張圖中明顯可以看出采用 CACBA 的無損壓縮方案要比 VLC 高效的多H.265與H264區(qū)別H.265標(biāo)準(zhǔn)全稱為高效視頻編碼(High Efficiency Video Coding)，也即HEVC，相較于之前的H.264標(biāo)準(zhǔn)有了相當(dāng)大的改善。H.265又何以讓如此多的行業(yè)都青睞有加故事開場還是需要從H.264說起，H.264也稱作MPEG-4AV

18、C(AdvancedVideoCodec，高級視頻編碼)，因其可以得到比其他編碼標(biāo)準(zhǔn)更高的視頻質(zhì)量和更低的碼率，而得到了人們的認(rèn)可，被廣泛應(yīng)用于網(wǎng)絡(luò)流媒體數(shù)據(jù)、各種高清晰度電視播送以及衛(wèi)星電視播送等領(lǐng)域。從編碼框架上來說，H.265仍然沿用了H.264的混合編碼框架，主要包含：幀內(nèi)預(yù)測(intraprediction)、幀間預(yù)測(interprediction)、轉(zhuǎn)換(transform)、量化(quantization)、去區(qū)塊濾波器(deblockingfilter)、熵編碼(entropycoding)等模塊。如今更高清開展愈演強(qiáng)烈，H.264也遇到了瓶頸。以編碼單位來說，H.264中每

19、個(gè)宏塊(marcoblock，MB)大小都是固定的16x16像素。然而，在更高分辨率下，單個(gè)宏塊所表示的圖像內(nèi)容信息大大減少，H.264所采用的宏塊經(jīng)過整數(shù)變換后，低頻系數(shù)相似程度也大大提高，出現(xiàn)大量冗余，導(dǎo)致H.264編碼對高清視頻的壓縮效率明顯降低；其次，H.264算法宏塊個(gè)數(shù)的爆發(fā)式增長，會導(dǎo)致每個(gè)編碼宏塊的預(yù)測模式、運(yùn)動矢量、參考幀索引和量化級等宏塊級參數(shù)信息占用更多碼流資源，在有限帶寬中，分配給真正描述圖像內(nèi)容的殘差系數(shù)信息的可用帶寬明顯減少了；再有，由于分辨率的提高，表示同一個(gè)運(yùn)動的運(yùn)動矢量幅值也將大大增加，H.264編碼方式的特點(diǎn)是數(shù)值越大使用的比特?cái)?shù)越多，因此，隨著運(yùn)動矢量幅值

20、的大幅增加，H.264中用來對運(yùn)動矢量進(jìn)展預(yù)測以及編碼的壓縮率也將逐漸降低。相比H.264，H.265提供了更多不同的工具來降低碼率。H.265的編碼單位可以選擇從最小的8x8到最大的64x64。信息量不多的區(qū)域(顏色變化不明顯，比方天空的灰色局部)劃分的宏塊較大，編碼后的碼字較少，而細(xì)節(jié)多的地方(細(xì)節(jié)變化較多，比方大樓局部)劃分的宏塊就相應(yīng)的小和多一些，編碼后的碼字較多，這樣就相當(dāng)于對圖像進(jìn)展了有重點(diǎn)的編碼，從而降低了整體的碼率，編碼效率就相應(yīng)提高了。這個(gè)過程有點(diǎn)像“感興趣區(qū)域編碼，針對重要的更多關(guān)鍵細(xì)節(jié)的局部進(jìn)展增強(qiáng)劃塊，無更多關(guān)鍵細(xì)節(jié)的局部進(jìn)展簡單劃塊，但是這個(gè)過程在H.265上可以自適

21、應(yīng)識別實(shí)現(xiàn)。攝像機(jī)根基知識模擬攝像機(jī) 基本概念組成：主要由鏡頭、影像傳感器CCD/CMOS、ISP(Image Signal Processor)及相關(guān)電路組成工作原理：被攝物體經(jīng)鏡頭成像在影像傳感器外表，形成微弱電荷并積累，在相關(guān)電路控制下，積累電荷逐點(diǎn)移出，經(jīng)過濾波、放大后輸入DSP進(jìn)展圖像信號處理，最后形成視頻信號CVBS輸出傳感器ADCDSPDAC光圖像碼流模擬攝像機(jī)系統(tǒng)構(gòu)造CVBS網(wǎng)絡(luò)攝像機(jī) 基本概念組成：主要由鏡頭、影像傳感器CCD/CMOS、ISP(Image Signal Processor)、DSPDigital Signal Processor及相關(guān)電路組成工作原理：被攝物

22、體經(jīng)鏡頭成像經(jīng)過IR Filter濾波后在圖像傳感器外表，形成微弱電荷并積累，在相關(guān)電路控制下，積累電荷逐點(diǎn)移出，經(jīng)過濾波、放大后輸入DSP進(jìn)展圖像信號處理和編碼壓縮，(如果是球機(jī)，同時(shí)將控制信號發(fā)送給云臺)最后形成數(shù)字信號輸出.DSP CCD/CMOSISPNET光圖像碼流網(wǎng)絡(luò)攝像機(jī)系統(tǒng)構(gòu)造DSP Sensor工作原理每個(gè) HYPERLINK s:/ baidu /s?wd=%E6%84%9F%E5%85%89%E5%85%83%E4%BB%B6&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1dWP1R1P1fvuAnLnyP9nA

23、ms0ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EPH0vrjcsPWfz t _blank 感光元件對應(yīng)圖像傳感器中的一個(gè)像點(diǎn)，由于 HYPERLINK s:/ baidu /s?wd=%E6%84%9F%E5%85%89%E5%85%83%E4%BB%B6&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1dWP1R1P1fvuAnLnyP9nAms0ZwV5Hcvrjm3rH6sPfKWUMw85

24、HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EPH0vrjcsPWfz t _blank 感光元件只能感應(yīng)光的強(qiáng)度，無法捕獲色彩信息，因此必須在感光元件上方覆蓋 HYPERLINK s:/ baidu /s?wd=%E5%BD%A9%E8%89%B2%E6%BB%A4%E5%85%89%E7%89%87&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1dWP1R1P1fvuAnLnyP9nAms0ZwV5Hcvrjm3rH6sPfKWUMw85HfY

25、njn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EPH0vrjcsPWfz t _blank 彩色濾光片。在這方面，不同的傳感器廠商有不同的解決方案，最常用的做法是覆蓋RGB紅綠藍(lán)三色濾光片，以1：2：1的構(gòu)成由四個(gè)像點(diǎn)構(gòu)成一個(gè)彩色像素即紅藍(lán)濾光片分別覆蓋一個(gè)像點(diǎn)，剩下的兩個(gè)像點(diǎn)都覆蓋綠色濾光片，采取這種比例的原因是人眼對綠色較為敏感。而 HYPERLINK s:/ baidu /s?wd=%E7%B4%A2%E5%B0%BC&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPj

26、m4nH00T1dWP1R1P1fvuAnLnyP9nAms0ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EPH0vrjcsPWfz t _blank 索尼的四色CCD技術(shù)那么將其中的一個(gè)綠色濾光片換為翡翠綠色英文Emerald，有些媒體稱為E通道，由此組成新的R、G、B、E四色方案。不管是哪一種技術(shù)方案，都要四個(gè)像點(diǎn)才能夠構(gòu)成一個(gè)彩色像素，這一點(diǎn)大家務(wù)必要預(yù)先明確。 在承受光照之后，感光元件產(chǎn)生對應(yīng)的電流，電流大小與光強(qiáng)對應(yīng)，因此感光元件直接輸出的電信號是模

27、擬的。在 HYPERLINK s:/ baidu /s?wd=CCD%E4%BC%A0%E6%84%9F%E5%99%A8&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1dWP1R1P1fvuAnLnyP9nAms0ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EPH0vrjcsPWfz t _blank CCD傳感器中，每一個(gè)感光元件都不對此作進(jìn)一步的處理，而是將它直接輸出到下一個(gè)感光元件的存儲單元，

28、結(jié)合該元件生成的模擬信號后再輸出給第三個(gè)感光元件，依次類推，直到結(jié)合最后一個(gè)感光元件的信號才能形成統(tǒng)一的輸出。由于感光元件生成的電信號實(shí)在太微弱了，無法直接進(jìn)展模數(shù)轉(zhuǎn)換工作，因此這些輸出數(shù)據(jù)必須做統(tǒng)一的放大處理這項(xiàng)任務(wù)是由 HYPERLINK s:/ baidu /s?wd=CCD%E4%BC%A0%E6%84%9F%E5%99%A8&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1dWP1R1P1fvuAnLnyP9nAms0ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCE

29、QLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EPH0vrjcsPWfz t _blank CCD傳感器中的放大器專門負(fù)責(zé)，經(jīng)放大器處理之后，每個(gè)像點(diǎn)的電信號強(qiáng)度都獲得同樣幅度的增大；但由于CCD本身無法將模擬信號直接轉(zhuǎn)換為數(shù)字信號，因此還需要一個(gè)專門的模數(shù)轉(zhuǎn)換芯片進(jìn)展處理，最終以二進(jìn)制 HYPERLINK s:/ baidu /s?wd=%E6%95%B0%E5%AD%97%E5%9B%BE%E5%83%8F&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1dWP1R1P1fvuAnLnyP9nAms0ZwV5

30、Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EPH0vrjcsPWfz t _blank 數(shù)字圖像矩陣的形式輸出給專門的DSP處理芯片。而對于 HYPERLINK s:/ baidu /s?wd=CMOS%E4%BC%A0%E6%84%9F%E5%99%A8&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1dWP1R1P1fvuAnLnyP9nAms0ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn

31、4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EPH0vrjcsPWfz t _blank CMOS傳感器，上述工作流程就完全不適用了。 HYPERLINK s:/ baidu /s?wd=CMOS%E4%BC%A0%E6%84%9F%E5%99%A8&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1dWP1R1P1fvuAnLnyP9nAms0ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCp

32、yw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EPH0vrjcsPWfz t _blank CMOS傳感器中每一個(gè)感光元件都直接整合了放大器和模數(shù)轉(zhuǎn)換邏輯，當(dāng)感光二極管承受光照、產(chǎn)生模擬的電信號之后，電信號首先被該感光元件中的放大器放大，然后直接轉(zhuǎn)換成對應(yīng)的數(shù)字信號。換句話說，在 HYPERLINK s:/ baidu /s?wd=CMOS%E4%BC%A0%E6%84%9F%E5%99%A8&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1dWP1R1P1fvuAnLnyP9nAms0ZwV5Hcvrjm3rH6sPfK

33、WUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EPH0vrjcsPWfz t _blank CMOS傳感器中，每一個(gè)感光元件都可產(chǎn)生最終的數(shù)字輸出，所得數(shù)字信號合并之后被直接送交 HYPERLINK s:/ baidu /s?wd=DSP%E8%8A%AF%E7%89%87&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1dWP1R1P1fvuAnLnyP9nAms0ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgv

34、PsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EPH0vrjcsPWfz t _blank DSP芯片處理問題恰恰是發(fā)生在這里，CMOS感光元件中的放大器屬于模擬器件，無法保證每個(gè)像點(diǎn)的放大率都保持嚴(yán)格一致，致使放大后的圖像數(shù)據(jù)無法代表拍攝物體的原貌表達(dá)在最終的輸出結(jié)果上，就是圖像中出現(xiàn)大量的噪聲，品質(zhì)明顯低于 HYPERLINK s:/ baidu /s?wd=CCD%E4%BC%A0%E6%84%9F%E5%99%A8&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1dWP

35、1R1P1fvuAnLnyP9nAms0ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EPH0vrjcsPWfz t _blank CCD傳感器(這幾年隨著半導(dǎo)體制程工藝及加工工藝大幅度改進(jìn)，CMOS良品率大大提升，品質(zhì)上與CCD差異不大)。ISP與DSPISP是Image Signal Processor 的簡稱，也就是圖像信號處理器。而DSP是Digital Signal Processor 的縮寫，也就是數(shù)字信號處理器。ISP一般用來處理Image Sen

36、sor圖像傳感器的輸出數(shù)據(jù)，如做AEC自動曝光控制、AGC自動增益控制、AWB自動白平衡、色彩校正、Lens Shading、Gamma 校正、祛除壞點(diǎn)、Auto Black Level、Auto White Level 等等功能的處理。而DSP功能就比較多了，它可以做些拍照以及回顯JPEG的編解碼、錄像以及回放Video 的編解碼、H.264的編解碼、還有很多其他方面的處理，總之是處理數(shù)字信號了。個(gè)人認(rèn)為ISP是一類特殊的處理圖像信號的DSPISPImage Signal Processor圖像信號處理器的主要作用是對前端圖像傳感器輸出的信號做后期的處理。不同的ISP用來匹配不同廠商的圖像傳

37、感器。ISP的優(yōu)異在整個(gè)攝像機(jī)產(chǎn)品中很重要，應(yīng)當(dāng)說它直接影響呈現(xiàn)給用戶的影響畫質(zhì)的優(yōu)劣。圖像經(jīng)過圖像經(jīng)過CCD或者CMOS的采集后，需要經(jīng)過后期的處理才可以較好的適應(yīng)不同的環(huán)境，在不同的光學(xué)條件下都能較好的復(fù)原出現(xiàn)場細(xì)節(jié)。在ISP中它會完成我們常常提及的2AAWB/AE，自動白平衡/自動曝光或者3AAWB/AE/AF，自動白平衡/自動曝光/自動聚焦。傳統(tǒng)模式下一般采用一顆DSP或者一顆FPGA來完成對圖像的后期處理。有些攝像機(jī)產(chǎn)品支持的3D降噪功能、寬動態(tài)、慢快門、幀累積、強(qiáng)光抑制等功能也都是ISP來完成的。目前應(yīng)用在高清攝像機(jī)產(chǎn)品中的ISP一般有以下幾個(gè)來源：廠商自行研發(fā)：高清攝像機(jī)設(shè)備廠商

38、為了更好的配合后端壓縮、功能開發(fā)，自行研發(fā)ISP處理算法，將算法集成至FPGA或DSP芯片中，接駁前端圖像傳感器。第三方研發(fā)：2010年已經(jīng)逐漸誕生了一批由非高清攝像機(jī)制造廠商推出的一些ISP解決方案，他們直接出售不同的ISP芯片給攝像機(jī)廠商配合不同廠商的Sensor。套片模式：由Sensor廠商將自主開發(fā)的ISP結(jié)合自家Sensor形成圖像采集處理解決方案推向客戶，其中的圖像處理算法及各種調(diào)試工作已經(jīng)完成，攝像機(jī)廠商只需要做接口對接并后端壓縮或轉(zhuǎn)換成數(shù)字視頻HD-SDI即可。這種模式我們稱為Stand-Alone Devices或者Camera System Onchip。DSP芯片，也稱數(shù)

39、字信號處理器，是一種具有特殊構(gòu)造的微處理器。DSP芯片的內(nèi)部采用程序和數(shù)據(jù)分開的哈佛構(gòu)造，具有專門的硬件乘法器，廣泛采用流水線操作，提供特殊的DSP 指令，可以用來快速地實(shí)現(xiàn)各種數(shù)字信號處理算法。以以下圖是圖像信號處理主要流程：我們的眼中用來分辨顏色的錐狀細(xì)胞的差異，錐狀細(xì)胞通過對三原色的感知來識別萬色萬物，而機(jī)器中是怎么樣識別的呢? 人眼把世界放進(jìn)大腦也可簡單分為三步：眼球感應(yīng)到像(傳感器采集并轉(zhuǎn)換成數(shù)字信號)轉(zhuǎn)成神經(jīng)信號傳到大腦(通過通訊系統(tǒng)將信號傳到處理器)大腦處理并存放(處理器轉(zhuǎn)化成屏幕可顯示與存儲的格式)。圖像信號處理大體也是以這種流程捕捉圖像并進(jìn)展分析和存儲的。黑電平校正暗電流校正

40、 暗電流指傳感器在沒有入射光的情況下。存在一定的信號輸出，這是因?yàn)榘雽?dǎo)體的熱運(yùn)動造成的。它的大小和傳感器構(gòu)造及溫度有關(guān)，大概每升高9 ，其暗電流會添加1 倍。因?yàn)槊恳粋€(gè)像素存在不平衡性，因此像素間暗電流也會不一致，造成電流噪聲。一般情況下，在傳感器中，實(shí)際像素要比有效像素多，像素區(qū)最靠邊的行和列為不感光區(qū)，一般用作自己主動黑電平校正，其平均值作為校正值。顏色插補(bǔ)我們知道，Sensor的感光原理是通過一個(gè)一個(gè)的感光點(diǎn)對光進(jìn)展采樣和量化，但在Sensor中，每一個(gè)感光點(diǎn)只能感光RGB中的一種顏色。所以，通常所說的30萬像素或130萬像素等，指的是有30萬或130萬個(gè)感光點(diǎn)。每一個(gè)感光點(diǎn)只能感光一種

41、顏色。原始像素僅僅包括一種顏色的信息R 或G 或B，要重建色彩畫面。就必須從相鄰的像素中得到失去的信息組成RGB三種顏色。紅色及藍(lán)色插補(bǔ)一般遵循近期原那么，進(jìn)展平均處理。作為本像素的色彩值，由插值原理知，相鄰像素間存在依賴關(guān)系，結(jié)果造成畫面銳度減少。壞點(diǎn)檢測圖像傳感器輸出的數(shù)據(jù)不等于就是圖像的實(shí)際數(shù)據(jù)，模組測試時(shí)，就要寫一個(gè)軟件，完成數(shù)據(jù)采集獲得Raw data彩色插值目的是獲得RGB格式，便于圖像顯示圖像顯示；這樣就可以發(fā)現(xiàn)整個(gè)模組是否正常，有無壞點(diǎn)，臟點(diǎn)的等，檢測出不良品；軟件的處理過程當(dāng)中，為了獲得更好的圖像質(zhì)量，還需要白平衡，gamma校正，彩色校正顏色校正 因?yàn)槿祟愌劬梢姽獾念l譜響

42、應(yīng)度和半導(dǎo)體傳感器頻譜響應(yīng)度之間存在區(qū)別，還有透鏡等的影響，插補(bǔ)后得到的RGB 值顏色會存在偏差，因此必須對顏色進(jìn)展校正，一般通過顏色校正矩陣來實(shí)現(xiàn)。詳細(xì)的彩色矯正參數(shù)。能夠通過試驗(yàn)或從傳感器供應(yīng)商中獲得，當(dāng)然要得到不失真的復(fù)原是不可能的，僅僅能重復(fù)調(diào)試到達(dá)最正確。一般通過標(biāo)準(zhǔn)色卡進(jìn)展校正。Gamma 校正 Gamma 校正主要根據(jù)色度學(xué)原理進(jìn)展調(diào)整。色彩在不同顯示設(shè)備中頻譜響應(yīng)度不一樣，造成顏色失真。失真成冪指數(shù)關(guān)系。因此調(diào)節(jié)相對簡單，分別對R、G、B 調(diào)節(jié)就可以。RGB、YUV、RAW DATA區(qū)別YUV: luma (Y) + chroma (UV) 格式， 一般情況下sensor支持Y

43、UV422格式，即數(shù)據(jù)格式是按Y-U-Y-V次序輸出的。人眼對色度的敏感程度要低于對亮度的敏感程度。YUV，分為三個(gè)分量，“Y表示明亮度Luminance或Luma，也就是灰度值；而“U和“V 表示的那么是色度Chrominance或Chroma，作用是描述影像色彩及飽和度，用于指定像素的顏色。與我們熟知的RGB類似，YUV也是一種顏色編碼方法，主要用于電視系統(tǒng)以及模擬視頻領(lǐng)域，它將亮度信息Y與色彩信息UV別離，沒有UV信息一樣可以顯示完整的圖像，只不過是黑白的，這樣的設(shè)計(jì)很好地解決了彩色電視機(jī)與黑白電視的兼容問題。并且，YUV不像RGB那樣要求三個(gè)獨(dú)立的視頻信號同時(shí)傳輸，所以用YUV方式傳送

44、占用極少的頻寬。RGB: 傳統(tǒng)的紅綠藍(lán)格式，比方RGB565，其16-bit數(shù)據(jù)格式為5-bit R + 6-bit G + 5-bit B。G多一位，原因是人眼對綠色比較敏感。RAW RGB: sensor的每一像素對應(yīng)一個(gè)彩色濾光片，濾光片按Bayer pattern分布。將每一個(gè)像素的數(shù)據(jù)直接輸出，即RAW RGB dataRGB與 YUV格式互相轉(zhuǎn)換本程序中的函數(shù)可以將RGB24格式的像素?cái)?shù)據(jù)轉(zhuǎn)換為YUV420P格式的像素?cái)?shù)據(jù)。函數(shù)的代碼如下所示。unsignedcharclip_value(unsignedcharx,unsignedcharmin_val,unsignedcharm

45、ax_val)if(xmax_val)returnmax_val;elseif(xmin_val)returnmin_val;elsereturnx;/RGBtoYUV420boolRGB24_TO_YUV420(unsignedchar*RgbBuf,intw,inth,unsignedchar*yuvBuf)unsignedchar*ptrY,*ptrU,*ptrV,*ptrRGB;memset(yuvBuf,0,w*h*3/2);ptrY=yuvBuf;ptrU=yuvBuf+w*h;ptrV=ptrU+(w*h*1/4);unsignedchary,u,v,r,g,b;for(intj

46、=0;jh;j+)ptrRGB=RgbBuf+w*j*3;for(inti=0;i8)+16;u=(unsignedchar)(-38*r-74*g+112*b+128)8)+128;v=(unsignedchar)(112*r-94*g-18*b+128)8)+128;*(ptrY+)=clip_value(y,0,255);if(j%2=0&i%2=0)*(ptrU+)=clip_value(u,0,255);elseif(i%2=0)*(ptrV+)=clip_value(v,0,255);returntrue;/*ConvertRGB24filetoYUV420Pfile*paramu

47、rl_inLocationofInputRGBfile.*paramwWidthofInputRGBfile.*paramhHeightofInputRGBfile.*paramnumNumberofframestoprocess.*paramurl_outLocationofOutputYUVfile.*/intsimplest_rgb24_to_yuv420(char*url_in,intw,inth,intnum,char*url_out)FILE*fp=fopen(url_in,rb+);FILE*fp1=fopen(url_out,wb+);unsignedchar*pic_rgb2

48、4=(unsignedchar*)malloc(w*h*3);unsignedchar*pic_yuv420=(unsignedchar*)malloc(w*h*3/2);for(inti=0;inum;i+)fread(pic_rgb24,1,w*h*3,fp);RGB24_TO_YUV420(pic_rgb24,w,h,pic_yuv420);fwrite(pic_yuv420,1,w*h*3/2,fp1);free(pic_rgb24);free(pic_yuv420);fclose(fp);fclose(fp1);return0;調(diào)用上面函數(shù)的方法如下所示。simplest_rgb24

49、_to_yuv420(lena_256x256_rgb24.rgb,256,256,1,output_lena.yuv);從源代碼可以看出，本程序?qū)崿F(xiàn)了RGB到Y(jié)UV的轉(zhuǎn)換公式：Y= 0.299*R+0.587*G+0.114*BU=-0.147*R-0.289*G+0.463*BV= 0.615*R-0.515*G-0.100*B在轉(zhuǎn)換的過程中有以下幾點(diǎn)需要注意：1)RGB24存儲方式是Packed，YUV420P存儲方式是Packed。2)U，V在水平和垂直方向的取樣數(shù)是Y的一半轉(zhuǎn)換前的RGB24格式像素?cái)?shù)據(jù)lena_256x256_rgb24.rgb的內(nèi)容如下所示。轉(zhuǎn)換后的YUV420P

50、格式的像素?cái)?shù)據(jù)output_lena.yuv的內(nèi)容如下所示?；贔Fmpeg的實(shí)現(xiàn)利用FFmpeg中swscale實(shí)現(xiàn)YUV到RGB的轉(zhuǎn)換，實(shí)現(xiàn)過程中，需要構(gòu)造AVPicture構(gòu)造，具體實(shí)現(xiàn)方法如下。bool YV12ToBGR24_FFmpeg(unsigned char* pYUV,unsigned char* pBGR24,int width,int height)if (width 1 | height 1 | pYUV = NULL | pBGR24 = NULL)returnfalse;/int srcNumBytes,dstNumBytes; /uint8_t *pSrc,*p

51、Dst; AVPicture pFrameYUV,pFrameBGR;/pFrameYUV = avpicture_alloc(); /srcNumBytes = avpicture_get_size(PIX_FMT_YUV420P,width,height); /pSrc = (uint8_t *)malloc(sizeof(uint8_t) * srcNumBytes); avpicture_fill(&pFrameYUV,pYUV,PIX_FMT_YUV420P,width,height);/U,V互換 uint8_t * ptmp=pFrameYUV.data1; pFrameYUV.

52、data1=pFrameYUV.data2; pFrameYUV.data 2=ptmp;/pFrameBGR = avcodec_alloc_frame(); /dstNumBytes = avpicture_get_size(PIX_FMT_BGR24,width,height); /pDst = (uint8_t *)malloc(sizeof(uint8_t) * dstNumBytes); avpicture_fill(&pFrameBGR,pBGR24,PIX_FMT_BGR24,width,height);struct SwsContext* imgCtx = NULL; img

53、Ctx = sws_getContext(width,height,PIX_FMT_YUV420P,width,height,PIX_FMT_BGR24,SWS_BILINEAR,0,0,0);if (imgCtx != NULL) sws_scale(imgCtx,pFrameYUV.data,pFrameYUV.linesize,0,height,pFrameBGR.data,pFrameBGR.linesize);if(imgCtx) sws_freeContext(imgCtx); imgCtx = NULL; returntrue; else sws_freeContext(imgC

54、tx); imgCtx = NULL;returnfalse; 這份代碼的轉(zhuǎn)換公式是YV12格式轉(zhuǎn)化成RGB24格式的方法，公式如下：YUV(256 級別) 可以從8位 RGB 直接計(jì)算：Y = 0.299 R + 0.587 G + 0.114 BU = - 0.1687 R - 0.3313 G + 0.5 B + 128V = 0.5 R - 0.4187 G - 0.0813 B + 128反過來，RGB 也可以直接從YUV (256級別) 計(jì)算:R = Y + 1.402 (Cr-128)G = Y - 0.34414 (Cb-128) - 0.71414 (Cr-128)B = Y

55、 + 1.772 (Cb-128)YUV420P和H264數(shù)據(jù)流做視頻采集與處理，自然少不了要學(xué)會分析YUV數(shù)據(jù)。因?yàn)閺牟杉慕嵌葋碚f，一般的視頻采集芯片輸出的碼流一般都是YUV數(shù)據(jù)流的形式，而從視頻處理例如H.264、MPEG視頻編解碼的角度來說，也是在原始YUV碼流進(jìn)展編碼和解析。視頻碼流在視頻播放器中的位置如下所示。本文中的程序是一個(gè)H.264碼流解析程序。該程序可以從H.264碼流中分析得到它的 基本單元NALU，并且可以簡單解析NALU首部的字段。通過修改該程序可以實(shí)現(xiàn)不同的H.264碼流處理功能。原理H.264原始碼流又稱為“裸流是由一個(gè)一個(gè)的NALU組成的。他們的構(gòu)造如以以下圖所

56、示。其中每個(gè)NALU之間通過startcode起始碼進(jìn)展分隔，起始碼分成兩種：0 x0000013Byte或者0 x000000014Byte。如果NALU對應(yīng)的Slice為一幀的開場就用0 x00000001，否那么就用0 x000001。H.264碼流解析的步驟就是首先從碼流中搜索0 x000001和0 x00000001，別離出NALU；然后再分析NALU的各個(gè)字段。本文的程序即實(shí)現(xiàn)了上述的兩個(gè)步驟。代碼整個(gè)程序位于simplest_h264_parser()函數(shù)中，如下所示。cpp HYPERLINK :/leixiaohua1020/article/details/50534369

57、o view plain view plain HYPERLINK :/leixiaohua1020/article/details/50534369 o copy copy/*最簡單的視音頻數(shù)據(jù)處理例如*SimplestMediaDataTest*雷霄驊LeiXiaohua*leixiaohua1020126 *中國傳媒大學(xué)/數(shù)字電視技術(shù)*CommunicationUniversityofChina/DigitalTVTechnology* :/leixiaohua1020*本工程包含如下幾種視音頻測試?yán)纾?(1)像素?cái)?shù)據(jù)處理程序。包含RGB和YUV像素格式處理的函數(shù)。*(2)音頻采樣數(shù)據(jù)

58、處理程序。包含PCM音頻采樣格式處理的函數(shù)。*(3)H.264碼流分析程序?？梢詣e離并解析NALU。*(4)AAC碼流分析程序?？梢詣e離并解析ADTS幀。*(5)FLV封裝格式分析程序。可以將FLV中的MP3音頻碼流別離出來。*(6)UDP-RTP協(xié)議分析程序。可以將分析UDP/RTP/MPEG-TS數(shù)據(jù)包。*Thisprojectcontainsfollowingsamplestohandlingmultimediadata:*(1)Videopixeldatahandlingprogram.ItcontainsseveralexamplestohandleRGBandYUVdata.*(2

59、)Audiosampledatahandlingprogram.ItcontainsseveralexamplestohandlePCMdata.*(3)H.264streamanalysisprogram.ItcanparseH.264bitstreamandanalysisNALUofstream.*(4)AACstreamanalysisprogram.ItcanparseAACbitstreamandanalysisADTSframeofstream.*(5)FLVformatanalysisprogram.ItcananalysisFLVfileandextractMP3audios

60、tream.*(6)UDP-RTPprotocolanalysisprogram.ItcananalysisUDP/RTP/MPEG-TSPacket.*/#include#include#includetypedefenumNALU_TYPE_SLICE=1,NALU_TYPE_DPA=2,NALU_TYPE_DPB=3,NALU_TYPE_DPC=4,NALU_TYPE_IDR=5,NALU_TYPE_SEI=6,NALU_TYPE_SPS=7,NALU_TYPE_PPS=8,NALU_TYPE_AUD=9,NALU_TYPE_EOSEQ=10,NALU_TYPE_EOSTREAM=11,