圖像信息和處理方法

1、圖像信息和處理方法顏色的基本概念一幅圖像f (x,y) 其分辨率為 512512 256256 PAL制 25幀/秒NTSC制 30幀/秒圖像是二維數(shù)據(jù)視頻是三維數(shù)據(jù) 多媒體計算機處理圖像和視頻，首先必須把連續(xù)的圖像函數(shù)f (x,y) 進行空間和幅值的離散化處理。采 樣：空間連續(xù)坐標(x,y)的離散化，叫做采樣；量 化：f(x,y)顏色的離散化，稱之為量化。數(shù)字化：兩種離散化結合在一起，叫做數(shù)字化， 離散化的結果稱為數(shù)字圖像。采樣和量化YXf ( x , y )X Y的離散化稱為采樣f ( x , y )值的離散化稱為量化 亮度、色調、飽和度Y 亮度： 光的強和弱。H 色調： 光的波長、人眼的

2、感覺(反映)顏 色(的基本特征)。S 飽和度： 顏色滲入白光的程度(表示)顏色 深淺的程度。紅 + 白光 粉紅色 飽和度下降紅 + 另一種顏色的光 色調發(fā)生變化三基色(RGB)的原理： 自然界常見的各種顏色光，都是由紅(R)、綠(G)、藍(B)三種顏色光按不同比例相配而成，同樣絕大多數(shù)顏色也可以分解成紅、綠、藍三種色光，這就是色度學中最基本的原理三基色原理。 紅色+綠色=黃色紅色+藍色=品紅綠色+藍色=青色紅色+綠色+藍色=白色 RGB和黑白電視信號不兼容，希望空中發(fā)射的信號轉換成YUV信號。 當白光的亮度用Y來表示時，它和紅、綠、藍三色的關系可用如下方程描述： Y=0.299R+0.587G

3、+0.114B 3.1.2 彩色空間 RGB彩色空間 顯示器需要的彩色空間2 . YUV 和 YIQ 彩色空間 PAL 制式使用YUV 彩色空間 NTSC制式使用YIQ彩色空間3. HSI彩色空間4. 其它彩色空間表示Y是亮度，UV和IQ是色差 1. RGB 空間任意顏色的光F，其配色方程可寫成： F= rR+ gG+bB 其中r、g、b 為三個系數(shù) rR、gG、bB為F色光的三色分量2 . YUV 和 YIQ 彩色空間 在 現(xiàn) 代 彩 色 電 視 系 統(tǒng) 中， 常 采 用 三 管 彩 色 攝 像 機 或 彩 色 C C D 攝 像 機 ，它 把 攝 得 的 彩 色 圖 像 信 號 ， 經(jīng) 分

4、 色 棱 鏡 分 成 R 、G 、B 三 個 分 量 的 信 號 ，分 別 經(jīng) 放 大 和 校 正得到RGB，再經(jīng)過矩陣變換電路得到亮度信號Y、色差信號R-Y和B-Y，最后發(fā)送端將Y、R-Y及B-Y三個信號進行編碼，用同一信道發(fā)送出去。這就是我們常用的YUV彩色空間。3333QFVI圖3.-3 IQ軸與UV軸的關系U美國、日本等國采用的NTSC制，選用了YIQ彩色空間，Y仍為亮度信號，I、Q仍為色差信號，但它們與U、V是不同的，其區(qū)別是色度矢量圖中的位置不同，如圖所示，Q、I為互相正交的坐標軸，它與U、V正交軸之間有33夾角。3333QFVI圖3.3 IQ軸與UV軸的關系U由圖可知I、Q與V、

5、U之間的關系可以表示成： 用YUV和YIQ的好處： (1). 亮度信號Y解決了彩色電視機與黑白電 視的兼容問題。 (2). 大量實驗表明，人眼對色差信號不敏 感，而對亮度信號特別敏感。 Y 帶寬（PAL） （因為敏感） U、V 帶寬1.3MHz (因為不敏感)(4). 量化比例 由于人眼對亮度信號敏感，選擇量化的比例為： Y:U:V= 8:4:4 Y:U:V= 8:2:2 Y:U:V= 8:8:8 3. HSI彩色空間在HSI彩色空間中，人們常用H、S、I3個參數(shù)描述顏色特性，其中H表示色調（Hue），S表示顏色的飽和度（Saturation），I表示光的強度（Intensity）。用一個三維

6、空間的棗形立體圖（見圖），可以把顏色的這三個參量的特性更加形象的表示出來。白 黑亮度綠黃綠藍綠綠藍藍亮 和 度紫飽和度色調黃橙紅圖3.4 顏色立體圖4. 其它彩色空間表示彩色空間表示還有很多種，如CIE（國際照明委員會）制定的CIE XYZ，CIE LAB彩色空間，CCIR（Consultative Committee International Radio）制定的CCIR601-2YCbCr彩色空間。按照CCIR601-2建議，歐洲電視專家組將非線性的RGB信號編碼成YCbCr，編碼過程開始是先采用符合SMPTE-CRGB（它定義了三種熒光粉及一種參考白光，應用于演播室監(jiān)視器及電視接收機標準

7、的RGB）基色作為校正信號。非線性RGB信號很容易與一個常量矩陣相乘而得到亮度Y和兩個色差信號Cb和Cr。靠近中心軸的彩色，其亮度信號與CIEXYZ的Y成分的r校正形式非常接近，CCIR601-2YCbCr通常在圖像壓縮時選作彩色空間，而在通信中是一種非正式標準。3.1.3 彩色空間的轉換其實現(xiàn)技術 RGB與YUV和YIQ之間的轉換 HSI空間與RGB之間的轉換1. RGB與YUV和YIQ之間的轉換 Y 0.3 0.59 0.11 R U = -0.15 -0.29 0.44 G V 0.61 -0.52 -0.096 B Y 0.3 0.59 0.11 R I = 0.6 -0.28 -0.

8、32 G Q 0.21 -0.52 0.31 B 3. HSI空間 H：Hue 代表色調（純度、顏色） S： Saturation 代表飽和度 I： Intensity 代表亮度 HSI彩色空間與RGB彩色空間之間的轉換例: 黃色=藍色 RGB處理黃藍紅143綠143藍313131255RGB值組成黃色像素紅色值143綠色值143藍色值31新的RGB值組成藍色像素紅色值31綠色值31藍色值255HSI處理黃藍色調60飽和度180亮度105240180105HSI值組成黃色像素色調值60飽和度180亮度105新的HSI值組成藍色像素色調值240飽和度180亮度105多媒體計算機系統(tǒng)涉及到多種彩色

9、空間，在CD-I系統(tǒng)中，支持的圖像格式、視頻方式有DYUV、RGB5:5:5、CLUT8、CLUT7、CLUT4、RL7以及RL3。其中DYUV方式與CCIR601-2YCbCr有密切聯(lián)系；RGB5:5:5方式采用RGB彩色空間，RGB每個分量占用5位；CLUT8、CLUT7、CLUT4、RL7以及RL3采用的也是RGB彩色空間，它用彩色查找表（Color Look-up Table-CLUT，也叫調色板）進行映射和解碼。在DVI系統(tǒng)中采用YUV彩色空間，它所支持的圖像格式又涉及到YIQ、RGB彩色空間，其中RGB支持8位、16位和24位。綜上所述，搞清楚彩色空間表示以及它們之間的轉換，是多媒

10、體計算機彩色圖形、靜態(tài)圖像以及動態(tài)圖像（Video）處理算法的基礎。3.1.4 彩色全電視信號 黑白全電視信號3. 彩色全電視信號 電視攝像機是一種廣泛使用的視頻和圖像的輸入設備，它能將景物、圖片等光學信號轉變?yōu)槿娨曅盘枺壳爸饕泻诎缀筒噬珒煞N攝像機。3.1.4 黑白和彩色全電視信號 黑白全電視信號3. 彩色全電視信號1. 黑白全電視信號全電視信號主要由三個部分組成：圖像信號復合消隱信號復合同步信號從時間上看全電視信號：每行時間為 64 s行消隱 圖像 53.2s行同步信號 4.7 s行延遲 1.3 s 一幀 = 奇數(shù)場 + 偶數(shù)場 625行 場消隱 = 25 = 1611.8 s 場同步

11、 = 3 64 = 192 s 全電視信號3.1.4 黑白和彩色全電視信號 黑白全電視信號3. 彩色全電視信號3. 彩色全電視信號 在現(xiàn)代彩色電視系統(tǒng)中，通常采用YUV彩色空間或YIQ彩色空間，Y為亮度信號，它可以與黑白全電視信號兼容，U和V用載波頻率SC調制加到亮度Y上，最后形成彩色全電視信號，如下式所示： CVBS = Y + UsinSCt + S (t)VcosSCt _ 在NTSC制系統(tǒng)中，U信號調制在副載波的零相位上，而V信號是固定地調制在90。的相位上的。在PAL制系統(tǒng)中，調制情況略有差別。U信號的調制與NTSC制相同，而V信號的調制是：第一行調制在90。的相位上（與NTSC制相

12、同，稱為NTSC行）；下一行（同隔行掃描是下面的第三行）調制在270。的相位上（稱為PAL行）；再下一行又回到90。的相位上。按此順序，V信號調制相位逐行倒相180。 在PAL制系統(tǒng)中，調制情況略有差別。圖示出了PAL制的平衡正交調制的倒相原理。根據(jù)圖的矢量圖，可寫出PAL制色度信號Ch的表達式Ch = UsinSCt + S(t)VcosSCt （）式中，S(t)稱為PAL開關函數(shù)，它是雙極性矩形脈沖，其重復周期為行周期Th的兩倍，幅度為+1和-1。PAL開關函數(shù)S(t)代表PAL制系統(tǒng)的根本特征，它的引入相當有效地克服了NTSC制系統(tǒng)中對信道微分相位敏感的缺點，這是PAL制取得成功的原因。

13、 最后將亮度、復合同步信號混合放大，形成PAL制彩色全電視信號。以100%幅度和100%飽和度(簡寫為100/100)的彩條信號為例的彩色全電視信號如圖所示。 在75歐負載上，100/100彩條的彩色全電視信號各部分的電平標準（輸入信號R、G、B、幅度為時)3.2.1 視頻信號獲取器的工作原理1. A/D變換和數(shù)字解碼3. 窗口控制器 3. 幀存儲器系統(tǒng)4. 數(shù)模轉換和矩陣變換5. 視頻信號和VGA信號的疊加6. 數(shù)字式多制式視頻信號編碼部分37圖3.10 多媒體計算機視頻信號獲取器總體框圖 381. A/D變換和數(shù)字解碼 圖3.11 視頻模擬輸入接口TDA 8708原理方框圖393. 窗口控

14、制器 圖3.12 PC Video窗口控制器 40 3. 幀存儲器系統(tǒng) 幀存儲器的主要作用有三個： (1). 從攝像機來的視頻信號，經(jīng)過A/D變換，數(shù) 字解碼，在視頻窗口控制器的控制下，將他 們實時的村到幀存儲器，大約74ns存一個像 素數(shù)據(jù)。 (2). 彩色監(jiān)視器每隔74ns要從幀存儲器去一個像 素數(shù)據(jù)，經(jīng)D/A轉換，變成模擬的RGB信號， 供彩色監(jiān)視器顯示幀存儲器中真彩色全屏幕 運動圖像使用。 (3). 計算機可以通過視頻窗口控制器，對陣存儲 器的內容進行讀寫操作。414. 數(shù)模轉換和矩陣變換 這部分由兩個器件組成，即D/A轉換器SAA9065和視頻信號處理器TDA4680。5. 視頻信號

15、和VGA信號的疊加 由于兩路信號均為模擬信號，因此使用了模擬開關電路實現(xiàn)兩信號的疊加。 色鍵：Color Key426. 數(shù)字式多制式視頻信號編碼部分 這部分只選用了數(shù)字或多制式視頻信號編碼器SAA7199。它是以數(shù)字方式進行視頻信號編碼的編碼器，支持PAL和NTSC 兩種制式。43 在設計制造視頻信號獲取器的過程中，為了調試硬件的正確性，并給用戶提供方便的編程環(huán)境，還需要設計：診斷軟件、在DOS和Windows環(huán)境下的演示軟件，應用軟件以及庫函數(shù)。3.2.3 視頻信號獲取器的 診斷和驅動軟件圖視頻信號獲取器診斷調試軟件框圖 3.3.1 視頻數(shù)字信號快速處理器的作用 3.3.2 基于DSP的視

16、頻信號快速處理器 3.3.3 流水線結構的圖像處理機 3.3 視頻信號的實時處理3.3.1 視頻數(shù)字信號快速處理器的作用數(shù)學運算 ：（1）點處理（2）二維卷積運算（5）統(tǒng)計量計算（4）坐標變換（3）二維正交變換舉一個簡單的例子，一個裝配機器人的視覺系統(tǒng)，要在傳送帶上識別出所要的機械零件，確定該零件的位置，然后命令機械手把它抓起來，根據(jù)已有的裝配工藝知識進行裝配。相對來說，這是一個比較簡單的計算機視覺問題，其計算理論及算法已經(jīng)解決。具體的作法是計算機把攝像機攝到的圖像數(shù)字化成一幅512 512 8bit的數(shù)字圖像，然后把圖像上的零件分割出來，抽取特征，進行識別匹配，確定幾何位置，最后，命令機械手

17、完成抓取和裝配的任務。處理一幅512 512 8bit的圖像，把零件和背景、零件和零件分割出來的典型運算是進行 3 3的卷積（Sobel算子）。如果卷積是實時的（25幀/s），則運算速度要求為：512 512 9 2 25/s 118MOPS全部地完成上述任務，計算機所要進行的操作約為上述的10100倍，即要求計算機實時處理的速度為118011800MOPS。上述問題的算法已經(jīng)解決，但是這樣的運算速度在通用計算機上卻難以實現(xiàn)。所以，在通用計算機上處理視覺信號，主要有下述兩個局限性：一是運算速度慢；一是內存容量小。 為了解決上述問題，可以采用如下幾種方案：（1）利用大型高速計算機組成通用視頻信號

18、處理系統(tǒng)（2）小型高速陣列機（3）采用專用的視覺處理器基于DSP的視頻信號快速處理器 現(xiàn)在人們已經(jīng)認識到，要降低成本提高系統(tǒng)性能，滿足實時視覺信息處理的要求，最好的辦法是采用VLSI技術，設計專用的適用于視頻信號處理算法的DSP（Digital Signal Processor）芯片。換句話說，對某一個具體問題，減少計算機不必要的通用性，增加專用的DSP芯片及并行、流水線結構，將會形成新一代的視頻信號處理系統(tǒng)。1DSP結構3. 專用的DSP3基于DSP方法的視頻信號 快速處理器的設計基于DSP的視頻信號快速處理器1DSP結構DSP是一種集成度很高的數(shù)字信號處理器，主要用于語音、圖像等信號的處理

19、。隨著VLSI技術的發(fā)展，從1987年以來，DSP的產(chǎn)品越來越多，應用也越來越廣泛。3.專用的DSP有些DSP芯片的結構和性能，非常適用于視覺信息低層次的處理，稱為圖像處理專用的DSP芯片。表DSP芯片比較 3基于DSP方法的視頻信號快速處理器的設計圖基于DSP的視頻信號獲取和快速處理器總體框圖 A110按其功能可分為兩大部分：卷積器后處理部件22舉例：機器人視覺中的雙目效應圖 美國Aspex公司生產(chǎn)的流水線結構圖象處理機PIPE(Pipelined Image Processing Engine)與傳統(tǒng)的流水線結構的計算機相比,關鍵的不同是系統(tǒng)連接的靈活性和動態(tài)的重構能力。3.3.3 流水線

20、結構的圖像處理機 1). “向前”通道( Forward Path )和“向 后”通道( Backward Path )及“遞歸” 通道( Recursive Path )有了連接靈 活性和動態(tài)的重構能力。 2). 六條視頻總線 PIPE機特別適合完成下述幾種視覺處理運算：1. 點處理3. 空間鄰域處理3. 圖像序列處理4. 布爾處理5. ROI（Region of Interest）運算24組成： (1). 視頻接口(Video Interface Stage) (2). 輸入級(Input Stage)和輸出級 (Output Stage) (3). 模塊處理級MPS (Modular P

21、rocessing Stage) MPS組成：有三個查找表（FLUT，RLUT，BLUT）兩個ALU（ALUA和ALUB）組成一個3輸入端的多功能的ALU兩個幀存儲器用做專用存儲器一個輸出的ALU 二維函數(shù)查找表TVF（Two Valued Fuction）(4). ISMAP 將視覺低層處理的結果從圖像數(shù)據(jù)變換為符號數(shù)據(jù)，實現(xiàn)實時獲取直方圖、累加直方圖、特征鏈以及各特征的指針鏈。(5). 控制級 由時序發(fā)生器、命令序列器以及計算機接口組成。3.4 圖像文件格式及其轉換3.4.1 靜態(tài)圖像文件格式3.4.2 動態(tài)圖像壓縮編碼文件格式3.4.1 靜態(tài)圖像文件格式目前世界上靜態(tài)圖像文件格式比較多，除了我們將介紹分析的比較流行的六種之外，還有Utah RLE，PICT Version 2 （Macintosh），IFF（Interchange ），Sun Rasterfile，Cell array（GKS），Pixel array（CGI），CCITT Fax（T4）及RLE（Run-Length Encoding）等。下面將介紹比較流行的六種 1. 圖形變換格式3. 標記圖像文件格式3. 目標圖像格式4. 位圖5. PCX6. MMP1. 圖形變換格式圖形變換格式（Craphics Interchange Format,GIF）文件格式是由CompuServe公司在1987年6