數(shù)字圖像基礎視覺系統(tǒng)

數(shù)字圖像基礎視覺系統(tǒng)第1頁，課件共74頁，創(chuàng)作于2023年2月人類視覺系統(tǒng)成像傳感器及其工作原理圖像采集、量化與表示圖像像素間的基本關系及基本數(shù)據(jù)結構圖像文件格式圖像顯示圖像運算與操作第2頁，課件共74頁，創(chuàng)作于2023年2月一、視覺系統(tǒng)、視覺感知要素

與視覺特性（現(xiàn)象）圖像處理的研究需要了解人類視覺機理：人們能夠區(qū)分的光強度差別有多大？我們眼睛的空間清晰度是多少？對運動的感覺如何?我們估計和比較距離和面積的精度是多少？人類特性視覺的光譜是什么樣的?人的視覺中彩色如何形成？起什么作用？人類是如何獲得視覺感知，如何認知周圍事物的？人們對于自己視覺機理的生理物理過程，以及神經(jīng)運動、精神心理方面的了解還處于低級階段，認識還很不完善，有一定局限性。第3頁，課件共74頁，創(chuàng)作于2023年2月重點：人眼形成圖像的機理與參數(shù)人類和電子圖像的比較人的直覺和分析在選擇一種技術時起著核心作用。視覺現(xiàn)象(視覺特性)——

視覺的外在表現(xiàn)(1)相對視敏函數(shù)；(2)對比度的靈敏度和同時對比度；(3)馬赫帶(MachBands)和視覺系統(tǒng)的調制傳輸函數(shù)MTF；(4)視覺的瞬時性質(TemporalPropertiesofVision)；(5)彩色視覺特性……視覺感知——

視覺的內在表象第4頁，課件共74頁，創(chuàng)作于2023年2月從外到內：角膜鞏膜外殼脈絡膜視網(wǎng)膜1.人眼的結構從前到后：角膜晶狀體玻璃體視網(wǎng)膜視神經(jīng)鞘圖2.1人眼結構第5頁，課件共74頁，創(chuàng)作于2023年2月●

桿細胞細長而薄，對亮度靈敏，無彩色分辨能力。 提供暗視視覺。

7,500~15,000萬，離視軸約20°時密度最大。●

中央凹直徑約1.5mm●錐狀細胞結構上短而粗，光靈敏度低，對顏色靈敏度高， 分為三種（紅、綠、蘭），提供明視視覺。

600~700萬，主要集中在中央凹可以看作1.5mm×1.5mm的方形傳感器陣列錐狀細胞數(shù)目約為337,000個。行分辨能力=中等分辨率的CCD(<5mm×5mm)

光圖像激活視桿體或視錐體時,發(fā)生光電化學反應，同時產(chǎn)生視神經(jīng)脈沖。視覺系統(tǒng)散布視神經(jīng)中有80萬神經(jīng)纖維，這些神經(jīng)纖維傳播視神經(jīng)脈沖給大腦相應處理中樞。許許多多的視桿體和視錐體相互連接到神經(jīng)纖維上。第6頁，課件共74頁，創(chuàng)作于2023年2月圖2.2靈長類生物視網(wǎng)膜結構1.錐細胞(Conereceptor)2.桿細胞(Rodreceptor)5.桿狀雙極細胞(Rodbipolarcell)6.無長突細胞(Amacrinecell)7.水平細胞(Horizontalcell)8.侏儒節(jié)細胞(Midgetganglioncell)9.彌散節(jié)細胞(diffuseganglioncell)3.扁平雙極細胞(Flatbipolarcell)4.侏儒雙極細胞(Midgetbipolarcell)第7頁，課件共74頁，創(chuàng)作于2023年2月圖2.3桿細胞和錐細胞光譜響應屬性(實心黑點曲線代表桿細胞響應)第8頁，課件共74頁，創(chuàng)作于2023年2月距視軸（中央凹的中心）的度數(shù)每平方毫米桿細胞和錐體細胞的數(shù)目盲點——錐細胞------桿細胞圖2.4視網(wǎng)膜上桿細胞和錐狀細胞的分布第9頁，課件共74頁，創(chuàng)作于2023年2月高級感知層次圖2.5視覺通道示意圖第10頁，課件共74頁，創(chuàng)作于2023年2月2.眼睛中圖像的形成

晶狀體

光學透鏡

焦距10cm~無窮連續(xù)可調范圍有限

視覺系統(tǒng)從外界獲取圖像，就是在眼睛視網(wǎng)膜上獲得周圍世界的光學成像，然后由光接收器(桿狀體和錐狀體在視網(wǎng)膜上作為光接收器)將光圖像信息轉化為視網(wǎng)膜的神經(jīng)活動電信息，最后通過視神經(jīng)纖維，把這些圖像信息傳送入大腦,由大腦獲得圖像感知。第11頁，課件共74頁，創(chuàng)作于2023年2月大腦對視神經(jīng)纖維傳送來的圖像信息進行分析和理解，通過圖像獲得對周圍世界感知的信息和知識。人們對大腦的高級感知層次至今知之甚少，仍是生理學、神經(jīng)科學、生物物理學、生物化學研究的重要課題。圖2.6On-中心型與Off-中心型感受野第12頁，課件共74頁，創(chuàng)作于2023年2月整體視覺過程

視覺＝“視”＋“覺”

第13頁，課件共74頁，創(chuàng)作于2023年2月3.視覺特性（現(xiàn)象）圖像是周圍世界的一種映射。周圍世界是一個能量場，可以描述為：E(x,y,z,,t)圖像I(x,y,)是客觀世界的一次攝影的結果，是能量場E的一個映射運動圖像——x、y、z都是時間t的函數(shù) 若在連續(xù)的不同時間獲取圖像，可以獲得序列圖像{I1,I2,…,In}。按不同波段獲取圖像，可獲得彩色圖像或不同波段的圖像信號(如醫(yī)學圖像、航空圖像等)。第14頁，課件共74頁，創(chuàng)作于2023年2月視覺現(xiàn)象包括：視覺對光強的感應——相對視敏函數(shù)；對比度的靈敏度和同時對比度視覺對各種波長、彩色的光譜效應——彩色視覺特性視覺對物體邊緣等空間頻率變化的響應——馬赫帶和視覺系統(tǒng)的調制傳輸函數(shù)視覺對時間瞬時變化運動的響應——視覺的瞬時性質第15頁，課件共74頁，創(chuàng)作于2023年2月(1)相對視敏函數(shù)人眼對不同波長的光有不同的敏感度，不同波長而幅射功率相同的光不僅給人以不同的色彩感覺，而且亮度感覺也不同。視桿體和視錐體的相對視敏曲線有所不同對視錐體情況，在

=555nm

時綠光亮度最敏感，對視桿體暗視情況，則

=505nm

時最敏感。第16頁，課件共74頁，創(chuàng)作于2023年2月(2)亮度適應和視覺靈敏度人眼視覺系統(tǒng)對亮度的響應具有對數(shù)性質，是單調的非線性系統(tǒng)。實驗證明，接近1/3的冪指數(shù)函數(shù)。人眼對光強的響應范圍（動態(tài)范圍）：1010人眼里用改變其整個靈敏度來實現(xiàn)大的動態(tài)范圍響應——亮度適應現(xiàn)象第17頁，課件共74頁，創(chuàng)作于2023年2月眼睛對光強的響應是非線性的。一塊光強為I+⊿I

小塊被背景強度I

所包圍，則可覺察的差值⊿I

是I的函數(shù)?！獙σ曈X敏感的是對比度，而不是亮度值本身背景照明恒定時，人眼的單色分辨力：

12~24級證據(jù)：馬赫帶、同時對比度第18頁，課件共74頁，創(chuàng)作于2023年2月

實際亮度

感覺亮度馬赫帶

不同強度邊界周圍的“欠調”或“過調”。第19頁，課件共74頁，創(chuàng)作于2023年2月感覺的亮度區(qū)域并非簡單取決于強度，而與背景有關。各圖中心方塊具有相同的強度同時對比度：第20頁，課件共74頁，創(chuàng)作于2023年2月視覺錯覺

眼睛填充了不存在的信息或錯誤地感知物體的幾何特點。第21頁，課件共74頁，創(chuàng)作于2023年2月(4)彩色視覺特性與顏色模型基礎光和彩色光的彩色感覺由其光譜成分（波長組成）決定。物體的顏色由物體的反射光性質決定。圖2.7可見光范圍電磁波譜第22頁，課件共74頁，創(chuàng)作于2023年2月圖2.8白光通過棱鏡是看到的彩色譜物體的顏色由物體的反射光性質決定。白色：在整個可見光譜頻帶內具有相同能量的光。物體對所有反射的可見光相對平衡。第23頁，課件共74頁，創(chuàng)作于2023年2月彩色的表示TomasYoung提出的三基色原理： “任何彩色可以用合適的三種基本色混合而再生”三基色原理的生理基礎：視網(wǎng)膜中有叁種視錐體，具有不同的吸收光譜S1()、S2()、S3()，380nm780nm。 吸收光譜響應的峰值分別在光譜的紅(黃綠)、綠、蘭區(qū)域。吸收曲線有相當多的部分是相互重疊的。第24頁，課件共74頁，創(chuàng)作于2023年2月三基色相加混色： 紅(Red)

綠(Green)

藍(Blue)三基色相減混色：

黃(Yellow)

品紅(Magenta)

青(Cyan)三基色第25頁，課件共74頁，創(chuàng)作于2023年2月彩色心理感知

——亮度(I)、色調(H)、色飽和度(S)亮度表示色彩明亮度。色調表示觀察者接收的主要顏色（說某物體是紅色是指其色調）。飽和度是彩色中包含白光的多少。色調與飽和度一起稱為彩色。顏色用亮度和彩色表征。視覺的彩色感知能區(qū)分純彩色數(shù)目：

上百種圖2.8彩色空間的感知表示第26頁，課件共74頁，創(chuàng)作于2023年2月圖2.9基于圓形彩色平面的HSI彩色模型（圓形平面垂直于強度軸）第27頁，課件共74頁，創(chuàng)作于2023年2月(5)視覺的瞬時性質處理運動圖像和圖像顯示設計時十分重要。視覺暫留（視覺惰性）：光脈沖刺激人眼時，視覺的建立和消失都需要一定的過程。光源消失后，景物影響會在視覺中保留一段時間——視覺暫留或視覺惰性。視覺暫留時間：0.05s~0.2s融合頻率：>20Hz，人眼感覺到連續(xù)畫面。第28頁，課件共74頁，創(chuàng)作于2023年2月閃爍（明暗交替）感覺：閃爍頻率高于臨界閃爍頻率(50～60Hz)時，與具有同樣平均強度的穩(wěn)定發(fā)光感覺相同?！娨晸Q幅頻率和場頻的選擇依據(jù)。時空效應：

對高空間頻率的閃爍，眼睛的敏感度高。對運動圖像的編碼時，除了邊緣以外的任何地方可以進行亞取樣，以壓縮碼率。非隔行光柵的監(jiān)視器（閃爍頻率高，可保留良好的高清析度細節(jié)）相比隔行光柵（閃爍頻率低，對低空間頻率已足夠），可以提供高空間解析度的圖像顯示。第29頁，課件共74頁，創(chuàng)作于2023年2月(6)人類視覺分辨力視角：13×10~35×20

分辨角θ：1'~1.5'——電視系統(tǒng)掃描行數(shù)設置依據(jù)分辨力：1/θ分辨力與景物運動連續(xù)感的關系：人眼對運動景物的分辨力低于對靜止景物的分辨力，其分辨角約是靜止景物時的5倍：7.5'第30頁，課件共74頁，創(chuàng)作于2023年2月(7)人類視覺感知能力的特點人類視覺系統(tǒng)在對物體的識別上有特殊強大的功能；但在對灰度、距離和面積的絕對的估計上卻有某些欠缺。與傳感器單元的數(shù)目比較：視網(wǎng)膜包含接近130millions光接收器，遠遠大于CCD芯片上的傳感器單元數(shù)；和計算機的時鐘頻率相比：神經(jīng)處理單元的開關時間將比之大約慢104~108

倍；人類的視覺系統(tǒng)能實時分析復雜的景物

——人能對事物即時反應。第31頁，課件共74頁，創(chuàng)作于2023年2月二、圖像感知和獲取應用圖像傳感器將照射量（電磁波或其他）變?yōu)閿?shù)字圖像原理： 光電感應等第32頁，課件共74頁，創(chuàng)作于2023年2月1.單個傳感器獲取圖像（光二極管等）

單一傳感器+二維機械運動可以得到高分辨率圖像，廉價速度較慢第33頁，課件共74頁，創(chuàng)作于2023年2月2.帶狀傳感器獲取圖像(線性或環(huán)形)用途：平板掃描儀航空、遙感醫(yī)學(CT、MRI、PET)工業(yè)成像特點：可以有>10000個傳感器*一次給出圖像的一行第34頁，課件共74頁，創(chuàng)作于2023年2月圖像重建三維物體的橫截面圖像傳感器環(huán)第35頁，課件共74頁，創(chuàng)作于2023年2月3.傳感器陣列獲取圖像典型器件：CCD、CMOS用途廣泛，可以直接得到完整的圖像第36頁，課件共74頁，創(chuàng)作于2023年2月4.簡單的圖像形成模型一幅圖像可定義為一個二維函數(shù)f(x,y)f為正值，物理意義由圖像源決定f正比于物理源的輻射能量f(x,y)可由兩個分量來表征：光源入射總量i(x,y)物體反射光總量r(x,y)第37頁，課件共74頁，創(chuàng)作于2023年2月

圖2.10

彩色圖像增強舉例左圖：原始圖像，細節(jié)不清晰，偏色右圖：增強后的圖像第38頁，課件共74頁，創(chuàng)作于2023年2月單色圖像在任意坐標處(x0,y0)的強度稱為圖像在該點的灰度級l區(qū)間[Lmin，Lmax]稱為灰度級實際應用中，常令Lmin=0(黑色),Lmax=L-1（白色）所有中間值是從黑到白的各種灰色調第39頁，課件共74頁，創(chuàng)作于2023年2月三、圖像取樣和量化

大多數(shù)傳感器輸出的是連續(xù)電壓波形，這些波形的幅度和空間特性都與感知的物理現(xiàn)象有關。產(chǎn)生一幅數(shù)字圖像——將連續(xù)的感知轉換為數(shù)字形式1.采樣和量化的基本概念 采樣：數(shù)字化坐標值 量化：數(shù)字化幅度值包括兩種處理：采樣和量化第40頁，課件共74頁，創(chuàng)作于2023年2月圖2.11獲取數(shù)字圖像的過程第41頁，課件共74頁，創(chuàng)作于2023年2月連續(xù)圖像投影到傳感器陣列(b)圖像采樣和量化的結果(a)(b)第42頁，課件共74頁，創(chuàng)作于2023年2月2.數(shù)字圖像表示采樣和量化的結果是一個實際矩陣。一幅圖像被取樣后，產(chǎn)生的數(shù)字圖像有M行和N列。第43頁，課件共74頁，創(chuàng)作于2023年2月圖2.12本課程使用的數(shù)字圖像的坐標第44頁，課件共74頁，創(chuàng)作于2023年2月3.空間和灰度級分辨率(1)

空間分辨率

——圖像中可辨別的最小細節(jié)。

采樣值是決定一幅圖像空間分辨率的主要參數(shù)。(2)灰度分辨率

——在灰度級別中可分辨的最小變化。 多數(shù)情況下，取灰度分辨率為8比特（位）。通常把大小為M×N，灰度為L級的數(shù)字圖像稱為空間分辨率為M×N

像素、灰度分辨率為L級的數(shù)字圖像。第45頁，課件共74頁，創(chuàng)作于2023年2月數(shù)字圖像

圖像（水平）尺寸M：圖像（垂直）尺寸N：像素灰度級數(shù)G(k-bit)：圖像所需的位數(shù)b：

M=N時，一幅圖像有256個可能的灰度級，稱為8比特圖像。第46頁，課件共74頁，創(chuàng)作于2023年2月存儲數(shù)字圖像需要的比特數(shù)b是:b=N2k存儲1幅3232，16個灰度級的圖需要4,096bit存儲1幅128128，64個灰度級的圖需要98,304bit存儲1幅512512，256個灰度級的圖需要2,097,152bit表2.1N和k變化時存儲的比特數(shù)第47頁，課件共74頁，創(chuàng)作于2023年2月圖2.13(a)~(f)的空間分辨率依次為512×512、256×256、128×128、64×64、32×32、16×16像素，8bit圖像。圖像空間分辨率（采樣點數(shù)）變化對圖像質量的影響第48頁，課件共74頁，創(chuàng)作于2023年2月256256

12812864643232圖2.14原始空間分辨率依次為256×256、128×128、64×64、32×32像素，8bit圖像。第49頁，課件共74頁，創(chuàng)作于2023年2月圖2.15(a)~(f)的量化級數(shù)依次為256、64、16、8、4、2;512×512像素。圖像灰度分辨率（量化級數(shù)）變化對圖像質量的影響第50頁，課件共74頁，創(chuàng)作于2023年2月

L=16

L=8L=4L=2圖2.16量化級數(shù)依次為16、8、4、2;256×256像素。第51頁，課件共74頁，創(chuàng)作于2023年2月圖2.17不同灰度分辨率圖像(a)453×374，256灰度級圖像；(b)~(d)保持空間分辨率不變，灰度級為128、64和32的圖像第52頁，課件共74頁，創(chuàng)作于2023年2月圖2.17（續(xù)）(e)~(h)灰度級16、8、4和2的圖像第53頁，課件共74頁，創(chuàng)作于2023年2月圖像空間和灰度分辨率同時變化對圖像質量的影響圖2.17(a)~(f)的空間分辨率依次為256×256、181×181、128×128、90×90、64×64，45×45像素。(a)~(f)的量化級數(shù)依次為128、64、32、16、8、4。第54頁，課件共74頁，創(chuàng)作于2023年2月考慮空間分辨率和灰度分辨率之間可能存在的關系——細節(jié)右圖：Nk平面的等偏愛曲線，右上為好。細節(jié)增加，所需灰度級減少。第55頁，課件共74頁，創(chuàng)作于2023年2月四、圖像顯示顯示：將數(shù)字圖像轉化為適合人們使用的形式，便于人們觀察和理解。一般直接用計算機的圖形終端顯示圖像，圖像窗口只是圖形用戶界面的一個普通的窗口。為方便處理，通常圖像都表現(xiàn)為一矩形區(qū)域的位圖形式（Bitmapformat）。第56頁，課件共74頁，創(chuàng)作于2023年2月CRT顯示（LED、LCD）方向比（4:3）1024x768,800x600…

分辨率，像素，調色板(查找表)gamma校正

打印分辨率，空間灰度→區(qū)域上點數(shù)圖案法抖動法基本方法：混色第57頁，課件共74頁，創(chuàng)作于2023年2月五、像素間的一些基本關系

以及基本數(shù)據(jù)結構1.像素(x,y)的相鄰像素4鄰域（用N4(p)表示）(x+1,y),(x-1,y),(x,y+1),(x,y-1)4鄰域+4個對角的相鄰像素4個對角鄰像素（用ND(p)表示）:4個水平和垂直的相鄰像素8鄰域（用N8(p)表示）(x+1,y+1),(x+1,y-1),(x-1,y-1),(x-1,y-1)第58頁，課件共74頁，創(chuàng)作于2023年2月2.鄰接性、連通性、區(qū)域和邊界(1)鄰接性 兩像素p和q灰度值屬于灰度值集合V

4鄰接：qN4(p)，p和q是4鄰接的。

8鄰接：qN8(p)，p和q是8鄰接的。m鄰接(混合鄰接)：

(1)qN4(p)(2)qND(p)，且N4(p)N4(q)沒有V值的像素第59頁，課件共74頁，創(chuàng)作于2023年2月(a)(b)(c)圖2.18鄰接關系(a)像素分布，(b)中心像素的8鄰接像素（虛線表示），(c)m鄰接(8鄰接的改進，消除8鄰接的二義性)第60頁，課件共74頁，創(chuàng)作于2023年2月兩個像素間連通： 兩個像素相鄰，且它們的灰度值滿足特定的相似性準則（如灰度值相等）兩個像素間的通路：從像素p(x,y)到像素q(s,t)存在特定像素序列：(x0,y0),(x1,y1),…,(xn,yn)(這里(x0,y0)=(x,y),(xn,yn)=(s,t))，且像素(xi,yi)和(xi-1,yi-1)(1in)是鄰接的。閉合通路：(x0,y0)=(xn,yn)(2)連通性第61頁，課件共74頁，創(chuàng)作于2023年2月令R表示圖像的像素子集。區(qū)域：若R是連通集，則稱R為一個區(qū)域。邊界（也可稱為邊緣或輪廓）：區(qū)域R中像素的集合，該區(qū)域有一個或多個不在R中的鄰點。注意邊界：一個有限區(qū)域的邊界形成一個閉合通路，是一個“整體”的概念。邊緣：由具有某些導數(shù)值的像素形成，基于不連續(xù)點進行灰度級測量的局部概念。二值圖像中，邊緣和邊界是吻合的。(3)區(qū)域和邊界第62頁，課件共74頁，創(chuàng)作于2023年2月3.距離度量距離量度函數(shù) 像素p(x,y)，q(s,t)和z(v,w)，如果：

(1)D(p,q)0[D(p,q)=0，當且僅當p=q (2)D(p,q)=D(q,p) (3)D(p,z)=D(p,q)+D(q,z)

則D是距離函數(shù)或度量。(1)歐氏距離

De(p,q)=[(x-s)2+(y-t)2]1/2(2)D4(城市街區(qū))距離

D4(p,q)=|x-s|+|y-t|(3)D8(棋盤)距離

D8(p,q)=max(|x-s|,|y–t|)第63頁，課件共74頁，創(chuàng)作于2023年2月

距離計算示例De=5D4=7D8=4圖2.19像素間的距離計算第64頁，課件共74頁，創(chuàng)作于2023年2月22122101221222222221112210122111222222(a)D4距離2;(b)D8距離2p和q之間的D4和D8距離與任何通路無關。圖2.20等距離輪廓圖案第65頁，課件共74頁，創(chuàng)作于2023年2月4.基本數(shù)據(jù)結構數(shù)據(jù)結構是指數(shù)據(jù)的組織方式，對算法的選擇和其實現(xiàn)的容