圖像處理概述

高級數(shù)字圖像處理 陳志華 聯(lián)系方式 媒體計算與仿真研究室八教403czh迎多交流 多聯(lián)系 同學自我介紹研究方向 導師 課題等 有圖像處理基礎(chǔ) 關(guān)于紀律不遲到 不早退 不曠課有特殊情況 提前請假遵守課堂紀律課代表推薦協(xié)助考勤 講座報名等 課程目的與要求 掌握數(shù)字圖像處理的概念 原理和方法為圖像相關(guān)領(lǐng)域的學習或研究打下良好基礎(chǔ)說明屬于媒體計算領(lǐng)域和相關(guān)課程 視覺計算 多媒體信息建模與檢索 互補 課程安排 課程內(nèi)容分為數(shù)字圖像處理的理論及實踐概念繁多 內(nèi)容廣泛 理論性和實踐性很強內(nèi)容簡化 選自多本教材 課時 32學時討論 小講座等互動環(huán)節(jié)課堂提問 練習課外自己動手編程 課程考核 考核平時成績40 考勤 課堂練習 回答問題課堂小講座 討論考試 或論文 成績60 講座安排 圍繞圖像處理領(lǐng)域 做10分鐘 20分鐘PPT技術(shù)點 知識點介紹應用研究現(xiàn)狀程序?qū)崿F(xiàn)與演示論文閱讀鼓勵介紹自己的學術(shù)研究成果 每位同學都要講 按團隊準備和評分課代表收集大家選題 小講座評分 選題恰當 不寬泛 和課程內(nèi)容不重復PPT簡潔 提綱式 字號至少為28 不超過50字 頁 不照抄網(wǎng)上內(nèi)容內(nèi)容熟悉 陳述流暢 不要照稿子念 和大家有互動 眼神 手勢 提問等有亮點 如編程實現(xiàn) 圖文并茂 視頻演示 數(shù)字圖像處理概述及基礎(chǔ) 參考書 數(shù)字圖像處理 第二版 岡薩雷斯等著 電子工業(yè)出版社 2013章毓晉 圖象工程上冊 圖象處理 清華大學出版社 2008章毓晉 圖象工程中冊 圖象分析 清華大學出版社 2008章毓晉 圖象工程下冊 圖象理解 清華大學出版社 2008 國內(nèi)外相關(guān)學術(shù)會議和期刊 國內(nèi)期刊JournalofComputerScienceandTechnology JCST SCI 計算機學報軟件學報電子學報計算機研究與發(fā)展中國圖像圖形學報 國外學術(shù)會議IEEEInternationalConferenceonComputerVision ICCV IEEEInternationalConferenceonComputerVisionandPatternRecognition CVPR ACMMultimediaConference MM IEEEInternationalConferenceonImageProcessing ICIP InternationalConferenceonPatternRecognition ICPR 國外期刊IEEETransactionsonPatternAnalysisandMachineIntelligence PAMI IEEETransactionsonImageProcessing TIP InternationalJournalofComputerVision IJCV PatternRecognition PR IEEETransactionsonCircuitsandSystemsforVideoTechnology CSVT 圖像處理的主要內(nèi)容 基礎(chǔ)知識圖像幾何變換彩色圖像處理邊緣檢測圖像增強圖像分割形態(tài)學處理圖像壓縮應用實踐 基礎(chǔ)知識 1概述概念 圖像 數(shù)字圖像 像素數(shù)字圖像處理的起源數(shù)字圖像處理的應用領(lǐng)域圖像處理系統(tǒng)的基本組成結(jié)構(gòu)2技術(shù)基礎(chǔ)圖像的采樣和量化數(shù)字圖像的表示數(shù)字圖像的質(zhì)量像素間的一些基本關(guān)系 1 1圖像基本概念 圖像定義為二維函數(shù)f x y 其中 x y是空間坐標 f x y 是點 x y 的幅值灰度圖像是一個二維灰度 或亮度 函數(shù)f x y 彩色圖像由三個 如RGB HSV 二維灰度 或亮度 函數(shù)f x y 組成 什么是數(shù)字圖像 像素組成的二維排列 可以用矩陣表示單色 灰度 圖像 每個像素的亮度用一個數(shù)值來表示 通常在0 255 0表示黑 255表示白 其它值表示黑白之間的灰度彩色圖像可以用紅 綠 藍三元組的二維矩陣來表示 通常三元組的每個數(shù)值也是在0到255之間 0表示相應的基色在該像素中沒有 而255則代表相應的基色在該像素中取得最大值 數(shù)字圖像的像素表示 什么是像素 數(shù)字圖像由二維的元素組成 每一個元素具有一個特定的位置 x y 和幅值f x y 這些元素就稱為像素 19 補充 圖像 圖像 Image 是對事物的一種描述形式 它以人類視覺特性為載體在空間位置記錄顏色值 一個空間位置記錄一個顏色值 那么空間位置及對應顏色值的集合就是圖像再具體點 是指在一個二維矩形區(qū)域內(nèi)的每個點記錄一個顏色 20 圖像獲取 通過記錄現(xiàn)實世界 獲取圖像手機照相機攝像機紅外攝像機 21 圖像 22 圖像的簡單分類 按照人眼視覺感知范圍分可見圖像不可見圖像按照圖像空間坐標和亮度 或色彩 的連續(xù)性分類模擬圖像 空間坐標和顏色值均連續(xù)取值數(shù)字圖像 空間坐標和顏色值均不連續(xù)取值 23 可見光與電磁波譜 X射線 紫外線 射線 紅外線 微波 無線電波 藍 綠 紅 400 600 500 700波長 nm 人類可見波長范圍 24 可見光與電磁波譜 25 模擬圖像 圖像的空間坐標和顏色值均連續(xù)取值例如 由膠片照相機拍攝的照片理論上 照片上的任意一點都有對應的顏色 因此坐標位置是在 0 寬度 0 高度 的二維范圍中取值同樣 由膠片相機拍攝的照片 其每個點的感光值也都是連續(xù)取值的 并且取值范圍 也稱為動態(tài)范圍 非常大 26 數(shù)字圖像 圖像的空間坐標和顏色值均不連續(xù)取值例如 數(shù)碼相機所拍攝的數(shù)字圖像空間坐標取值不連續(xù)一般在網(wǎng)格點位置上才記錄顏色顏色取值不連續(xù)每個網(wǎng)格點上的顏色取值只有有限種選擇 1 2數(shù)字圖像處理的起源 人類分析的需要圖像在傳輸過程后的更好復原空間應用 圖像增強 圖像復原醫(yī)學圖像 作用 通過圖像增強 圖像復原等技術(shù) 增強或復原模糊或損毀的圖像機器感知的需要自動字符識別OCR人臉識別指紋識別 28 數(shù)字圖像歷史追溯 數(shù)字圖像處理最早的應用之一是在報紙業(yè)1921年 Bartlane電纜圖片傳輸系統(tǒng) 在倫敦和紐約之間 經(jīng)橫跨大西洋的海底電纜發(fā)送數(shù)字化報紙的圖片 該系統(tǒng)傳送一幅圖片所需時間小于3小時 而之前需要1周以上 首先對圖像進行編碼 然后在接收端由專用打印設(shè)備進行圖片重建 29 1921年一幅由電報打印機打印的數(shù)字圖像 5個灰度級 30 1921年底照像復制技術(shù)應用 在電報接受終端用穿孔帶還原圖像圖像信號兩次穿越大西洋后的效果 31 1929年引人了編碼的圖片紙帶來調(diào)制光束 從而改善底板感光的系統(tǒng) 使灰度級增加到15個等級 1 3數(shù)字圖像處理的主要研究內(nèi)容 圖像增強圖像分割圖像復原圖像變換圖像壓縮圖像重建圖像配準 圖像融合 圖像水印 數(shù)學形態(tài)學 1 4圖像處理的應用領(lǐng)域 數(shù)字圖象處理技術(shù)已應用到很多領(lǐng)域 1 遙感圖像應用農(nóng)業(yè)普查 森林覆蓋計算 水利工程等的客觀估計計算 森林火災監(jiān)護 客觀反映火災情況 面積 水體界線的確定在近紅外圖像上 水體呈黑色 2 導彈制導圖象識別技術(shù)應用于導彈的精確制導 使其精確打擊目標 如 機場 橋梁等 3 生物特征識別軍事 公安中的人臉 指紋 掌紋識別等 4 醫(yī)學應用CT MR1 PET B超 DSA 血管造影 紅外乳腺 顯微病理 電子顯微鏡 遠程醫(yī)療圖像 皮膚圖象 X射線 刀與 刀腦外科等等離不開圖像 X Ray MRI PET 核醫(yī)學影像 超聲圖象 PhotocourtesyPhilipsResearch DSA數(shù)字減影血管造影 DigitalSubtractionAngiography 紅外圖象 5 日常生活數(shù)碼照片管理 處理等 1 4圖像處理系統(tǒng)的基本組成結(jié)構(gòu) 常用圖像處理軟件及平臺 Windows自帶軟件 畫圖可以畫任意圖形 填充顏色等 同時也可編輯圖像 ACDSee目前流行的數(shù)字圖像處理軟件 支持超過50種常見多媒體格式 擁有如去除紅眼 剪切圖像 銳化 浮雕特效 旋轉(zhuǎn) 鏡像等功能效果 AdobePhotoshop公認的最好的通用平面美術(shù)設(shè)計軟件 由Adobe公司開發(fā)設(shè)計 它完成了DTP和圖像軟件的結(jié)合 使設(shè)計師可在電腦上直接完成文字的錄入 排版 圖像處理 形象創(chuàng)造和分色制板的全過程 Fireworks網(wǎng)頁制作三劍客之一 最適合與Dreamweaver共同使用 處理網(wǎng)頁中的圖片 MATLAB是美國MathWorks公司出品的商業(yè)數(shù)學軟件 用于算法開發(fā) 數(shù)據(jù)可視化 數(shù)據(jù)分析以及數(shù)值計算的高級技術(shù)計算語言和交互式環(huán)境 VisualC net實現(xiàn)許多圖像之間的變換 或者自己編寫函數(shù)來畫出設(shè)計好的圖像 圖像存儲系統(tǒng) 圖像文件格式體系互聯(lián)網(wǎng)用 GIF JPG印刷用 TIF JPG TAG PCX國際標準 TIF JPG BMP圖像存儲體系 分級存儲內(nèi)存存儲 處理時使用硬盤存儲 處理 備份時用 在線 備份存儲 光盤 磁帶 圖像文件的常用格式 BMP位圖文件 是一種與硬件設(shè)備無關(guān)的圖像文件格式 是Windows操作系統(tǒng)采用的圖像文件存儲格式 是Windows操作系統(tǒng)內(nèi)交換圖像數(shù)據(jù)的一種標準 GIF原義是 圖像互換格式 是CompuServe公司制定的一種圖像文件存儲格式 其最初的目的是希望每個BBS使用者都能夠通過GIF圖像文件格式輕易存儲并交換圖像數(shù)據(jù) 圖像文件的常用格式 TIFF圖像文件格式由Aldus公司與Microsoft公司共同開發(fā)設(shè)計的圖像文件格式 PCX圖像文件格式是PCPaintbrush繪圖軟件內(nèi)的文件格式 專門用于存儲該軟件所產(chǎn)生的圖像畫面數(shù)據(jù) JPEG圖像文件格式一種有損壓縮格式 是最常用的圖像文件格式 由國際標準化組織和國際電話電報咨詢委員會制定 2技術(shù)基礎(chǔ) 圖像的采樣和量化數(shù)字圖像的表示數(shù)字圖像的質(zhì)量像素間的一些基本關(guān)系鄰域處理方法是圖像增強過程的核心 2 1圖像的采樣和量化 大多數(shù)傳感器的輸出是連續(xù)電壓波形 為了產(chǎn)生一幅數(shù)字圖像 需要把連續(xù)的感知數(shù)據(jù)轉(zhuǎn)化為數(shù)字形式數(shù)字化包括兩種處理 采樣和量化采樣 圖像空間坐標的數(shù)字化量化 圖像函數(shù)值 灰度值 的數(shù)字化 圖像采樣 空間坐標 x y 的數(shù)字化被稱為圖像采樣確定水平和垂直方向上的像素個數(shù)N M 圖像的量化 函數(shù)取值的數(shù)字化被稱為圖像的量化 如量化到256個灰度級 圖像的采樣與數(shù)字圖像的質(zhì)量 圖像的采樣與數(shù)字圖像的質(zhì)量 1024 1024 512 512 256 256 32 32 128 128 64 64 圖像的量化與數(shù)字圖像的質(zhì)量 圖像的采樣和量化 非統(tǒng)一的圖像采樣在灰度級變化尖銳的區(qū)域 用細膩的采樣 在灰度級比較平滑的區(qū)域 用粗糙的采樣 非統(tǒng)一的圖像量化在邊界附近使用較少的灰度級 剩余的灰度級可用于灰度級變化比較平滑的區(qū)域避免或減少由于量化的太粗糙 在灰度級變化比較平滑的區(qū)域出現(xiàn)假輪廓的現(xiàn)象 2 2數(shù)字圖像的表示 二維離散亮度函數(shù) f x y x y說明圖像像素的空間坐標函數(shù)值f代表了在點 x y 處像素的灰度值二維矩陣 A m n m n說明圖像的寬和高 矩陣元素a i j 的值 表示圖像在第i行 第j列的像素的灰度值 i j表示幾何位置 256個層次的圖像 16個層次的圖像 64個層次的圖像 2 3圖像的質(zhì)量 圖像質(zhì)量指標 1 層次 灰度級 對比度 是指一幅圖像中灰度反差的大小 對比度 最大亮度 最小亮度 圖像質(zhì)量 2 對比度 圖像的質(zhì)量 3 清晰度 人眼宏觀看到的圖像的清晰程度與清晰度相關(guān)的主要因素亮度對比度尺寸大小細微層次顏色飽和度 降低亮度 影響清晰度因素 1 亮度 原圖 降低對比度 原圖 影響清晰度因素 2 對比度 縮小尺寸 原圖 影響清晰度因素 3 尺寸大小 減少細微層次 原圖 影響清晰度因素 4 細微層次 降低顏色飽和度 原圖 影響清晰度因素 5 顏色飽和度 2 4像素間的一些基本關(guān)系 相鄰像素 4鄰域8鄰域連通性4連通8連通距離 相鄰像素 4鄰域 4鄰域 像素p x y 的4個相鄰的像素 x 1 y x 1 y x y 1 x y 1 用N4 p 表示像素p的4鄰域 相鄰像素 8鄰域 8鄰域定義 像素p x y 的8鄰域是 像素間的連通性 連通性是描述區(qū)域和邊界的重要概念兩個像素連通的兩個必要條件是 兩個像素的位置是否相鄰兩個像素的灰度值是否滿足特定的相似性準則 或者是否相等 4連通 8連通的定義 像素的連通性 4連通 對于具有值V的像素p和q 如果q在集合N4 p 中 則稱這兩個像素是4連通的 像素的連通性 8連通 對于具有值V的像素p和q 如果q在集合N8 p 中 則稱這兩個像素是8連通的 像素的連通性 距離 像素之間距離的定義歐氏距離定義D4距離 城市距離 定義D8距離 棋盤距離 定義 像素之間距離的定義 對于像素p q和z 分別具有坐標 x y s t 和 u v 如果 1 D p q 0 D p q 0 當且僅當p q 2 D p q D q p 3 D p z D p q D q z 則稱D是距離函數(shù)或度量 歐式距離定義 像素p x y 和q s t 間的歐式距離定義如下 問題 具有與 x y 距離小于等于某個值r的像素是 D4距離 城市距離 像素p x y 和q s t 之間的D4距離定義為 問題 試寫出以像素A為中心 3 3鄰域內(nèi)的D4距離值 5 5鄰域呢 D4距離舉例 具有與 x y 距離小于等于某個值r的那些像素形成一個菱形例如 與點 x y 中心點 D4距離小于等于2的像素 形成右邊固定距離的輪廓具有D4 1的像素是 x y 的4鄰域 D8距離 棋盤距離 像素p x y 和q s t 之間的D8距離定義為 問題 寫出以像素A為中心 3 3鄰域內(nèi)的D8距離值 5 5鄰域 D8距離舉例 具有與 x y 距離小于等于某個值r的那些像素形成一個正方形例如 與點 x y 中心點 D8距離小于等于2的像素 形成右邊固定距離的輪廓具有D8 1的像素是 x y 的8鄰域 87 3數(shù)字圖像處理及其研究內(nèi)容 圖像處理 對圖像進行一系列的操作 以達到特定的應用目標模擬圖像處理利用光學 照相等方法對模擬圖像的處理數(shù)字圖像處理利用計算機算法對數(shù)字圖像進行系列操作 以達到特定的應用目標 88 3 1來源 數(shù)字圖像處理起源于兩種主要應用范圍 1 改善人類做判斷用的圖像信息 2 處理自動裝置感受的景物數(shù)據(jù) 89 低層數(shù)字圖像處理 對輸入圖像進行變換 得到一幅輸出圖像如對輸入圖像進行各種操作以改善圖像的視覺效果或者對其進行壓縮編碼以減少所需要的存儲空間和傳輸時間等 降低對傳輸通道的要求 狹義的處理 90 數(shù)字圖像的分析 對圖像中感興趣的區(qū)域或目標進行檢測和測量 從而建立對圖像目標的描述 是一個從輸入圖像到數(shù)值或者符號的過程 91 圖像理解與模式識別 在圖像分析的基礎(chǔ)上 利用人工智能和認知理論 研究圖像中各目標的性質(zhì)和它們之間的相互聯(lián)系 對圖像內(nèi)容的含義加以理解以及對原來客觀場景加以解釋 從而指導和規(guī)劃行動 92 數(shù)字圖像處理的特點 處理算法不依賴于精度對于一幅圖像而言 數(shù)字化時不管是用4比特 8比特還是其它比特表示 只需改變計算機中程序的參數(shù) 處理方法不變 所以從原理上講不管對多高精度的數(shù)字圖像進行處理都是可能的 而在模擬圖像處理中 要想使精度提高一個數(shù)量級 就必須對裝置進行大幅度改進 93 數(shù)字圖像處理的特點 處理結(jié)果能準確再現(xiàn)不管是什么數(shù)字圖像 均用數(shù)組或數(shù)組集合表示 在傳送和復制圖像時 只在計算機內(nèi)部進行處理 這樣數(shù)據(jù)就不會丟失或遭破壞 保持了完好的再現(xiàn)性 而在模擬圖像處理過程中 就會因為各種干擾因素而無法保證圖像處理結(jié)果的準確再現(xiàn) 94 數(shù)字圖像處理的特點 通用性 靈活性強對可見圖像和不可見光圖像 如X光圖像 熱紅外圖像和超聲波圖像等 盡管這些圖像生成體系中的設(shè)備規(guī)模和精度各不相同 但當把這些圖像數(shù)字化后 都可同樣進行處理 這就是數(shù)字處理圖像的通用性利用處理軟件可對圖像進行各種各樣的處理 如上下滾動 漫游 拼接 合成 變換 放大 縮小和各種邏輯運算等 所以靈活性很高 95 3 2圖像處理的研究實例 主要研究內(nèi)容圖像增強圖像恢復圖像編碼圖像分析模式識別圖像重建 96 圖像增強 1 97 圖像增強 2 98 圖像增強 3 圖像增強是改善供人觀看圖像主觀質(zhì)量主要技術(shù) 直方圖修正圖像平滑圖像銳化同態(tài)系統(tǒng)偽彩色技術(shù) 99 圖像恢復 1 100 圖像復原 2 圖像復原是尋找引起圖像質(zhì)量下降的原因 通過 逆向 操作 盡可能恢復圖像本來面目主要技術(shù) 復原的代數(shù)方法逆濾波最小二乘方濾波約束去卷積空間復原技術(shù) 101 圖像編碼 在保真 無損 或限保真 有損 條件下對圖像進行壓縮主要技術(shù)方法 PCM編碼統(tǒng)計編碼預測編碼變換編碼小波編碼分形編碼 102 圖像分析 1 人體染色體形狀分析 103 圖像分析 2 對輸入圖像的處理 產(chǎn)生已知圖像描述主要技術(shù)方法 分割描繪紋理分析形狀分析場景分析 104 模式識別 計算機代替人類完成識別景物工作 就必須賦于它有近于人的視覺功能與識別能力 對人的視覺機理至今研究得十分不夠 完善的視覺模型尚未建立 因而 目前用圖像處理和識別技術(shù)來識別景物相對是較簡單的 相關(guān)匹配 結(jié)構(gòu)匹配等是一些常用識別方法 各種知識基的專家系統(tǒng)應用于識別復雜的景物 并已做出一些實用的系統(tǒng) 105 圖像重建 1 利用X射線 超聲波等手段取得物休的多幅來自不同角度的二維投影圖 它們反映了物體內(nèi)部情形 通過計算得出物體內(nèi)部圖像 這種技術(shù)就是投影重建 利用明暗 運動 體視等圖像信息恢復三維物體形狀則是三維信息恢復重建技術(shù) 106 圖像重建 2 數(shù)字圖像處理的實例補充 108 ImageProcessingExamples RestorationofimagefromHubbleSpaceTelescope 圖像復原 Source IVPLNorthWesternUniversity Chicago 109 ImageProcessingExamples Colorphotoenhancement 彩色照片增強 Source PictureProject1 5 2005NiconCorporation Original AutomaticEnhancement 110 ImageProcessingExamples Noisereduction 噪聲去除 DegradedImage Noisereductionimage Source JungwonLee StanfordEE368classproject Spring2000 111 ImageProcessingExamples SpecialEffects 特殊效果 Photo Simulatedcolorpencils Simulatedoilpainting Source FengXiao StanfordEE368classproject Spring2000 112 ImageProcessingExamples Pseudocolorenhancementforsecurityscreening 偽彩增強 Source Gonzalez Woodsbook Fig6 24 113 ImageProcessingExamples Extractionofsettlementareafromanaerialimage 居住區(qū)提取 Source INRIA Sophia Antipoils France 114 ImageProcessingExamples EarthquakeAnalysisfromSpace 地震分析 Source JPL Pasadena QUAKEFINDERproject ImageshowsthegrounddisplacementduetoLandersearthquakeinCA 1992 115 ImageProcessingExamples FaceDetection 臉部識別 Source H