《智能識(shí)別系統(tǒng)實(shí)現(xiàn)與實(shí)訓(xùn)》單元2 - 學(xué)習(xí)情境1

智能識(shí)別系統(tǒng)實(shí)現(xiàn)與實(shí)訓(xùn)單元2使用數(shù)字成像設(shè)備獲取圖像數(shù)據(jù)主講人：XXXX職稱：XXXX教學(xué)導(dǎo)航知識(shí)重點(diǎn)1.數(shù)字圖像基本概念；2.三維圖像與二維圖像的主要區(qū)別；3.數(shù)字化成像設(shè)備工作原理；4.圖像傳感器的主要作用；5.用以明確圖像數(shù)據(jù)采集要求的主要指標(biāo)；6.高清攝像機(jī)及三維人臉照相機(jī)的操作使用過(guò)程；7.高清攝像機(jī)及三維人臉照相機(jī)的主要工作參數(shù)及其設(shè)定方法。知識(shí)難點(diǎn)1.用以明確圖像數(shù)據(jù)采集要求的主要指標(biāo)和它們的具體含義；2.高清攝像機(jī)、三維人臉照相機(jī)的主要工作參數(shù)及其設(shè)定方法。推薦教學(xué)方式首先明確數(shù)字圖像、數(shù)字化成像設(shè)備的基本概念，讓學(xué)生了解數(shù)字化成像設(shè)備的主要功能和使用方法；在此基礎(chǔ)上，以智能圖像識(shí)別應(yīng)用系統(tǒng)建設(shè)為背景，從前端圖像采集設(shè)備（高清攝像機(jī)、三維人臉照相機(jī)）入手，引導(dǎo)學(xué)生圍繞圖像數(shù)據(jù)（圖片、視頻、三維圖像數(shù)據(jù)）的接收、展示，開展相應(yīng)的Python編程學(xué)習(xí)和訓(xùn)練。建議學(xué)時(shí)12學(xué)時(shí)。推薦學(xué)習(xí)方法準(zhǔn)確掌握數(shù)字圖像、數(shù)字化成像設(shè)備基本概念，了解數(shù)字化成像設(shè)備的工作原理和主要器件，了解在建設(shè)智能識(shí)別系統(tǒng)過(guò)程中經(jīng)常用到圖像傳感設(shè)備種類，掌握高清攝像機(jī)、三維人臉照相機(jī)使用方法；在基礎(chǔ)上，進(jìn)行圖像數(shù)據(jù)接收、保存、展示等Python編程技能訓(xùn)練。必須掌握的理論知識(shí)1.數(shù)字圖像基本概念；2.二維/三維圖像的含義和區(qū)別；3.數(shù)字化成像設(shè)備的工作原理。必須掌握的技能1.使用高清攝像機(jī)采集需要的圖片與視頻；2.通過(guò)Python編程實(shí)現(xiàn)圖像數(shù)據(jù)接收、保存、展示。單元2使用數(shù)字成像設(shè)備獲取圖像數(shù)據(jù)0102情境1用高清攝像機(jī)采集需要的圖片情境2用高清攝像機(jī)采集需要的視頻03情境3三維圖像數(shù)據(jù)采集學(xué)習(xí)情境1用高清攝像機(jī)采集需要的圖片01030204情景概述知識(shí)準(zhǔn)備案例講解總結(jié)PART01情境概述情境1用高清攝像機(jī)采集需要的圖片情境概述學(xué)習(xí)情境描述

用高清攝像機(jī)做為成像設(shè)備，為智能圖像識(shí)別系統(tǒng)采集所需圖片時(shí)，通常會(huì)涉及到兩個(gè)方面的工作：一是根據(jù)攝像機(jī)工作地點(diǎn)的環(huán)境條件和圖片采集要求，設(shè)定好攝像機(jī)的工作參數(shù)；二是開發(fā)應(yīng)用軟件接收攝像機(jī)抓拍的照片，并顯示查看，以確認(rèn)照片質(zhì)量。若發(fā)現(xiàn)接收到的照片存在景物模糊、色彩失真、畫面偏暗或過(guò)亮等質(zhì)量缺陷時(shí)，要能夠結(jié)合問(wèn)題對(duì)攝像機(jī)工作參數(shù)進(jìn)行相關(guān)必要調(diào)整，以確保問(wèn)題得到解決。情境1：用高清攝像機(jī)采集需要的圖片情境概述學(xué)習(xí)目標(biāo)能夠正確闡述二維圖像和三維圖像的區(qū)別。能夠正確闡述高清攝像機(jī)的成像原理和關(guān)鍵器件。能夠說(shuō)出描述圖片采集要求的常用指標(biāo)。能夠說(shuō)出高清攝像機(jī)產(chǎn)品的主要技術(shù)參數(shù)。正確掌握攝像機(jī)工作參數(shù)設(shè)定方法。能夠通過(guò)Python編程對(duì)高清攝像機(jī)抓拍的照片進(jìn)行接收、顯示和保存。情境1：用高清攝像機(jī)采集需要的圖片情境概述本學(xué)習(xí)情境的任務(wù)書根據(jù)一個(gè)用于疫情防控的園區(qū)人臉識(shí)別系統(tǒng)建設(shè)要求，結(jié)合系統(tǒng)總體架構(gòu)和人臉抓拍照片采集要求，通過(guò)Python編程開發(fā)出一個(gè)人臉抓拍圖片質(zhì)量篩查軟件，該軟件能夠?qū)@區(qū)監(jiān)控?cái)z像機(jī)抓拍到的行人臉部照片進(jìn)行調(diào)閱查看，并將其中符合識(shí)別輸入要求的照片保存到指定的數(shù)據(jù)庫(kù)文件中，供后續(xù)比對(duì)識(shí)別用。你接受到任務(wù)后，首先要了解該系統(tǒng)后臺(tái)部署的人臉識(shí)別軟件，對(duì)可供處理的人臉抓拍照片的具體要求，以此作為正確設(shè)定攝像機(jī)工作參數(shù)并判斷監(jiān)控?cái)z像機(jī)抓拍照片質(zhì)量的依據(jù)。然后，你還要了解園區(qū)人臉識(shí)別系統(tǒng)的結(jié)構(gòu)和工作過(guò)程，掌握可供選擇的調(diào)閱查看攝像機(jī)抓拍照片的不同方法，并做出自己的決策。在此基礎(chǔ)上，你及時(shí)完成人臉抓拍圖片質(zhì)量篩查軟件的開發(fā)和交付。情境一：用高清攝像機(jī)采集需要的圖片情境概述園區(qū)人臉識(shí)別系統(tǒng)簡(jiǎn)介為了做好疫情防控，某工業(yè)園區(qū)需要對(duì)快遞人員進(jìn)入園區(qū)進(jìn)行授權(quán)管理和軌跡跟蹤，為此他們計(jì)劃構(gòu)建一個(gè)園區(qū)人臉識(shí)別系統(tǒng)。該系統(tǒng)由前端設(shè)備和管理后臺(tái)兩大部分構(gòu)成。其中，前端設(shè)備主要負(fù)責(zé)人員圖像采集和出入控制，由部署在園區(qū)大門口的帶人臉識(shí)別功能的人員通行閘機(jī)、部署在園區(qū)內(nèi)道路沿線及各類建筑物出入口的高清監(jiān)控?cái)z像機(jī)、部署在園區(qū)管理部的三維人臉照相機(jī)組成；管理后臺(tái)負(fù)責(zé)接收前端設(shè)備采集的圖像數(shù)據(jù)，并對(duì)它們進(jìn)行及時(shí)處理、分析和管理，同時(shí)為應(yīng)用軟件提供運(yùn)行環(huán)境，由部署在園區(qū)機(jī)房的各類服務(wù)器及一套“園區(qū)快遞人員管理系統(tǒng)”應(yīng)用軟件組成。情境一：用高清攝像機(jī)采集需要的圖片情境概述園區(qū)人臉識(shí)別系統(tǒng)架構(gòu)

部署在園區(qū)內(nèi)道路沿線、以及園區(qū)內(nèi)各類建筑物出入口的高清監(jiān)控?cái)z像機(jī)，能夠全天侯24小時(shí)不間斷工作。這些攝像機(jī)在實(shí)時(shí)上傳各自覆蓋區(qū)域監(jiān)視視頻的同時(shí)，還能夠?qū)σ曨l畫面中出現(xiàn)的人臉進(jìn)行檢測(cè)、抓拍和錄像。攝像機(jī)抓拍到的行人臉部照片及錄制的短視頻都會(huì)實(shí)時(shí)上傳至后臺(tái)指定的服務(wù)器上，以便進(jìn)行處理、分析和保存。情境一：用高清攝像機(jī)采集需要的圖片PART02知識(shí)準(zhǔn)備情境1用高清攝像機(jī)采集需要的圖片知識(shí)準(zhǔn)備引導(dǎo)問(wèn)題什么是圖像數(shù)據(jù)。什么是數(shù)字化成像設(shè)備及其原理。高清攝像機(jī)工作參數(shù)設(shè)置方法。如何接收高清攝像機(jī)采集的圖像數(shù)據(jù)？情景一：用高清攝像機(jī)采集需要的圖片知識(shí)準(zhǔn)備知識(shí)點(diǎn)介紹

情景一：用高清攝像機(jī)采集需要的圖片1、什么是圖像數(shù)據(jù)？知識(shí)準(zhǔn)備圖像：人眼看到的畫面，由人類的視覺(jué)系統(tǒng)生成，是人類在日常生活中感知周圍環(huán)境的一個(gè)最主要的信息源。數(shù)字圖像：由模仿人類視覺(jué)系統(tǒng)的數(shù)字化成像設(shè)備生成，可以通過(guò)各種計(jì)算機(jī)系統(tǒng)、設(shè)備和圖像處理軟件進(jìn)行存儲(chǔ)、交換、處理和展示。圖像數(shù)據(jù)：指由數(shù)字成像設(shè)備采集、生成并輸出的圖像文件，它可以方便地在計(jì)算機(jī)或其它各種數(shù)字化信息處理設(shè)備上進(jìn)行存儲(chǔ)、處理和顯示觀看。數(shù)字圖像分類：

情景一：用高清攝像機(jī)采集需要的圖片二維平面圖像：只能夠提供并展示所包含景物的高度和寬度信息。三維立體圖像：除了展示景物的高度和寬度外，還能夠展示其縱深信息。2、數(shù)字化成像設(shè)備及其工作原理知識(shí)準(zhǔn)備情景一：用高清攝像機(jī)采集需要的圖片數(shù)字成像設(shè)備：又稱圖像傳感設(shè)備，通過(guò)采用計(jì)算機(jī)視覺(jué)技術(shù)，完成所需圖像的采集和數(shù)字化任務(wù)。智能手機(jī)三維人臉照相機(jī)高清網(wǎng)絡(luò)攝像機(jī)數(shù)碼相機(jī)常見(jiàn)的各種數(shù)字成像設(shè)備知識(shí)準(zhǔn)備數(shù)字化成像設(shè)備工作原理情景一：用高清攝像機(jī)采集需要的圖片被攝物體發(fā)出的光，經(jīng)過(guò)鏡頭聚焦至圖像傳感器上，圖像傳感器對(duì)感受到的光信號(hào)進(jìn)行光電轉(zhuǎn)換、模數(shù)轉(zhuǎn)換后得到相應(yīng)的數(shù)字信號(hào)。然后，這些數(shù)字信號(hào)被傳遞給圖像處理器（ISP）進(jìn)行優(yōu)化處理、編碼、格式轉(zhuǎn)換，最后以圖像文件的方式輸出，或送到存儲(chǔ)設(shè)備上存儲(chǔ)，或送給顯示端顯示，或輸出給外部設(shè)備進(jìn)行進(jìn)一步的后處理。圖像傳感器又稱感光器件，是一種將光學(xué)圖像轉(zhuǎn)換成電子信號(hào)的設(shè)備，是各類數(shù)字成像系統(tǒng)（設(shè)備）最為核心的部件。知識(shí)準(zhǔn)備高清網(wǎng)絡(luò)攝像機(jī)情景一：用高清攝像機(jī)采集需要的圖片高清網(wǎng)絡(luò)攝像機(jī)一般由鏡頭、圖像傳感器（Sensor）、聲音傳感器、圖像處理器（ISP）、聲音處理器、網(wǎng)絡(luò)服務(wù)器、對(duì)外接口、電源等器件組成，它們組合在一起，分別構(gòu)成了攝像機(jī)的圖像采集單元、圖像處理單元、圖像輸出單元和設(shè)備供電單元，其中鏡頭、圖像傳感器、圖像處理器是最關(guān)鍵的部件。做為一種主流的數(shù)字成像設(shè)備，高清網(wǎng)絡(luò)攝像機(jī)以視頻（一種圖片序列）采集輸出為主，也可用于圖片（照片）抓拍與輸出。目前，絕大多數(shù)智能圖像識(shí)別應(yīng)用系統(tǒng)（如：城市智能交通系統(tǒng)、校園安防監(jiān)控系統(tǒng)等）都將高清網(wǎng)絡(luò)攝像機(jī)作為主要的圖像采集手段加以運(yùn)用。知識(shí)準(zhǔn)備高清網(wǎng)絡(luò)攝像機(jī)情景一：用高清攝像機(jī)采集需要的圖片圖像采集單元：完成攝像機(jī)的圖像采集任務(wù)，主要由鏡頭、濾光片、圖像傳感器等構(gòu)成。圖像處理單元：進(jìn)行圖像處理，視頻編碼等操作，主要由ISP、SOC、內(nèi)存、音頻編碼芯片等構(gòu)成。圖像輸出單元：將經(jīng)過(guò)ISP、SOC處理的視頻、音頻或者其他信號(hào)，通過(guò)不同的接口（如：BNC接口、HDMI接口、以太網(wǎng)接口等）進(jìn)行輸出，以滿足各類圖像數(shù)據(jù)采集使用要求。這部分工作主要由攝像機(jī)的接口板（含PHY芯片）完成。設(shè)備供電單元：為攝像機(jī)提供穩(wěn)定的工作用電，主要由電源承擔(dān)。3、使用高清攝像機(jī)為智能圖像識(shí)別系統(tǒng)抓拍需要的照片知識(shí)準(zhǔn)備情景一：用高清攝像機(jī)采集需要的圖片工作流程：

知識(shí)準(zhǔn)備明確圖片采集要求視覺(jué)效果（圖像清晰、景物明亮、顏色正常）、分辨率、編碼模式、文件格式、文件大小。情景一：用高清攝像機(jī)采集需要的圖片圖片采集要求圖片編碼模式：JPEG圖片文件格式為：JPG（文件后綴名為“.jpg”）圖片大小為：＜4MB圖片分辨率：圖片中人臉的瞳孔間距≥60個(gè)像素圖片中的人臉姿態(tài)：左右偏轉(zhuǎn)角度≤30o，上下俯仰角度≤15o例如，在一個(gè)能夠并發(fā)處理分析160張人臉圖片/秒的人臉識(shí)別系統(tǒng)中，為了做到1:N（N=5萬(wàn)）識(shí)別正確率超過(guò)99.9%（基于誤識(shí)率FAR<0.1%，拒識(shí)率FRR<0.1%）的人臉識(shí)別效果，對(duì)可供識(shí)別人臉圖片提出如右采集要求。知識(shí)準(zhǔn)備情景一：用高清攝像機(jī)采集需要的圖片攝像機(jī)基本參數(shù)配置內(nèi)容如下：第一，攝像機(jī)IP地址；第二，開啟攝像機(jī)圖片抓拍功能第三，抓拍圖片的輸出（或存儲(chǔ)）方式；第四，可以訪問(wèn)該攝像機(jī)的用戶及其訪問(wèn)權(quán)限。準(zhǔn)備攝像機(jī)攝像機(jī)的準(zhǔn)備主要指：將攝像機(jī)以正確的方式接入到相關(guān)的應(yīng)用系統(tǒng)中，并完成IP地址、用戶訪問(wèn)權(quán)限等基本參數(shù)的設(shè)定。在園區(qū)人臉識(shí)別系統(tǒng)中，監(jiān)控?cái)z像機(jī)是通過(guò)網(wǎng)線和交換機(jī)與后臺(tái)服務(wù)器連接起來(lái)的。知識(shí)準(zhǔn)備高清攝像機(jī)產(chǎn)品的主要技術(shù)指標(biāo)技術(shù)指標(biāo)是對(duì)產(chǎn)品所具備的各項(xiàng)功能及其性能的數(shù)量化描述。情景一：用高清攝像機(jī)采集需要的圖片高清攝像機(jī)主要技術(shù)指標(biāo)

圖像傳感器類型及尺寸：例如：1/3”CCD，1/2”CMOS；分辨率：決定了顯示圖像的清晰程度，分辨率越高，圖像細(xì)節(jié)的表現(xiàn)越好；最小照度：又稱為靈敏度。是圖像傳感器對(duì)環(huán)境光線的敏感程度，也是圖像傳感器正常成像時(shí)所需要的最暗光線；信噪比：所謂信噪比指的是信號(hào)電壓對(duì)于噪聲電壓的比值，通常用S/N（Signal-NoiseRatio）來(lái)表示，信噪比的單位是分貝（dB），典型值為45~55db；鏡頭類型：有固定光圈/可變光圈、定焦/變焦等種類；碼流：也叫碼率，指的是攝像機(jī)輸出視頻文件時(shí)在單位時(shí)間內(nèi)使用的數(shù)據(jù)流量，它對(duì)視頻畫面質(zhì)量的控制起著重要作用；幀率：指在播放時(shí)長(zhǎng)為1秒鐘的視頻文件中所包含的圖片數(shù)量，單位是FPS（FramesperSecond），高的幀率可以得到更流暢、更逼真的動(dòng)畫。知識(shí)準(zhǔn)備攝像機(jī)工作參數(shù)設(shè)置指根據(jù)攝像機(jī)工作場(chǎng)所的環(huán)境特點(diǎn)（室內(nèi)/室外？光照條件和變化情況如何？）和被觀察目標(biāo)的運(yùn)動(dòng)速度，結(jié)合攝像機(jī)的安裝高度和最佳工作距離，對(duì)攝像機(jī)各項(xiàng)技術(shù)指標(biāo)的一種取值方案。只要在這種技術(shù)指標(biāo)的參數(shù)配置下工作，攝像機(jī)就能夠采集到滿足采集要求的圖像。情景一：用高清攝像機(jī)采集需要的圖片攝像機(jī)工作參數(shù)設(shè)置內(nèi)容

成像控制參數(shù):如，亮度、對(duì)比度、飽和度、曝光模式、白平衡模式等,用于控制攝像機(jī)的成像效果，確保生成的圖像清晰、明亮、顏色正常。數(shù)據(jù)輸出參數(shù):如，分辨率、幀率、編碼模式、數(shù)據(jù)封裝格式、碼率等,用于確保攝像機(jī)采集到的圖像數(shù)據(jù)能夠以符合采集要求和網(wǎng)絡(luò)傳輸要求的形式輸出。外接設(shè)備聯(lián)接參數(shù):如，外接設(shè)備類型、外接設(shè)備工作模式、外接設(shè)備工作狀態(tài)預(yù)設(shè)值等，用于確保正確將各類外接設(shè)備（如補(bǔ)光設(shè)備、目標(biāo)探測(cè)設(shè)備、觸發(fā)聯(lián)動(dòng)設(shè)備等）與攝像機(jī)聯(lián)接，并與攝像機(jī)同步工作。知識(shí)準(zhǔn)備攝像機(jī)工作參數(shù)設(shè)置情景一：用高清攝像機(jī)采集需要的圖片使用攝像機(jī)生產(chǎn)廠家提供的攝像機(jī)Web客戶端軟件就能夠完成攝像機(jī)工作參數(shù)設(shè)置。攝像機(jī)工作參數(shù)設(shè)置方法

成像控制參數(shù)數(shù)據(jù)輸出參數(shù)外接設(shè)備聯(lián)接參數(shù)知識(shí)準(zhǔn)備進(jìn)行圖片抓拍在將攝像機(jī)正確接入系統(tǒng)并做好基礎(chǔ)參數(shù)和工作參數(shù)設(shè)置后，攝像機(jī)將進(jìn)入自動(dòng)工作模式。只要設(shè)備供電和網(wǎng)絡(luò)連接正常，它將自動(dòng)對(duì)監(jiān)控范圍內(nèi)出現(xiàn)的目標(biāo)進(jìn)行抓拍，并將抓拍到的圖片傳送至設(shè)定的路徑下保存。

情景一：用高清攝像機(jī)采集需要的圖片檢查圖片質(zhì)量主要是查看圖片的視覺(jué)效果：1）圖像要清晰，景物邊緣及需要的細(xì)節(jié)不模糊；2）圖像要明亮，亮度和對(duì)比度適當(dāng)，既不曝光過(guò)度，也不曝光不足；3）圖像色彩要自然，色彩不失真，飽和度適當(dāng)，層次豐富。承擔(dān)照片采集任務(wù)的人員要能夠在抓拍照片的視覺(jué)效果不符合要求的情況下，通過(guò)合理調(diào)整攝像機(jī)成像控制參數(shù)，使抓拍照片的視覺(jué)效果得到改善，并最終滿足要求。PART03案例講解情境1用高清攝像機(jī)采集需要的圖片案例講解這是一個(gè)與城市智能交通系統(tǒng)應(yīng)用相關(guān)的案例。城市智能交通系統(tǒng)是一種常見(jiàn)的智能圖像識(shí)別應(yīng)用系統(tǒng)，它利用部署在道路沿線的高清交通攝像機(jī)，實(shí)時(shí)獲取道路交通狀態(tài)圖像數(shù)據(jù)（視頻、圖片），然后將它們通過(guò)網(wǎng)絡(luò)傳送到城市交通大數(shù)據(jù)中心，經(jīng)由中心構(gòu)建的圖像處理分析平臺(tái)，得到有關(guān)道路上行駛車輛的屬性與行為識(shí)別結(jié)果，以及道路上產(chǎn)生的各種交通事件的識(shí)別結(jié)果，用于開展交通執(zhí)法、交通秩序管理和交通出行服務(wù)。情景一：用高清攝像機(jī)采集需要的圖片案例講解智能交通識(shí)別服務(wù)器通常具備下列功能：設(shè)備管理：對(duì)需要接入系統(tǒng)的前端交通攝像機(jī)進(jìn)行增加、更改和刪除，并對(duì)設(shè)備名稱、設(shè)備編號(hào)、設(shè)備IP地址、設(shè)備用戶及權(quán)限等內(nèi)容進(jìn)行維護(hù)；車輛監(jiān)測(cè)記錄：可實(shí)時(shí)檢測(cè)、捕獲通行車輛圖像，并自動(dòng)獲取車身顏色、車輛號(hào)牌、車型、車標(biāo)、車速等數(shù)據(jù)；違法行為監(jiān)測(cè)：可對(duì)車輛逆向行駛、變道行駛等交通違法行為進(jìn)行實(shí)時(shí)檢測(cè)與取證；交通事件檢測(cè)：可對(duì)停止事件、逆行事件、行人事件進(jìn)行實(shí)時(shí)檢測(cè)與告警等。交通流參數(shù)檢測(cè)：可準(zhǔn)確采集交通流量、平均車速等數(shù)據(jù)。情景一：用高清攝像機(jī)采集需要的圖片智能交通系統(tǒng)的圖像處理分析平臺(tái)通常由智能交通識(shí)別服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、應(yīng)用服務(wù)器、存儲(chǔ)設(shè)備等構(gòu)成。案例講解本案例給大家演示的是如何基于智能交通識(shí)別服務(wù)器SDK（wiseNemoITS的模塊），通過(guò)Python編程，實(shí)現(xiàn)對(duì)智能交通識(shí)別服務(wù)器的連接訪問(wèn)，獲取