《AI硬件與Pyhthon編程實踐》02視頻捕捉與處理Python編程寫字字帖

視頻捕捉與處理

Python編程2023/1/30人工智能開源硬件與python編程實踐情境導入火車站“刷臉”進站模式采用了人臉識別技術。檢票閘機上都安裝了攝像頭，旅客走近機器時，攝像頭實時采集含有人臉的視頻流，并自動在圖像幀中檢測和跟蹤人臉，進而對檢測到的人臉進行特征識別，與身份證芯片里的照片進行比對。票證信息相符以及人臉與證件照比對通過，閘機就會自動放行。任務與目標了解視頻與圖像的基本原理、相關技術和應用框架；掌握運用人工智能開源硬件進行攝像頭工作控制的方法，掌握Python語言的編程方法；應用人工智能開源硬件和Python相關算法模塊設計視頻采集與捕捉功能；針對生活應用場景，進一步開展創(chuàng)意設計，設計具有實用價值的視頻采集與捕捉應用系統(tǒng)。2023/1/30知識拓展：數(shù)字圖像基礎知識分辨率圖像存儲格式灰度圖像色溫白平衡2023/1/30知識拓展：視頻圖像的采集視頻由一組連續(xù)變化的圖像組成，其中的每幅圖像就是視頻幀。當連續(xù)的圖像幀以每秒超過20幀以上速率變化時，根據(jù)視覺暫留原理，形成平滑連續(xù)的視覺效果；數(shù)字攝像頭可以直接捕捉圖像，通過串口或者USB接口傳到計算機里。。2023/1/30知識拓展：分辨率攝像頭的分辨率是指攝像頭解析圖象的能力，也即攝像頭的影像傳感器的像素數(shù)。最高分辨率就是指攝像頭能最高分辨圖像的能力，即攝像頭的最高像素數(shù)。30萬像素CMOS攝像頭的最高分辨率一般是分辨率為640×480。分辨率的兩個參數(shù)表示的是圖片在長和寬上所占的像素的數(shù)目。2023/1/30set_framesize(sensor.QVGA) #設置圖像的分辨率；知識拓展：圖像存儲格式彩色圖像由RGB三個分量組成。Bitmap圖像格式由三個顏色通道組成，每個通道用8位數(shù)據(jù)來表示，各有256個可能的值。所以，Bitmap圖像又稱為24位真彩色圖像，也被稱為RGB888格式。RGB565彩色模式，一個像素占兩個字節(jié)，即16位。第一個字節(jié)的前5位用來表示R(Red)，第一個字節(jié)的后三位連同第二個字節(jié)的前三位用來表示G(Green)，第二個字節(jié)的后5位用來表示B(Blue)。一個像素的16位顏色信息中，高5位為R分量，中間6位為G分量，低5位為B分量。2023/1/30set_pixformat(sensor.RGB565)#設置為565彩色；知識拓展：灰度圖像灰度圖像是每個像素只有一個采樣顏色的圖像，通常顯示為從最暗黑色到最亮的白色的灰度。黑白圖像只有黑白兩種顏色，灰度圖像在黑色與白色之間還有許多級的顏色深度。圖像灰度級指圖像中的色度分量亮度的最大值與最小值之差的級別。一般使用8位數(shù)據(jù)來表示灰度，這樣灰度共有256級。RGB圖像轉灰度圖像，使用不同的經驗公式，會得到不同的灰度圖像。2023/1/30gray=0.2989*r+0.5870*g+0.1140*b彩色轉灰度圖像編程實現(xiàn)def

rgb2gray(rgb):

r,

g,

b

=

rgb[:,

:,

0],

rgb[:,

:,

1],

rgb[:,

:,

2]

gray

=

0.2989

*

r

+

0.5870

*

g

+

0.1140

*

b

return

gray2023/1/30知識拓展：色溫色溫是表示光線中包含顏色成分的一個計量單位。色溫是指絕對黑體從絕對零度(-273℃)開始加溫后所呈現(xiàn)的顏色。黑體在受熱后，逐漸南黑變紅，轉黃，發(fā)白，最后發(fā)出藍色光。當加熱到一定的溫度，黑體發(fā)出的光所含的光譜成分，就稱為這一溫度下的色溫。色溫越高，光色越偏藍，色溫越低則偏紅。某一種色光比其它色光的色溫高時，說明該色光比其它色光偏藍，反之則偏紅。同樣，當一種色光比其它色光偏藍時說明該色光的色溫偏高，反之偏低。2023/1/30知識拓展：白平衡白平衡的概念是“不管在任何光源下，都能將白色物體還原為白色”，對在特定光源下拍攝時出現(xiàn)的偏色現(xiàn)象，通過加強對應的補色來進行補償。攝像機的白平衡設定用來校準色溫的偏差。白平衡調節(jié)是通過對白色被攝物的顏色還原，進而達到其他物體色彩準確還原。2023/1/30sensor.set_auto_whitebal()#自動白平衡開啟或者關閉設計與實踐Python程序基本結構OV7725攝像頭編程基礎攝像頭參數(shù)設置及控制視頻捕捉Python編程調試、驗證及完善2023/1/30Python程序基本結構順序條件循環(huán)2023/1/30以While循環(huán)結構為例，體會Python的縮進規(guī)則；以if、for等條件結構為例，體會Python的縮進規(guī)則；如果不遵守縮進規(guī)則，會是什么結果？OV7725攝像頭編程基礎分辨率（VGA、QVGA、QQVGA）；圖像存儲格式（RGB565等）；幀率；增益；白平衡；畸變矯正2023/1/30攝像頭參數(shù)設置及控制importsensor #引入攝像頭控制模塊#設置攝像頭工作參數(shù)sensor.reset() #初始化攝像頭；sensor.set_pixformat(sensor.RGB565) #設置為彩色，每個像素16bit；sensor.set_framesize(sensor.QVGA) #設置圖像分辨率大??；sensor.skip_frames()#更改設置后，跳過若干幀，等待感光元件穩(wěn)定；#sensor.set_pixformat() #設置像素模式；#sensor.GRAYSCALE #灰度，每個像素8bit。#自動增益／白平衡sensor.set_auto_gain() #自動增益開啟或者關閉。sensor.set_auto_whitebal() #自動白平衡開啟或者關閉。2023/1/30視頻捕捉Python編程案例sensor.reset() #初始化攝像頭；#持續(xù)拍照while(True):img=sensor.snapshot() #拍攝一張照片，其中img為一個image對象實例；#跳過一些幀sensor.skip_frames(n=10) #在更改設置后，跳過若干幀，等待感光元件的穩(wěn)定；#獲取一張圖像sensor.snapshot()#拍攝一張照片，返回一個image對象。2023/1/30功能拓展通過攝像頭捕捉到視頻圖像；按下板上按鍵，保存圖像幀到板上Flash存儲中；模擬實現(xiàn)相機功能。2023/1/30完整案例：importsensor,image,timefromopenaieimport*sensor.reset()sensor.set_pixformat(sensor.RGB565)sensor.set_framesize(sensor.QVGA)sensor.skip_frames(time=2000)clock=time.clock()while(True):clock.tick()img=sensor.snapshot()ifbutton.is_pressed():#檢測到按鍵按下time.sleep(10)#延時消抖ifbutton.is_pressed():img.save(“example.jpg”)#保存圖片，重置AIE控制板進行查看2023/1/30保存成外部文件的圖像幀分析與思考為什么在嵌入式視覺應用中，常用QQVGA、QVGA等低分辨率以及RGB565等圖像格式，而不使用高分辨率及Bitmap等圖像格式？在視頻采集過程中，為什么要使用sen