《AI硬件與Pyhthon編程實(shí)踐》03計(jì)算機(jī)視覺(jué)與顏色追蹤寫(xiě)字字帖

計(jì)算機(jī)視覺(jué)與顏色追蹤人工智能開(kāi)源硬件與python編程實(shí)踐情境導(dǎo)入在無(wú)人智能駕駛系統(tǒng)中，紅綠燈識(shí)別是一項(xiàng)基本技術(shù)。利用無(wú)人車(chē)的前置攝像系統(tǒng)，對(duì)實(shí)時(shí)捕捉到的圖像幀進(jìn)行圖像處理和分析，發(fā)現(xiàn)前方的交通指示裝置，然后對(duì)交通裝置區(qū)域里的顏色塊進(jìn)行檢測(cè)，實(shí)現(xiàn)紅綠燈的識(shí)別，引導(dǎo)無(wú)人車(chē)的運(yùn)動(dòng)。顏色的識(shí)別與追蹤不僅應(yīng)用于智慧交通、機(jī)器人等智慧裝備之中，在工業(yè)、農(nóng)業(yè)及日常生活中都有廣泛應(yīng)用。任務(wù)與目標(biāo)了解圖像顏色識(shí)別技術(shù)的基本原理、相關(guān)算法和應(yīng)用框架；掌握運(yùn)用人工智能開(kāi)源硬件設(shè)計(jì)顏色識(shí)別系統(tǒng)的方法，提升Python編程方法；應(yīng)用人工智能開(kāi)源硬件和Python相關(guān)算法模塊設(shè)計(jì)顏色跟蹤功能；針對(duì)生活應(yīng)用場(chǎng)景，進(jìn)一步開(kāi)展創(chuàng)意設(shè)計(jì)，設(shè)計(jì)具有實(shí)用價(jià)值的顏色跟蹤應(yīng)用系統(tǒng)。知識(shí)拓展：顏色空間模型光的顏色由不同波長(zhǎng)的電磁波所決定。人的眼睛內(nèi)有幾種辨別顏色的錐形感光細(xì)胞，分別對(duì)黃綠色、綠色和藍(lán)紫色（或稱(chēng)紫羅蘭色）的光最敏感（波長(zhǎng)分別為564、534和420納米）。表征顏色的模型的不止一種，主要可以通過(guò)RGB、HSV、LAB、CMYK等色域模型將可見(jiàn)光的顏色描述出來(lái)。知識(shí)拓展：RGB模型在模型的三維直角坐標(biāo)系中，x、y、z軸相當(dāng)于紅、綠、藍(lán)三通道，原點(diǎn)vec3(0.0,0.0,0.0)代表黑色，頂點(diǎn)vec3(1.0,1.0,1.0)代表白色，原點(diǎn)到頂點(diǎn)的中軸線x=y=z代表灰度線。RGB模型適用于計(jì)算機(jī)表示，將RGB以不同的比例混合后，人的眼睛可以形成與其它各種頻率的可見(jiàn)光等效的色覺(jué)。知識(shí)拓展：HSV模型HSV模型（Hue色相、Saturation飽和度、Value/Brightness亮度）比較適合人類(lèi)習(xí)慣；模型中H即光譜顏色所在的位置，用角度來(lái)表示，紅、綠、藍(lán)分別相隔120°，互補(bǔ)色（CMY）分別相差180°。純度S范圍在[0,1]，表示所選顏色的純度和該顏色最大的純度之間的比率，當(dāng)S=0時(shí)，代表灰度。V表示色彩的明亮程度，范圍[0,1]，與光強(qiáng)度無(wú)直接關(guān)系。知識(shí)拓展：Lab模型Lab模型又稱(chēng)亮度-對(duì)比度模型，是由亮度（Luminosity）和有關(guān)色彩的a、b三個(gè)要素組成。a表示從洋紅色到綠色的范圍，b表示由黃色到藍(lán)色的范圍；L取值范圍是[0,100]，當(dāng)L=50時(shí)，相當(dāng)于50%的黑。a、b的值域都是[-128,127]；Lab模型具有不依賴(lài)設(shè)備的優(yōu)點(diǎn)，如果想在數(shù)字圖像處理中保留寬闊的色域和豐富的色彩，最好選擇Lab模型。基于Lab色彩空間的圖像分割Lab顏色空間中，L：亮度層，a：顏色在紅綠軸的分量，b:顏色在藍(lán)黃軸的分量。通過(guò)計(jì)算每個(gè)像素點(diǎn)和六種顏色平均值的歐氏距離，這六種距離中最小的距離既為該像素點(diǎn)的顏色；LAB閾值分割法有兩個(gè)關(guān)鍵步驟:第一,確定進(jìn)行正確分割的閾值;第二,將圖像的所有像素與閾值進(jìn)行比較,以進(jìn)行區(qū)域劃分,達(dá)到目標(biāo)與背景分離的目的。設(shè)計(jì)與實(shí)踐顏色追蹤攝像頭參數(shù)設(shè)置時(shí)鐘控制設(shè)計(jì)顏色追蹤編程紅綠藍(lán)三顏色追蹤調(diào)試、驗(yàn)證及完善顏色追蹤攝像頭參數(shù)設(shè)置#設(shè)置攝像頭工作參數(shù)sensor.reset() #初始化攝像頭組件；sensor.set_pixformat(sensor.RGB565)#設(shè)置為彩色；sensor.set_framesize(sensor.QVGA)#設(shè)置圖像的大小；sensor.skip_frames() #在更改設(shè)置后，跳過(guò)若干幀，等待攝像頭組件的穩(wěn)定；#自動(dòng)增益／白平衡sensor.set_auto_gain() #自動(dòng)增益開(kāi)啟或者關(guān)閉。在使用顏色追蹤算法時(shí)，需要關(guān)閉自動(dòng)增益。sensor.set_auto_whitebal() #自動(dòng)白平衡開(kāi)啟或者關(guān)閉。在使用顏色追蹤算法時(shí)，需要關(guān)閉此功能。2023/1/30時(shí)鐘控制設(shè)計(jì)time.ticks()返回以毫秒計(jì)的通電后的運(yùn)行時(shí)間。time.sleep(ms)休眠ms毫秒數(shù)。classtime.clock返回一個(gè)時(shí)鐘物件。clock.tick()開(kāi)始追蹤運(yùn)行時(shí)間。clock.fps()停止追蹤運(yùn)行時(shí)間，并返回當(dāng)前FPS（每秒幀數(shù)）。在調(diào)用該函數(shù)前一定要先調(diào)用tick（）方法；clock.avg()停止追蹤運(yùn)行時(shí)間，并返回以毫秒計(jì)的當(dāng)前平均運(yùn)行時(shí)間。在調(diào)用該函數(shù)前始終首先調(diào)用tickclock.reset()重置時(shí)鐘物件。2023/1/30顏色追蹤編程方法image.find_blobs()方法，用于查找圖像中所有色塊，并返回一個(gè)所搜索到的色塊物件的列表。thresholds元組列表中每個(gè)元組需要有六個(gè)參數(shù)值(l_lo，l_hi，a_lo，a_hi，b_lo，b_hi)，分別是LAB顏色模型的L、A和B三個(gè)參數(shù)的最小值和最大值。roi參數(shù)用來(lái)設(shè)置顏色識(shí)別的視野區(qū)域，roi是一個(gè)元組，roi=(x,y,w,h)，代表從左上頂點(diǎn)(x，y)開(kāi)始的寬為w高為h的矩形區(qū)域，roi默認(rèn)設(shè)置為整個(gè)圖像視野。2023/1/30顏色追蹤的實(shí)現(xiàn)設(shè)置好攝像頭視頻采集工作參數(shù)，將待追蹤顏色的LAB閾值傳入find_blobs函數(shù)中，即可在指定的圖像區(qū)域內(nèi)啟動(dòng)顏色追蹤過(guò)程：red_threshold_01=(41,60,44,84,-10,63)#設(shè)置紅色的閾值，括號(hào)里面的數(shù)值分別是LAB的最大值和最小值（minL,maxL,minA,while(True):clock.tick()#跟蹤兩次snapshots()間消耗的時(shí)間（milliseconds）；img=sensor.snapshot() #捕獲圖像幀；blobs=img.find_blobs([red_threshold_01],area_threshold=150)#搜索指定顏色色塊；ifblobs:#如果找到了目標(biāo)顏色print(blobs)forbinblobs:#迭代找到的目標(biāo)顏色區(qū)域img.draw_rectangle(b[0:4])#用矩形標(biāo)記出目標(biāo)顏色區(qū)域img.draw_cross(b[5],b[6])#在cx,cy坐標(biāo)處畫(huà)上十字標(biāo)記拓展：實(shí)現(xiàn)紅綠藍(lán)三種顏色追蹤thresholds=[(41,60,44,84,-10,63),#紅色閾值(53,72,-59,-15,-3,52),#綠色閾值(48,71,-25,-5,-53,-26)]#藍(lán)色閾值#可同時(shí)設(shè)置<=16種顏色閾值while(True):clock.tick()img=sensor.snapshot()#捕捉一幀圖像，保存到image對(duì)象中；forblobinimg.find_blobs(thresholds,pixels_threshold=200,area_threshold=200):#如果所檢出色塊的像素?cái)?shù)或像素面積大于閾值200則會(huì)被確認(rèn)，返回給blob對(duì)象；img.draw_rectangle(blob.rect())#畫(huà)矩形img.draw_cross(blob.cx(),blob.cy())#畫(huà)十字2023/1/30調(diào)試及驗(yàn)證2023/1/30分析與思考利用find_blobs函數(shù)可以實(shí)現(xiàn)某種特定顏色的識(shí)別和追蹤，實(shí)際生活中會(huì)有同時(shí)追蹤幾種顏色的需求。請(qǐng)思考，要進(jìn)行多種顏色的同時(shí)追蹤，Python程序應(yīng)該如何設(shè)計(jì)？在顏色追蹤應(yīng)用中，你有沒(méi)有遇到過(guò)環(huán)境光照變化對(duì)識(shí)別追蹤結(jié)果的影響？光照的影響嚴(yán)重到什么程度？請(qǐng)找到一種對(duì)策，并設(shè)計(jì)解決方案。實(shí)際應(yīng)用中，同一