第5章 足球機器人視覺

1、第5章 足球(zqi)機器人視覺劉釗共四十八頁目錄(ml)5.1 足球(zqi)機器人視覺概述 5.2 圖像捕獲與顯示5.3 目標識別共四十八頁足球(zqi)機器人場景2022/7/193共四十八頁系統(tǒng)結(jié)構(gòu)圖預(yù)處理圖像分割圖像獲取策略人機交互目標識別比賽場地圖像處理動作(dngzu)執(zhí)行共四十八頁5.1 足球(zqi)機器人視覺概述 2022/7/195視覺傳感器圖像采集卡 工作站色彩標識圖像處理的硬件組成共四十八頁圖像處理(t xin ch l)流程2022/7/196共四十八頁圖像處理(t xin ch l)的軟件組成2022/7/197涉及的領(lǐng)域模式識別(m sh sh bi)人工智能統(tǒng)

2、計學(xué)共四十八頁5.2圖像(t xin)捕獲與顯示常用兩種方法來實現(xiàn)圖像捕獲：利用視頻設(shè)備開發(fā)工具箱（SDK）來開發(fā)應(yīng)用程序， 包含(bohn)的函數(shù)可以實現(xiàn)視頻捕獲、編輯等各種功能；使用 Video for Windows(VFW) 頻捕。共四十八頁SDK發(fā)應(yīng)用程序（例：CMU）(1)首先對PCImager 驅(qū)動程序初始化。 CMU1394_Init(); /初始化CMU1394_SetBrightness(); /設(shè)置亮度(lingd)；CMU1394_SetContrast();/設(shè)置對比度；CMU1394_SetSaturation();/設(shè)置飽和度；CMU1394_SetHue ();

3、/設(shè)置灰度；CMU1394_SetVideoSource(); /設(shè)置視頻源； CMU1394_SetVideoFormat(); /設(shè)置視頻的格式； CMU1394_SetColorFormat(); /設(shè)置圖像格式，RGB24,RGB8,YUV411,YUV422等；CMU1394_SetColorKey(); /設(shè)置色鍵； 共四十八頁（2）顯示(xinsh)實時視頻圖像。GetClientRect(&Client);Client.SetRect(0,0,160,120); /設(shè)置顯示視頻圖像客戶區(qū)的大小CMU1394_PaintOverlay(&Client); /顯示為Overlay

4、模式共四十八頁(3)保存單幀圖像。 CMU1394_CaptureFrame(); /將捕獲(bhu)的幀保存到緩沖區(qū)里；CMU1394_SaveBMPFile(); /將緩沖區(qū)里的幀圖像保存成bmp 文件； 共四十八頁SDK發(fā)應(yīng)用程序（例：Basler）m_Bcam.Open(*(CBcam:DeviceNames().begin();/ 打開(d ki)m_Bcam.SetVideoMode(DCS_Format7, DCS_Mode0);m_Bcam.FormatSevenDCS_Mode0.ColorCoding = m_ColorCode;m_Bcam.FormatSevenDCS_

5、Mode0.Size = IMAGE_SIZE;m_Bcam.FormatSevenDCS_Mode0.BytePerPacket = m_Bcam.FormatSevenDCS_Mode0.BytePerPacket.Max();m_Bcam.Brightness.Raw = m_nBrightness ;m_Bcam.Gain.Raw = m_nGain ;m_Bcam.Shutter.Raw = m_nShutter;m_Bcam.WhiteBalance.Raw.UBValue.SetAsync(m_nU);m_Bcam.WhiteBalance.Raw.VRValue.SetAsyn

6、c(m_nV);共四十八頁/ 在BCAM中建立內(nèi)存(ni cn)m_Bcam.AllocateResources(NUM_BUFFERS, IMAGE_PIXS); / 建立并啟動采集線程m_GrabThread.Create(&ThreadProcGrab, this, THREAD_PRIORITY_ABOVE_NORMAL);/建立并啟動顯示線程m_DispThread.Create(&ThreadProcDisp, this, THREAD_PRIORITY_ABOVE_NORMAL) ; /抓取一副圖像m_Bcam.GrabImage(G_pBitmaps, IMAGE_PIXS,

7、INFINITE, true);共四十八頁兩個攝像頭圖像采集開始是否識別處理Y處理左半場圖像，識別出左半場所有色標處理右半場圖像，識別出右半場所有色標識別小球左右半場數(shù)據(jù)融合，位置濾波N左右半場視頻圖像實時顯示左右半場場地拼接，顏色采樣目標局部圖像處理，實現(xiàn)目標跟蹤位姿信息輸出共四十八頁VFW頻捕獲(bhu)VFW是微軟為開發(fā)的實時視頻捕獲、編輯和視頻播放工具，主要包括 vfw.h文件和vfw32.lib函數(shù)庫。 VFW使用的是和視頻設(shè)備驅(qū)動程序(chngx)直接通信的方式，為視頻硬件提供與設(shè)備無關(guān)的接口函數(shù)。共四十八頁（1）創(chuàng)建(chungjin)捕獲窗體 使用capCreateCaptur

8、eWindow函數(shù)(hnsh)來創(chuàng)建窗體hWndC = capCreateCaptureWindow ( (LPSTR) “My Capture Window”, WS_CHILD | WS_VISIBLE, 0, 0, 160, 120, (HWND) hwndParent, (int) nID /* child ID */); 共四十八頁（2）連接(linji)到一個捕獲驅(qū)動器 通過窗口句柄hWndC連接到驅(qū)動程序：SendMessage (hWndC, WM_CAP_DRIVER_CONNECT, 0, 0L); / 或者(huzh)使用宏連接： / fOK = capDriverCon

9、nect(hWndC, 0); / 關(guān)閉連接capDriverDisconnect (hWndC); 共四十八頁（3）獲得(hud)驅(qū)動使用capGetDriverDescription 函數(shù)來獲得(hud)驅(qū)動char szDeviceName80;char szDeviceVersion80;for (wIndex = 0; wIndex 10; wIndex+) if (capGetDriverDescription (wIndex,szDeviceName, sizeof (szDeviceName), szDeviceVersion, sizeof (szDeviceVersion)

10、 共四十八頁（4）獲得(hud)驅(qū)動的性能參數(shù)驅(qū)動的性能參數(shù)存放在一個CAPDRIVERCAPS的數(shù)據(jù)結(jié)構(gòu)中。當你的應(yīng)用程序的捕獲窗口連接到一個新的捕獲驅(qū)動器后，都會刷新這個(zh ge)CAPDRIVERCAPS數(shù)據(jù)結(jié)構(gòu)。使用capDriverGetCaps宏來獲得:CAPDRIVERCAPS CapDrvCaps; SendMessage (hWndC, WM_CAP_DRIVER_GET_CAPS, sizeof (CAPDRIVERCAPS), (LONG) (LPVOID) &CapDrvCaps); 共四十八頁使用SetWindowPos函數(shù)設(shè)置捕獲窗口尺寸。輸入(shr)視頻流的

11、尺寸大小由capGetStatus宏來獲得，獲得信息放在一個CAPSTATUS的數(shù)據(jù)結(jié)構(gòu)體中。CAPSTATUS CapStatus;capGetStatus(hWndC, &CapStatus, sizeof (CAPSTATUS); SetWindowPos(hWndC, NULL, 0, 0,CapStatus.uiImageWidth,CapStatus.uiImageHeight,SWP_NOZORDER | SWP_NOMOVE); （5）設(shè)置捕獲(bhu)窗口狀態(tài)(Status)共四十八頁通過對話框來控制數(shù)字視頻的特性(txng)和捕獲處理。CAPDRIVERCAPS CapDr

12、vCaps; capDriverGetCaps(hWndC, &CapDrvCaps, sizeof (CAPDRIVERCAPS); / 視頻源對話框 if (CapDriverCaps.fHasDlgVideoSource) capDlgVideoSource(hWndC); / 視頻格式對話框 if (CapDriverCaps.fHasDlgVideoFormat) capDlgVideoFormat(hWndC); capGetStatus(hWndC, &CapStatus, sizeof (CAPSTATUS); / 如果有，發(fā)送通知給父窗口，告訴它尺寸改變了 / 視頻顯示對話框

13、 if (CapDriverCaps.fHasDlgVideoDisplay) capDlgVideoDisplay(hWndC); （6）設(shè)置(shzh)視頻屬性 共四十八頁（7）獲得(hud)和設(shè)定視頻格式DWORD dwSize= capGetVideoFormatSize(hWndC);LPBITMAPINFO lpbi= GlobalAllocPtr (GHND, dwSize);capGetVideoFormat(hWndC, lpbi, dwSize); 共四十八頁（8）顯示(xinsh)視頻用capPreviewRate來設(shè)置幀頻率66毫秒/幀，使用capPreview在捕獲(

14、bhu)窗口顯示圖像。capPreviewRate(hWndC, 66); / 速度,微秒 capPreview(hWndC, TRUE); / 開始預(yù)覽 capPreview(hWnd, FALSE); / 屏蔽預(yù)覽 共四十八頁5.3 目標(mbio)識別幾何矯正顏色(yns)模型與顏色(yns)信息庫色標設(shè)計辨識算法共四十八頁幾何(j h)矯正當鏡頭位置無論(wln)處于場地的正中間上方或者鏡頭所處的平面不平行于場地平面，都會造成圖像的非線性失真。這些非線性失真必然影響視覺辨識的精度，因此對圖像進行校正是必需的。共四十八頁校正(jiozhng)效果對照2022/7/1926共四十八頁通過鏡

15、頭幾何畸變(jbin)的數(shù)學(xué)模型來實現(xiàn)對失真的矯正方法：式中X0、Y0為畸變以前的原始坐標，X1、Y1為畸變后的坐標共四十八頁顏色(yns)模型與顏色(yns)信息庫建立特征目標的顏色信息庫是視覺系統(tǒng)的主要(zhyo)任務(wù)之一，信息庫的好壞是影響辨識精度的最關(guān)鍵因素。共四十八頁建立顏色信息庫首要的任務(wù)是選擇顏色模型，顏色模型是抽象表示和描述顏色的方法。足球機器人系統(tǒng)常用的顏色模型有RGB模型、HSI模型和YUV 模型等。如果通過閾值進行顏色分割，應(yīng)選(yn xun)用分布均勻的HSI或YUV模型；如果建立離散的顏色查找表，通常選擇RGB顏色模型。共四十八頁圖像采集卡都可以直接提供RGB顏色(y

16、ns)模型的圖像。但是由于存儲矩陣尺寸的限制，我們將24位真彩色表壓縮。顏色庫很難覆蓋所有的信息。共四十八頁色標設(shè)計(shj)目前各參賽隊伍(du wu)使用的色標多種多樣，下面列舉具有代表性的一部分，如圖：共四十八頁一種(y zhn)常用的色標。共四十八頁共四十八頁辨識(bin sh)算法根據(jù)色標設(shè)計，視覺系統(tǒng)應(yīng)該能夠獲取(huq)機器人小車在場地中的位置、角度和車號信息，其中位置和角度統(tǒng)稱位姿信息。共四十八頁（1）位置信息(xnx)獲取由圖的色標設(shè)計可以看出，小車的中心位置根據(jù)(gnj)隊標中心位置而定，隊標的中心主要采用重心法獲得，則隊標中心點坐標為：共四十八頁（2）角度信息(xnx)獲

17、取根據(jù)色標的設(shè)計，機器人正方向和隊標的長軸方向相同或相差180度。隊標長軸的方向可以通過最小二乘法(chngf)擬合得到，可確定機器人正方向與x軸所成的角度。共四十八頁共四十八頁如何對D部分(b fen)位置的判斷？圖5-5 特征點的分布共四十八頁理論上來說，根據(jù)隊標的質(zhì)心坐標和長軸的方向角，就可得到(d do)H、I、J、K四個點的位置坐標，判斷各個區(qū)域是否是黑色，只要判斷各個區(qū)域的特征點是否是黑色即可因此采用特征區(qū)域判斷來代替孤立點判斷。共四十八頁上圖是隊標長軸方向(fngxing)角相同時的兩種位姿共四十八頁（3）機器人的車號判斷(pndun)在判斷找出黑色部分后，只需要判斷出另外兩個區(qū)

18、域的顏色，根據(jù)車號的編碼方式，就可得到(d do)車號。與判斷黑色區(qū)域的原理相同，由于圖像系統(tǒng)的噪聲和光線的變化以及場地不同位置的幾何變形，使得從隊標質(zhì)心按固定長度和角度得到的顏色極不穩(wěn)定，所以要用特征窗口來代替特征點進行判斷。共四十八頁圖5-6 用于車號判斷的特征搜索區(qū)域共四十八頁辨識(bin sh)算法的軟件流程圖像采集開始是否識別處理Y搜索所有隊標，得到質(zhì)心坐標判斷每個色標的正方向，得到方向角判斷每個機器人的車號識別小球，位置信息輸出N視頻圖像實時顯示場地參數(shù)設(shè)置，顏色采樣共四十八頁兩個攝像頭圖像采集開始是否識別處理Y處理左半場圖像，識別出左半場所有色標處理右半場圖像，識別出右半場所有色標識別小球左右半場數(shù)據(jù)融合，位置濾波N左右半場視頻圖像實時顯示左右半場場地拼接，顏色采樣目標局部圖像處理，實現(xiàn)目標跟蹤位姿信息輸出共四十八頁 隊標設(shè)計方案好處：統(tǒng)一由圓形的圖案組成；隊員的方向容易計算得到。中心對稱的特性，減少圖像(t xin)變形誤差。 共四十八頁辨識(bin sh)算法：搜索隊標區(qū)域，求得中心點o搜索球員色標1區(qū)域，求得中心點o1搜索球員色標2區(qū)域，求得中心點o2計算球員的位置、角度；共四十八頁區(qū)域方式(fngsh)和全局方式(fngsh)辨識算法進行(jnxng)目標搜索時，可采用兩種不同的方式：區(qū)域方式和全局方式。共四十八頁內(nèi)容摘要第5章 足球(zq