計算機視覺-第10章1-目標檢測和物體追蹤

人工智能視覺課程-目標檢測和物體追蹤人工智能學院01項目導(dǎo)入02項目任務(wù)03項目目標04知識鏈接05項目準備06任務(wù)實施07任務(wù)拓展08項目小結(jié)項目導(dǎo)入2024/1/153物體追蹤對圖像序列中的目標進行檢測->識別->跟蹤的過程

項目導(dǎo)入2024/1/154物體追蹤

項目導(dǎo)入2024/1/155視頻目標的檢測與跟蹤目標檢測物體關(guān)聯(lián)

01項目導(dǎo)入02項目任務(wù)03項目目標04知識鏈接05項目準備06任務(wù)實施07任務(wù)拓展08項目小結(jié)本章的任務(wù)是使得電腦具有識別并追蹤視頻中的人體的能力。電腦可以將一段視頻中的每個人檢測出來，并用唯一的id標記，同時畫出行人的運動軌跡。項目任務(wù)2024/1/15701項目導(dǎo)入02項目任務(wù)03項目目標04知識鏈接05項目準備06任務(wù)實施07任務(wù)拓展08項目小結(jié)知識目標了解目標檢測相關(guān)算法的基本概念了解物體追蹤的流程技能目標掌握基于YOLO的目標檢測方法掌握基于卡爾曼濾波和目標檢測結(jié)果的物體追蹤方法掌握物體追蹤的可視化方法項目目標2024/1/159職業(yè)素養(yǎng)目標培養(yǎng)學生嚴謹、細致、規(guī)范的職業(yè)素質(zhì)培養(yǎng)學生團隊協(xié)作、表達溝通能力培養(yǎng)學生跟蹤新技術(shù)、創(chuàng)新設(shè)計能力培養(yǎng)學生的技術(shù)標準意識、操作規(guī)范意識、服務(wù)質(zhì)量意識等項目目標2024/1/151001項目導(dǎo)入02項目任務(wù)03項目目標04知識鏈接05項目準備06任務(wù)實施07任務(wù)拓展08項目小結(jié)輸入：一張圖片輸出：一個或多個邊界框+類別標簽知識鏈接-目標檢測2024/1/1512知識鏈接-目標檢測2024/1/1513Detectionasregression？直接輸出包圍框坐標每張圖片需要不同數(shù)量的輸出

知識鏈接-目標檢測2024/1/1514Detectionas

classification？參考第七章汽車檢測項目將圖像用滑動窗口分割成為不同的區(qū)域CNN每次對一個區(qū)域進行分類效率低

知識鏈接-目標檢測2024/1/1515Regionproposal候選框根據(jù)紋理、顏色等信息，找到候選框?qū)蜻x框區(qū)域做分類三類方法：R-CNNYOLOSSD知識鏈接-目標檢測2024/1/1516R-CNN（Region-BasedConvolutionalNeuralNetwork）R-CNN（2014）FastR-CNN（2015）FasterR-CNN（2015）知識鏈接-RCNN2024/1/1517RegionProposal生成候選區(qū)域特征提取器分類器R-CNN通過基本算法（比如selectivesearch）產(chǎn)生候選框?qū)γ總€候選框分別輸入一個卷積網(wǎng)絡(luò)，輸出特征特征分別經(jīng)過分類和回歸器，得到類別和最后的框問題訓練時間長（84h）預(yù)測時間長（>47s）知識鏈接-RCNN2024/1/15182024/1/1519FastR-CNN直接輸入卷積網(wǎng)絡(luò)使用ROIPooling統(tǒng)一候選框大小網(wǎng)絡(luò)輸出類別和位置信息問題仍使用傳統(tǒng)算法得到候選框2.3s知識鏈接-RCNN2024/1/1520FasterR-CNN用網(wǎng)絡(luò)從特征圖產(chǎn)生候選框（RPN）基于錨框進行過濾（二分類）和變換（以接近和它最近的真實框）0.2s知識鏈接-RCNN2024/1/1521最早一類基于錨框和CNN的目標檢測算法FasterR-CNN和MaskR-CNN是在追求高精度場景下的常用算法知識鏈接-RCNNSSD（SingleShotDetection）取消RPN網(wǎng)絡(luò)一個基礎(chǔ)網(wǎng)絡(luò)抽取特征，多個卷積層，每段都生成錨框，淺層擬合小物體，深層擬合大物體，對每個錨框進行類別和變換預(yù)測錨框大量重疊，浪費計算量知識鏈接-SSD2024/1/1522YOLO（YouOnlyLookOnce）端到端的單個神經(jīng)網(wǎng)絡(luò)將圖片均分為S*S的錨框，每個錨框預(yù)測B個目標框一個類別存在于一個給定目標框中的概率需要根據(jù)網(wǎng)絡(luò)輸出進行簡單運算得到優(yōu)化版本可達155幀率YOLOv1（2015）->YOLOv2（2016）->YOLOv3（2018）->YOLOv5（2020）…知識鏈接-YOLO2024/1/1523YOLOv1網(wǎng)絡(luò)結(jié)構(gòu)乘法運算多物體追蹤將相同ID分配給包含相同目標的邊界框

卡爾曼濾波法動態(tài)系統(tǒng)的狀態(tài)估計算法可用來確定當前幀中物體和上一幀中的對應(yīng)關(guān)系，并且在物體遇到遮擋的時候補全軌跡。知識鏈接-物體追蹤2024/1/1524知識鏈接-物體追蹤2024/1/1525最簡單的方法–計算前后兩幀IOU最高的識別框知識問答2024/1/1526什么是IoUIOU（IntersectionOverUnion）交并比目標檢測的量化方法之一預(yù)測的邊界框和真實的物體包圍框的交并比知識鏈接-IOU2024/1/1527最簡單的方法–計算前后兩幀IOU最高的識別框知識鏈接-物體追蹤2024/1/1528最簡單的方法–計算前后兩幀IOU最高的識別框知識鏈接-物體追蹤2024/1/1529指定識別目標最簡單的方法–計算前后兩幀IOU最高的識別框知識鏈接-物體追蹤2024/1/1530最簡單的方法–計算前后兩幀IOU最高的識別框知識鏈接-物體追蹤2024/1/1531最簡單的方法–計算前后兩幀IOU最高的識別框知識鏈接-物體追蹤2024/1/1532找到IoU最大的匹配最簡單的方法–計算前后兩幀IOU最高的識別框知識鏈接-物體追蹤2024/1/1533更新跟蹤框最簡單的方法–計算前后兩幀IOU最高的識別框知識鏈接-物體追蹤2024/1/1534最簡單的方法–計算前后兩幀IOU最高的識別框知識鏈接-物體追蹤2024/1/1535最簡單的方法–計算前后兩幀IOU最高的識別框知識鏈接-物體追蹤2024/1/1536最簡單的方法–計算前后兩幀IOU最高的識別框知識鏈接-物體追蹤2024/1/1537最簡單的方法–計算前后兩幀IOU最高的識別框識別框丟失知識鏈接-物體追蹤2024/1/1538最簡單的方法–計算前后兩幀IOU最高的識別框識別框丟失知識鏈接-物體追蹤2024/1/1539最簡單的方法–計算前后兩幀IOU最高的識別框識別框丟失知識鏈接-物體追蹤2024/1/1540使用卡爾曼濾波更新軌跡位置使用上一次的最優(yōu)結(jié)果預(yù)測當前的值同時使用觀測值修正當前值，得到最優(yōu)結(jié)果知識鏈接-卡爾曼濾波2024/1/1541使用卡爾曼濾波更新軌跡位置使用上一次的最優(yōu)結(jié)果預(yù)測當前的值同時使用觀測值修正當前值，得到最優(yōu)結(jié)果知識鏈接-卡爾曼濾波2024/1/1542過程噪聲（模型自身的誤差）協(xié)方差矩陣（描述不同觀測信息之間的關(guān)系）對當前狀態(tài)的初步估計狀態(tài)