用于提升目標檢測系統(tǒng)魯棒性的測試實例優(yōu)先級_第1頁
用于提升目標檢測系統(tǒng)魯棒性的測試實例優(yōu)先級_第2頁
用于提升目標檢測系統(tǒng)魯棒性的測試實例優(yōu)先級_第3頁
用于提升目標檢測系統(tǒng)魯棒性的測試實例優(yōu)先級_第4頁
用于提升目標檢測系統(tǒng)魯棒性的測試實例優(yōu)先級_第5頁
已閱讀5頁,還剩7頁未讀 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

PrioritizingTestingInstancestoEnhancetheRobustnessofObjectDetectionSystems用于提升目標檢測系統(tǒng)魯棒性的測試實例優(yōu)先級2024.07.09背景基于深度學習的目標檢測模型廣泛部署于自動駕駛系統(tǒng)中,它是否可靠決定了整體系統(tǒng)的安全性目標檢測系統(tǒng)是采用數(shù)據(jù)驅動的編程范式開發(fā)的,它從大規(guī)模數(shù)據(jù)集中學習邏輯,數(shù)據(jù)集的質量決定了系統(tǒng)質量開發(fā)者通常會雇用大量人力來標注原始數(shù)據(jù),耗費人力與預算測試和優(yōu)化目標檢測系統(tǒng)已成為一項緊迫而具有挑戰(zhàn)性的任務2018年3月,優(yōu)步(Uber)的一輛自動駕駛汽車因其目標檢測系統(tǒng)的限制而未能檢測到一名女性,導致她死亡。2019年,特斯拉的自動駕駛汽車與一輛卡車相撞,原因是其物體探測系統(tǒng)未能區(qū)分白色卡車和明亮的天空。面向自動駕駛的目標檢測系統(tǒng)的可靠性令人擔憂:面向自動駕駛的目標檢測數(shù)據(jù)集標注費用昂貴:目標檢測數(shù)據(jù)集:$65/1000個物體

分類數(shù)據(jù)集:$35/1000張圖片數(shù)據(jù)標注服務傳統(tǒng)數(shù)據(jù)集標注以圖片為單位,而目標檢測數(shù)據(jù)集以單個物體為單位目標檢測數(shù)據(jù)集的標注費用比傳統(tǒng)分類數(shù)據(jù)集高很多介紹大多數(shù)數(shù)據(jù)優(yōu)先級范式都難以應用于目標檢測系統(tǒng)目前的技術主要是為圖像級任務設計的,并不適合復雜的目標檢測系統(tǒng),圖像級方法浪費標注預算大量標注預算用于標注原本正確的數(shù)據(jù)現(xiàn)狀本文工作提出了一個名為DeepView的新測試優(yōu)先級工具。DeepView專注于實例級別的錯誤檢測,而不是圖像級別,旨在通過優(yōu)先選擇需要標注的數(shù)據(jù)來節(jié)省標注時間與預算并提升模型性能。方法總流程實例分割

能力計算優(yōu)先級排序實例標注方法分類能力(Cls-capability)計算正則表示:分類能力計算公式:分類能力越差C的值越大方法定位能力(Loc-capability)計算現(xiàn)狀:一個訓練良好的目標檢測模型能夠更精確地在較粗略的提議區(qū)域基礎上定位目標;而訓練不良的模型輸出則更接近原始提議區(qū)域。定位能力計算公式:并交集(重合比例)計算公式:定位能力越差L的值越大提議區(qū)域計算公式:直接保存提議區(qū)域浪費計算資源,因此通過最終檢測框和回歸信息來推導模型視角的方法方法DeepView算法概述得到兩個指標相乘則為最后的排序指標M,值越大代表實例更有可能顯示對象檢測模型中的錯誤。實驗設計數(shù)據(jù)集和模型選擇SSD(SingleShotMultiBoxDetector):代表性的單階段模型,不需要候選區(qū)域生成器,而是在網(wǎng)絡中直接提取特征,并使用這些局部特征作為候選區(qū)域來進行區(qū)域調整和目標分類。FasterR-CNN:代表性的兩階段模型,首先進行區(qū)域生成,這些生成的區(qū)域被稱為候選區(qū)域(proposals),然后使用卷積神經(jīng)網(wǎng)絡(CNN)對這些候選區(qū)域進行特征提取,然后進行調整和目標分類確保實驗結果的通用性實驗設計基準方法研究背景:目前還沒有專門為目標檢測模型設計的測試優(yōu)先級技術,現(xiàn)有的優(yōu)先級技術難以直接應用于目標檢測系統(tǒng)。具體基準方法:DeepGini:這是一個通用的分類系統(tǒng)測試優(yōu)先級方法,其核心思想是計算圖片預測結果的基尼系數(shù)(Ginicoefficient)。為了盡可能將這一技術遷移到目標檢測模型上,作者計算了模型對單張圖片輸出的多個分數(shù)的基尼系數(shù)。Margin(1vs2-Sum)和Entropy:這是兩種最先進的目標檢測模型主動學習方法,使用這些方法中的排名算法來與DeepView進行比較。Margin方法的作者提出了不同的計算方法(1vs2-Max、1vs2-Avg、1vs2-Sum),在本文中使用了論文中報告的最佳算法。隨機采樣方法:使用了兩種隨機采樣方法作為基準,分別是圖像級別隨機(Ran-Imag)和實例級別隨機(Ran-Inst)。額外實驗:進行了額外實驗來證明使用定位能力(Loc-capability)的必要性實驗結果排序數(shù)據(jù)的有效性APFD:在測試過程中發(fā)現(xiàn)故障的平均百分比。RAUC-500(曲線下面積比率):衡量優(yōu)先排序方法結果的前500個實例的效果不同配置下DeepView和基準方法的APFD值和差異該技術比傳統(tǒng)技術更有效地將系統(tǒng)容易檢測出錯的實例排到靠前位置該技術在不同目標檢測閾值配置下的穩(wěn)定性比傳統(tǒng)方法更優(yōu)秀僅使用分類能力和完整的DeepView的APFD和RAUC-500值不同配置下DeepView和基線的RAUC-500值實驗結果排序數(shù)據(jù)的多樣性該技術排序出的錯誤種類更加多樣化錯誤類型累積總和曲線當重新訓練的數(shù)據(jù)缺乏足夠的多樣性時,可能會導致訓練結果的偏差,從而降低模型的準確性錯誤類型公式:??軸是優(yōu)先級列表的執(zhí)行順序,??軸表示執(zhí)行前??個實例后發(fā)現(xiàn)的不同錯誤類型的數(shù)量。多樣性量化方法:DeepView能夠用更少的測試用例揭示更多類型的檢測錯誤實驗結果排序數(shù)據(jù)對目標檢測系統(tǒng)可靠性的提升該技術通過優(yōu)先標注更多目標檢測系統(tǒng)容易出錯

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論