智能網(wǎng)聯(lián)汽車視覺感知系統(tǒng)預(yù)期功能安全 第2部分：測(cè)試與評(píng)價(jià)方法

Intelligentandconnectedvehicle－Safetyoftheintendedfunctionalityforvisual2本文件規(guī)定了智能網(wǎng)聯(lián)汽車視覺感知系統(tǒng)預(yù)期安全測(cè)試與評(píng)本文件適用于智能網(wǎng)聯(lián)乘用車視覺感知系統(tǒng)在測(cè)試與驗(yàn)證階段、產(chǎn)品認(rèn)證階段針對(duì)預(yù)期功能安全已知場(chǎng)景的測(cè)試范圍確定、測(cè)試方法定義和本文件不適用于非感知任務(wù)直接相關(guān)因素如視野盲區(qū)、設(shè)計(jì)缺陷等造成的系統(tǒng)性功能下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本運(yùn)行設(shè)計(jì)域operationaldesigndo;測(cè)量或記錄測(cè)試過程中的各類信號(hào)數(shù)據(jù)，并能生成部分或全部測(cè)試指標(biāo)（如目4視覺感知系統(tǒng)測(cè)試與評(píng)價(jià)流程視覺感知系統(tǒng)預(yù)期功能安全測(cè)試與評(píng)價(jià)流程主要包括測(cè)試范圍確定、測(cè)試方法定義和測(cè)試范圍確定即根據(jù)被測(cè)系統(tǒng)的功能定義確定感知系統(tǒng)測(cè)試項(xiàng)，并篩選基礎(chǔ)場(chǎng)景和觸測(cè)試方法定義即根據(jù)觸發(fā)條件測(cè)試方法搭建測(cè)試平臺(tái)，開展仿真回灌測(cè)試和封閉場(chǎng)地性能量化評(píng)價(jià)即根據(jù)測(cè)試數(shù)據(jù)計(jì)算評(píng)價(jià)指標(biāo)，基于視覺感知系統(tǒng)預(yù)期功能安全性能量5視覺感知系統(tǒng)測(cè)試范圍確定根據(jù)視覺感知系統(tǒng)所服務(wù)的自動(dòng)駕駛功能及其設(shè)計(jì)運(yùn)行域，確定系統(tǒng)預(yù)期應(yīng)感知并輸出相關(guān)識(shí)別結(jié)果的感知系統(tǒng)測(cè)試項(xiàng)，感知系統(tǒng)測(cè)試項(xiàng)應(yīng)全面覆蓋自動(dòng)駕駛功能設(shè)計(jì)運(yùn)行域），4觸發(fā)條件清單即視覺感知系統(tǒng)可能面臨觸發(fā)條件的集合，本文件共計(jì)了定義56個(gè)觸發(fā)注：觸發(fā)條件的定義滿足《智能網(wǎng)聯(lián)汽車視覺感知系統(tǒng)預(yù)期功能安全第1部分：觸發(fā)條件分析與描視覺感知系統(tǒng)觸發(fā)條件作為測(cè)試場(chǎng)景的重要組成部分，需涵蓋被測(cè)系統(tǒng)的全部測(cè)試項(xiàng)。a)傳感器觸發(fā)類觸發(fā)條件：若被測(cè)系統(tǒng)具備相應(yīng)的自檢功能，則需選擇相應(yīng)的觸發(fā)b)圖像質(zhì)量觸發(fā)類觸發(fā)條件：若被測(cè)系統(tǒng)運(yùn)行設(shè)計(jì)域內(nèi)涵蓋此類觸發(fā)條件，則需選c)圖像識(shí)別觸發(fā)類觸發(fā)條件：若被測(cè)系統(tǒng)的測(cè)試項(xiàng)包括此類要素，則需選擇相應(yīng)的5本文件規(guī)定了視覺感知系統(tǒng)測(cè)試場(chǎng)景由基礎(chǔ)場(chǎng)景結(jié)合觸發(fā)條件構(gòu)成，測(cè)試場(chǎng)景符合單一變量原則，各測(cè)試場(chǎng)景均由一個(gè)基礎(chǔ)場(chǎng)景疊加一個(gè)觸發(fā)條a)傳感器觸發(fā)類觸發(fā)條件：觸發(fā)條件作為傳感器的補(bǔ)充要求添加至基礎(chǔ)場(chǎng)景，被測(cè)c)圖像識(shí)別觸發(fā)類觸發(fā)條件：觸發(fā)條件作為基礎(chǔ)場(chǎng)景中感知系統(tǒng)測(cè)試項(xiàng)的補(bǔ)充屬性添加至基礎(chǔ)場(chǎng)景，包含此類感知系統(tǒng)測(cè)試項(xiàng)的基礎(chǔ)場(chǎng)景均需疊加此類定義見附錄D。針對(duì)不同觸發(fā)條件的測(cè)試方b)圖像傳輸系統(tǒng)滿足被測(cè)系統(tǒng)的幀率需d)圖像傳輸系統(tǒng)的輸入滿足虛擬仿真軟件計(jì)算b)測(cè)試場(chǎng)地?zé)o其他非觸發(fā)條件因素干擾；6a)被測(cè)系統(tǒng)按要求安裝、標(biāo)定和調(diào)整，被測(cè)系統(tǒng)安裝誤差應(yīng)符合要求，如有必要，b)被測(cè)系統(tǒng)FOV內(nèi)無非測(cè)試場(chǎng)景要素干2）測(cè)試系統(tǒng)和目標(biāo)車輛加速度:0±04）測(cè)試系統(tǒng)與目標(biāo)車輛相對(duì)縱向距離:0±0依據(jù)對(duì)感知系統(tǒng)測(cè)試項(xiàng)的分析與分解，視覺感知系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)體系框架分為五個(gè)層次：多維度評(píng)價(jià)、單目標(biāo)物評(píng)價(jià)、單層級(jí)評(píng)價(jià)、單場(chǎng)景評(píng)價(jià)和多場(chǎng)景評(píng)價(jià)。如7多維度評(píng)價(jià)從準(zhǔn)確性、精準(zhǔn)性、穩(wěn)定性、及時(shí)性和完整性等5個(gè)維度進(jìn)行評(píng)價(jià)程的測(cè)試結(jié)果計(jì)算各評(píng)價(jià)指標(biāo)。不同評(píng)價(jià)指標(biāo)量綱不盡相同，應(yīng)對(duì)各評(píng)價(jià)指標(biāo)進(jìn)行歸一化7.2.1.1Precision：計(jì)算precision=·······························tpt——即真實(shí)數(shù)（TP在第t幀中該目標(biāo)存在假設(shè)相關(guān)屬性與其匹配；fpt——即誤檢數(shù)（FP在第t幀中給出的假設(shè)相關(guān)屬性沒有目標(biāo)與其匹配。7.2.1.2Meanerror：di——即第‘幀目標(biāo)與其配對(duì)假設(shè)屬性之間的差值，即匹配誤差；d——即第‘幀目標(biāo)與其配對(duì)假設(shè)屬性之間的真值；ct——即第t幀中該目標(biāo)存在假設(shè)屬性與其匹配。7.2.1.3DutyFactor：DutyFactor=···············································(3)gt——即測(cè)試項(xiàng)位于被測(cè)系統(tǒng)感知范圍的總幀數(shù)。7.2.1.4ReportDelay：計(jì)8pt——即視覺感知系統(tǒng)輸出識(shí)別結(jié)果時(shí)刻。fnt——即漏檢數(shù)（FN在第t幀中未檢出目標(biāo)相關(guān)屬性。各評(píng)價(jià)指標(biāo)均符合單調(diào)性，本文件采用線性分段函數(shù)進(jìn)行量綱歸一化。評(píng)價(jià)指標(biāo)量綱Y,X1x>X2x——即某感知系統(tǒng)測(cè)試項(xiàng)參數(shù)的評(píng)價(jià)指標(biāo)的計(jì)算結(jié)果；X1——即滿足評(píng)價(jià)指標(biāo)量綱歸一化下限參數(shù)；X2——即滿足評(píng)價(jià)指標(biāo)量綱歸一化上限參數(shù)；SCOTeIndex——即某感知系統(tǒng)測(cè)試項(xiàng)參數(shù)的評(píng)價(jià)指標(biāo)得分。針對(duì)特定感知系統(tǒng)測(cè)試項(xiàng)，各維度下評(píng)價(jià)指標(biāo)使用平均權(quán)重進(jìn)行歸一化。歸一化結(jié)果SCOTeDimension=1SCOTeIndexiSCOTeDimension——即感知系統(tǒng)測(cè)試項(xiàng)的某維度預(yù)期功能安全性能評(píng)價(jià)結(jié)果；N——即某維度下感知系統(tǒng)測(cè)試項(xiàng)參數(shù)個(gè)數(shù)；SCOTeIndex——即感知系統(tǒng)測(cè)試項(xiàng)參數(shù)的評(píng)價(jià)指標(biāo)得分。9單目標(biāo)物評(píng)價(jià)即評(píng)估被測(cè)系統(tǒng)針對(duì)不同感知系統(tǒng)測(cè)試項(xiàng)的預(yù)期功能安全性能水平。單SCOTeobj——即某感知系統(tǒng)測(cè)試項(xiàng)預(yù)期功能安全性能SCOTeDimensioni——即針對(duì)第i維度的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果。單層級(jí)評(píng)價(jià)對(duì)表1中的5個(gè)層級(jí)進(jìn)行評(píng)價(jià)，評(píng)價(jià)被測(cè)系統(tǒng)在各個(gè)層級(jí)的預(yù)期功能安全性是否滿足預(yù)期功能的二元判斷；而針對(duì)其他四個(gè)層級(jí)，每個(gè)層級(jí)包括若干感知系統(tǒng)測(cè)試項(xiàng)，針對(duì)其余四個(gè)層級(jí)的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)公式SCOTeobji——即該層級(jí)下針對(duì)測(cè)試項(xiàng)i的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果。單場(chǎng)景評(píng)價(jià)即評(píng)估被測(cè)系統(tǒng)在某場(chǎng)景下的預(yù)期功能安全性能水平。單場(chǎng)景評(píng)價(jià)輸入為SCOTesinglescene=SCOTeLayeT7（11）SCOTesinglescene——即單場(chǎng)景下的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果；SCOTesinglescene=∑=1SCOTeLayeTi（12）SCOTesinglescene——即單場(chǎng)景下的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果；SCOTeLayeTi——即場(chǎng)景層級(jí)i的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果。多場(chǎng)景評(píng)價(jià)即由多個(gè)測(cè)試場(chǎng)景評(píng)價(jià)結(jié)果得出被測(cè)系統(tǒng)預(yù)期功能安全性能最終評(píng)價(jià)結(jié)果。結(jié)合不同觸發(fā)條件的難度水平，將不同測(cè)試場(chǎng)景賦予不同難度等級(jí)。根據(jù)《智能網(wǎng)聯(lián)汽車視覺感知系統(tǒng)預(yù)期功能安全測(cè)試與量化評(píng)價(jià)第1部分：觸發(fā)條件分析方法與描述規(guī)范》中對(duì)觸發(fā)條件系統(tǒng)敏感度的定義，本文件依據(jù)觸發(fā)條件系統(tǒng)敏感度不同將測(cè)試場(chǎng)景劃分不同難1/234針對(duì)不同測(cè)試方法的多場(chǎng)景評(píng)價(jià)輸出為被測(cè)系統(tǒng)預(yù)期功能安全性能最終評(píng)價(jià)結(jié)果。其SCOTeMultiplescene=SCOTeMultiplescene——即多場(chǎng)景下的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果；N——即難度等級(jí)的個(gè)數(shù)，此處NWLeveli——即觸發(fā)條件難度等級(jí)i的權(quán)重系數(shù)，SCOTeLevelisinglescenej——即觸發(fā)條件難度等級(jí)i的第j個(gè)測(cè)試場(chǎng)景的單場(chǎng)景評(píng)價(jià)結(jié)果。視覺感知系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果代表被測(cè)系統(tǒng)在觸發(fā)條件作用下的性能表現(xiàn)，本附錄提供了感知系統(tǒng)測(cè)試項(xiàng)所包含的參數(shù)類型、具體參數(shù)和參A.2感知系統(tǒng)測(cè)試項(xiàng)參數(shù)根據(jù)感知系統(tǒng)測(cè)試項(xiàng)的屬性不同，每項(xiàng)感知線//////式/差b）//////施//置///數(shù)mm//置///數(shù)mm//置///widthmm//注1：道路結(jié)構(gòu)中的曲率參數(shù)僅在包含彎道的場(chǎng)景中進(jìn)行測(cè)試與評(píng)價(jià)，如S2、S注4：交通參與者中的運(yùn)動(dòng)學(xué)參數(shù)僅在包含相應(yīng)運(yùn)動(dòng)的場(chǎng)景中進(jìn)行測(cè)試與評(píng)價(jià)，如S18場(chǎng)景中對(duì)全注5：連續(xù)性參數(shù)僅對(duì)其進(jìn)行精確性維度評(píng)價(jià)，離散型參數(shù)若存在真值，則進(jìn)行準(zhǔn)確性、穩(wěn)完整性維度評(píng)價(jià)，否則僅進(jìn)行穩(wěn)定性和完整性維度評(píng)價(jià)，單個(gè)感知系統(tǒng)測(cè)試項(xiàng)進(jìn)行一次及時(shí)視覺感知系統(tǒng)觸發(fā)條件根據(jù)觸發(fā)模式不同，分為傳感器觸發(fā)、圖像質(zhì)量觸發(fā)和圖像識(shí)1）傳感器觸發(fā)類主要包括傳感器表面覆蓋物、傳感器處溫度和振動(dòng)環(huán)境等觸發(fā)條件，2）圖像質(zhì)量觸發(fā)類主要包括降雨、降雪、霧、霾、光照強(qiáng)度及其變化速度和光照角3）圖像識(shí)別觸發(fā)類主要包括感知系統(tǒng)測(cè)試項(xiàng)的顏色、姿態(tài)、攜帶、表面結(jié)構(gòu)、遮擋a)可行性原則：即所選測(cè)試方法能夠以較高真實(shí)度復(fù)現(xiàn)觸b)高效性原則：即所選測(cè)試方法可以在較短時(shí)間內(nèi)復(fù)現(xiàn)觸發(fā)條件。T1-1塊塊塊面T1-10T1-11T2-1霧霧霧霧T2-10件量°T3-1性性性性遠(yuǎn)T3-10T3-11人T3-12T3-13T3-14車T3-15T3-16T3-17T3-18T3-19燈燈燈燈根據(jù)視覺感知系統(tǒng)所服務(wù)的自動(dòng)駕駛功能不同，本文件設(shè)定了25個(gè)基礎(chǔ)場(chǎng)景，如表C.1場(chǎng)景為至少包含一條車道的長直道，根據(jù)設(shè)計(jì)運(yùn)行域選取相對(duì)應(yīng)的限速及解除限速標(biāo)志牌數(shù)值，標(biāo)志牌間距離至直道內(nèi)駛過限速標(biāo)場(chǎng)景為長直道和彎道的組合道路，彎道長度應(yīng)據(jù)設(shè)計(jì)運(yùn)行域選取相對(duì)應(yīng)的最小彎道半徑值，并設(shè)置相對(duì)應(yīng)的限場(chǎng)景為至少兩條各包含一條車道的丁字路口，并于交叉處設(shè)置停車讓行標(biāo)志牌和速度駛向停車讓行場(chǎng)景為至少包含一條車道的長直道，并在路段內(nèi)設(shè)置機(jī)動(dòng)車信號(hào)燈，該路段設(shè)置40m～60m時(shí)信號(hào)續(xù)3s后變?yōu)榧t色場(chǎng)景為至少包含雙向兩車道的十字交叉路口，交叉口道路轉(zhuǎn)彎半路口設(shè)置包括直行、左轉(zhuǎn)、右轉(zhuǎn)的方向指示信號(hào)燈，該路段限速前端距離停止線40m-45m時(shí)信號(hào)燈由s后變?yōu)榧t色并持續(xù)30s后變?yōu)榫G色。場(chǎng)景為至少包含雙向兩車道的道路，道路上方均設(shè)置快速路車道信號(hào)燈，相鄰車道信號(hào)燈保持綠色通行狀態(tài)。過本場(chǎng)景試驗(yàn)過程中，上述各信號(hào)燈狀態(tài)至少出現(xiàn)燈場(chǎng)景為至少包含兩條車道的長直道，路段內(nèi)設(shè)置隧道，隧道長度場(chǎng)景為不低于3個(gè)出入口的環(huán)形路口，每個(gè)出入口至少為雙向兩車道。試驗(yàn)車輛入口上游存在1輛行駛目標(biāo)車入口存在靜止目場(chǎng)景為至少為兩條包含兩條車道的長直道并由一匝道相連接的道路，匝道入口處75%速度并入最右側(cè)場(chǎng)景為至少包含雙向單車道的十字交叉路口。目標(biāo)車輛從試驗(yàn)車輛右方橫向直線75%速度在車道內(nèi)沿場(chǎng)景為至少包含雙向兩車道的十字交叉路口，交叉路口轉(zhuǎn)彎半徑標(biāo)車輛從試驗(yàn)車輛左方橫向直線物場(chǎng)景為至少包含兩條車道的長直道，中間車道線為白色虛線。在車道內(nèi)依據(jù)道路養(yǎng)護(hù)作業(yè)的交通控制要求擺放錐形交通路標(biāo)及標(biāo)75%速度駛向前方障場(chǎng)景為包含兩條車道的長直道，并在路段內(nèi)設(shè)置人行橫道線、人行橫道預(yù)告標(biāo)志線及人行橫道標(biāo)志等相關(guān)標(biāo)志標(biāo)線，該路段限速車道外側(cè)存在行人，行人沿人行橫道線橫穿試驗(yàn)場(chǎng)景為至少包含兩條車道的長直道，中間車道線為白色虛線。行人以5km/h~于距離本車道右側(cè)車道線內(nèi)側(cè)175%速度駛向行人。6.5km/h持續(xù)時(shí)間試驗(yàn)道路為至少包含兩條車道的長直道且中間車道線為虛線。自速度于距離本車道右側(cè)車道線內(nèi)圍內(nèi)沿道路騎20km/h持續(xù)時(shí)間超兩條車道的長直道且中間車道線為虛線。摩托車以20km/h～30本車道右側(cè)車道m(xù)范圍內(nèi)沿道路30km/h持續(xù)時(shí)間超場(chǎng)景為至少包含兩條車道的長直道，中間車道線為白色虛線，若Vmax大于等于60km/h，則該路段若Vmax小于60km/h，則該路段道路存在自行車km/h～6.5km/h的場(chǎng)景為包含兩條車道的長直道，中間車道線為白色虛線。目標(biāo)車輛以預(yù)設(shè)速度勻75%速度行駛。當(dāng)兩3s，且目標(biāo)車輛在兩車道均存在目標(biāo)車輛，目標(biāo)車試驗(yàn)路段限速大于目標(biāo)車輛行駛s。相鄰車道目標(biāo)車停-走場(chǎng)景為至少包含兩條車道的長直道，中間車道線為白色虛線；試驗(yàn)道路內(nèi)存在以不低于該路段限速行駛目標(biāo)車跟隨目標(biāo)車輛行駛速降為0km/h后，撞試驗(yàn)道路為至少包含兩條車道的長直道，中間車道線為白色虛線。相同車道內(nèi)存在兩輛目標(biāo)車以預(yù)設(shè)速度駛向靜止?fàn)顟B(tài)VT2，兩輛目標(biāo)車輛的中心線偏差不超度6m/s2并減速至場(chǎng)景為至少包含一條車道的長直道，在各車道內(nèi)均垂直于道路行駛方向均勻放置通路標(biāo)（推薦尺cm該路段道物試驗(yàn)道路為至少包含兩條車道的長直道，在非自態(tài)障礙物，該路段道路限速60試驗(yàn)道路為至少包含兩條車道的長直道，中間車道線為白色虛線，若Vmax大于該路段限速60km/h；若Vmax小km/h。道路存在障礙物橫穿道車輛左側(cè)觸發(fā)以5注1：場(chǎng)景中行人為身高175-185cm、肩寬450-550注2：場(chǎng)景中動(dòng)物為體重小于25kg、高度小于40cm本附錄提供了視覺感知系統(tǒng)仿真回灌測(cè)試與封閉場(chǎng)地測(cè)試方仿真回灌測(cè)試是指基于仿真渲染場(chǎng)景對(duì)視覺感知系統(tǒng)性能進(jìn)行測(cè)試的一種手段。仿真回灌測(cè)試通過在虛擬仿真軟件內(nèi)搭建視覺感知系統(tǒng)測(cè)試場(chǎng)景，將仿真渲染圖像以回灌的方式輸入至被測(cè)系統(tǒng)計(jì)算平臺(tái)，運(yùn)行視覺感知算法后獲取感知結(jié)果。仿真回灌測(cè)試的原理圖b)測(cè)試系統(tǒng)準(zhǔn)備：系統(tǒng)上電，連接虛擬仿真軟件、數(shù)據(jù)傳輸系統(tǒng)和被測(cè)系統(tǒng)，確保c)測(cè)試系統(tǒng)運(yùn)行：運(yùn)行虛擬仿真軟件與被測(cè)系統(tǒng)，完成相關(guān)場(chǎng)景測(cè)試，并記錄感知d)測(cè)試結(jié)果記錄：將感知結(jié)果與真值進(jìn)行關(guān)聯(lián)，依據(jù)評(píng)價(jià)指標(biāo)，計(jì)算測(cè)試結(jié)果，并封閉場(chǎng)地測(cè)試是指在專用的封閉測(cè)試場(chǎng)地上對(duì)視覺感知系統(tǒng)性能進(jìn)行測(cè)試的一種手段，a)測(cè)試車輛準(zhǔn)備：安裝被測(cè)系統(tǒng)和真值系統(tǒng)至待測(cè)車輛，包含攝像頭硬件、感知計(jì)c)場(chǎng)地測(cè)試開展：滿足