智能網(wǎng)聯(lián)汽車輔助駕駛前向視覺感知性能要求及測(cè)評(píng)方法 第1部分：測(cè)試方法及指標(biāo)定義

1智能網(wǎng)聯(lián)汽車輔助駕駛前向視覺感知性能要求及測(cè)評(píng)方法第1部分：測(cè)試方法及指標(biāo)定義本文件規(guī)定了智能網(wǎng)聯(lián)汽車輔助駕駛前向攝像頭的視覺感知性能測(cè)試通用方法、測(cè)試項(xiàng)與測(cè)試指標(biāo)體系。本文件適用于智能網(wǎng)聯(lián)汽車輔助駕駛前向攝像頭的視覺感知性能測(cè)試。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T39263-2020道路車輛先進(jìn)駕駛輔助系統(tǒng)（ADAS）術(shù)語及定義GB/T40429-2021汽車駕駛自動(dòng)化分級(jí)CSAE212-2021智能網(wǎng)聯(lián)汽車場景數(shù)據(jù)圖像標(biāo)注要求及方法ISO8855道路車輛車輛動(dòng)力學(xué)和道路保持能力詞匯3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1先進(jìn)駕駛輔助系統(tǒng)advanceddriverassistancesystems；ADAS利用安裝在車輛上的傳感、通信、決策及執(zhí)行等裝置，實(shí)時(shí)監(jiān)測(cè)駕駛員、車輛及其行駛環(huán)境，并通過信息和/或運(yùn)動(dòng)控制等方式輔助駕駛員執(zhí)行駕駛?cè)蝿?wù)或主動(dòng)避免/減輕碰撞危害的各類系統(tǒng)的總稱。[來源：GB/T39263-2020，2.1]3.2視覺感知系統(tǒng)visualperceptionsystem通過攝像頭傳感器拍攝圖像數(shù)據(jù)，并從中提取目標(biāo)物信息的系統(tǒng)，包含系統(tǒng)硬件、感知算法模型與后處理程序等部分。23.3場景scenario一段連續(xù)時(shí)間內(nèi)目標(biāo)車輛的行為、外部環(huán)境以及在特定駕駛?cè)蝿?wù)過程中環(huán)境與車之間的作用關(guān)系的描述。3.4設(shè)計(jì)運(yùn)行域operationaldesigndomain；ODD駕駛自動(dòng)化系統(tǒng)設(shè)計(jì)時(shí)確定的適用于其功能運(yùn)行的外部環(huán)境條件。[來源：GB/T40429-2021，2.11]3.5視頻投影videoprojection視頻投影是視覺感知測(cè)試的一種視頻流數(shù)據(jù)輸入方式，將視頻流數(shù)據(jù)投影到顯示設(shè)備上，再調(diào)整待測(cè)攝像頭位置拍攝顯示內(nèi)容，獲得視頻流數(shù)據(jù)并輸入給攝像頭的處理芯片或控制器等硬件設(shè)備。3.6視頻注入videoinjection視頻注入是視覺感知測(cè)試的一種視頻流數(shù)據(jù)輸入方式，視頻注入方案屏蔽掉了攝像頭本身的感光元器件，直接注入像素?cái)?shù)據(jù)到視覺的處理芯片或控制器等硬件設(shè)備。3.7真值系統(tǒng)groundtruthreferencesystem真值系統(tǒng)是測(cè)量與記錄實(shí)車測(cè)試過程中各測(cè)試指標(biāo)（如目標(biāo)類別、位置、速度、朝向、加速度等）真值的軟硬件系統(tǒng)，為被測(cè)系統(tǒng)的輸出結(jié)果提供對(duì)照基準(zhǔn)，以評(píng)價(jià)被測(cè)系統(tǒng)性能。3.8可行駛區(qū)域freespace測(cè)試車輛可以通行的道路區(qū)域。3.9推斷inference將圖像或視頻數(shù)據(jù)輸入給感知算法，獲得感知結(jié)果的過程。3.10建立關(guān)聯(lián)buildcorrespondence指被測(cè)系統(tǒng)輸出的各項(xiàng)指標(biāo)的推斷值與真值進(jìn)行匹配的過程。3.11視場角fieldofview；FOV3以光學(xué)儀器的鏡頭為頂點(diǎn)，以被測(cè)目標(biāo)的物像可通過鏡頭的最大范圍的兩條邊緣構(gòu)成的夾角，稱為視場角，本文件中的視場角默認(rèn)指水平方向的視場角。4輔助駕駛前向視覺感知系統(tǒng)4.1輔助駕駛系統(tǒng)功能范圍輔助駕駛系統(tǒng)旨在提升駕駛安全性與舒適性，通過傳感器感知環(huán)境信息，為駕駛員提供預(yù)警和輔助控制等功能。本文件中2級(jí)以下駕駛自動(dòng)化系統(tǒng)的定義按GB/T40429-2021《汽車駕駛自動(dòng)化分級(jí)》中的規(guī)定，說明如下：a)0級(jí)駕駛自動(dòng)化：駕駛自動(dòng)化系統(tǒng)不能持續(xù)執(zhí)行動(dòng)態(tài)駕駛?cè)蝿?wù)中的車輛橫向或縱向運(yùn)動(dòng)控制，但具備持續(xù)執(zhí)行動(dòng)態(tài)駕駛?cè)蝿?wù)中的部分目標(biāo)和事件探測(cè)與響應(yīng)的能力；b)1級(jí)駕駛自動(dòng)化：駕駛自動(dòng)化系統(tǒng)在其設(shè)計(jì)運(yùn)行條件內(nèi)持續(xù)地執(zhí)行動(dòng)態(tài)駕駛?cè)蝿?wù)中的車輛橫向或縱向運(yùn)動(dòng)控制，且具備與所執(zhí)行的車輛橫向或縱向運(yùn)動(dòng)控制相適應(yīng)的部分目標(biāo)和事件探測(cè)與響應(yīng)的能力；c)2級(jí)駕駛自動(dòng)化：駕駛自動(dòng)化系統(tǒng)在其設(shè)計(jì)運(yùn)行條件內(nèi)持續(xù)地執(zhí)行動(dòng)態(tài)駕駛?cè)蝿?wù)中的車輛橫向和縱向運(yùn)動(dòng)控制，且具備與所執(zhí)行的車輛橫向和縱向運(yùn)動(dòng)控制相適應(yīng)的部分目標(biāo)和事件探測(cè)與響應(yīng)的能力。4.2輔助駕駛前向視覺感知目標(biāo)范圍輔助駕駛前向視覺感知目標(biāo)主要類型包括行人、車輛（包含機(jī)動(dòng)車和非機(jī)動(dòng)車）、交通標(biāo)志與標(biāo)線、可行駛區(qū)域、交通信號(hào)燈、道路基礎(chǔ)設(shè)施、環(huán)境主要光源（車燈、路燈等）、道路邊界和路面附屬物（如錐桶、水馬等）等。4.3輔助駕駛前向視覺感知系統(tǒng)要求輔助駕駛前向視覺感知系統(tǒng)除了要具備環(huán)境感知能力外，同時(shí)還應(yīng)滿足感知的時(shí)效性和安全性要求。其中，時(shí)效性是指感知結(jié)果的輸出頻率應(yīng)滿足輔助駕駛系統(tǒng)的實(shí)時(shí)運(yùn)行要求。安全性指當(dāng)視覺感知系統(tǒng)因軟硬件故障或者特殊天氣、鏡頭遮擋等極端工況而性能降低或失效時(shí)，應(yīng)能輸出對(duì)應(yīng)警示信號(hào)。表1列舉了各等級(jí)輔助駕駛功能對(duì)應(yīng)感知的必要目標(biāo)，除高速公路輔助（HWA）之外，各輔助駕駛功能定義按GB/T39263-2020《道路車輛先進(jìn)駕駛輔助系統(tǒng)（ADAS）術(shù)語及定義》標(biāo)準(zhǔn)中的規(guī)定。表1輔助駕駛功能及其視覺所需感知目標(biāo)41234567895視覺感知性能測(cè)試方法5.1測(cè)試方法總述測(cè)試方法包含回灌測(cè)試、仿真測(cè)試、封閉場地測(cè)試和公開道路測(cè)試，四種測(cè)試方法對(duì)應(yīng)到車輛V5開發(fā)模型中的各階段示意圖如圖1所示。圖1回灌測(cè)試、仿真測(cè)試、封閉場地測(cè)試、公開道路測(cè)試適用階段示意圖本文件涉及到的測(cè)試方法統(tǒng)一采用ISO8855《道路車輛車輛動(dòng)力學(xué)和道路保持能力詞匯》中所制定的慣性車輛坐標(biāo)系，其中X軸指向車輛前方，Y軸指向駕駛員左側(cè)，Z軸垂直向上。從坐標(biāo)系原點(diǎn)既車輛后軸中心向X、Y、Z軸的正向出發(fā)，繞X軸、Y軸和Z軸順時(shí)針方向旋轉(zhuǎn)而產(chǎn)生的角度分別稱為側(cè)傾角（roll）、俯仰角（pitch）和橫擺角（yaw），車輛坐標(biāo)系示意如圖2所示。圖2車輛坐標(biāo)系示意圖5.2回灌測(cè)試5.2.1方法定義回灌測(cè)試是指基于真實(shí)道路采集的數(shù)據(jù)對(duì)傳感器感知性能進(jìn)行測(cè)試?；毓鄿y(cè)試根據(jù)待測(cè)算法在采集數(shù)據(jù)上的推斷結(jié)果,與真值系統(tǒng)或者人工標(biāo)注的輸出結(jié)果進(jìn)行數(shù)據(jù)關(guān)聯(lián)和對(duì)比分析，得到感知的性能指標(biāo)。根據(jù)測(cè)試的不同階段，可將回灌測(cè)試分為軟件回灌測(cè)試與硬件回灌測(cè)試兩種。軟件回灌測(cè)試通過將感知軟件運(yùn)行在算力不受限的服務(wù)器上，可實(shí)現(xiàn)基于海量真實(shí)數(shù)據(jù)的算法性能的快速測(cè)試，驗(yàn)證視覺感知的魯棒性。軟件回灌測(cè)試的對(duì)象為視覺感知軟件，包含算法模型和后處理程序。硬件回灌測(cè)試通過視頻投影（如視頻暗箱等）或視頻注入的方式將真實(shí)數(shù)據(jù)輸入給運(yùn)行視覺感知軟件的計(jì)算平臺(tái)，獲得輸出結(jié)果。硬件回灌測(cè)試的對(duì)象為視覺感知軟件、計(jì)算平臺(tái)以及攝像頭（可選），是針對(duì)已部署在計(jì)算平臺(tái)上的視覺感知系統(tǒng)的性能測(cè)試?；毓鄿y(cè)試主要流程如圖3所示，包括數(shù)據(jù)采集、數(shù)據(jù)集構(gòu)建、數(shù)據(jù)回灌、建立關(guān)聯(lián)和測(cè)試結(jié)果計(jì)算等模塊。圖3回灌測(cè)試示意圖5.2.2測(cè)試要求回灌測(cè)試要求包含測(cè)試系統(tǒng)要求和被測(cè)硬件要求兩部分。5.2.2.1測(cè)試系統(tǒng)要求5.2.2.1.1采集攝像頭安裝要求待測(cè)視覺感知系統(tǒng)攝像頭采集數(shù)據(jù)前應(yīng)按視覺感知系統(tǒng)產(chǎn)品要求位置進(jìn)行安裝，并進(jìn)行調(diào)試和標(biāo)75.2.2.1.2硬件回灌系統(tǒng)要求a)系統(tǒng)的I/O接口數(shù)據(jù)讀寫速率應(yīng)能滿足待測(cè)計(jì)算平臺(tái)對(duì)幀率的要求；b)車輛總線數(shù)據(jù)CAN/CANFD等信息的輸出頻率應(yīng)滿足圖像刷新的時(shí)間同步要求；c)能夠?qū)毓鄶?shù)據(jù)進(jìn)行管理。5.2.2.1.3真值系統(tǒng)要求a)真值系統(tǒng)應(yīng)能生成所有待測(cè)視覺感知系統(tǒng)的目標(biāo)感知結(jié)果真值；b)真值系統(tǒng)的目標(biāo)感知空間范圍應(yīng)高于待測(cè)視覺感知系統(tǒng)的目標(biāo)感知空間范圍，包括FOV、距離、光照范圍和使用溫度范圍等；c)真值系統(tǒng)的目標(biāo)感知性能的各項(xiàng)指標(biāo)應(yīng)高于待測(cè)視覺感知系統(tǒng)的目標(biāo)感知性能的各項(xiàng)指標(biāo)。5.2.2.1.4評(píng)測(cè)軟件要求a)評(píng)測(cè)軟件應(yīng)能將待測(cè)視覺感知系統(tǒng)的識(shí)別結(jié)果進(jìn)行轉(zhuǎn)換，按照既定格式進(jìn)行輸出；b)評(píng)測(cè)軟件支持將待測(cè)結(jié)果與真值進(jìn)行關(guān)聯(lián)，建立待測(cè)結(jié)果與真值的對(duì)應(yīng)關(guān)系；c)評(píng)測(cè)軟件支持對(duì)各種評(píng)測(cè)指標(biāo)的快速計(jì)算；d)評(píng)測(cè)軟件支持測(cè)試結(jié)果的圖表生成和數(shù)據(jù)分析等。5.2.2.2被測(cè)硬件要求硬件回灌測(cè)試中，被測(cè)硬件應(yīng)能提供感知結(jié)果，以與真值結(jié)果進(jìn)行對(duì)比分析。5.2.3測(cè)試流程回灌測(cè)試流程如下：a)測(cè)試數(shù)據(jù)集構(gòu)建：準(zhǔn)備帶有數(shù)據(jù)采集設(shè)備和真值系統(tǒng)的采集車，在真實(shí)道路場景下采集數(shù)據(jù)，并構(gòu)建測(cè)試數(shù)據(jù)集，數(shù)據(jù)集標(biāo)注要求宜參考CSAE212-2021《智能網(wǎng)聯(lián)汽車場景數(shù)據(jù)圖像標(biāo)注要求及方法》執(zhí)行；b)測(cè)試系統(tǒng)準(zhǔn)備：回灌測(cè)試軟硬件準(zhǔn)備，確保數(shù)據(jù)流通暢無故障；c)回灌測(cè)試系統(tǒng)運(yùn)行：運(yùn)行數(shù)據(jù)回灌系統(tǒng)，將數(shù)據(jù)集輸入給感知算法，并獲得感知結(jié)果；d)測(cè)試結(jié)果評(píng)價(jià)：將感知結(jié)果與真值進(jìn)行關(guān)聯(lián)，依據(jù)視覺感知測(cè)試指標(biāo)，計(jì)算測(cè)試結(jié)果，并對(duì)感知性能進(jìn)行評(píng)價(jià)。85.3仿真測(cè)試5.3.1方法定義仿真測(cè)試是指通過傳感器模型和仿真渲染場景對(duì)傳感器感知性能進(jìn)行測(cè)試。較于回灌測(cè)試，仿真測(cè)試可以根據(jù)測(cè)試需求模擬汽車復(fù)雜的行駛環(huán)境，如極端天氣、交通事故等，并在此基礎(chǔ)上進(jìn)行閉環(huán)測(cè)試。按照測(cè)試的不同階段，可將仿真測(cè)試分為軟件在環(huán)測(cè)試和硬件在環(huán)測(cè)試，兩種測(cè)試方法的測(cè)試內(nèi)容中均包括仿真開環(huán)測(cè)試與仿真閉環(huán)測(cè)試。軟件在環(huán)測(cè)試通過仿真軟件提供仿真渲染場景，將視覺感知軟件運(yùn)行在算力不受限的服務(wù)器平臺(tái)上，通過記錄測(cè)試結(jié)果與中間狀態(tài)量來評(píng)價(jià)視覺感知軟件性能；硬件在環(huán)測(cè)試是通過視頻投影或視頻注入的方式將仿真渲染場景輸入至計(jì)算平臺(tái)或攝像頭硬件，運(yùn)行視覺感知軟件后并獲取感知結(jié)果。仿真開環(huán)測(cè)試是指對(duì)控制單元與被控對(duì)象分別進(jìn)行的激勵(lì)測(cè)試。對(duì)控制單元進(jìn)行輸出一致性與準(zhǔn)確性測(cè)試，保證控制單元可以準(zhǔn)確識(shí)別仿真渲染場景的環(huán)境信息并輸出正確控制指令。被控對(duì)象需要進(jìn)行模型準(zhǔn)確性輸出測(cè)試，保證被控對(duì)象能夠遵循控制指令完成相應(yīng)任務(wù)。仿真閉環(huán)測(cè)試是在開環(huán)準(zhǔn)確性驗(yàn)證的基礎(chǔ)上，建立控制單元與被控對(duì)象間反饋回路，形成系統(tǒng)閉環(huán)。反饋回路中，被控對(duì)象的動(dòng)作會(huì)改變車輛動(dòng)力學(xué)模型在仿真場景中的位置信息，進(jìn)而實(shí)時(shí)改變控制單元的仿真渲染場景輸入。以硬件閉環(huán)測(cè)試系統(tǒng)為例，其測(cè)試原理如圖4所示。上位機(jī)電腦運(yùn)行場景仿真軟件、下位機(jī)運(yùn)行控制軟件與傳感器模型，將圖像信息經(jīng)由圖像輸入設(shè)備傳輸至被測(cè)軟硬件，被測(cè)軟硬件會(huì)基于車輛動(dòng)力學(xué)模型實(shí)時(shí)狀態(tài)信息與行駛環(huán)境信息輸出車輛控制指令，運(yùn)行在下位機(jī)實(shí)時(shí)平臺(tái)的車輛動(dòng)力學(xué)模型會(huì)根據(jù)控制請(qǐng)求執(zhí)行相應(yīng)動(dòng)作，并將車輛狀態(tài)位姿信息輸出至上位機(jī)電腦。圖4硬件閉環(huán)測(cè)試系統(tǒng)原理95.3.2測(cè)試要求仿真測(cè)試要求包含測(cè)試系統(tǒng)要求和被測(cè)對(duì)象要求兩部分。5.3.2.1測(cè)試系統(tǒng)要求軟件在環(huán)測(cè)試與硬件在環(huán)測(cè)試的通用要求如下：a)測(cè)試工具鏈應(yīng)支持高渲染的虛擬引擎；b)測(cè)試工具鏈應(yīng)支持場景的搭建；c)測(cè)試系統(tǒng)應(yīng)能滿足攝像頭等系統(tǒng)標(biāo)定要求；d)測(cè)試系統(tǒng)應(yīng)滿足準(zhǔn)確性要求，包含攝像頭模型、車輛動(dòng)力學(xué)模型、道路模型等。除通用要求外，對(duì)于硬件在環(huán)測(cè)試，為保證嵌入硬件的正常工作，測(cè)試系統(tǒng)還需滿足上位機(jī)、下位機(jī)與圖像輸入設(shè)備要求，具體要求如下：a)上位機(jī)中場景仿真軟件應(yīng)滿足動(dòng)力學(xué)模型的同步觸發(fā)要求和攝像頭模型的實(shí)時(shí)渲染要求；b)參照物理攝像頭建模原理，上位機(jī)中運(yùn)行的攝像頭模型不僅要適配焦距、像素尺寸、視場角等物理參數(shù)，還需滿足圖像信息的格式要求，包括圖像分辨率、通道數(shù)等；c)下位機(jī)實(shí)時(shí)平臺(tái)應(yīng)滿足車輛動(dòng)力學(xué)模型運(yùn)行速率，系統(tǒng)仿真步長通常為1ms；d)圖像輸入設(shè)備應(yīng)滿足感知計(jì)算平臺(tái)對(duì)圖像實(shí)時(shí)處理的要求，圖像輸入幀率要與真實(shí)攝像頭輸入幀率保持一致；e)圖像輸入設(shè)備的輸出需滿足感知計(jì)算平臺(tái)接口要求，應(yīng)支持包括但不限于低壓差分信號(hào)LVDS/GMSL分體式注入或MIPI一體式注入等圖像傳輸協(xié)議。5.3.2.2被測(cè)硬件要求硬件在環(huán)測(cè)試中，被測(cè)硬件應(yīng)提供感知結(jié)果，以與真值進(jìn)行比較分析。5.3.3測(cè)試流程仿真測(cè)試流程如下：a)測(cè)試場景搭建：按照測(cè)試需求，通過場景仿真軟件搭建虛擬場景；b)測(cè)試系統(tǒng)準(zhǔn)備：系統(tǒng)上電，連接上位機(jī)電腦、圖像輸入設(shè)備、被測(cè)軟硬件與下位機(jī)實(shí)時(shí)系統(tǒng)，確保數(shù)據(jù)流通暢無故障；c)測(cè)試系統(tǒng)運(yùn)行：運(yùn)行場景仿真軟件與車輛動(dòng)力學(xué)模型，完成相關(guān)場景測(cè)試，并記錄感知結(jié)果；測(cè)試結(jié)果評(píng)價(jià)：d)將感知結(jié)果與真值進(jìn)行關(guān)聯(lián)，依據(jù)視覺感知測(cè)試指標(biāo)，計(jì)算測(cè)試結(jié)果，并對(duì)被測(cè)軟硬件進(jìn)行評(píng)價(jià)。5.4封閉場地測(cè)試5.4.1方法定義封閉場地測(cè)試是指在封閉區(qū)域道路環(huán)境中對(duì)傳感器感知性能進(jìn)行測(cè)試。封閉場地實(shí)車測(cè)試的測(cè)試對(duì)象為功能邏輯均已齊備的視覺感知軟件、計(jì)算平臺(tái)以及攝像頭等，測(cè)試過程中被測(cè)視覺感知系統(tǒng)和搭載車輛將被視為統(tǒng)一的整體。封閉場地測(cè)試的流程圖如圖5所示。圖5封閉場地測(cè)試流程示意圖5.4.2測(cè)試要求封閉場地測(cè)試要求包含測(cè)試環(huán)境要求、測(cè)試系統(tǒng)要求和被測(cè)硬件要求三部分。5.4.2.1測(cè)試環(huán)境要求封閉測(cè)試場地一般為平坦干燥的瀝青或者混凝土路面，測(cè)試場應(yīng)能根據(jù)測(cè)試場景定義要求搭建相應(yīng)的場景，如相應(yīng)的感知目標(biāo)（可移動(dòng)的車輛、行人等目標(biāo)），天氣等要素，以完成感知性能的測(cè)試。5.4.2.2測(cè)試系統(tǒng)要求a)待測(cè)視覺感知系統(tǒng)應(yīng)已具備道路測(cè)試條件；b)待測(cè)前向攝像頭應(yīng)按要求進(jìn)行安裝、調(diào)試和標(biāo)定，攝像頭安裝誤差應(yīng)符合安裝要求，如有必要，應(yīng)進(jìn)行動(dòng)態(tài)標(biāo)定；c)在前向攝像頭FOV區(qū)域不應(yīng)有車內(nèi)物體的反光投影物；d)車輛上應(yīng)安裝真值系統(tǒng)，滿足以下性能要求：1)CAN信號(hào)采樣頻率應(yīng)不低于100Hz；2)視頻流數(shù)據(jù)采樣幀率應(yīng)不低于30fps；3)橫向距離測(cè)量精度應(yīng)達(dá)到每千米測(cè)量誤差小于0.25m；4)縱向距離測(cè)量精度應(yīng)達(dá)到每千米測(cè)量誤差小于0.08m；5)速度測(cè)量精度應(yīng)達(dá)到0.25m/s；6)橫擺角速度測(cè)量精度應(yīng)達(dá)到0.052rad/s以下；7)縱向探測(cè)距離應(yīng)優(yōu)于被測(cè)設(shè)備的可視距離；8)不同設(shè)備之間的數(shù)據(jù)傳輸應(yīng)進(jìn)行時(shí)間同步，時(shí)間差應(yīng)不大于10ms。5.4.2.3被測(cè)硬件要求在封閉場地測(cè)試中，被測(cè)硬件應(yīng)能提供感知結(jié)果，以與真值進(jìn)行比較分析。5.4.3測(cè)試流程封閉場地測(cè)試流程如下：a)測(cè)試車輛準(zhǔn)備：安裝待測(cè)視覺感知系統(tǒng)及測(cè)試系統(tǒng)至待測(cè)車輛，包含攝像頭硬件、感知計(jì)算平臺(tái)以及真值系統(tǒng)和數(shù)據(jù)采集設(shè)備；b)測(cè)試場地準(zhǔn)備：依據(jù)規(guī)定的場景準(zhǔn)備測(cè)試場地；c)場地測(cè)試：滿足測(cè)試場景初始條件后開啟相關(guān)輔助駕駛功能，進(jìn)行感知結(jié)果和真值數(shù)據(jù)記錄，滿足場景終止條件后，結(jié)束相關(guān)數(shù)據(jù)記錄；d)測(cè)試結(jié)果評(píng)價(jià)：將感知結(jié)果與真值進(jìn)行關(guān)聯(lián)，依據(jù)視覺感知測(cè)試指標(biāo)，計(jì)算測(cè)試結(jié)果，并對(duì)被測(cè)軟硬件進(jìn)行評(píng)價(jià)。5.5公開道路測(cè)試5.5.1方法定義公開道路測(cè)試是在開放道路環(huán)境中對(duì)傳感器感知性能進(jìn)行測(cè)試。公開道路測(cè)試的流程如圖6所示。圖6公開道路測(cè)試流程示意圖5.5.2測(cè)試要求公開道路測(cè)試要求包含測(cè)試環(huán)境要求、測(cè)試系統(tǒng)要求和被測(cè)硬件要求三部分。5.5.2.1測(cè)試環(huán)境要求公開道路測(cè)試應(yīng)在道路規(guī)定的限速范圍內(nèi)行駛，實(shí)際測(cè)試路線應(yīng)符合測(cè)試場景要求。5.5.2.2測(cè)試系統(tǒng)要求a)待測(cè)視覺感知系統(tǒng)應(yīng)已具備公開道路測(cè)試條件；b)待測(cè)前向攝像頭應(yīng)按要求進(jìn)行安裝、調(diào)試和標(biāo)定，攝像頭安裝誤差應(yīng)符合安裝要求，如有必要，應(yīng)進(jìn)行動(dòng)態(tài)標(biāo)定；c)除由于測(cè)試系統(tǒng)所造成的影響，在前向攝像頭FOV區(qū)域不應(yīng)有車內(nèi)物體的反光投影物；d)車輛上應(yīng)安裝真值系統(tǒng)和數(shù)據(jù)采集設(shè)備，真值系統(tǒng)要求同回灌測(cè)試部分要求。5.5.2.3被測(cè)硬件要求在公開道路測(cè)試中，被測(cè)硬件應(yīng)提供可供采集的圖像或者報(bào)文形式的信息，以便測(cè)試結(jié)果與真值進(jìn)行比較分析。5.5.3測(cè)試流程公開道路測(cè)試流程如下：a)測(cè)試車輛準(zhǔn)備：安裝待測(cè)視覺感知系統(tǒng)、真值系統(tǒng)和數(shù)據(jù)采集系統(tǒng)至測(cè)試車輛，進(jìn)行軟硬件調(diào)試；b)測(cè)試路段選定：根據(jù)測(cè)試要求，考慮道路類型、目標(biāo)類型、交通環(huán)境特征等的覆蓋，選定合適的測(cè)試路段和道路工況；c)道路測(cè)試：待測(cè)車輛由駕駛員駕駛或者開啟輔助駕駛功能，沿規(guī)定的測(cè)試路線正常行駛，完成相關(guān)場景測(cè)試并記錄感知輸出結(jié)果、真值系統(tǒng)輸出結(jié)果等數(shù)據(jù)；d)測(cè)試結(jié)果評(píng)價(jià)：將感知結(jié)果與真值進(jìn)行關(guān)聯(lián)，依據(jù)視覺感知測(cè)試指標(biāo)，計(jì)算測(cè)試結(jié)果，并對(duì)被測(cè)軟硬件進(jìn)行評(píng)價(jià)。6視覺感知測(cè)試項(xiàng)及其指標(biāo)定義6.1測(cè)試項(xiàng)定義6.1.1直接測(cè)試項(xiàng)定義6.1.1.1感知測(cè)試目標(biāo)物類型如下：a)各類車輛：車輛類型包括乘用車、貨車、客車、半掛牽引車、有軌列車、工程車輛、警車、救護(hù)車、消防車、校車、灑水車、三輪車、自行車、電動(dòng)自行車、摩托車；b)各種姿態(tài)的行人：行人應(yīng)涵蓋各種姿態(tài)包括站立、行走、騎行、坐、躺、抱、背、被抱、被背、推、蹲、彎腰狀態(tài)的行人；c)道路交通標(biāo)線：交通標(biāo)線類型應(yīng)包括GB5768.3-2009中規(guī)定的指示標(biāo)線、禁止標(biāo)線、警告標(biāo)線規(guī)定的全部類型；d)道路交通信號(hào)燈：交通信號(hào)燈類型應(yīng)包括機(jī)動(dòng)車信號(hào)燈、非機(jī)動(dòng)車信號(hào)燈、左轉(zhuǎn)非機(jī)動(dòng)車信號(hào)燈、人行橫道信號(hào)燈、車道信號(hào)燈、方向指示信號(hào)燈、閃光警告信號(hào)燈、道口信號(hào)燈、掉頭信號(hào)燈；e)道路臨時(shí)覆蓋物：包含錐桶、水馬、施工護(hù)欄等；f)道路交通標(biāo)志：交通標(biāo)志類型應(yīng)包括GB5768.2-2009中規(guī)定的警告標(biāo)志、禁令標(biāo)志、指示標(biāo)志規(guī)定的全部類型；g)道路邊界：道路兩側(cè)的路沿邊界；h)可行駛區(qū)域：測(cè)試感知對(duì)視野內(nèi)自車可以通行的道路區(qū)域的識(shí)別。6.1.1.2目標(biāo)ID：代表對(duì)行人、車輛等交通參與者的ID標(biāo)記。6.1.1.3顏色：包括道路交通信號(hào)燈、道路交通標(biāo)線等目標(biāo)的顏色，交通信號(hào)燈顏色一般為紅色、綠色和黃色，車道線顏色一般為白色和黃色。6.1.1.4朝向：指的是移動(dòng)目標(biāo)物的行進(jìn)方向，包括車輛、騎行人、動(dòng)物等，朝向結(jié)果以相對(duì)于車輛坐標(biāo)系X軸的角度給出，朝向角度范圍為180度到-180度，其中X軸正方向?yàn)?度，逆時(shí)針旋轉(zhuǎn)為0到180度，順時(shí)針旋轉(zhuǎn)為0到-180度；6.1.1.5車道線或路緣三次方程系數(shù)：用三次方程的形式來描述車道線或路緣，三次方程具體描述如a)C0：近端點(diǎn)到車輛坐標(biāo)系原點(diǎn)的橫向距離；b)C1：斜率，表示線是向左偏或向右偏；c)C2：曲率，圓的半徑來體現(xiàn)大彎或小彎；d)C3：曲率變化率，大彎突然變小彎時(shí)就會(huì)有較明顯的變化。6.1.1.6二維邊界框：通過二維矩形框?qū)⒛繕?biāo)物邊界在圖像中的位置框出。6.1.1.7三維邊界框：通過三維矩形框?qū)⒛繕?biāo)物邊界在圖像中的位置框出。6.1.1.8語義標(biāo)注：將目標(biāo)物在圖像中的輪廓邊界（可行駛區(qū)域、交通標(biāo)線等）、中心線（如車道線、道路邊界等）通過的多點(diǎn)坐標(biāo)的方式描述，多點(diǎn)坐標(biāo)構(gòu)成語義標(biāo)注點(diǎn)集。6.1.1.9光源狀態(tài)：人造光源的開啟和關(guān)閉狀態(tài)的識(shí)別情況。6.1.1.10交通信號(hào)燈指示類型：交通信號(hào)燈指示類型的識(shí)別情況，分為無類型、左向、直行、右向、掉頭、禁行、其他7類。6.1.1.11交通信號(hào)燈持續(xù)時(shí)間：指交通信號(hào)燈顯示的倒計(jì)時(shí)秒數(shù)。6.1.1.12距離：目標(biāo)物到車輛坐標(biāo)系原點(diǎn)的橫向和縱向距離。6.1.1.13速度：目標(biāo)物的絕對(duì)速度，包括視野內(nèi)車輛、行人、騎行人、動(dòng)物的矢量速度。6.1.1.14加速度：目標(biāo)物的絕對(duì)加速度，包括視野內(nèi)車輛、行人、騎行人、動(dòng)物的矢量加速度。6.1.2間接測(cè)試項(xiàng)定義6.1.2.1緊急行人：行駛路徑中最可能與測(cè)試車輛發(fā)生事故的行人和騎行人。6.1.2.2碰撞時(shí)間（TTC，timetocollision測(cè)試車輛與目標(biāo)車輛之間的相對(duì)速度不變的情況下，兩車發(fā)生碰撞的時(shí)間。6.1.2.3起止距離：視野內(nèi)車道線、道路邊界的起始點(diǎn)和終止點(diǎn)之間的距離。6.1.2.4最近車輛（CIPV,closestinpathvehicle）：路徑中距離最近車輛。6.1.3系統(tǒng)性能測(cè)試項(xiàng)定義攝像頭傳輸平均時(shí)長：在一定帶寬下，從攝像頭拍攝到輸出給感知系統(tǒng)的平均時(shí)間長度。算法處理平均時(shí)長：從攝像頭輸出給感知系統(tǒng)到感知系統(tǒng)處理完圖像或視頻的平均時(shí)間長度。系統(tǒng)處理平均時(shí)長：在一定帶寬下，從攝像頭拍攝到感知系統(tǒng)處理完圖像或視頻的平均時(shí)間長度。6.1.4fail-safe極端工況導(dǎo)致感知性能下降或失效狀態(tài)：測(cè)試感知系統(tǒng)在各類極端工況下，出現(xiàn)性能下降甚至失效時(shí)是否輸出對(duì)應(yīng)信號(hào)，包括鏡頭嚴(yán)重遮擋、嚴(yán)重曝光、嚴(yán)重弱光、惡劣天氣等。6.2指標(biāo)定義推斷樣本中分為以下四種類型，參見圖6中給出示例樣本的關(guān)系圖：a)Truepositives（TP，真正）：推斷為正，實(shí)際為正；b)Truenegatives（TN，真負(fù)）：推斷為負(fù)，實(shí)際為負(fù)；c)Falsepositives（FP，假正）：推斷為正，實(shí)際為負(fù)；d)Falsenegatives（FN，假負(fù)）：推斷為負(fù)，實(shí)際為正。圖6真正、假正、假負(fù)示意圖6.2.1準(zhǔn)確率（accuracy分類性能指標(biāo)，模型正確推斷的目標(biāo)數(shù)和除以總測(cè)試目標(biāo)數(shù)，公式如下：TP+TN6.2.2精確率（precision）：正確推斷的正例數(shù)/推斷為正例的總數(shù)，又稱查準(zhǔn)率，公式如下：precision=6.2.3召回率（recall）：正確推斷的正例數(shù)/實(shí)際正例的總數(shù)，又稱查全率，公式如下：recall=6.2.4MOTA：多目標(biāo)跟蹤的準(zhǔn)確度，體現(xiàn)在確定目標(biāo)的個(gè)數(shù)，以及有關(guān)目標(biāo)的相關(guān)屬性方面的準(zhǔn)確度，用于統(tǒng)計(jì)在跟蹤中的誤差積累情況，包括FP、FN、IDSw，公式如下：式中：mt——即漏檢數(shù)（FN），在第t幀中該目標(biāo)oj沒有假設(shè)位置與其匹配；fpt——即誤檢數(shù)（FP），在第t幀中給出的假設(shè)位置hj沒有跟蹤目標(biāo)與其匹配；mmet——即誤配數(shù)（IDSw），在第t幀中跟蹤目標(biāo)發(fā)生ID切換的次數(shù)，多發(fā)生在遮擋情況下。6.2.5MOTP：多目標(biāo)跟蹤的精確度，體現(xiàn)在確定目標(biāo)位置上的精確度，用于衡量目標(biāo)位置確定的精確程度，公式如下：式中：ct——表示第t幀目標(biāo)oj和假設(shè)hj的匹配個(gè)數(shù)；d——表示第t幀目標(biāo)oj與其配對(duì)假設(shè)位置之間的距離，即匹配誤差。6.2.6時(shí)間精度：測(cè)試場景內(nèi)所有目C|TTC真值。式中：DUTTTC——被測(cè)物的TTC；GTTTC——TTC真值。6.2.7功能降級(jí)或失效信號(hào)：待測(cè)感知功能降級(jí)或失效時(shí)，是否能輸出對(duì)應(yīng)信號(hào)給后續(xù)程序。6.2.8mAccuracy：平均準(zhǔn)確率，各目標(biāo)類別準(zhǔn)確率的平均值，accuracy定義參見6.2.1。mAccuracy=accuracy6.2.9mIoU：平均交并比值：為語義分割的標(biāo)準(zhǔn)度量，計(jì)算推斷輪廓區(qū)域與真實(shí)區(qū)域的交并比。6.2.10距離精度：測(cè)試場景內(nèi)被測(cè)目標(biāo)距離誤差百分比，分母為目標(biāo)與測(cè)試車輛的真實(shí)距離。(DUTx?GTx)2+(DUTy?式中：DUTx——被測(cè)物X方向距離；DUTy——被測(cè)物Y方向距離；GTx——被測(cè)物X方向距離真值；GTy——被測(cè)物X方向距離真值。6.2.11速度精度：測(cè)試場景內(nèi)被測(cè)目標(biāo)速度誤差百分比，分母為目標(biāo)的真實(shí)速度。vall=(DUTvx?GTvx)2+DUTvy?GTvall=式中：DUTvx——被測(cè)物X方向速度；DUTvy——被測(cè)物Y方向速度；GTvx——被測(cè)物X方向速度真值；GTvy——被測(cè)物X方向速度真值。6.2.12加速度精度：測(cè)試場景內(nèi)被測(cè)目標(biāo)加速度誤差百分比，分母為目標(biāo)的真實(shí)加速度。DUTaxDUTayaccall=——被測(cè)物X方向加速度；——被測(cè)物Y方向加速度；(DUTax?GTax)2+(DUTay?GTay)2