DB34-T 4101-2022智能駕駛 激光雷達與攝像頭的感知數(shù)據(jù)融合接口規(guī)范-高清現(xiàn)行

ICS35.240.0134CCSL7834安 徽 省 地 方 標 準DB34/T4101—2022智能駕駛激光雷達與攝像頭的感知數(shù)據(jù)融合接口規(guī)范Intelligentdriving—SpecificationoflidarandcameraperceptiondatafusioninterfaceIntelligentdriving—Specificationoflidarandcameraperceptiondatafusioninterface2022-03-292022-04-29安徽省市場監(jiān)督管理局發(fā)布DB34/T4101DB34/T4101—2022前 言GB/T1.1—2020《標準化工作導則第1起草。請注意本文件的某些內容可能涉及專利。本文件的發(fā)布機構不承擔識別專利的責任。本文件由中國科學技術大學提出。本文件由安徽省經濟和信息化廳歸口。公司、合肥綜合性國家科學中心人工智能研究院。本文件主要起草人：張昱、龔磊、張燕詠、吉建民、王順洪、李星辰、任浩杰、祝含頎、丁昌東、吳瓊、丁釗。IIDB34/T4101DB34/T4101—2022DB34/T4101DB34/T4101—2022智能駕駛激光雷達與攝像頭的感知數(shù)據(jù)融合接口規(guī)范范圍據(jù)格式。本文件適用于激光雷達與攝像頭的傳感器數(shù)據(jù)融合和圖像與點云的目標檢測結果融合。規(guī)范性引用文件本文件沒有規(guī)范性引用文件。術語和定義3.1包圍框boundingbox主要用于對檢測的對象進行描述的三維或二維矩形外殼。[來源：ISO23150-2021，7.2.2]3.1包圍框boundingbox主要用于對檢測的對象進行描述的三維或二維矩形外殼。[來源：ISO23150-2021，7.2.2]3.2攝像頭坐標系cameracoordinatesystem攝像頭坐標系是以鏡頭主光軸為中心的三維笛卡爾坐標系。注：單位為米。3.3激光雷達坐標系lidarcoordinatesystem激光雷達坐標系是以激光發(fā)射中心作為坐標系原點的三維笛卡爾坐標系。注：單位為米。3.4圖像坐標系imagecoordinatesystem以圖像左上角為原點的二維坐標系。注：單位為像素。3.5時空統(tǒng)一timeandspaceunification將輸入的各局部時間和空間坐標的信息變換到統(tǒng)一的系統(tǒng)基準時間和空間坐標系下。[來源：GB/T37686-2019，3.3]3.6標定calibration接受激光雷達與攝像頭的原始數(shù)據(jù)作為輸入進行時空統(tǒng)一的操作。13.7傳感器數(shù)據(jù)融合sensordatafusion接受感知之前的數(shù)據(jù)作為輸入進行數(shù)據(jù)融合的操作。3.8目標檢測結果融合detectionfusion接受圖像目標檢測二維包圍框和點云目標檢測三維包圍框作為輸入進行數(shù)據(jù)融合的操作。3.9數(shù)據(jù)融合接口datafusioninterface接收傳感器數(shù)據(jù)并輸出融合數(shù)據(jù)以及接收目標檢測結果并輸出融合后目標檢測結果的接口。融合系統(tǒng)的架構激光雷達與攝像頭的傳感器數(shù)據(jù)融合架構激光雷達與攝像頭的傳感器數(shù)據(jù)融合架構如圖1數(shù)據(jù)。圖1激光雷達與攝像頭的傳感器數(shù)據(jù)融合架構圖1激光雷達與攝像頭的傳感器數(shù)據(jù)融合架構4.2圖像與點云的目標檢測結果融合架構圖像與點云的目標檢測結果融合架構如圖2融合后的目標檢測結果。圖2圖像與點云的目標檢測結果融合架構5數(shù)據(jù)融合接口2基本數(shù)據(jù)類型基本數(shù)據(jù)類型見表1。表1基本數(shù)值類型數(shù)值類型描述bool布爾型int88位整型uint8無符號8位整型int3232位整型uint32無符號32位整型float單精度浮點（32bit）double雙精度浮點（64-bit）string字符串類型enum枚舉類型配置數(shù)據(jù)表2配置接口的配置數(shù)據(jù)添加配置屬性表2配置接口的配置數(shù)據(jù)添加配置屬性3屬性名稱描述數(shù)據(jù)類型單位/備注示例fusion_type融合類型bool/0：傳感器數(shù)據(jù)融合；1：目標檢測結果融合0chirality手坐標系bool/0：右手坐標系；1：左手坐標系0camera_coordinate坐標系的軸/數(shù)字0,1,2分別表示x,y,z軸，負數(shù)表示負方向。（int8,int8,int8）如(2,0,-1)，表示前進方向為z（2,0,-1）右側方向為xy向lidar_coordinate達坐標系的軸（int8,int8,int8）/0,1,2x,y,z數(shù)表示負方向。如x右側方向為yz軸（0,-1,2）camera_frequency攝像頭獲取數(shù)據(jù)頻率uint32HZ/10lidar_frequency激光雷達獲取數(shù)據(jù)頻率uint32HZ/10fusion_algorithm融合所用算法string/“MV3d”接口輸入參數(shù)：——屬性名稱；——屬性描述；——屬性值的類型。接口返回值：屬性添加成功與否的狀態(tài)，1—添加成功、0—添加失敗。示例：輸入為：（frequency,“thecapturefrequencyofsensor”uint32）表示添加類型為uint32的frequency屬性。設置配置屬性值融合系統(tǒng)提供設置配置屬性值接口，設置指定屬性名的屬性值。接口輸入參數(shù)：——指定屬性名；——屬性值。接口返回值：屬性值設置成功與否的狀態(tài)，1—設置成功、0—設置失敗。示例：輸入參數(shù)（camera_frequency,20）表示設置攝像頭采集圖像頻率為20Hz。獲取配置屬性值融合系統(tǒng)提供獲取配置屬性值接口，獲取指定屬性名的屬性值。5.5.3接口返回值：屬性值。5.5.3接口返回值：屬性值。示例：輸入參數(shù)（camera_frequency）表示獲取系統(tǒng)中當前的攝像頭采集圖像頻率。數(shù)據(jù)接收接口數(shù)據(jù)發(fā)送端通過數(shù)據(jù)接收接口向融合系統(tǒng)提供待融合的數(shù)據(jù),可以是原始數(shù)據(jù)（6.2）據(jù)（6.3）、點云數(shù)據(jù)（6.4）、點云目標檢測三維包圍框信息（6.5）、圖像目標檢測二維包圍框信息（6.6）之一。接口輸入參數(shù)：數(shù)據(jù)，規(guī)范中定義的數(shù)據(jù)類型的數(shù)據(jù)。接口返回值：設置/發(fā)送成功與否的狀態(tài)，1—設置/發(fā)送成功、0—設置/發(fā)送失敗。數(shù)據(jù)獲取接口接口輸入參數(shù)：融合類型，指定融合的類型。接口返回值：融合后的數(shù)據(jù)。6數(shù)據(jù)格式6.1標定數(shù)據(jù)類型描述3的規(guī)定。4表3標定數(shù)據(jù)類型描述屬性名描述數(shù)值類型單位/備注示例image_size圖像大小uint32[2]/1×2向量[640,480]distortion_coeffs畸變參數(shù)向量都設為0double[5]/1×5向量，該畸變參數(shù)適用于針孔相機模型[-0.3995,0.1803,0,0,0.0429]intrinsic_matrix內參矩陣/3×3矩陣，包含攝像頭的光頭坐標系到圖像坐標系的映射關系double[9][468.3708,0.,339.7596,0.,470.2517,235.6143,0.,0.,1.]reference_frame參考坐標系bool/0:攝像頭坐標系1:激光雷達坐標系0extrinsic_matrix外參矩陣double[16]/4×4矩陣，包括旋轉與平移空間轉換關系[0.0070,1e-06,0.9999,0,-0.9999,-0.0016,0.0070,0,0.0016,-0.9999,-1e-06,0,-0.0062,0.0756,0.0337,1]應符合表4的規(guī)定。表4原始數(shù)據(jù)描述6.3圖像數(shù)據(jù)描述應符合表4的規(guī)定。表4原始數(shù)據(jù)描述6.3圖像數(shù)據(jù)描述應符合表5的規(guī)定。表5圖像數(shù)據(jù)描述5屬性名描述數(shù)值類型單位/備注示例sensor_id產生原始數(shù)據(jù)的傳感器iduint8/1timestamp數(shù)據(jù)生成的時間戳uint32.uint32s.ns/秒.納秒1595682678.715705367seq數(shù)據(jù)的序列uint321length原始數(shù)據(jù)字節(jié)數(shù)uint321data原始數(shù)據(jù)字節(jié)流int8[]屬性名描述數(shù)值類型單位/備注示例sensor_id產生圖像數(shù)據(jù)的攝像頭傳感器iduint8/1timestamp圖片生成的時間戳uint32.uint32s.ns/秒.納秒1595682678.715705367seq圖像的序列uint321height圖像高度，即像素行數(shù)uint32/480width圖像寬度，即像素列數(shù)uint32/360encoding圖像編碼string/rgb86.5點云目標檢測三維包圍框信息描述應符合表7的規(guī)定。6.5點云目標檢測三維包圍框信息描述應符合表7的規(guī)定。表7點云目標檢測三維包圍框信息描述6屬性名描述數(shù)值類型單位/備注示例channel圖像的通道數(shù)uint8/3data圖像數(shù)據(jù)，width*height*channel個uint8數(shù)據(jù)uint8[]/6.4點云數(shù)據(jù)描述應符合表6的規(guī)定。表6點云數(shù)據(jù)描述屬性名描述數(shù)據(jù)類型單位/備注示例sensor_id產生點云數(shù)據(jù)的激光雷達iduint8/0timestamp點云的時間戳uint32.uint32s.ns/秒.納秒1595682678.715705367seq連續(xù)遞增的序列唯一標識uint32/1number點云中的點的個數(shù)uint32/1000fields點云中一個點所包含的數(shù)據(jù)類別string[]/一個點云數(shù)據(jù)包括必須的x,y,z的reflectivity反射率信息等[x,y,z，reflectivity]fields_number一個點包含的數(shù)據(jù)類別數(shù)uint8/如fields為[x,y,z],則fileds_number為33data點云數(shù)據(jù),number*fields_number個float數(shù)float[]/每fields_number個浮點數(shù)表示點云中的一個點sensor_type機械式激光雷達/固態(tài)激光雷達bool/0為機械式激光雷達1為固態(tài)激光雷達0beam（option）機械式激光雷達線束uint32/當sensor_type為0時可選32ring（option）點云點所屬于的機械式激光雷達線束uint32/當sensor_type為0時可選0屬性名描述數(shù)值類型單位/備注示例id包圍框的idint32/1class目標類別enum/Carpoints_seq點云序列uint32/對應的點云序列號2confidence目標存在的概率float/[0,1]范圍內的小數(shù)，表示目標存在的概率0.8timestamp該三維包圍框對應的時間戳uint32.uint32s.ns/秒.納秒1595682678.715705367X包圍框的中心點在激光雷達坐標系中的x坐標float/1.0Y包圍框的中心點在激光雷達坐標系中的y坐標float/1.0Z包圍框的中心點在激光雷達坐標系中的z坐標float/1.06.7傳感器數(shù)據(jù)融合后數(shù)據(jù)描述應符合表9的規(guī)定。6.7傳感器數(shù)據(jù)融合后數(shù)據(jù)描述應符合表9的規(guī)定。表9傳感器數(shù)據(jù)融合后數(shù)據(jù)描述7屬性名描述數(shù)值類型單位/備注示例length包圍框的長度floatm/米1.0width包圍框的寬度floatm/米1.0height包圍框的高度floatm/米1.0direction三維包圍框的在激光雷達坐標系下的朝向向量float[3]/[2.0,3.0,0.]velocity三維包圍框速度floatm/s/米/秒16.6圖像目標檢測二維包圍框信息描述應符合表8的規(guī)定。表8圖像目標檢測二維包圍框信息描述屬性名描述數(shù)值類型單位/備注示例id二維包圍框的idint32/1class目標類別enum/Carimage_seq對應的圖像的序列uint321confidence目標存在的概率float/[0,1]范圍內的小數(shù)，表示目標存在的概率0.8timestamp該二維包圍框對應的時間戳uint32.uint32s.ns/秒.納秒1595682678.715705367x1圖像坐標系中的包圍框左上角橫坐標uint32/像素的在圖像坐標系中的位置103y1圖像坐標系中的包圍框左上角縱坐標uint32/像素的在圖像坐標系中的位置103x2圖像坐標系中的包圍框右下角橫坐標uint32/像素的在圖像坐標系中的位置204y2圖像坐標系中的包圍框右下角縱坐標uint32/像素的在圖像坐標系中的位置204屬性名描述數(shù)值類型單位/備注示例timestamp時間戳uint32.uint32s.ns/秒.納秒1595682678.715705367class目標類別enum/Carimage_seq融合所用圖像數(shù)據(jù)序列號uint32/1points_seq融合所用的點云數(shù)據(jù)序列號uint32/1camera_id生成圖像的傳感器iduint8/1lidar_id生成點云的激光雷達iduint8/1height圖像高度，即像素行數(shù)uint32/480width圖像寬度，即像素列數(shù)uint32/360encoding圖像編碼string/rgb8image_channel圖像的通道數(shù)uint8/3屬性名描述數(shù)值類型單位/備注示例image_data圖像數(shù)據(jù)，數(shù)組長度為width*height*image_channeluint8[]/image_depth融合后得到的像素值為攝像頭到場景中各點的距離（深度）的深度圖像，數(shù)組長度為width*heightfloat[]/point_num點云中點的數(shù)量uint32/10000point_fields融合后點云中一個點所包含的數(shù)據(jù)類別string[]/[x,y,z]fields_number融合后點云中一個點包含的數(shù)據(jù)類別數(shù)uint8/3point_data點云數(shù)據(jù)float[]/目標檢測結果融合后數(shù)據(jù)描述應符合表10的規(guī)定。表10目標檢測結果融合后數(shù)據(jù)描述屬性名描述數(shù)值類型單位/備注示例ididint32/1confidence目標存在的概率float/[0,1]范圍內的小數(shù)，表示目標存在的概率0.8timestamp時間戳uint32.uint32s.ns/秒.納秒1595682678.715705367class目標類別enum/CarX融合后目標包圍框的中心點在激光雷達坐標系中的x坐標float/1.0Y融合后目標包圍框的中心點在激光雷達坐標系中的y坐標float/1.0Z融合后目標包圍框的中心點在激光雷達坐標系中的z坐標float/1.0center_cov融合后中心點協(xié)方差float[9]/33矩陣，表示目標位置的不確定度[0.2,0.01,0.01；0.01,0.2,0.01；0.01,