T-CAS 731-2023 城鎮(zhèn)排水管道檢測影像數(shù)據(jù)智能判讀技術(shù)規(guī)程

團城鎮(zhèn)排水管道檢測影像數(shù)據(jù)智能判讀I前言 Ⅱ 12規(guī)范性引用文件 13術(shù)語和定義 1 24.1智能判讀流程 24.2影像數(shù)據(jù) 24.3技術(shù)指標(biāo) 3 45缺陷樣本庫建立 45.1一般規(guī)定 4 4 55.4樣本庫構(gòu)建 5 56.1系統(tǒng)配置要求 56.2模型訓(xùn)練 66.3模型評價 7 97.1數(shù)據(jù)預(yù)處理 97.2缺陷判定 97.3成果輸出 9 8.1成果內(nèi)容 8.2成果歸檔 Ⅱ本文件依據(jù)GB/T1.1—2020《標(biāo)準化工作導(dǎo)則第1部分：水務(wù)集團管網(wǎng)有限公司、保定金迪地下管線探測工程有限公司、京首創(chuàng)生態(tài)環(huán)保集團股份有限公司、水立通建設(shè)(江蘇)有限公究總院(集團)有限公司、佛山市測繪地理信息研究院、深圳市博銘維技術(shù)股份有限公司、河北天元地理信息科技工程有限公司、浙江上鑫生態(tài)建設(shè)有限公司、深圳市深水水務(wù)咨詢有限公限公司、中煤(西安)地下空間科技發(fā)展有限公司、浙江華東測司、深圳市水務(wù)(集團)有限公司、合肥市排水管理辦公室、西宏遠、劉會忠、楊宇龍、羅振麗、吳錦琰、梁有祥、LINZ-Ⅲ1用文件，僅注日期的版本適用于本文件。凡是不注日期引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T15278信息處理數(shù)據(jù)加密物理層互操作性要求GB/T20273信息安全技術(shù)數(shù)據(jù)庫管理系統(tǒng)安全技術(shù)要求GB/T35274信息安全技術(shù)大數(shù)據(jù)服務(wù)安全能力要求GB/T37973信息安全技術(shù)大數(shù)據(jù)安全管理指南CJJ181城鎮(zhèn)排水管道檢測與評估技術(shù)規(guī)程2別管道缺陷信息(包括：缺陷類型、缺陷等級、缺陷位置等),4基本規(guī)定排水管道缺陷影像檢測智能判讀實施步驟見圖成果提交智能判讀成果提交智能判讀4.2.1影像數(shù)據(jù)應(yīng)根據(jù)項目要求統(tǒng)一編號，視頻與同源圖像編4.2.2應(yīng)正確判斷影像數(shù)據(jù)異常是由結(jié)構(gòu)狀態(tài)變化引起還是監(jiān)4.2.5影像數(shù)據(jù)應(yīng)連續(xù)、完整，錄像畫面上方應(yīng)含有起始井及34.2.7影像數(shù)據(jù)應(yīng)無卡頓、模糊、時間跳躍現(xiàn)象，圖像邊緣不應(yīng)有明顯鋸齒狀拉毛、斷裂、拖尾等現(xiàn)象，圖像變形率應(yīng)≤5%。4.2.8影像數(shù)據(jù)質(zhì)量評價主要技術(shù)指標(biāo)應(yīng)符合表1規(guī)定。檢測項目技術(shù)指標(biāo)1圖像分辨率2水平分辨力環(huán)境光照不低于300lx時，水平分辨力不低于900TVL;環(huán)境光照在0.1lx以下時，水平分辨力不3幀率≥25幀/s45色彩還原64.2.9智能判讀全過程影像數(shù)據(jù)應(yīng)按照GB/T35274、GB/T20273、GB/T37973、GB/T15278、GB/T4.3.1智能判讀模型的查全率和查準率不應(yīng)低于90%,F1分數(shù)或macro-F1分數(shù)不應(yīng)低于0.9。4.3.2所有類別平均精度值(AP)的平均即為mAP,mAP值不應(yīng)低于90%。a)宜對所選模型進行多個現(xiàn)場視頻測試，測試結(jié)果滿足實4b)模型判讀速度不宜低于25fps。4.4.1智能判讀成果提交前，應(yīng)檢查錄入智能判讀模型的管網(wǎng)本文件第4.3.1條中規(guī)定。4.4.2智能判讀成果提交前，應(yīng)對判讀結(jié)果進行人工復(fù)核，復(fù)5.1.2數(shù)據(jù)庫應(yīng)按照總樣本量6:2:2比例劃分成訓(xùn)練集、驗5.2.1錄入數(shù)據(jù)庫的樣本應(yīng)符合本文件第4.2節(jié)中相關(guān)要求。5.2.3樣本分類應(yīng)符合CJJ181的規(guī)定，并經(jīng)過人工復(fù)核和工5.2.4單類缺陷樣本數(shù)量宜超過10000張，所有類別缺陷樣本數(shù)量宜超160000張，圖像分辨率應(yīng)高于1920dpi×1080dpi。5a)缺陷類別應(yīng)按照CJJ181中定義的缺陷代碼進行標(biāo)注；d)宜選用缺陷位置居中的樣本進行標(biāo)注，標(biāo)注框應(yīng)完全包5.3.2標(biāo)注后所有樣本的圖像格式和標(biāo)注信息格式應(yīng)分別統(tǒng)一。a)樣本庫設(shè)計應(yīng)遵循可靠性、先進性、可擴展性和標(biāo)準性原則，并應(yīng)考慮數(shù)據(jù)結(jié)構(gòu)的整體性、樣本庫系統(tǒng)與應(yīng)用c)樣本庫應(yīng)模塊化架構(gòu)，可對排水管線信息、監(jiān)測系統(tǒng)信a)宜采用多維屬性聚簇存儲方式和分段融合模糊聚類存儲c)數(shù)據(jù)上傳和下載時，宜通過非對稱和對稱加密算法保護6.1.1系統(tǒng)運行的硬件應(yīng)選用高性能CPU、GPU處理器，硬a)應(yīng)選擇頻率不低于3GHz、核心數(shù)不低于6、線程數(shù)不低于12的CPU;6b)應(yīng)選擇具有高性能GPU的顯卡，顯存容量宜大于8G,a)智能判讀模型訓(xùn)練宜采用Linux操作系統(tǒng)；6.2.1智能判讀模型的訓(xùn)練應(yīng)按下列步驟進行(圖2):圖2智能判讀模型訓(xùn)練步驟d)模型訓(xùn)練，循環(huán)調(diào)用訓(xùn)練過程，每輪都包括前向計算、損失函數(shù)(優(yōu)化目標(biāo))和后向傳播三個步驟；e)模型驗證，模型完成每輪訓(xùn)練后，利用驗證集驗證模型f)模型判定，重復(fù)本條第d)款、e)款，模型損失滿足設(shè)g)模型保存，將訓(xùn)練好的模型保存，用于排水管道缺陷智6.2.2模型網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計應(yīng)符7b)網(wǎng)絡(luò)節(jié)點輸入值應(yīng)進行正則化計算，確保網(wǎng)絡(luò)訓(xùn)練的穩(wěn)a)宜設(shè)置不同的超參數(shù)進行模型訓(xùn)練，將驗證集樣本輸入模型，對比模型訓(xùn)練過程中的損失值及查準率的變化曲b)超參數(shù)優(yōu)化可采用網(wǎng)格搜索、隨機搜索、強化學(xué)習(xí)、貝即判讀的效率、查準率上升曲線的最大值和損失值下降b)查全率(R)應(yīng)按下列公式計算：c)當(dāng)分類目標(biāo)數(shù)量不平衡時，采用F1分數(shù)作為數(shù)值評價d)面對數(shù)據(jù)不平衡的多分類問題，采用平均查準率Pm,平均查全率Rmm和macro-F1分數(shù)分別作為數(shù)值評價指8Rmm-—平均查全率；e)查準率-查全率曲線(Precision-Recall,PR曲線)是以查6.3.2平均精準度(AveragePrecision,AP)是對PR曲線上所有類別AP值的平均即為mAP。6.3.3可信度即模型輸出的置信度(uncertaintyestimates),小于0.7。97.1.1用于智能判讀的影像數(shù)據(jù)格式應(yīng)7.1.2影像質(zhì)量要求應(yīng)符合本文件第4.2節(jié)要求，可以直接輸清洗，剔除不合格圖像后再放入智能判讀模型，或者轉(zhuǎn)交人工7.2.1缺陷判讀方式可分為現(xiàn)場判讀、PC終端判讀、云端實a)基于armTPU、NPU邊緣計算，將數(shù)據(jù)在開發(fā)板上現(xiàn)b)數(shù)據(jù)回傳至服務(wù)器終端，基于PC端判讀；7.2.2智能判讀模型識別到缺陷后，應(yīng)提取對應(yīng)的缺陷圖像，7.2.3缺陷判定結(jié)果以圖像形式提交，應(yīng)選擇缺陷清晰完整、7.2.6缺陷應(yīng)按本文件第6.3.3條的要求輸出缺陷置信度。a)管道概況應(yīng)包括檢測任務(wù)基本情況、檢測實施基本情況b)智能判讀報告輸出宜包含但不限于：管段基本信息、管道缺陷類型、位置、等級、缺陷置信度、管道缺陷判讀c)技