視頻智能分析項目建設方案

2023年視頻智能分析項目

建設方案

02建設方案C目錄ONTENTS03成果展示04相關案例01項目概述1.1項目背景為大力提升郵政安全監(jiān)管能力和水平，維護郵政行業(yè)公共安全和生產(chǎn)安全，保障郵政領域持續(xù)健康科學發(fā)展，中國xx集團針對轄區(qū)內(nèi)營業(yè)網(wǎng)點和生產(chǎn)場地的業(yè)務智能監(jiān)測、郵寄源頭監(jiān)管、生產(chǎn)安全監(jiān)管、應急違規(guī)處置、風險評估改進等五大環(huán)節(jié)建設一套智能視頻分析系統(tǒng)，有效解決安全監(jiān)管突出問題。解決寄遞渠道安全監(jiān)管的突出問題提升寄遞渠道安全監(jiān)管能力和水平落實郵政企業(yè)和快遞企業(yè)主體責任維護行業(yè)安全、公共安全、生產(chǎn)安全保障郵政行業(yè)持續(xù)健康科學發(fā)展1.2建設內(nèi)容系統(tǒng)按照國標協(xié)議建設智能視頻分析系統(tǒng)，通過xx專網(wǎng)將全省營業(yè)網(wǎng)點和生產(chǎn)場地接入到智能視頻分析系統(tǒng)中。通過系統(tǒng)的視頻監(jiān)測、自動巡檢、智能分析三大功能，實現(xiàn)對全國范圍內(nèi)重點監(jiān)管對象的重要作業(yè)區(qū)域的監(jiān)管。實現(xiàn)對全省營業(yè)網(wǎng)點和生產(chǎn)場地所有重要作業(yè)區(qū)域的視頻分析。實現(xiàn)郵政安全生產(chǎn)風險監(jiān)測，強化安全生產(chǎn)風險的分類分級管控，為重點監(jiān)管、精準執(zhí)法、科學施策提供支撐，有效遏制重特大事故。智能視頻分析接入范圍

實現(xiàn)覆蓋全省12個地市分公司所有營業(yè)網(wǎng)點、生產(chǎn)中心視頻畫面的接入，按照省分公司、地市分公司、營業(yè)網(wǎng)點/生產(chǎn)場地的三級架構(gòu)建設的視頻監(jiān)控平臺，實現(xiàn)視頻監(jiān)測、自動巡檢、智能分析三大功能。接入點位：全省營業(yè)網(wǎng)點和生產(chǎn)場地具體數(shù)量：大概合計1110處營業(yè)網(wǎng)點：1085處生產(chǎn)場地：25處

通過AI技術(shù)實現(xiàn)智能分析和視頻巡查對接入視頻流全天候自動巡查能夠快速定位轉(zhuǎn)運中心圖像，切換便捷，提高圖像觀看效果。提供多維度監(jiān)管數(shù)據(jù)統(tǒng)計報表，以利于監(jiān)管工作的高效開展。能及時發(fā)現(xiàn)郵政行業(yè)存在作業(yè)不規(guī)范行為：客流量分析煙霧檢測異常徘徊運鈔車?？康轿谎哼\員占位持槍姿勢打架斗毆不慎倒地工裝識別（保安）取款尾隨搶劫單人加鈔跨越傳送帶安檢機行為異常衣著發(fā)飾異?；馂臋z測人車分流等其他模型02建設方案C目錄ONTENTS03成果展示04相關案例01項目概述2.1視頻接入針對當前河北省xx公司視頻監(jiān)控平臺建設情況，絕大部分視頻監(jiān)控系統(tǒng)滿足國標協(xié)議，所以只要網(wǎng)絡聯(lián)通，即可進行視頻接入，對于部分無法滿足國標協(xié)議的系統(tǒng)，建議進行本地國標升級改造，主要方案如下：（1）地市監(jiān)控系統(tǒng)若支持GB28181協(xié)議的可以通過國標協(xié)議接入，架構(gòu)圖1如下：（2）地市監(jiān)控系統(tǒng)若不兼容國標協(xié)議，可以針對原有平臺增加國標轉(zhuǎn)碼設備，再進行接入，架構(gòu)圖2如下：圖1支持國標協(xié)議對接圖2不兼容國標協(xié)議對接2.2智能分析圖像選取建議用于視頻分析的點位一般有以下要求：（1）優(yōu)先選取分辨率為1080P或720P的點位圖像（2）支持H.264編解碼標準（3）畫面成像清晰，能夠分清目標的外貌特征。（4）畫面要求光照良好，沒有明顯逆光或曝光過度等情況，夜間場景中應充分補光。營業(yè)網(wǎng)點建議選取路數(shù)序號區(qū)域選取路數(shù)對應智能分析場景1營業(yè)廳外環(huán)境2路異常徘徊、超時滯留、運鈔車?？康轿?、押運員站位、持槍姿勢2營業(yè)廳內(nèi)環(huán)境2路打架斗毆、不慎倒地、工裝識別（保安）、人數(shù)檢測、口罩識別、人員識別、煙霧檢測3自助設備客戶活動區(qū)1路打架斗毆、不慎倒地、取款尾隨、打砸ATM、搶劫4郵政臺席1路值班離崗、值班睡崗、值班缺崗、使用手機識別、口罩識別5現(xiàn)金區(qū)1路值班離崗、值班睡崗、值班缺崗、使用手機識別、口罩識別6加鈔間1路單人加鈔7理財室1路使用手機識別、口罩識別8出入口1路客流量分析、違規(guī)闖入、9郵筒區(qū)1路網(wǎng)點營業(yè)異常10收寄驗視區(qū)1路包裹檢測生產(chǎn)場地建議選取路數(shù)序號區(qū)域選取路數(shù)對應智能分析場景1裝車口10路跨越傳送帶、女同志發(fā)飾異常、衣著異常、口罩識別檢測、郵件裝載率、暴力分揀2卸車口10路跨越傳送帶、女同志發(fā)飾異常、衣著異常、口罩識別檢測、郵件裝載率、暴力分揀3快件分揀區(qū)10路跨越傳送帶、女同志發(fā)飾異常、衣著異常、口罩識別檢測、暴力分揀4過機安檢區(qū)10路安檢機無人值守、安檢機未開機、安檢機鉛簾異常打開、女同志發(fā)飾異常、衣著異常、口罩識別檢測5疑似件區(qū)1路疑似件監(jiān)測6全景區(qū)1路明火識別、爆倉7監(jiān)控中心區(qū)1路值班離崗、值班睡崗、值班缺崗、使用手機識別、口罩識別8門口1路門口防疫、車輛消殺9大院1路人車分流、明火識別2.3服務器本地部署各網(wǎng)點監(jiān)控視頻在市級監(jiān)控平臺匯聚，通過在市級本地機房部署智能分析服務器和視頻專用轉(zhuǎn)發(fā)服務器，將市級平臺視頻流轉(zhuǎn)發(fā)并分析，在省級本地部署業(yè)務服務器應用于結(jié)果展示。部署架構(gòu)如下：在市機房架設流媒體服務器，對接市公司視頻平臺。搭建智能視頻分析服務器，提供有效可靠的視頻分析能力。在省中心部署業(yè)務服務器，便于統(tǒng)一管理和應用。2.4服務器云端部署各網(wǎng)點監(jiān)控視頻在市級監(jiān)控平臺匯聚，將智能分析服務器和視頻專用轉(zhuǎn)發(fā)服務器部署在各地市云上，并在每個地市本地機房到地市云新建一條專線，用于視頻數(shù)據(jù)及分析數(shù)據(jù)傳輸；將業(yè)務服務器部署在省級云上，用于數(shù)據(jù)的展示及提供應用。部署架構(gòu)如下：云端部署云端部署（網(wǎng)點視頻重新接入）2.5算力、帶寬分析-營業(yè)網(wǎng)點實時分析一、按照一個營業(yè)網(wǎng)點分析模型中，計劃實現(xiàn)22類算法模型，根據(jù)前期調(diào)研情況，其中需要實時分析的有2路，涉及到3個模型。

按上述策略需要的帶寬按每路攝像頭2M碼流計算，總帶寬最小值=2*2M=4M，至少滿足4M帶寬。T4卡需求：共計需要1塊teslaT4。類別監(jiān)控區(qū)域行為識別內(nèi)容分析路數(shù)分析策略詳細描述teslaT4卡并發(fā)分析路數(shù)累計teslaT4消耗營業(yè)網(wǎng)點營業(yè)廳內(nèi)環(huán)境煙霧檢測1實時實時分析80.13出入口違規(guī)闖入1實時實時分析40.25客流量分析實時實時分析100.10小計0.482.6算力、帶寬分析-營業(yè)網(wǎng)點輪詢分析二、按照一個營業(yè)網(wǎng)點分析模型中，計劃實現(xiàn)19類算法模型，根據(jù)前期調(diào)研情況，其中需要輪詢分析的10路，涉及到29個模型，每類模型每天總計分析時長為30分鐘。

按上述策略需要的帶寬按每路攝像頭2M碼流計算，考慮到視頻輪詢并發(fā)，總帶寬最小值需要8M。T4卡需求：共計需要0.1塊teslaT4。類別監(jiān)控區(qū)域行為識別內(nèi)容分析路數(shù)分析策略詳細描述teslaT4卡并發(fā)分析路數(shù)累計teslaT4消耗營業(yè)網(wǎng)點營業(yè)廳外環(huán)境異常徘徊1輪詢30分鐘40.25超時滯留輪詢30分鐘100.10運鈔車?？康轿?輪詢30分鐘100.10押運員站位輪詢30分鐘100.10持槍姿勢輪詢30分鐘100.10營業(yè)廳內(nèi)環(huán)境打架斗毆1輪詢30分鐘40.25不慎倒地輪詢30分鐘40.25工裝識別（保安）輪詢30分鐘80.13口罩識別輪詢30分鐘300.03自助設備客戶活動區(qū)打架斗毆1輪詢30分鐘40.25不慎倒地輪詢30分鐘40.25取款尾隨輪詢30分鐘40.25打砸ATM輪詢30分鐘40.25搶劫輪詢30分鐘40.25郵政臺席值班離崗1輪詢30分鐘100.10值班睡崗輪詢30分鐘100.10值班缺崗輪詢30分鐘100.10使用手機識別輪詢30分鐘40.25口罩識別輪詢30分鐘100.10現(xiàn)金區(qū)值班離崗1輪詢30分鐘100.10值班睡崗輪詢30分鐘100.10值班缺崗輪詢30分鐘100.10使用手機識別輪詢30分鐘40.25口罩識別輪詢30分鐘100.10理財室使用手機識別1輪詢30分鐘40.25口罩識別輪詢30分鐘100.10加鈔間單人加鈔1輪詢30分鐘40.25郵筒區(qū)網(wǎng)點營業(yè)異常1輪詢30分鐘80.13收寄驗視區(qū)包裹檢測1輪詢30分鐘60.17小計0.102.7算力、帶寬分析-生產(chǎn)場地輪詢分析按照一個生產(chǎn)場地分析模型中，計劃實現(xiàn)18類算法模型，根據(jù)前期調(diào)研情況，其中需要輪詢分析的11路，涉及到34個模型，每類模型每天總計分析時長為8小時。

按上述策略，生產(chǎn)場地部署智能分析服務器，截取前后5-10秒鐘違規(guī)事件推送至有郵政公司部門監(jiān)管人員，每起違規(guī)事件大小約為2M，生產(chǎn)場地至省、市帶寬不低于8M。

T4卡需求：共計需要1.6塊teslaT4。類別監(jiān)控區(qū)域行為識別內(nèi)容分析路數(shù)分析策略teslaT4卡并發(fā)分析路數(shù)累計teslaT4消耗生產(chǎn)中心裝車口跨越傳送帶1輪詢40.25女同志發(fā)飾異常輪詢100.10衣著異常輪詢100.10口罩識別檢測輪詢100.10暴力分揀輪詢40.25郵件裝載率1輪詢100.10卸車口跨越傳送帶1輪詢40.25女同志發(fā)飾異常輪詢100.10衣著異常輪詢100.10口罩識別檢測輪詢100.10暴力分揀輪詢40.25郵件裝載率1輪詢100.10快件分揀區(qū)跨越傳送帶1輪詢40.25女同志發(fā)飾異常輪詢100.10衣著異常輪詢100.10口罩識別檢測輪詢100.10暴力分揀輪詢40.25過機安檢區(qū)安檢機無人值守1輪詢100.10安檢機未開機輪詢100.10安檢機鉛簾異常打開輪詢100.10女同志發(fā)飾異常輪詢100.10衣著異常輪詢100.10口罩識別檢測輪詢100.10疑似件區(qū)疑似件監(jiān)測1輪詢100.10全景區(qū)明火識別1輪詢40.25監(jiān)控中心區(qū)值班離崗1輪詢100.10值班睡崗輪詢100.10值班缺崗輪詢100.10使用手機識別輪詢100.10口罩識別檢測輪詢100.10大門門口防疫1輪詢80.13車輛消殺輪詢80.13大院人車分流1輪詢40.25明火識別輪詢40.25合計1.602.8部署方式-帶寬計算分析根據(jù)計算，一個營業(yè)網(wǎng)按照實時分析2路，輪詢分析10路，滿足22類算法模型，共需要以下資源：（1）帶寬資源：不低于4M+8M=12M（2）GPU資源：0.48+0.1=0.58塊teslaT4。根據(jù)計算，一個生產(chǎn)場地輪詢分析11路，滿足18類算法模型，共需要以下資源：（1）帶寬資源：不低于8M（2）GPU資源：1.6塊teslaT4。全省累計需要資源如下：省、市(區(qū))公司網(wǎng)點數(shù)量生產(chǎn)場地數(shù)量teslaT4計算智能分析服務器流媒體服務器業(yè)務服務器0000011573964810110267341057236181012027336106324020101382834210942582910732462310156294471054235171047230151016212610合計10852566933512102建設方案C目錄ONTENTS03成果展示04相關案例01項目概述智能視頻分析平臺介紹

智能視頻分析平臺融合了“視頻+AI”技術(shù)，實現(xiàn)了監(jiān)控設備接入管理、視頻推/拉流、視頻處理、視頻流實時共享交換、視頻存儲、視頻圖像質(zhì)量檢測、人、車、物AI智能識別、消息推送、數(shù)據(jù)可視化、視頻結(jié)構(gòu)化等功能。向千行百業(yè)應用提供相關能力。實現(xiàn)傳統(tǒng)視頻監(jiān)控從“看得到-->看得清-->看得懂”的蛻變。智能視頻分析平臺簡介視頻平臺行業(yè)應用全景圖一套標準規(guī)范體系一個生態(tài)一個算法能力庫AI層分布式AI智慧城市口罩佩戴異常暴力分揀工業(yè)制造安檢行為異常衣著發(fā)飾異常傳送帶跨越……火災檢測人車分流檢測交通物流......公共安全IAAS層計算存儲網(wǎng)絡……云服務基礎設施多協(xié)議接入統(tǒng)一運營統(tǒng)一運維移動化一個運營管理門戶運營管理平臺（APP、PC）N個應用接入應用層AI算法能力開放應用接入統(tǒng)一登錄視頻能力應用接入統(tǒng)一登錄智慧工地應用接入統(tǒng)一登錄智慧園區(qū)應用接入統(tǒng)一登錄多租戶管理應用標準化GB28181RTMPONVIF……異構(gòu)視頻能力二類基礎視頻平臺視頻能力層

視頻回看設備接入視頻存儲視頻轉(zhuǎn)碼視頻預覽……視頻分發(fā)視頻上墻智能視頻分析平臺總體技術(shù)架構(gòu)依托xx公司現(xiàn)有視頻監(jiān)控平臺，對分布在營業(yè)網(wǎng)點進行集中化視頻管理，并將視頻信息與營業(yè)網(wǎng)點規(guī)范管理工作深度融合，實現(xiàn)高效率、可視化流程管理，同時將視頻AI技術(shù)應用于營業(yè)網(wǎng)點的客戶管理、安全管理中，量化門店管理及客戶數(shù)據(jù)，助力營業(yè)廳數(shù)字化轉(zhuǎn)型升級，全方位構(gòu)建智能管理新模式。集中化視頻管理，隨時隨地掌握現(xiàn)場情況AI賦能數(shù)字化管理過程管理數(shù)據(jù)化集中管理高效化實現(xiàn)省-市-區(qū)（縣）對分散式營業(yè)廳管理的集中化、標準化，提升管理效率管理過程的各個環(huán)節(jié)、參與人、參與度都有據(jù)可循，結(jié)果可量化、可分析使用AI技術(shù)實現(xiàn)對視頻信息的實時分析，提升營業(yè)廳的智能化數(shù)字采集效率智能化管控手段，保障安全生產(chǎn)、提高服務質(zhì)量數(shù)字化報表引擎，經(jīng)營效果實時呈現(xiàn)客流分析智能警戒跌倒檢測工作服穿戴合規(guī)、打架斗毆、口罩識別等定時點檢、問題追蹤可視化流程管理，可追蹤、可記錄省-市-區(qū)（縣）-營業(yè)廳，分權(quán)分級，移動監(jiān)控客流數(shù)據(jù)、掃行力分析、區(qū)域排名、工作效率分析智能視頻分析平臺業(yè)務場景介紹智能視頻分析平臺視頻設備接入能力支持“海、大、宇、華為”等4大類（AI、高清、全景、卡口等）20款+主流品牌視頻監(jiān)控設備接入能力。萬路級設備接入支持及千路級終端并發(fā)播放能力；中臺采用微服務架構(gòu)，具備卓越的水平擴展能力。海量視頻設備接入能力視頻平臺智能視頻分析平臺AI能力

對監(jiān)控視頻流選取，選取過程依據(jù)智能分析監(jiān)控點位選取規(guī)范進行操作，覆蓋營業(yè)網(wǎng)點以及生產(chǎn)場地多種作業(yè)區(qū)域，包括營業(yè)廳內(nèi)外環(huán)境、出入口區(qū)、自助設備客戶活動區(qū)、安檢作業(yè)區(qū)、分揀區(qū)、疑似件區(qū)、裝卸車區(qū)等。業(yè)務模型二十余種：異常徘徊、超時滯留、值班離崗、違規(guī)闖入、暴力分揀、安檢行為異常、人員橫跨傳送帶、火災隱患、爆倉、營業(yè)異常、疑似件區(qū)、衣著發(fā)飾、口罩識別、人員聚集、人車分流等。疑似入庫監(jiān)管畫面違規(guī)巡檢結(jié)果展示智能分析記錄存證執(zhí)法對接xx分揀中心違規(guī)類型：疑似暴力分揀設備編號：xxxx設備名稱：xx分揀中心-卸貨區(qū)-1時間：xxxxx截圖錄像智能視頻分析平臺AI能力—智能營業(yè)廳AI平臺告警視頻錄像關聯(lián)人群聚集出現(xiàn)人數(shù)數(shù)量與設置數(shù)量不一致或者多數(shù)人員集中出現(xiàn)時進行預警任務管理告警展示告警推送軌跡查詢系統(tǒng)聯(lián)動APP/小程序（安保人員端）實時告警處置派單在線查詢數(shù)據(jù)統(tǒng)計視頻上傳圖片上傳人群聚集異常徘徊、超時滯留在崗離崗檢測工服合規(guī)監(jiān)測異常徘徊、超時滯留記錄畫面人員所在位置時長，對于超過一定時長的情況進行異常記錄在崗離崗檢測在要求崗位不得離人的位置，劃定在崗離崗檢測，監(jiān)測該區(qū)域是否有員工在崗工服合規(guī)對于畫面中未穿工服的人員進行識別告警使用手機檢測煙火檢測使用手機對視頻畫面中出現(xiàn)的手持電話行為進行抓拍識別，提供記錄煙火監(jiān)測檢測到疑似煙卷、燃燒點等畫面，觸發(fā)煙火警告。智能視頻分析平臺AI能力—安全生產(chǎn)AI平臺告警視頻錄像關聯(lián)暴力分揀暴力分揀識別模型針對人體動作，快遞出現(xiàn)拋投或踢踩快遞即認定暴力分揀任務管理告警展示告警推送軌跡查詢系統(tǒng)聯(lián)動APP/小程序（安保人員端）實時告警處置派單在線查詢數(shù)據(jù)統(tǒng)計視頻上傳圖片上傳暴力分揀跨越傳送帶口罩佩戴異常發(fā)飾異?？缭絺魉蛶П┝Ψ謷到y(tǒng)判定某監(jiān)控畫面中出現(xiàn)傳送帶跨越行為累計達到閾值時觸發(fā)告警?？谡峙宕鳟惓７钦９ぷ鲿r間范圍內(nèi)，畫面中仍然存在大量快遞包裹堆積發(fā)飾異常檢測到分檢人員頭發(fā)過長或按要求盤起衣著異常人車分流衣著異常在正常工作時間范圍內(nèi)，監(jiān)控畫面中分揀人員著不規(guī)范超N時未進行整改人車分流實現(xiàn)車間人和叉車分流合規(guī)監(jiān)測，保障車間人車安全作業(yè)人力

資源

時間效率

人員崗位數(shù)量不足以傳統(tǒng)監(jiān)管方式為主資金、預算嚴重不足工作強度嚴重飽和快遞總量不斷攀升監(jiān)管地區(qū)不斷擴大行業(yè)運行方式不斷更新快遞行業(yè)加速整合可全面、及時、遠程掌握行業(yè)運行狀況可有效提升市場監(jiān)管工作的科學化、精細化和智能化水平可極大緩解人力資源不足的現(xiàn)狀降低各項經(jīng)費持續(xù)投入視頻監(jiān)管平臺系統(tǒng)智能視頻分析平臺核心成效02AI智能視頻分析背景介紹C目錄ONTENTS03視頻AI分析產(chǎn)品及功能04相關案例01公司簡介