2023工業(yè)視覺技術(shù)與應(yīng)用

工業(yè)視覺技術(shù)與應(yīng)用(2023)工業(yè)視覺技術(shù)與應(yīng)用白皮書工業(yè)視覺技術(shù)與應(yīng)用白皮書目 錄工業(yè)覺展述 1業(yè)覺展義 1內(nèi)政導(dǎo)向 1業(yè)覺展勢 3工業(yè)覺鍵術(shù) 7集術(shù) 7理術(shù) 9工視智邊平臺 9機視算法 13算設(shè)施 15用術(shù) 18典型用景例析 20業(yè)檢 21案背與求 21實案例 21實效果 23人設(shè)巡檢 24案背與求 24實案例 25實效果 26寸量 26案背與求 26實案例 27實效果 28線控 28案背與求 28實案例 29實效果 30總結(jié)展望 314.1314.232縮略列表 33工業(yè)視覺技術(shù)與應(yīng)用白皮書工業(yè)視覺技術(shù)與應(yīng)用白皮書PAGEPAGE10工業(yè)視覺發(fā)展概述工業(yè)視覺發(fā)展意義對工業(yè)生產(chǎn)過程中的數(shù)據(jù)處理技術(shù)和計算技術(shù)提出了更高挑戰(zhàn)。國內(nèi)外政策導(dǎo)向4.0，2013技術(shù)戰(zhàn)略2020美國政府通過大力支持“先進制造伙伴關(guān)系”（AMP）推動未來的產(chǎn)品和生產(chǎn)網(wǎng)絡(luò)與信息通信技術(shù)融合。體實際應(yīng)用場景方面出臺了一系列激勵政策。20152025”，2020年）5G202112產(chǎn)品。圖1.1國內(nèi)部分工業(yè)視覺相關(guān)政策解讀多行業(yè)，為工廠的智能化發(fā)展奠定基礎(chǔ)。工業(yè)視覺發(fā)展趨勢MarketsandMarkets，2010-2020107514.48%，2020-20256.1%，市場需求巨大。圖1.2全球機器視覺行業(yè)市場規(guī)?！獢?shù)據(jù)來源：MarketsandMarkets20101.32016-202147178302025202650025%。圖1.3中國工業(yè)視覺市場規(guī)模及增速——資料來源：甲子光年智庫機器視覺系統(tǒng)在未來工業(yè)領(lǐng)域?qū)⒄宫F(xiàn)出巨大的應(yīng)用前景，主要依托以下幾方面優(yōu)勢：觸，做到無損測量，系統(tǒng)穩(wěn)定性高。效擴展人眼視覺范圍。別，克服因人眼疲勞對觀測者工作時長的限制。受觀測者的主觀因素影響，具有強可重復(fù)性。結(jié)合，并通過分銷渠道觸達行業(yè)用戶。自動化進程的時間較短，目前主要實現(xiàn)中低端領(lǐng)域的國產(chǎn)化。整的機器視覺系統(tǒng)或裝備。客戶的重要界面，是產(chǎn)品落地的主要承擔(dān)方。圖1.4中國工業(yè)視覺企業(yè)圖譜工業(yè)視覺關(guān)鍵技術(shù)采集技術(shù)視覺中的關(guān)鍵組件之一。根據(jù)標(biāo)準不同，傳統(tǒng)工業(yè)相機主要分類方式如下：參數(shù)CMOSCCD信噪比低高敏感度高更高體積小大功耗低高曝光一致性低高全局快門實現(xiàn)性難易系統(tǒng)復(fù)雜度參數(shù)CMOSCCD信噪比低高敏感度高更高體積小大功耗低高曝光一致性低高全局快門實現(xiàn)性難易系統(tǒng)復(fù)雜度低高成本低高表2.1CMOS與CCD相機對比進行光學(xué)采集，并將采集的信息轉(zhuǎn)換為完整的二維圖像信息，目前大多瑕疵檢測。TDI(TimeDelayedandIntegration)線陣相機是一種具有一種面陣結(jié)構(gòu)、線陣輸出的新型光電傳感器相機，相較普通的線陣相機具有多重級數(shù)延時積分的功能，可以對同一目標(biāo)多次曝光以增加對光能的收集，具備更高的靈敏度、響應(yīng)度、和動態(tài)范圍等優(yōu)點，在低光照度環(huán)鏡下也能輸出一定強度信噪比的信號。根據(jù)色彩類型可分為單色（黑白）圖像質(zhì)量技術(shù)提升方面，富士公司“X-TRANSCMOS”“Foveon根據(jù)分辨率大小可以分為普通分辨率相機和高分辨率相機。高分辨率相1280*720（720p）CMOSPCB據(jù)輸出信號速度分為普通速度相機和高速相機，根據(jù)響應(yīng)頻率范圍分為可見光（普通）相機、紅外相機、紫外相機和X射線相機等。3D3D20222Mech-EyeLaser3DSIGAI3DTensor1Pro3D3DAI處理技術(shù)緣計算的場景下針對通用機器學(xué)習(xí)算法的優(yōu)化研究同樣具有重要的意義。工業(yè)視覺智能邊緣平臺邊緣計算是現(xiàn)代工業(yè)計算領(lǐng)域的重要進步。邊緣計算產(chǎn)業(yè)聯(lián)盟（ECC）靠近產(chǎn)線的邊緣處對視頻進行實時分析，實現(xiàn)與業(yè)務(wù)的聯(lián)動與閉環(huán)。LinuxLFEdgeAkrainoEdgeStack和EdgeXFoundryONFCORD、KubeEdge、OpenYurt、OpenEdgeEdgeXFoundryK3SKubeEdgeStarlingXOpenEdge云邊協(xié)同不支持不支持支持支持支持原生支持K8S不支持支持支持不支持不支持邊緣組件資源占用中小最小較大較大部署復(fù)雜度復(fù)雜簡單簡單復(fù)雜復(fù)雜去中心化否否是否否支持MQTT支持支持支持支持支持容器化編排不支持支持支持支持不支持表2.2主流邊緣計算平臺及性能對比星辰視界視頻云邊智能平臺（2.1圖2.1星辰視界視頻邊緣智能平臺全景視圖針對工業(yè)視覺行業(yè)在不同場景下對資源、監(jiān)管、運維等多方面的不同訴求，如圖2.2，星辰視界邊緣智能平臺面向工業(yè)場景提供三種部署模式：動邊緣云，用戶無需管理任何實體服務(wù)器資源。云入駐模式：視頻邊緣智能平臺部署在移動云，而邊緣節(jié)點由用戶自己IDC3）圖2.2星辰視界視頻邊緣智能平臺入駐模式低、兼容性強等優(yōu)點。研華工業(yè)云平臺WISE-IoTSuite（時業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護等方面的關(guān)鍵訴求。圖2.3研華WISE-IoTSuite架構(gòu)圖WISE-IoTSuiteSMT以及上位機、ERPMES北向與云平臺對接實現(xiàn)云邊協(xié)同。步到云端。IoTSuite及資源管理等功能，與其下的邊緣計算平臺實現(xiàn)資源、服務(wù)、應(yīng)用的協(xié)同。機器視覺算法工業(yè)視覺技術(shù)路線方向正由傳統(tǒng)的簡單工業(yè)視覺算法向基于深度學(xué)習(xí)的機難以滿足任務(wù)在精度和通用性方面的需求。意義。括模型壓縮和推理加速兩大類。結(jié)構(gòu)搜索五類。32計算，量化通過減少表示每個參數(shù)的表示位數(shù)來壓縮原始網(wǎng)絡(luò)。根據(jù)具體的量化位數(shù)，可以將量化分為8-bit、4-bit，甚至是二值化。剪枝是通過裁剪原始網(wǎng)絡(luò)中的一些不重要的參數(shù)來減少DNN（DeepNeural著降低計算成本。端進行部署和應(yīng)用。以上這些模型壓縮算法通過對原始的模型進行壓縮和改變來適配邊緣設(shè)備，這為邊緣計算場景下工業(yè)視覺機器學(xué)習(xí)算法的應(yīng)用提供了支撐。AI圖優(yōu)化和推理框架支持等。FFTWinograd具備更少的乘加運算量，降低了原始模型的計算復(fù)雜度。高了模型的計算效率。因此，模型部署時推理框架選取的合適與否影響著最后的推理性能。能，推動了工業(yè)視覺應(yīng)用的落地與實施。算力設(shè)施ARM2%。不斷凸顯的能耗問題要求尋求低功耗但高效的計算方案針對這一情況，采用基于Arm架構(gòu)的Neoverse方案呈現(xiàn)出許多優(yōu)勢。這些CPUArm30%本（TCO）20%以上。圖2.4周易人工智能平臺安謀科技（ArmChina）ArmArmCPUMaliGPUArm（ArmNeoverseCPU+NPU），在工業(yè)視覺領(lǐng)域的邊緣設(shè)備和云端服務(wù)器應(yīng)用方面提供了高性能、低功耗和強大的人工智能計算能力。IntelElkhartLake增強型處理器產(chǎn)品線：英特爾凌動?x6000E?和賽揚?NJCPU化視覺檢測系統(tǒng)。圖2.5第六代智能英特爾?凌動?處理器TigerLake爾?10AI在內(nèi)的多個工作負載。圖2.6第十一代智能英特爾?酷睿?處理器USB3.0PCIE/M.2AI5G流多相機應(yīng)用如定位，檢測，識別等。2.3應(yīng)用技術(shù)在工業(yè)智能制造領(lǐng)域，機器視覺在實現(xiàn)其功能時不僅限于單純的視覺檢測，圖2.7研華工業(yè)機械臂產(chǎn)品以及調(diào)整人力成本結(jié)構(gòu)等方面的潛力，有望提升企業(yè)的綜合競爭力。典型應(yīng)用場景案例分析程中耗時耗力的挑戰(zhàn)。測效果，增強故障預(yù)測和防范的能力。有效地克服了傳統(tǒng)檢測方法存在的問題。進行處理和應(yīng)用，以實現(xiàn)對安全狀況的預(yù)判與預(yù)警，從而達到安全防護的目標(biāo)。工業(yè)質(zhì)檢案例背景與需求350201020度大，人眼容易疲勞，從而可能漏檢某些缺陷，導(dǎo)致質(zhì)量問題的發(fā)生。實施案例"星辰視界"輪轂表面瑕疵檢測系統(tǒng)致力于為客戶提供完整的輪轂視覺檢測解決ABCD毛刺、刮傷、碰傷、漆污點、色差、流掛、氣門孔位偏置等進行檢測與識別。區(qū)域定義描述各區(qū)域?qū)?yīng)的顏色A區(qū)域車輪正面B區(qū)域車輪窗口；螺栓孔斜面、氣門嘴孔斜面及裝飾孔斜面C區(qū)域車輪內(nèi)外輪輞和輪輻背面；螺栓孔和氣門嘴孔表面D區(qū)域中心孔、安裝面和螺栓孔錐面（或球面）表3.1輪轂表面區(qū)域定義正面背面螺栓孔/裝飾孔氣門嘴孔表3.2輪轂各區(qū)域劃分示意圖度、直徑等特征進行輪轂型號識別，然后把型號信息發(fā)送給后面兩個工位。A、CDBB結(jié)果對不良品進行分流。圖3.1輪轂表面混合瑕疵檢測產(chǎn)線系統(tǒng)具體功能如下：OKNG輪轂缺陷以高亮顏色實時顯示。合格產(chǎn)品數(shù)量，以及質(zhì)檢合格率。產(chǎn)品質(zhì)量分析。圖3.2星辰視界輪轂表面瑕疵檢測系統(tǒng)實施效果1835000元/人月=900000/0.5%1235000540000的有力保障。無人機設(shè)備巡檢案例背景與需求150蓋無人機自主巡檢，并要求對影像智能識別，自動發(fā)現(xiàn)缺陷。GPS5K210AIAI實施案例數(shù)據(jù)采集，需要同時滿足準確、精確、安全三個條件。AI臺完成對準操作。精確性提升：使用超高清相機（8K）進行拍攝，完成目標(biāo)物的圖像采集。100mm24mmAI需求，8K+AI所示。圖3.38K+AI的無人機精細化巡檢方案模塊無人機模塊：無人機具有攜帶方便、操作簡單、反應(yīng)迅速、任務(wù)用途廣泛、起飛降落對環(huán)境的要求低、可自主飛行等優(yōu)勢，其載荷豐富，可滿RTK8K內(nèi)實現(xiàn)對目標(biāo)物的高分辨率圖像采集。AIAI機電力巡檢的檢測效率，降低檢測成本，提升安全性能。實施效果8K+AI8K95%（金具）10430%以上。8K+AI20%以上的巡檢時間。尺寸測量案例背景與需求機器視覺在尺寸測量中的應(yīng)用越來越廣泛。實施案例當(dāng)使用傳統(tǒng)的點膠機時，需要使用接觸式點膠機將膠粘劑涂在電子元件和LED/LEDSMTVR3.45GMAS-5282ZCAD異的加減速及拐角控制算法等，協(xié)助客戶打造高性能的點膠設(shè)備。客戶應(yīng)用為MCUCAD100-200Hz并通過調(diào)節(jié)噴嘴的移動速度來控制間距。圖3.4高速點膠工藝方案實施效果放，代碼的易維護性也有極大提升。產(chǎn)線監(jiān)控案例背景與需求案架構(gòu)為這些需求提供了解決思路。實施案例3.5圖3.5基于邊緣計算視覺的產(chǎn)線監(jiān)控架構(gòu)AIAI構(gòu)支持第三方算法入駐，使產(chǎn)線場景適配更簡單。圖3.6星辰視界豐富的自有能力實施效果基于邊緣計算視覺技術(shù)的產(chǎn)線監(jiān)控架構(gòu)能夠根據(jù)邊緣節(jié)點的計算能力以及總結(jié)與展望4.05G數(shù)據(jù)中心一起，成為未來工業(yè)“新基建”的發(fā)展重點。挑戰(zhàn)3C1、工業(yè)信息孤島導(dǎo)致數(shù)據(jù)短缺戰(zhàn)略，需頭部企業(yè)打破工業(yè)信息孤島，發(fā)揮工業(yè)數(shù)據(jù)資產(chǎn)價值。2、工業(yè)視覺解決方案通用性不強擴展的通用工業(yè)視覺解決方案。展望以下四個方向邁進：1、建立工業(yè)視覺產(chǎn)業(yè)生態(tài)，推動商業(yè)化落地進程品，降低中小企業(yè)應(yīng)用門檻，加快商業(yè)化落地進程。2、依托移動網(wǎng)絡(luò)優(yōu)勢，打造工業(yè)數(shù)據(jù)共享平臺互流通，形成多源數(shù)據(jù)流動，促進工業(yè)視覺產(chǎn)業(yè)的良性循環(huán)?？s略語列表縮略語英文全名中文解釋5G5thGenerationMobileCommunicationTechnology第五代移動通信技術(shù)CCDChargeCoupledDevice電荷耦合器件CMOSComplementaryMetalOxideSemiconductor互補金屬氧化物半導(dǎo)體CPUCentralProcessingUnit中央處理單元DNNDeepNeuralNetworks深度神經(jīng)網(wǎng)絡(luò)ECCEdgeComputingConsortium邊緣計算產(chǎn)業(yè)聯(lián)盟ERPEnterpriseResourcePlanning企業(yè)資源計劃FFTFastFourierTransform快速傅里葉變換GPSGlobalPositioningSystem全球定位系統(tǒng)GPUGraphicsProcessingUnit圖形處理單元IDCInternetDataCenter互聯(lián)網(wǎng)數(shù)據(jù)中心IoTInternetofThings物聯(lián)網(wǎng)