2023AICheck工業(yè)視覺檢測(cè)平臺(tái)V1.0使用手冊(cè)

山東省春秋季秸稈焚燒火點(diǎn)遙感監(jiān)測(cè)系統(tǒng)V1.0AICheck工業(yè)視覺檢測(cè)平臺(tái)V1.0使用說明文檔 目錄1 軟件概述 軟件概述AICheck工業(yè)視覺檢測(cè)平臺(tái)，集數(shù)據(jù)采集、在線樣本標(biāo)注、一鍵模型訓(xùn)練、任務(wù)管理、在線檢測(cè)和結(jié)果輸出于一體，提供一站式AI服務(wù)，用戶可快速應(yīng)用海量的成熟算法，實(shí)現(xiàn)了端到端服務(wù)。本軟件核心技術(shù)涉及人工智能、2D/3D視覺和云計(jì)算，核心功能包括目標(biāo)識(shí)別、OCR識(shí)別、瑕疵檢測(cè)和目標(biāo)測(cè)量，應(yīng)用場(chǎng)景包括但不限于家電領(lǐng)域、汽車制造、電力巡檢、氣象服務(wù)、電子工業(yè)等。AICheck工業(yè)視覺檢測(cè)平臺(tái)將應(yīng)用于工業(yè)生產(chǎn)中的各個(gè)工序，包括制造、質(zhì)檢等環(huán)節(jié)，其中質(zhì)檢是應(yīng)用最為廣泛的場(chǎng)景，涉及產(chǎn)品外觀缺陷檢測(cè)、缺失性檢測(cè)，如金屬表面的劃痕、斑點(diǎn)、孔洞，紙張表面的色差、壓痕，玻璃等非金屬表面的夾雜、破損、污點(diǎn)，PCB板電阻電容等元件瑕疵檢測(cè)等等。人工質(zhì)檢耗費(fèi)大量的人力，并且由于視覺疲勞，效率低，質(zhì)量低，AICheck工業(yè)視覺檢測(cè)平臺(tái)質(zhì)檢檢測(cè)指標(biāo)優(yōu)于人工，檢測(cè)指標(biāo)更穩(wěn)定，有效提升缺陷檢測(cè)質(zhì)量；簡單操作與快捷部署圖形化、零代碼，一鍵式模型下發(fā)，非專業(yè)人員快速上手，具有良好的可擴(kuò)展性。AICheck工業(yè)視覺檢測(cè)平臺(tái)致力于賦能行業(yè)應(yīng)用，助力智能化工業(yè)。平臺(tái)集成了豐富的目標(biāo)識(shí)別、OCR識(shí)別、瑕疵檢測(cè)和目標(biāo)測(cè)量算法，涵蓋Pytorch等多種深度學(xué)習(xí)框架，支持在線標(biāo)注、一鍵式模型訓(xùn)練、靈活部署，降低AI算法使用門檻，簡化操作，使AI算法落地工業(yè)應(yīng)用，服務(wù)企業(yè)生產(chǎn)，使企業(yè)提質(zhì)、降本、增效，逐步實(shí)現(xiàn)自動(dòng)化和智能化水平。本文檔面向的讀者對(duì)象主要是軟件用戶，為用戶提供使用說明。版本號(hào)V1.0。運(yùn)行環(huán)境客戶端采用Windows7及以上操作系統(tǒng)。推薦使用火狐瀏覽器、谷歌瀏覽器。開發(fā)環(huán)境硬件品牌GPU運(yùn)行內(nèi)存操作系統(tǒng)主頻DELLNVIDIAGeforceRTX3080Ti(11G)16gWindows103.3GHZ開發(fā)軟件開發(fā)軟件：VScode，pycharm2021，Visualstudio2019。開發(fā)語言：JavaScript和Python。GPU相關(guān)：CUDA11.1軟件功能與使用操作說明用戶登錄點(diǎn)擊系統(tǒng)網(wǎng)址(http://localhost:8010/)進(jìn)入系統(tǒng)登錄界面（圖1），初次登錄用戶需要注冊(cè),點(diǎn)擊右上角“注冊(cè)”按鈕，進(jìn)行用戶注冊(cè)，注冊(cè)需要“用戶名”、“真實(shí)姓名”、“密碼”、“確認(rèn)密碼”（圖2）。注冊(cè)后經(jīng)管理員進(jìn)行身份驗(yàn)證，通過后方可使用。圖4登錄界面圖7注冊(cè)用戶界面主界面和功能模塊介紹AICheck工業(yè)視覺檢測(cè)平臺(tái)主界面如圖3所示，包括【模型訓(xùn)練】【在線服務(wù)】和【系統(tǒng)管理】三大功能，涵蓋目標(biāo)識(shí)別、OCR識(shí)別、瑕疵檢測(cè)和目標(biāo)測(cè)量四個(gè)應(yīng)用場(chǎng)景。下面分別進(jìn)行詳細(xì)介紹：圖8模型訓(xùn)練首頁模型訓(xùn)練模型訓(xùn)練功能模塊主要包括不同場(chǎng)景項(xiàng)目的創(chuàng)建和管理、數(shù)據(jù)傳輸、在線數(shù)據(jù)集制作、一鍵模型訓(xùn)練、在線訓(xùn)練報(bào)告、模型驗(yàn)證以及生成測(cè)試報(bào)告并導(dǎo)出。項(xiàng)目創(chuàng)建和管理【模型訓(xùn)練】模塊主要為用戶提供目標(biāo)識(shí)別、OCR識(shí)別、瑕疵檢測(cè)和目標(biāo)測(cè)量等模型的訓(xùn)練平臺(tái)，用戶可以自主選擇訓(xùn)練場(chǎng)景和需要的訓(xùn)練功能，進(jìn)入實(shí)現(xiàn)模型訓(xùn)練功能。在界面中提供“創(chuàng)建項(xiàng)目”和“項(xiàng)目總覽”功能。“創(chuàng)建項(xiàng)目”項(xiàng)目類型一共有“目標(biāo)識(shí)別”，“OCR識(shí)別”，“瑕疵監(jiān)測(cè)”，“圖像分類”四個(gè)模塊，根據(jù)需求，點(diǎn)擊其中任意模塊，會(huì)彈出新建項(xiàng)目的信息（圖4），選擇任務(wù)相關(guān)產(chǎn)業(yè)類型（圖5），填寫項(xiàng)目名稱，點(diǎn)擊創(chuàng)建即可創(chuàng)建新項(xiàng)目，新創(chuàng)建的項(xiàng)目會(huì)顯示在【項(xiàng)目總覽】列表中。圖9創(chuàng)建項(xiàng)目圖10創(chuàng)建項(xiàng)目在【項(xiàng)目總覽】界面可以通過搜索功能查找指定項(xiàng)目，進(jìn)行刪除或進(jìn)入指定項(xiàng)目功能。總覽列表顯示各個(gè)項(xiàng)目的類型、ID、名稱、創(chuàng)建時(shí)間、創(chuàng)建者、任務(wù)類型，進(jìn)入項(xiàng)目可對(duì)項(xiàng)目進(jìn)行具體操作。圖11項(xiàng)目總覽數(shù)據(jù)導(dǎo)入點(diǎn)擊“項(xiàng)目總覽”表相應(yīng)項(xiàng)目的“進(jìn)入”按鈕可進(jìn)入項(xiàng)目，進(jìn)入項(xiàng)目可進(jìn)行上傳圖片、刪除圖片、在線樣本標(biāo)注、圖像縮放顯示、訓(xùn)練模型、驗(yàn)證模型等操作，如圖7。頁面左側(cè)為圖片列表，中間為圖像顯示區(qū)，右側(cè)作為結(jié)果區(qū)。圖12模型訓(xùn)練交互界面點(diǎn)擊左上角按鈕選擇圖片或拖拽到指定區(qū)域再點(diǎn)擊上傳即可上傳樣本圖片，如圖8，9，10所示。圖13上傳圖片圖14上傳圖片圖15確認(rèn)上傳選擇想要?jiǎng)h除的樣本圖片，點(diǎn)擊左上角按鈕可刪除樣本。按鈕可對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)劃分、導(dǎo)出等一系列操作。圖16圖片管理在線樣本標(biāo)注模型訓(xùn)練之前需要對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)集制作，本平臺(tái)提供在線樣本標(biāo)注工具。樣本標(biāo)注流程為：上傳圖片->定義標(biāo)簽->選擇標(biāo)簽->矩形框工具標(biāo)注->點(diǎn)擊保存。樣本標(biāo)工具如圖所示，具體步驟如下：圖17在線樣本標(biāo)注工具首先，點(diǎn)擊界面右上方“”添加標(biāo)簽，用戶自定義標(biāo)簽的名字，比如“defect”,目前版本僅支持標(biāo)簽為數(shù)字和英文，不支持中文格式，平臺(tái)自動(dòng)給不同的標(biāo)簽類型分配顏色，用戶也可以自主選擇顏色。點(diǎn)擊按鈕可以刪除標(biāo)簽。圖18定義標(biāo)簽圖19標(biāo)簽顯示創(chuàng)建好標(biāo)簽后，選中標(biāo)簽，點(diǎn)擊中間圖像顯示界面上方的按鈕可以對(duì)圖像中的目標(biāo)進(jìn)行矩形框標(biāo)注，標(biāo)注時(shí)要將目標(biāo)包裹完全，矩形框不宜過大過小，圖像中有幾個(gè)目標(biāo)則需要標(biāo)注幾次，標(biāo)注完成后點(diǎn)擊保存按鈕，即可完成圖片標(biāo)簽的生成。如果標(biāo)注過程中，矩形框標(biāo)注不準(zhǔn)確，選中矩形框后點(diǎn)擊后可刪除矩形框。另外，點(diǎn)擊可拖動(dòng)圖片，滾動(dòng)滑輪可縮放圖片，可以撤銷可恢復(fù)操作。對(duì)所有圖片打完標(biāo)簽則形成了樣本數(shù)據(jù)集。圖SEQ圖\*ARABIC20樣本標(biāo)注一鍵模型訓(xùn)練數(shù)據(jù)集制作完成后，點(diǎn)擊按鈕進(jìn)行模型訓(xùn)練。訓(xùn)練界面如圖所示，可以進(jìn)行數(shù)據(jù)增強(qiáng)模塊的選擇，算法類型的選擇（目前支持R-ODY，R-DDY算法，），學(xué)習(xí)次數(shù)設(shè)置和GPU選項(xiàng)。開始訓(xùn)練后在右側(cè)訓(xùn)練報(bào)告模塊展示訓(xùn)練過程，可以實(shí)時(shí)監(jiān)測(cè)訓(xùn)練狀態(tài)，包括訓(xùn)練時(shí)間、進(jìn)度、模型精度等信息，如圖12所示。另外，本平臺(tái)提供歷史版本模型管理。圖21模型訓(xùn)練參數(shù)設(shè)置圖SEQ圖\*ARABIC22訓(xùn)練報(bào)告模型驗(yàn)證點(diǎn)擊按鈕，可對(duì)訓(xùn)練完成的模型進(jìn)行模型效果的驗(yàn)證，選擇進(jìn)行驗(yàn)證的模型，一鍵驗(yàn)證，右側(cè)同樣展示驗(yàn)證過程，包括驗(yàn)證進(jìn)度和模型評(píng)價(jià)指標(biāo)統(tǒng)計(jì)（每一類的精準(zhǔn)率、召回率和F1-score），如圖所示。點(diǎn)擊右側(cè)“導(dǎo)出報(bào)告”展示檢測(cè)圖片和對(duì)應(yīng)的檢測(cè)結(jié)果，“ctrl+s”可以下載html格式驗(yàn)證報(bào)告。圖23模型驗(yàn)證參數(shù)設(shè)置圖24驗(yàn)證報(bào)告圖25驗(yàn)證報(bào)告圖26下載驗(yàn)證報(bào)告在線服務(wù)【在線服務(wù)】模塊（圖13）實(shí)現(xiàn)了硬件和平臺(tái)的連接，即能夠完成相機(jī)實(shí)時(shí)拍攝和平臺(tái)的實(shí)時(shí)處理，能夠?qū)F(xiàn)場(chǎng)采集的圖片上傳到服務(wù)器，服務(wù)器調(diào)用模型完成圖像檢測(cè)，將結(jié)果顯示在平臺(tái)上。界面包含“項(xiàng)目創(chuàng)建”和“項(xiàng)目總覽”兩個(gè)功能。項(xiàng)目創(chuàng)建和管理項(xiàng)目創(chuàng)建功能可創(chuàng)建四個(gè)類別的項(xiàng)目，分別為【目標(biāo)識(shí)別】、【OCR識(shí)別】、【瑕疵監(jiān)測(cè)】、【目標(biāo)測(cè)量】。點(diǎn)擊任意類型創(chuàng)建項(xiàng)目彈出項(xiàng)目創(chuàng)建界面，彈出創(chuàng)建項(xiàng)目的詳細(xì)信息（圖13），包括【項(xiàng)目名稱】、【任務(wù)類型】、【ip地址】、【端口地址】、【廠商名稱】、【描述】、【輸入路徑】、【輸出路徑】、【選擇模型】。填寫完畢點(diǎn)擊創(chuàng)建新項(xiàng)目，在下方項(xiàng)目總覽模塊查找。項(xiàng)目總覽模塊界面可以通過搜索功能查找指定項(xiàng)目，進(jìn)行刪除或進(jìn)入指定項(xiàng)目功能。圖27在線服務(wù)界面圖28創(chuàng)建項(xiàng)目相機(jī)連接完成相機(jī)、光電傳感器和串口通信485電路板的硬件連通之后，相機(jī)與平臺(tái)應(yīng)在統(tǒng)一局域網(wǎng)范圍內(nèi)，目前平臺(tái)支持的相機(jī)品牌包括大華和?？低?。啟動(dòng)相機(jī)拍攝執(zhí)行器，此時(shí)平臺(tái)界面會(huì)顯示發(fā)現(xiàn)的相機(jī)列表，選擇串口信息，點(diǎn)擊開啟相機(jī)，即可進(jìn)行相機(jī)拍攝和數(shù)據(jù)傳輸，另外根據(jù)拍攝的需求可進(jìn)行曝光時(shí)間的調(diào)整。實(shí)時(shí)檢測(cè)實(shí)時(shí)檢測(cè)部分將實(shí)時(shí)拍攝的照片傳輸?shù)狡脚_(tái)，平臺(tái)實(shí)時(shí)對(duì)圖片進(jìn)行檢測(cè)處理，實(shí)時(shí)反饋檢測(cè)結(jié)果并顯示。在線服務(wù)模塊項(xiàng)目詳情界面（圖15）分為四部分，分別為【項(xiàng)目信息及模型信息】、【圖片顯示】、【圖片列表】、【相機(jī)參數(shù)】四部分。在【項(xiàng)目信息及模型信息】部分展示項(xiàng)目詳情和模型詳情，在【相機(jī)參數(shù)】部分展示設(shè)備連接狀態(tài)，在【圖片列表】實(shí)時(shí)結(jié)果部分展示實(shí)時(shí)接進(jìn)來的圖片列表，在歷史結(jié)果中展示過往傳進(jìn)來的圖片信息，選中列表中任意圖片，可在【圖片顯示】部分顯示出來原始圖片和相應(yīng)的檢測(cè)結(jié)果，點(diǎn)擊刪除按鈕，即可把該圖片刪除。圖29在線檢測(cè)系統(tǒng)管理【系統(tǒng)管理】功能用于管理員查看用戶的信息以及對(duì)項(xiàng)目類型、在線服務(wù)類型進(jìn)行配置，如圖16所示。用戶對(duì)象、角色列表、在線用戶功能可對(duì)用戶進(jìn)行管理。圖30在【項(xiàng)目類型配置】模塊點(diǎn)擊，補(bǔ)充類型名稱、類型編碼、類型描述、類型圖片點(diǎn)擊確定按鈕可添加項(xiàng)目類型，如圖18所示，對(duì)于選中想要?jiǎng)h除的