鯤鵬智能計(jì)算導(dǎo)論 課件 第12章 基于鯤鵬智能計(jì)算平臺(tái)的深度學(xué)習(xí)案例實(shí)踐

第12章

基于鯤鵬智能計(jì)算平臺(tái)的深度學(xué)習(xí)案例實(shí)踐鯤鵬智能計(jì)算導(dǎo)論12.1鯤鵬智能計(jì)算平臺(tái)12.2基于昇騰AI處理器的口罩檢測(cè)案例實(shí)踐學(xué)習(xí)要點(diǎn)12.1.1昇騰AI處理器昇騰910處理器主要用于深度學(xué)習(xí)模型訓(xùn)練場(chǎng)景，可以為模型訓(xùn)練提供強(qiáng)大算力。昇騰910芯片采用7nm先進(jìn)工藝，單芯片計(jì)算密度在業(yè)內(nèi)領(lǐng)先，是同時(shí)代的英偉達(dá)TeslaV100GPU的兩倍，16位浮點(diǎn)數(shù)（FP16）算力達(dá)到256TFLOPS，8位整數(shù)（INT8）算力達(dá)到512TOPS，同時(shí)支持128位通道全高清視頻解碼（H.264/H.265）。昇騰310處理器主要用于模型推理場(chǎng)景。推理場(chǎng)景對(duì)算力的需求相對(duì)較小，昇騰310芯片采用12nm制造工藝，最大能耗僅為8W，16位浮點(diǎn)數(shù)（FP16）算力達(dá)到8TFLOPS，8位整數(shù)（INT8）算力達(dá)到16TOPS，支持16位通道全高清視頻解碼，可以很好地滿足邊緣計(jì)算產(chǎn)品和移動(dòng)端設(shè)備進(jìn)行模型推理的算力需求。昇騰AI處理器910昇騰AI處理器31012.1.1昇騰AI處理器昇騰AI處理器使用華為自研的達(dá)·芬奇架構(gòu)，針對(duì)深度神經(jīng)網(wǎng)絡(luò)大量矩陣運(yùn)算的特點(diǎn)，設(shè)計(jì)了高性能的3DCube矩陣計(jì)算單元，每個(gè)矩陣計(jì)算單元在一個(gè)時(shí)鐘周期內(nèi)可以完成4096次乘加計(jì)算，再結(jié)合向量計(jì)算單元和標(biāo)量計(jì)算單元，可以非常靈活且高效地完成各種運(yùn)算。達(dá)·芬奇架構(gòu)使用了統(tǒng)一硬件架構(gòu)，可以進(jìn)行多核靈活擴(kuò)展以適應(yīng)不同應(yīng)用場(chǎng)景。一次開發(fā)可支持多場(chǎng)景部署、遷移和協(xié)同，統(tǒng)一的架構(gòu)提升了上層軟件開發(fā)效率，也帶來了能耗上的優(yōu)勢(shì)。達(dá)·芬奇架構(gòu)可以支持能耗從幾十毫瓦到幾百瓦的芯片，可靈活應(yīng)對(duì)不同場(chǎng)景，滿足性能與能耗的需求。除搭載基于達(dá)·芬奇架構(gòu)的AI加速模塊外，昇騰AI處理器還搭載了硬件級(jí)別的圖像處理模塊，可以快速完成常見的圖像預(yù)處理操作，如圖片編/解碼、縮放、色域轉(zhuǎn)換等。此外，昇騰AI處理器還擁有高效的緩存系統(tǒng)和豐富的I/O接口，能靈活應(yīng)對(duì)各場(chǎng)景下的計(jì)算需求，為各場(chǎng)景下的AI應(yīng)用提供強(qiáng)勁的基礎(chǔ)算力。12.1.2

鯤鵬AI計(jì)算服務(wù)器Atlas800訓(xùn)練服務(wù)器華為的Atlas800訓(xùn)練服務(wù)器（型號(hào)為9000）是基于鯤鵬920和昇騰910處理器的AI訓(xùn)練服務(wù)器，具有極強(qiáng)算力密度、超高能效與高速網(wǎng)絡(luò)帶寬等特點(diǎn)。該服務(wù)器廣泛應(yīng)用于深度學(xué)習(xí)模型開發(fā)和訓(xùn)練，適用于智慧城市、智慧醫(yī)療、天文探索、石油勘探等需要大算力的行業(yè)領(lǐng)域。Atlas800推理服務(wù)器Atlas800推理服務(wù)器（型號(hào)為3000）是基于鯤鵬920處理器的服務(wù)器，可支持8個(gè)Atlas300I推理卡（型號(hào)為3000），可提供強(qiáng)大的實(shí)時(shí)推理能力。12.1.2

鯤鵬AI計(jì)算服務(wù)器鯤鵬AI推理加速型實(shí)例kAi1s是以昇騰310芯片為加速核心的AI加速型云服務(wù)器；基于昇騰310芯片低能耗、高算力的特性，實(shí)現(xiàn)了能效比的大幅提升，助力AI推理業(yè)務(wù)的快速普及；通過鯤鵬AI推理加速型實(shí)例kAi1s將昇騰310芯片的計(jì)算加速能力在公有云上開放出來，方便用戶快速、簡(jiǎn)捷地使用昇騰310芯片強(qiáng)大的處理能力。鯤鵬智能計(jì)算平臺(tái)基于昇騰AI處理器的口罩檢測(cè)案例實(shí)踐學(xué)習(xí)要點(diǎn)12.112.212.2.1任務(wù)概述訓(xùn)練并部署口罩檢測(cè)模型對(duì)算力有較高需求，鯤鵬智能計(jì)算平臺(tái)基于鯤鵬處理器和昇騰AI處理器提供靈活且高效的算力支持，可以方便高效地訓(xùn)練、部署口罩檢測(cè)模型。本案例將探索基于昇騰AI服務(wù)器完成口罩檢測(cè)模型的訓(xùn)練及部署。本案例包含以下兩個(gè)任務(wù)。（1）基于Atlas服務(wù)器的口罩檢測(cè)模型訓(xùn)練，模型訓(xùn)練部分對(duì)算力有較高的要求，搭載了鯤鵬920CPU和昇騰910AI處理器的Atlas系列訓(xùn)練服務(wù)器可以高效地完成訓(xùn)練過程。（2）基于kAi1s的口罩檢測(cè)模型推理部署，邊緣側(cè)的AI模型推理部署需要平衡算力和能耗，搭載了鯤鵬920CPU和昇騰310AI處理器的kAi1s云服務(wù)器可以很好地滿足推理部署對(duì)性能和能耗的要求。12.2.2基于Atlas服務(wù)器的口罩檢測(cè)模型訓(xùn)練環(huán)境準(zhǔn)備01OPTION（1）安裝驅(qū)動(dòng)。要想在搭載鯤鵬處理器和昇騰AI處理器的服務(wù)器上訓(xùn)練深度學(xué)習(xí)模型，首先要安裝相關(guān)的驅(qū)動(dòng)、軟件，具體可參考相應(yīng)的產(chǎn)品文檔。12.2.2基于Atlas服務(wù)器的口罩檢測(cè)模型訓(xùn)練環(huán)境準(zhǔn)備01OPTION（2）獲取訓(xùn)練環(huán)境下的Docker鏡像驅(qū)動(dòng)并安裝完畢后，還需要安裝TensorFlow等軟件環(huán)境，昇騰社區(qū)提供內(nèi)置訓(xùn)練環(huán)境的Docker鏡像，可以通過Docker鏡像啟動(dòng)訓(xùn)練環(huán)境。Docker鏡像獲取界面如圖所示。12.2.2基于Atlas服務(wù)器的口罩檢測(cè)模型訓(xùn)練數(shù)據(jù)集準(zhǔn)備02OPTION本案例使用已標(biāo)注好的口罩檢測(cè)數(shù)據(jù)集，其中包含500張已標(biāo)注圖片用于訓(xùn)練、驗(yàn)證，8張未標(biāo)注圖片用于在線測(cè)試。標(biāo)簽數(shù)據(jù)為XML格式，標(biāo)注信息包括檢測(cè)框的類別（person、face、mask），以及檢測(cè)框的坐標(biāo)（分別是左上角的x坐標(biāo)，左上角的y坐標(biāo)，右下角的x坐標(biāo)及右下角的y坐標(biāo)）。標(biāo)簽數(shù)據(jù)樣例如下。算法選擇03OPTION12.2.2基于Atlas服務(wù)器的口罩檢測(cè)模型訓(xùn)練目標(biāo)檢測(cè)任務(wù)不僅要判斷目標(biāo)的類別，還要定位目標(biāo)的位置。在本案例中，不僅要判斷目標(biāo)的類別，包括人（person）、臉（face）、口罩（mask），還要定位目標(biāo)框的位置。實(shí)現(xiàn)目標(biāo)檢測(cè)的算法有很多，經(jīng)典的深度學(xué)習(xí)算法包括更快的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（FasterRegion-basedConvolutionalNeuralNetwork，F(xiàn)asterR-CNN）、YOLO（YouOnlyLookOnce）、單次多邊框檢測(cè)（SingleShotMultiboxDetector）等。YOLOv3是YOLO算法演進(jìn)的第3個(gè)版本，也是目前應(yīng)用得最多的版本之一。YOLOv3的精度稍好于SSD，比RetinaNet差，但是速度是SSD、RetinaNet、FasterR-CNN的2倍以上。YOLOv3處理單張輸入尺寸為320像素×320像素的圖片僅需22ms，可以很好地滿足實(shí)際生產(chǎn)環(huán)境對(duì)實(shí)時(shí)性的要求。模型訓(xùn)練04OPTION12.2.2基于Atlas服務(wù)器的口罩檢測(cè)模型訓(xùn)練在配置好軟件環(huán)境后，便可在鯤鵬智能計(jì)算平臺(tái)上進(jìn)行代碼編寫、調(diào)測(cè)、運(yùn)行。此處以TensorFlow為例編碼實(shí)現(xiàn)YOLOv3模型，并啟動(dòng)訓(xùn)練。YOLOv3訓(xùn)練源碼可從昇騰社區(qū)獲取。模型訓(xùn)練04OPTION12.2.2基于Atlas服務(wù)器的口罩檢測(cè)模型訓(xùn)練其代碼結(jié)構(gòu)如下。模型訓(xùn)練04OPTION12.2.2基于Atlas服務(wù)器的口罩檢測(cè)模型訓(xùn)練（1）啟動(dòng)訓(xùn)練任務(wù)，命令如下。bashnpu_train_1p_single.sh（2）測(cè)試集評(píng)估，命令如下。basheval.sh（3）模型導(dǎo)出。將訓(xùn)練生成的TensorFlowcheckpoint模型文件導(dǎo)出為獨(dú)立的pb格式的文件。pb是一種序列化格式，具有語言獨(dú)立性，可獨(dú)立運(yùn)行，任何語言都可以解析它。將模型文件轉(zhuǎn)換成pb文件后，后續(xù)的模型轉(zhuǎn)換及推理操作可以脫離原有的TensorFlow框架。pythonfrozen_graph.py--ckpt_path=./training/t1/D0/model-final_step_182000_loss_20.7885_lr_0環(huán)境準(zhǔn)備01OPTION12.2.3

基于kAi1s的口罩檢測(cè)模型推理部署kAi1s是搭載了鯤鵬處理器和昇騰310AI處理器的云服務(wù)器，提供了完整的軟硬件開發(fā)環(huán)境，可以在kAi1s上方便地進(jìn)行AI推理應(yīng)用的開發(fā)和測(cè)試。參考華為云的官方文檔模型轉(zhuǎn)換02OPTION12.2.3基于kAi1s的口罩檢測(cè)模型推理部署ATC工具不僅可以完成對(duì)昇騰AI處理器的適配，還可以在轉(zhuǎn)換過程中實(shí)現(xiàn)算子調(diào)度的優(yōu)化、權(quán)值數(shù)據(jù)重排、內(nèi)存使用優(yōu)化等，可以脫離設(shè)備完成模型的預(yù)處理。本案例中使用ATC工具將TensorFlow訓(xùn)練出的pb格式的口罩檢測(cè)模型轉(zhuǎn)換為昇騰芯片支持的om格式的離線模型，轉(zhuǎn)換命令如下。atc--framework=3--model="/home/Ascend/projects/mask_detection/model/yolov3_mask_100.pb"--input_shape="input_data:1,416,416,3"--input_format=NHWC--output="/home/Ascend/projects/mask_detection/model/yolov3_mask_100"--soc_version=Ascend310轉(zhuǎn)換成功后會(huì)生成對(duì)應(yīng)的om格式的模型文件算子開發(fā)03OPTION12.2.3基于kAi1s的口罩檢測(cè)模型推理部署當(dāng)遇到算子庫不支持的算子或想提高算子性能的時(shí)候，可以使用昇騰軟件棧提供的張量加速引擎（TensorBoostEngine，TBE）來進(jìn)行自定義算子的開發(fā)。領(lǐng)域特定語言（Domain-SpecificLanguage，DSL）對(duì)外提供高階封裝接口，開發(fā)者僅需要使用DSL接口完成計(jì)算過程的表達(dá)，后續(xù)的計(jì)劃創(chuàng)建、優(yōu)化及編譯都可通過已有接口一鍵完成，適合初級(jí)開發(fā)者。DSL開發(fā)的算子性能可能較低。張量迭代內(nèi)核（TensorIteratorKernel，TIK）對(duì)外提供底層的封裝接口，提供對(duì)緩存的管理和數(shù)據(jù)自動(dòng)同步機(jī)制，需要開發(fā)者手動(dòng)計(jì)算數(shù)據(jù)的分片和索引，這要求開發(fā)者對(duì)達(dá)·芬奇架構(gòu)有一定的了解，入門難度更高。TIK對(duì)矩陣的操作更加靈活，性能更優(yōu)。領(lǐng)域特定語言張量迭代內(nèi)核算子開發(fā)03OPTION12.2.3基于kAi1s的口罩檢測(cè)模型推理部署DSL和TIK的開發(fā)流程在本質(zhì)上是一樣的，只不過抽象層次不一樣?；赥BE的DSL實(shí)現(xiàn)的自定義算子的代碼結(jié)構(gòu)如下?；赥BE的DSL的自定義算子開發(fā)流程通常有4個(gè)步驟：定義輸入占位符、編寫計(jì)算邏輯、自動(dòng)調(diào)度和算子編譯。模型推理04OPTION12.2.3基于kAi1s的口罩檢測(cè)模型推理部署昇騰軟件棧提供了一套昇騰計(jì)算語言（AscendComputingLanguage，ACL）接口，以便管理和使用昇騰軟硬件計(jì)算資源，并進(jìn)行機(jī)器學(xué)習(xí)相關(guān)計(jì)算。使用ACL接口可以快速完成推理代碼的編寫，無須關(guān)注底層的硬件細(xì)節(jié)。目前，ACL接口提供C++和Python兩種編程語言接口。模型推理04OPTION12.2.3基于kAi1s的口罩檢測(cè)模型推理部署下面以Python編程語言接口為例介紹基于昇騰AI處理器的模型推理過程。（1）運(yùn)行資源管理，具體代碼如下。模型推理04OPTION12.2.3基于kAi1s的口罩檢測(cè)模型推理部署（2）加載模型，具體代碼如下。（3）預(yù)處理，具體代碼如下。模型推理04OPTION12.2.3基于kAi1s的口罩檢測(cè)模型推理部署（4）模型推理，具體代