華為算力產(chǎn)業(yè)鏈深度系列研究-華為昇騰服務(wù)器研究框架

華為算力產(chǎn)業(yè)鏈深度系列研究分析師系列硬件.站在當(dāng)前科技重大轉(zhuǎn)折點(diǎn)——ChatGPT時(shí)刻，科技企業(yè)的競(jìng)爭(zhēng)日益聚焦于AIGC領(lǐng)域，大模型成為核心競(jìng)爭(zhēng)力的重要體現(xiàn)。華為作為國(guó)內(nèi)科技龍頭，2021年發(fā)布的盤(pán)古大模型有望在AIGC時(shí)代中引領(lǐng)潮流。其中，昇騰全棧AI軟硬件平臺(tái)構(gòu)筑智能世界的基石，昇騰計(jì)算產(chǎn)業(yè)生態(tài)不斷發(fā)展完善，為盤(pán)古大模型提供了底層算力支撐。1、昇騰系列硬件：AI處理器+多產(chǎn)品形態(tài)?以昇騰AI處理器為基礎(chǔ)，通過(guò)模塊、標(biāo)卡、小站、服務(wù)器等豐富的產(chǎn)品形態(tài)，打造面向“端、邊、云“的全棧解決方案，為整個(gè)昇騰AI產(chǎn)業(yè)的底層核心支撐。2、CANN：針對(duì)AI場(chǎng)景提出的異構(gòu)計(jì)算架構(gòu)?作為華為昇騰AI基礎(chǔ)軟硬件平臺(tái)的核心，CANN向上支持多種AI框架，向下服務(wù)AI處理器與編程，以極致性能、極簡(jiǎn)開(kāi)發(fā)、開(kāi)放生態(tài)為目標(biāo)，助力昇騰構(gòu)建全場(chǎng)景人工智能平臺(tái)。3、MindSpore：面向全場(chǎng)景的AI計(jì)算框架?國(guó)內(nèi)首個(gè)支持千億參數(shù)大模型訓(xùn)練AI框架，支持終端、邊緣、云全場(chǎng)景靈活部署，開(kāi)創(chuàng)全新的AI編程范式，致力于實(shí)現(xiàn)開(kāi)發(fā)態(tài)友好、運(yùn)行態(tài)高效、全場(chǎng)景按需協(xié)同三大目標(biāo)，降低AI開(kāi)發(fā)門(mén)檻。4、MindX：應(yīng)用使能=2個(gè)組件+1個(gè)模型庫(kù)+多行業(yè)SDK?深度學(xué)習(xí)組件MindXDL以提供參考架構(gòu)的方式，供業(yè)界平臺(tái)伙伴快速開(kāi)發(fā)商永版本的深度學(xué)習(xí)系統(tǒng)；智能邊緣組件MindXEdge可實(shí)現(xiàn)快速將云端模型推送至邊緣端部署，并將邊緣側(cè)未識(shí)別數(shù)據(jù)上傳至云端進(jìn)行增量訓(xùn)練；ModelZoo將AI開(kāi)發(fā)模型提前調(diào)優(yōu)后提供給開(kāi)發(fā)者進(jìn)行選擇。2個(gè)組件及1個(gè)模型庫(kù)支撐行業(yè)AI應(yīng)用落地，SDK凝聚行業(yè)知識(shí)、結(jié)合AI實(shí)踐。5、生態(tài)構(gòu)建及應(yīng)用落地：多領(lǐng)域合作，10+行業(yè)應(yīng)用，多方面解決方案?攜手賦能各領(lǐng)域合作伙伴和開(kāi)發(fā)者，目前圍繞昇騰計(jì)算體系，已在能源、金融、公共、交通、電信、制造、教育等多行業(yè)實(shí)現(xiàn)應(yīng)用，提供城市智能中樞、昇騰智巡、昇騰智行、昇騰制造等解決方案。建議關(guān)注標(biāo)的：神州數(shù)碼、拓維信息、麒麟信安、軟通動(dòng)力、常山北明、海量數(shù)據(jù)、潤(rùn)和軟件、英方軟件資料來(lái)源：昇騰社區(qū)官網(wǎng)，昇騰計(jì)算產(chǎn)業(yè)發(fā)展白皮書(shū)，浙商1、宏觀經(jīng)濟(jì)下行風(fēng)險(xiǎn)2、上游晶圓緊缺加劇的風(fēng)險(xiǎn)3、市場(chǎng)發(fā)展不及預(yù)期的風(fēng)險(xiǎn)4、行業(yè)競(jìng)爭(zhēng)超預(yù)期風(fēng)險(xiǎn)5本地IT部署云端IT部署ITIT部署形勢(shì)以本地構(gòu)建數(shù)據(jù)中心為主，只有政府、金融機(jī)構(gòu)和大型企業(yè)能夠負(fù)擔(dān)傳統(tǒng)服務(wù)器傳統(tǒng)服務(wù)器隨著云技術(shù)成熟，下游云服隨著云技術(shù)成熟，下游云服務(wù)商深度定制化的云服務(wù)器成為市場(chǎng)增長(zhǎng)的重要?jiǎng)恿ι窠?jīng)網(wǎng)絡(luò)需要更特殊的計(jì)算神經(jīng)網(wǎng)絡(luò)需要更特殊的計(jì)算架構(gòu)，AI極大的算力需求打開(kāi)AI服務(wù)器藍(lán)海市場(chǎng)AI服務(wù)器AI服務(wù)器“云+邊緣”的部署架構(gòu)形“云+邊緣”的部署架構(gòu)形勢(shì)已成為市場(chǎng)共識(shí)，邊緣機(jī)房環(huán)境與傳統(tǒng)數(shù)據(jù)中心迥異，帶來(lái)全新增量市場(chǎng)AI服務(wù)器AI服務(wù)器77傳統(tǒng)服務(wù)器業(yè)務(wù)VS傳統(tǒng)服務(wù)器業(yè)務(wù)VS云服務(wù)器租用業(yè)務(wù)高額的綜合信息化成本投入按需付費(fèi)，有效降低綜合成本高額的綜合信息化成本投入按需付費(fèi)，有效降低綜合成本難以確保獲得持續(xù)可控的產(chǎn)服務(wù)環(huán)境缺乏靈活的業(yè)務(wù)彈性快速的業(yè)務(wù)部署與配置、規(guī)模難以確保獲得持續(xù)可控的產(chǎn)服務(wù)環(huán)境缺乏靈活的業(yè)務(wù)彈性快速的業(yè)務(wù)部署與配置、規(guī)模硬件資源的隔離+獨(dú)享帶寬集中化的遠(yuǎn)程管理平臺(tái)+多級(jí)業(yè)能源、金融、公共、交通、電信、制造、教育等更多行業(yè)應(yīng)用能源、金融、公共、交通、電信、制造、教育等更多行業(yè)應(yīng)用AI框架全流程開(kāi)發(fā)工具鏈管理運(yùn)維工具算子、模型、應(yīng)用一站式高效開(kāi)發(fā)和極簡(jiǎn)部署全流程開(kāi)發(fā)工具鏈管理運(yùn)維工具算子、模型、應(yīng)用一站式高效開(kāi)發(fā)和極簡(jiǎn)部署服務(wù)器全生命周期智能運(yùn)維的管理軟件第三方平臺(tái)智能邊緣使能MindXSDK優(yōu)選模型庫(kù)深度學(xué)習(xí)使能ModelZoo華為IT產(chǎn)品運(yùn)維服務(wù)工具平臺(tái)華為IT產(chǎn)品運(yùn)維服務(wù)工具平臺(tái)可基于第三方框架開(kāi)發(fā)的模型進(jìn)行二次開(kāi)發(fā)、訓(xùn)練和推理匹配昇騰AI處理器算力的全場(chǎng)景深度學(xué)習(xí)框架統(tǒng)一異構(gòu)計(jì)算架構(gòu)，釋放昇騰硬件澎湃算力99昇騰系列AI處理器基于資料來(lái)源：鯤鵬社區(qū)官網(wǎng)，昇騰計(jì)算產(chǎn)業(yè)發(fā)展白皮書(shū)，浙商Atlas人工智能計(jì)算解決方案，覆蓋深度學(xué)習(xí)全昇騰系列AI處理器基礎(chǔ)軟件昇騰系列AI處理器基礎(chǔ)軟件“開(kāi)放、簡(jiǎn)單、可信”的AI解決方案 AI模塊AI模塊+AI加速卡+智能算力最強(qiáng)AI處理器自研華為達(dá)芬奇架構(gòu)NPU640算力最強(qiáng)AI處理器自研華為達(dá)芬奇架構(gòu)NPU640TOPS@INT8，320TFLOPS@FP16最大功耗310W?320TFLOPS@FP16和640T華為首款全棧全場(chǎng)景人工智能芯片自研華為達(dá)芬奇架構(gòu)NPU在8W數(shù)據(jù)精度下算力可達(dá)16TOPS高性能3DCube數(shù)千顆昇騰910Adapter其他算子開(kāi)發(fā)接口算子開(kāi)發(fā)接口TBE計(jì)算圖開(kāi)發(fā)接口計(jì)算圖開(kāi)發(fā)接口AIR應(yīng)用開(kāi)發(fā)接口應(yīng)用開(kāi)發(fā)接口其他GraphComplierGraphComplierTBETBERuntimeRuntimeHCCLGraphExecutorAIPPDVPPDVPP其他SVMVMHDC其他編譯及調(diào)試工具編程模型?支持端邊云全場(chǎng)景協(xié)同，支持超過(guò)10種設(shè)備編譯及調(diào)試工具編程模型?支持端邊云全場(chǎng)景協(xié)同，支持超過(guò)10種設(shè)備?支持多種計(jì)算架構(gòu)和計(jì)算框架，一套體系支?支持向后兼容和演進(jìn)，向后兼容是為了保護(hù)?支持多種計(jì)算架構(gòu)和計(jì)算框架，一套體系支?支持向后兼容和演進(jìn)，向后兼容是為了保護(hù)?具有極強(qiáng)的伸縮性和適應(yīng)性，適應(yīng)不同算力資料來(lái)源：昇騰計(jì)算產(chǎn)業(yè)發(fā)展白皮書(shū)，浙商函數(shù)/OOP編程范式融合AI+數(shù)值計(jì)算表達(dá)融合動(dòng)靜表達(dá)統(tǒng)一單機(jī)分布式表達(dá)統(tǒng)一ComplierAIComplierAI編譯器 硬件相關(guān)優(yōu)化量子自動(dòng)生成 MindSporeMindSporeHub預(yù)訓(xùn)練模型MindSporeExtend高階擴(kuò)展庫(kù)MindSporeExtend高階擴(kuò)展庫(kù)MindSporeDevKit開(kāi)發(fā)套件模型導(dǎo)入ModelZoo模型庫(kù)下載模型模型導(dǎo)出安全機(jī)制安全機(jī)制數(shù)據(jù)處理MindSporeData數(shù)據(jù)數(shù)據(jù)處理MindSporeData數(shù)據(jù)調(diào)試調(diào)優(yōu)MindSporeInsight可視化采用SCT的AD機(jī)制，實(shí)現(xiàn)對(duì)靜態(tài)圖和動(dòng)態(tài)圖的支持，高效易用，靜態(tài)圖和動(dòng)態(tài)圖模式切換只需要一行代碼。幫助開(kāi)發(fā)者提升網(wǎng)絡(luò)調(diào)試調(diào)優(yōu)效率，并獲得訓(xùn)練性能的收益。AutoParallel特性，用于實(shí)現(xiàn)自動(dòng)的數(shù)據(jù)并行和模型并行的混合并行訓(xùn)練，最大優(yōu)勢(shì)是易用和高性能。此外MindSpore可以結(jié)合內(nèi)存、計(jì)算和通信開(kāi)銷(xiāo)，為用戶(hù)選擇一個(gè)性能較優(yōu)的并行切分策略實(shí)現(xiàn)大規(guī)模網(wǎng)絡(luò)的線性加速、自動(dòng)全場(chǎng)景深度學(xué)習(xí)框架針對(duì)“端、邊、云”全場(chǎng)景提供一致的開(kāi)發(fā)和部署能力，以及按需協(xié)同能力，讓開(kāi)發(fā)者能夠?qū)崿F(xiàn)AI應(yīng)用在云、邊緣和手機(jī)上的快速部署，全場(chǎng)景互聯(lián)互通，更好利用資源和保護(hù)隱私，創(chuàng)造更加豐富的AI應(yīng)用。全場(chǎng)景深度學(xué)習(xí)框架快速多處部署：針對(duì)特定應(yīng)用場(chǎng)景，搜索滿(mǎn)足性能約束的模靈活易用：支持多種策略組合使用，打通云到端全流程，集中管理全流程策略和配置。資料來(lái)源：昇騰計(jì)算產(chǎn)業(yè)發(fā)展白皮書(shū)，浙商模型開(kāi)發(fā)應(yīng)用開(kāi)發(fā)?Al模型開(kāi)發(fā)應(yīng)用開(kāi)發(fā)?Al應(yīng)用開(kāi)發(fā)與調(diào)試?算法代碼自動(dòng)生成?模型市場(chǎng)ModelZo0?推理結(jié)果的圖形化展示?全系統(tǒng)調(diào)優(yōu)?支持MindSpore/caffe/TF等框架?離線模型轉(zhuǎn)換?模型算子精度比對(duì)?模型整網(wǎng)性能profiling分析?支持網(wǎng)絡(luò)模型的可視化算子開(kāi)發(fā)量?支持量?支持TBE自定義支持TBE自定義算子?語(yǔ)法智能糾錯(cuò)與代碼自定補(bǔ)全?支持算子工程的仿真調(diào)試?多設(shè)備日志即時(shí)查看?算子性能profiling分析MindStudioMindStudio開(kāi)發(fā)流程深度學(xué)習(xí)平臺(tái)基礎(chǔ)組件深度學(xué)習(xí)平臺(tái)基礎(chǔ)組件智能邊緣平臺(tái)基礎(chǔ)組件智能邊緣平臺(tái)基礎(chǔ)組件預(yù)訓(xùn)練高性能模型預(yù)訓(xùn)練高性能模型視頻分析視頻分析SDK智能制造智能制造SDK資料來(lái)源：昇騰計(jì)算產(chǎn)業(yè)發(fā)展白皮書(shū)，浙商數(shù)據(jù)集工具與樣例超100種超數(shù)據(jù)集工具與樣例超100種超50種降低開(kāi)發(fā)助力AI助力AI領(lǐng)域知識(shí)掌握直播課程個(gè)人課程直播課程個(gè)人課程超70門(mén)超20名專(zhuān)家輪值服務(wù)分層開(kāi)放能力問(wèn)題1h內(nèi)快速答復(fù)超20名專(zhuān)家輪值服務(wù)分層開(kāi)放能力問(wèn)題1h內(nèi)快速答復(fù)覆蓋～90%開(kāi)發(fā)者M(jìn)indXMindX MingStudio2.0覆蓋～10%開(kāi)發(fā)者AI框架MindSporeMindSpore覆蓋～1%開(kāi)發(fā)者CANNCANN資料來(lái)源：昇騰計(jì)算產(chǎn)業(yè)發(fā)展白皮書(shū)，浙商鼓勵(lì)伙伴發(fā)布關(guān)于昇騰的單獨(dú)生態(tài)計(jì)劃?rùn)?quán)益可疊加決方案集ODM決方案集ODMOEM學(xué)習(xí)階段學(xué)習(xí)階段（LDF，學(xué)習(xí)成長(zhǎng)基金）構(gòu)建階段構(gòu)建階段(PDF，產(chǎn)品開(kāi)發(fā)基金）上市階段(MDF上市階段(MDF，市場(chǎng)開(kāi)發(fā)基金）(MDF，市場(chǎng)開(kāi)發(fā)基金）人才培訓(xùn)人才培訓(xùn)云資源云資源樣機(jī)樣機(jī)MarketplaceMarketplace直接業(yè)績(jī)激勵(lì)直接業(yè)績(jī)激勵(lì)間接業(yè)績(jī)激勵(lì)資料來(lái)源：昇騰計(jì)算產(chǎn)業(yè)發(fā)展白皮書(shū)，浙商整機(jī)硬件伙伴整機(jī)硬件伙伴資料來(lái)源：昇騰計(jì)算產(chǎn)業(yè)發(fā)展白皮書(shū)，浙商通用計(jì)算：鯤鵬、X86通用計(jì)算：鯤鵬、X86機(jī)柜/電源/冷機(jī)/油機(jī)機(jī)柜/電源/冷機(jī)/油機(jī)合作伙伴深度學(xué)習(xí)平臺(tái)合作伙伴深度學(xué)習(xí)平臺(tái)可選數(shù)字工行（D-ICBC）智慧金融席智能席智能研發(fā)代碼生成金融行業(yè)通用模型金融行業(yè)通用模型 ++基于昇騰AI基于昇騰AI“思符”“思符”AI蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)平臺(tái)一鍵式蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)超長(zhǎng)序列結(jié)構(gòu)預(yù)測(cè)一鍵式蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)超長(zhǎng)序列結(jié)構(gòu)預(yù)測(cè)多序列結(jié)構(gòu)預(yù)測(cè)AI預(yù)測(cè)功能合作定制進(jìn)化的AI預(yù)測(cè)體系①①位于中間層的昇騰AI異構(gòu)計(jì)算架構(gòu)CANN為模型推理提供加速引擎，在算子融合方面實(shí)現(xiàn)網(wǎng)絡(luò)中計(jì)算單元的優(yōu)化整合②②在內(nèi)存優(yōu)化方面完成模型特征圖的有效內(nèi)存排布③③在混合精度計(jì)算方面實(shí)現(xiàn)不同精度的計(jì)算分配{蛋白質(zhì)取樣費(fèi)用至少1.5萬(wàn)元，累計(jì)費(fèi)用超過(guò)數(shù)十萬(wàn)預(yù)測(cè)費(fèi)用下降100倍以上從蛋白表達(dá)、蛋白純化等步驟，到使用冷凍電鏡解析蛋白質(zhì)結(jié)構(gòu)，至少13天全步驟壓縮到1天以?xún)?nèi)結(jié)構(gòu)分析效率平均提升超10倍1、宏觀經(jīng)濟(jì)下行超預(yù)期風(fēng)險(xiǎn)：若宏觀經(jīng)濟(jì)下行并超出預(yù)期，將影響整個(gè)產(chǎn)業(yè)鏈；2、上游晶圓緊缺加劇的風(fēng)險(xiǎn)：若本土晶圓廠擴(kuò)產(chǎn)進(jìn)度不及預(yù)期，將影響芯片供給；3、市場(chǎng)發(fā)展不及預(yù)期的風(fēng)險(xiǎn)：若AIGC所帶來(lái)的催化作用不及預(yù)期，將影響下游需求；4、行業(yè)競(jìng)爭(zhēng)超預(yù)期風(fēng)險(xiǎn)：若行業(yè)競(jìng)爭(zhēng)加劇，可能對(duì)公司地位造成不利影響。以報(bào)告日后的6個(gè)月內(nèi)，行業(yè)指數(shù)相對(duì)于滬深300指數(shù)的漲跌幅為標(biāo)準(zhǔn)，定義如下：1、看好：行業(yè)指數(shù)相對(duì)于滬深300指數(shù)表現(xiàn)＋10%以上；2、中性：行業(yè)指數(shù)相對(duì)于滬深300指數(shù)表現(xiàn)－10%10%以上；3、看淡：行業(yè)指數(shù)相對(duì)于滬深300指數(shù)表現(xiàn)－10%以下。我們?cè)诖颂嵝涯煌C券研究機(jī)構(gòu)采用不同的評(píng)級(jí)術(shù)語(yǔ)及評(píng)級(jí)標(biāo)準(zhǔn)。我們采用的是相對(duì)評(píng)級(jí)體系，表示投資的相對(duì)比重。建議：投資者買(mǎi)入或者賣(mài)出證券的決定取決于個(gè)人的實(shí)際情況，比如當(dāng)前的持倉(cāng)結(jié)構(gòu)以及其他需要考慮的因素。投資者不應(yīng)僅僅依靠投資評(píng)級(jí)來(lái)推斷結(jié)論本報(bào)告由浙商證券股份有限公司（已具備中國(guó)證監(jiān)會(huì)批復(fù)的證券投資咨詢(xún)業(yè)務(wù)資格，經(jīng)營(yíng)許可證編號(hào)為：Z39833000）制作。本報(bào)告中的信息均來(lái)源于我們認(rèn)為可靠的已公開(kāi)資料，但浙商證券股份有限公司及其關(guān)聯(lián)機(jī)構(gòu)（以下統(tǒng)稱(chēng)“本公司”）對(duì)這些信息的真實(shí)性、準(zhǔn)確性及完整性不作任何保證，也不保證所包含的信息和建議不發(fā)生任何變更。本公司沒(méi)有將變更的信息和建議向報(bào)告所有接收者進(jìn)行更新的義務(wù)。本報(bào)告僅供本公司的