中國(guó)計(jì)算機(jī)學(xué)會(huì)：數(shù)據(jù)密集型超算技術(shù)白皮書(shū)

數(shù)據(jù)密集型超算技術(shù)白皮書(shū)中國(guó)計(jì)算機(jī)學(xué)會(huì)高性能計(jì)算專(zhuān)業(yè)委員會(huì)2021年10月編寫(xiě)委員會(huì)潘景山竇勇陳默丁江波毛睿林新華李會(huì)民龔斌張洋王潘景山竇勇陳默丁江波毛睿林新華李會(huì)民龔斌張洋王李文秀比喻成好朋友。那么T系統(tǒng)以前更多是一個(gè)隨叫隨到陳國(guó)良中國(guó)科學(xué)院院士周躍峰博士華為公司副總裁1.1.1級(jí)1.1.2級(jí)1.1.3指標(biāo)數(shù)據(jù)密集型超算的定義2223數(shù)據(jù)密集型超算的定義22232數(shù)據(jù)密集型超算典型場(chǎng)景2.3.1基因測(cè)序場(chǎng)景邁入分鐘時(shí)代為生命健康打開(kāi)新時(shí)間窗3數(shù)據(jù)密集型超算技術(shù)建議01021.2國(guó)內(nèi)外超算產(chǎn)業(yè)發(fā)展現(xiàn)狀與趨勢(shì)超算是"國(guó)之重器"，世界各國(guó)激烈競(jìng)爭(zhēng)并進(jìn)行戰(zhàn)略頂層設(shè)計(jì)超算是文明的基礎(chǔ)，沒(méi)有它，下一代文明就不可能實(shí)現(xiàn)根本性突破美國(guó)歐盟0304爆發(fā)期西安超算中心成都超算中心太原超算中心合肥超算中心廈門(mén)超算中心烏鎮(zhèn)超算中心蘭州超算中心青島超算中心武漢超算中心爆發(fā)期西安超算中心成都超算中心太原超算中心合肥超算中心廈門(mén)超算中心烏鎮(zhèn)超算中心蘭州超算中心青島超算中心武漢超算中心昆山國(guó)家超算中心聯(lián)想深騰曙光5000A中國(guó)持續(xù)戰(zhàn)略投入，十四五和新基建驅(qū)動(dòng)超算進(jìn)入爆發(fā)期2020年，226臺(tái)2020年，226臺(tái)45%動(dòng)漫渲染、生命科學(xué)航空航天、無(wú)人駕駛?cè)斯ぶ悄?、大?shù)據(jù)挖掘智慧城市大腦 5HPC行業(yè)應(yīng)用氣象、油氣、仿真特殊領(lǐng)域:科研2015年,168臺(tái)33%HPC業(yè)務(wù)2009年21臺(tái)天津天津國(guó)家超算中心無(wú)錫國(guó)家超算中心鄭州國(guó)家超算中心濟(jì)南國(guó)家超算中心廣州國(guó)家超算中心長(zhǎng)沙國(guó)家超算中心05 56.90% 49.00%33.30%17.70%15.70%NewworkloadssuchasA 56.90% 49.00%33.30%17.70%15.70%NewworkloadssuchasA，BigDataMoreavailablebudgetotherNotsure/don'tknow76.50%MostImportantDriverofHpcstorageGrowth0%90.00%06071.3國(guó)內(nèi)外超算技術(shù)發(fā)展現(xiàn)狀與趨勢(shì)0809InterconnectFamilysystemshare數(shù)據(jù)驅(qū)動(dòng)科學(xué)發(fā)現(xiàn)流式計(jì)算變得尤為重要。HPCHPC文件存儲(chǔ)HDFS存儲(chǔ)塊存儲(chǔ)文件存儲(chǔ)HDFS存儲(chǔ)塊存儲(chǔ) HPC算力AI算力大數(shù)據(jù)算力云通用算力物聯(lián)網(wǎng)以數(shù)據(jù)為中心，多元算力按需加持對(duì)象存儲(chǔ)統(tǒng)一數(shù)據(jù)底座數(shù)據(jù)按需接入和存儲(chǔ)底座不動(dòng)，數(shù)據(jù)不遷，綠色高效2.2面向2025的十大數(shù)據(jù)密集型超算應(yīng)用場(chǎng)景預(yù)測(cè)據(jù)據(jù)數(shù)據(jù)密集型超算典型應(yīng)用特點(diǎn)大數(shù)據(jù)/大數(shù)據(jù)/AI相關(guān)度●媒體計(jì)算●基因測(cè)序●天文物理電子商務(wù)●氣象預(yù)測(cè)●高能物理●能源勘測(cè)冷凍電鏡●災(zāi)害模擬.CAE動(dòng)漫渲染.EDA表型數(shù)據(jù)生物樣本FPGA容器BMS樣本選擇結(jié)果解讀基因參考組數(shù)據(jù)庫(kù)cal2FAST④BAM文件光纖VCF文件本地存儲(chǔ)報(bào)告/結(jié)果分發(fā)測(cè)序儀高級(jí)分析數(shù)據(jù)歸檔FPGA加速ARM加速原始DNA樣本質(zhì)量檢測(cè)dNTP熒光標(biāo)記FASTQ文件質(zhì)量控制表型數(shù)據(jù)生物樣本FPGA容器BMS樣本選擇結(jié)果解讀基因參考組數(shù)據(jù)庫(kù)cal2FAST④BAM文件光纖VCF文件本地存儲(chǔ)報(bào)告/結(jié)果分發(fā)測(cè)序儀高級(jí)分析數(shù)據(jù)歸檔FPGA加速ARM加速原始DNA樣本質(zhì)量檢測(cè)dNTP熒光標(biāo)記FASTQ文件質(zhì)量控制醫(yī)院企業(yè)研究機(jī)構(gòu)政府生命信息學(xué)的研究邏輯基因拼接基因比對(duì)reads去重CNV檢測(cè)結(jié)構(gòu)變異重復(fù)DNA功能預(yù)測(cè)驅(qū)動(dòng)突變變異標(biāo)注因定制客戶(hù)端交付共有云交付web交付報(bào)告一日達(dá)基因測(cè)序業(yè)務(wù)流程圖測(cè)以及聯(lián)合基因型檢測(cè)測(cè)以及聯(lián)合基因型檢測(cè)，該階段取2.323自動(dòng)駕發(fā)展建議野外數(shù)據(jù)處理中心半實(shí)時(shí)地震資料處理地震資料解釋井?dāng)?shù)據(jù)解釋油藏模擬&成像438572野外數(shù)據(jù)處理中心半實(shí)時(shí)地震資料處理地震資料解釋井?dāng)?shù)據(jù)解釋油藏模擬&成像438572地震資料采集1.地震源 202.3.3.2能源勘探場(chǎng)景需求合帶寬最高可達(dá)每PB20GB/S等特點(diǎn)。②讀寫(xiě)浪操作內(nèi)容聚合帶寬:GB/S級(jí)數(shù)據(jù)留存2.3.3.3能源勘探發(fā)展建議212341氣象預(yù)測(cè)業(yè)務(wù)概述數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理下載數(shù)據(jù)救災(zāi)減災(zāi)模式計(jì)算+后處理+預(yù)報(bào)員經(jīng)驗(yàn)+會(huì)商產(chǎn)品發(fā)布(展示)能計(jì)算系統(tǒng)的性能、網(wǎng)絡(luò)性能和I性能要求高。22232.3.4.2氣象預(yù)測(cè)場(chǎng)景需求2.3.4.3氣象預(yù)測(cè)發(fā)展建議24DSMDSMSAR高光譜立體影像1~5級(jí)數(shù)據(jù)海量數(shù)據(jù)分布式管理路網(wǎng)水體大棚光伏自然資源城鎮(zhèn)變化災(zāi)害監(jiān)測(cè)人類(lèi)活動(dòng)海量數(shù)據(jù)分布式管理路網(wǎng)水體大棚光伏自然資源城鎮(zhèn)變化災(zāi)害監(jiān)測(cè)人類(lèi)活動(dòng)輻射校正幾何校正定制服務(wù)數(shù)據(jù)產(chǎn)品25發(fā)射載荷載荷最終用戶(hù)一行業(yè)用戶(hù)千行百業(yè)應(yīng)用系統(tǒng)根據(jù)用戶(hù)的需求，處理部分傳感器校正產(chǎn)品(二級(jí)產(chǎn)品)，形成最終結(jié)果。發(fā)射載荷載荷最終用戶(hù)一行業(yè)用戶(hù)千行百業(yè)應(yīng)用系統(tǒng)根據(jù)用戶(hù)的需求，處理部分傳感器校正產(chǎn)品(二級(jí)產(chǎn)品)，形成最終結(jié)果。數(shù)據(jù)處理應(yīng)用地面站(數(shù)據(jù)膨脹)衛(wèi)星遙感業(yè)務(wù)流2.3.5.2衛(wèi)星遙感場(chǎng)景需求262.3.5.3衛(wèi)星遙感發(fā)展建議2.3.6.1腦科學(xué)業(yè)務(wù)概述究。廣義的腦科學(xué)是研究腦結(jié)構(gòu)和腦功能的科2723.6.2腦科學(xué)場(chǎng)景需求存情系統(tǒng)的容量限制了腦科學(xué)的發(fā)展500PB總存儲(chǔ)500PB總存儲(chǔ)神經(jīng)元分類(lèi)突觸水平結(jié)構(gòu)圖譜細(xì)胞水平結(jié)構(gòu)圖譜全腦神經(jīng)元活動(dòng)圖譜腦神經(jīng)元/突觸細(xì)胞投射混合I0讀寫(xiě)突觸圖譜庫(kù)神經(jīng)元圖譜庫(kù)細(xì)胞圖譜庫(kù)突觸圖譜庫(kù)神經(jīng)元圖譜庫(kù)人腦數(shù)據(jù)的存儲(chǔ)2.3.6.3腦科學(xué)發(fā)展建議●秒級(jí)檢索EB級(jí)數(shù)據(jù)28293.1采用異構(gòu)融合的新型HPDA架構(gòu)3031PCHDNAS并行文件系統(tǒng)歷史數(shù)據(jù)檢索集群交互式查詢(xún)集群數(shù)據(jù)生命周期管理(數(shù)據(jù)分級(jí)、數(shù)據(jù)遷移、分布查詢(xún))冷溫?zé)嶙詣?dòng)遷移自動(dòng)遷移HDD大容量池存儲(chǔ)資源池SSD高性能池HDD歸檔池近線(xiàn)檢索/離線(xiàn)分析集群PCHDNAS并行文件系統(tǒng)歷史數(shù)據(jù)檢索集群交互式查詢(xún)集群數(shù)據(jù)生命周期管理(數(shù)據(jù)分級(jí)、數(shù)據(jù)遷移、分布查詢(xún))冷溫?zé)嶙詣?dòng)遷移自動(dòng)遷移HDD大容量池存儲(chǔ)資源池SSD高性能池HDD歸檔池近線(xiàn)檢索/離線(xiàn)分析集群數(shù)據(jù)密集型超算要突破所面臨的存儲(chǔ)技術(shù)挑戰(zhàn)，構(gòu)建國(guó)產(chǎn)統(tǒng)一HPDA存儲(chǔ)方案，需要具備如下能力：1、存儲(chǔ)與計(jì)算架構(gòu)分離，存儲(chǔ)按需提供數(shù)據(jù)服務(wù)數(shù)據(jù)分析數(shù)據(jù)存儲(chǔ)數(shù)據(jù)采集HiveHiveyarnNFSNFS/CIFS/HDFS/S3存算分離，統(tǒng)一數(shù)據(jù)存儲(chǔ)底座架構(gòu)圖數(shù)據(jù)安全管理數(shù)據(jù)安全管理數(shù)據(jù)加密數(shù)據(jù)生命周期管理集群管理用戶(hù)管理告警監(jiān)控資源管理數(shù)據(jù)采集Datacollection數(shù)據(jù)存儲(chǔ)Datastorage處理計(jì)算Dataprocessing數(shù)據(jù)共享Datasharing傳輸交換Datatransmission數(shù)據(jù)采集Datacollection數(shù)據(jù)存儲(chǔ)Datastorage處理計(jì)算Dataprocessing數(shù)據(jù)共享Datasharing傳輸交換Datatransmission5、圍繞數(shù)據(jù)全生命周期構(gòu)建端到端可信能力，保障數(shù)據(jù)安全數(shù)據(jù)銷(xiāo)毀數(shù)據(jù)銷(xiāo)毀Datadestroy細(xì)粒度權(quán)限服務(wù)容災(zāi)備份多租戶(hù)安全加解密服務(wù)膠敏泛化數(shù)據(jù)匿名保護(hù)防丟失泄露KLP數(shù)據(jù)溯源數(shù)據(jù)接口安全日志審計(jì)分析隱私風(fēng)險(xiǎn)分析敏感數(shù)據(jù)分級(jí)分類(lèi)數(shù)據(jù)安全監(jiān)控密文檢索數(shù)字水印關(guān)聯(lián)性隔離動(dòng)態(tài)脫敏秘鑰管理服務(wù)傳輸隔離加載隔離調(diào)度安全訪(fǎng)問(wèn)控制完整性保護(hù)采集合規(guī)身份認(rèn)證入庫(kù)加密轉(zhuǎn)換脫敏匿名處理個(gè)人數(shù)據(jù)刪除數(shù)據(jù)冷轉(zhuǎn)儲(chǔ)數(shù)據(jù)介質(zhì)銷(xiāo)毀3.3推進(jìn)全光化多網(wǎng)融合高速互聯(lián)網(wǎng)絡(luò)構(gòu)建323.4使用低碳