2024AIGC數(shù)據(jù)存儲技術(shù)研究報告

AIGC目錄 AIGC AIGC產(chǎn)業(yè)邁入發(fā)展新階 AIGC產(chǎn)業(yè)支持政策全面布 AIGC AIGC整體架 AIGC作業(yè)流程下的存儲數(shù)據(jù)流 AIGC AIGC AIGC AIGC催生新一代數(shù)據(jù)存儲架 AIGC加速數(shù)據(jù)存儲產(chǎn)業(yè)快速增 AIGC加速數(shù)據(jù)存儲標(biāo)準(zhǔn)完 AIGC具有廣闊的研究和應(yīng)用前景。AI技術(shù)的快速革新極大地推進(jìn)了AIGC的高速發(fā)展，其研究和應(yīng)用亦被推廣到多個行業(yè)。據(jù)統(tǒng)計，AIGC在內(nèi)容創(chuàng)作領(lǐng)域，可以將內(nèi)容生成效率提升數(shù)倍至數(shù)十倍，降低人力成本高達(dá)50%以上。在廣告、游戲、影視等行業(yè)，AIGC的應(yīng)用不僅豐富了內(nèi)容形式，還推動了行業(yè)的數(shù)字化轉(zhuǎn)型。未來，隨著技術(shù)的不斷進(jìn)步，AIGC有望在更多領(lǐng)域?qū)崿F(xiàn)突破，如教育、醫(yī)療、科研等，進(jìn)一步拓寬其應(yīng)用邊界。據(jù)預(yù)測，到2030年，AIGC的市場規(guī)模將達(dá)到數(shù)千億美元，成為推動全球經(jīng)濟(jì)增長的重要力量。為全面分析AIGC與數(shù)據(jù)存儲的緊密關(guān)系，從數(shù)據(jù)存儲的角度揭示AIGC技術(shù)的內(nèi)在邏輯和發(fā)展趨勢，我們推出《AIGC數(shù)據(jù)存儲技術(shù)研究報告》。在報告中，我們將深入探討AIGC場景下對數(shù)據(jù)存儲提出的新要求和新挑戰(zhàn)，以及數(shù)據(jù)存儲對新要求和新挑戰(zhàn)的技術(shù)應(yīng)對。同時，我們還將關(guān)注數(shù)據(jù)存儲技術(shù)的創(chuàng)新和發(fā)展，以期為AIGC技術(shù)的進(jìn)一步應(yīng)用和推廣提供有益的參考和啟示。AIGCAIGCAIGCAIGC 1.1.1AIGC產(chǎn)業(yè)邁入發(fā)展新階 20世紀(jì)90年代中期至21世紀(jì)10年代中期，AIGC發(fā)展進(jìn)入沉淀階段。這一階段，AIGC多數(shù)是通過預(yù)先設(shè)定的規(guī)則和算法來生成內(nèi)容。例如，在自然語言處理領(lǐng)域中，研究人員嘗試?yán)靡?guī)則和語法知識來生成語句，實現(xiàn)新聞稿件的自動化生成。同樣地，由于規(guī)則和模板的缺陷，生成的內(nèi)容往往缺乏個性化和創(chuàng)意性。隨著人工智能技術(shù)的進(jìn)步和深度學(xué)習(xí)算法的發(fā)展，從21世紀(jì)10年代中期至今，AIGC進(jìn)入了快速發(fā)展階段，其大規(guī)模應(yīng)用逐漸成為現(xiàn)實，開始出現(xiàn)在新聞、廣告、音樂、電影、游戲等多個領(lǐng)域中。生產(chǎn)的內(nèi)容更加逼真、富有創(chuàng)意和個性化。同時，一些新興的技術(shù)框架，如生成對抗網(wǎng)絡(luò)（GAN），也為AIGC產(chǎn)業(yè)的發(fā)展提供了新的動力。2021年底，隨著ChatGT的嶄露頭角，AIGC進(jìn)入了大規(guī)模爆發(fā)時代。ChatGT的強大表現(xiàn)進(jìn)一步證明了AIGC技術(shù)在內(nèi)容生成領(lǐng)域的巨大潛力，促使越來越多的企業(yè)和研究機構(gòu)投入到AIGC產(chǎn)業(yè)中，助推AIGC全產(chǎn)業(yè)鏈的成形，涵蓋了數(shù)據(jù)層、算力層、算法/模型層和商業(yè)化應(yīng)用層等多個環(huán)節(jié)。其中，產(chǎn)業(yè)鏈上游主要包括數(shù)據(jù)提供、算法模型訓(xùn)練等環(huán)節(jié)，為AIGC提供基礎(chǔ)支撐；中游則是AIGC技術(shù)提供商，他們專注于開發(fā)和優(yōu)化AIGC技術(shù)，為下游應(yīng)用提供技術(shù)支持；下游則是各種AIGC應(yīng)用場景，如媒體、娛樂、教育、廣告等，這些領(lǐng)域正在廣泛采用AIGC技術(shù)，實現(xiàn)內(nèi)容創(chuàng)作的智能化和高效化。 1.1.2AIGC產(chǎn)業(yè)支持政策全面布 AIGC產(chǎn)業(yè)的發(fā)展不僅得益于人工智能技術(shù)的進(jìn)步，與政府政策支持也是密不可分的。近五年來，政府出臺了一系列政策，鼓勵人工智能技術(shù)的研發(fā)和應(yīng)用，為AIGC產(chǎn)業(yè)的發(fā)展提供了良好的環(huán)境?，F(xiàn)將國家各部委支持、指導(dǎo)AIGC產(chǎn)業(yè)發(fā)展的主要相關(guān)政策梳理如下：AIGCAIGC工業(yè)和信息化部等創(chuàng)新發(fā)展的實施意工業(yè)和信工信部等工程實施方案（2023-2035國家網(wǎng)信辦等七部工業(yè)和信息化部等產(chǎn)業(yè)發(fā)展的指導(dǎo)意科技部等工業(yè)和信三年行動計劃（2021-2023設(shè)工作指引（修訂國家標(biāo)準(zhǔn)化管理委員會等五能標(biāo)準(zhǔn)體系建設(shè)指AIGCAIGCAIGC聚焦于國際領(lǐng)先的ataDiectNetworks(DDN)與國內(nèi)某存儲廠商，作為行業(yè)內(nèi)的代表性企業(yè)，其在存儲技術(shù)創(chuàng)新方面分別展現(xiàn)出獨特的優(yōu)勢。DDN作為全球領(lǐng)先的大數(shù)據(jù)存儲供應(yīng)商，其A3I（Accelerated,Ay-ScaleAI）解決方案是專為AI和深度學(xué)習(xí)設(shè)計的，它針對數(shù)據(jù)密集型工作負(fù)載提供了前所未有的靈活性和高性能。滿足從大型企業(yè)、服務(wù)提供商、研究機構(gòu)到政府機構(gòu)的廣泛需求，其優(yōu)勢主要體現(xiàn)在以下幾個方面：第一，并行架構(gòu)的性能和效率。DDN的A3I解決方案采用真并行架構(gòu)，確保在任何規(guī)模下都能提供高性能、高效率、GPU利用率和存儲容量；第二，全面的深度學(xué)習(xí)加速。A3I解決方案能夠同時為所有工作負(fù)載提供實時加速，確保數(shù)據(jù)密集型任務(wù)能夠連續(xù)且高效地執(zhí)行。第三，無縫部署和集成。A3I解決方案易于部署，是預(yù)配置、即插即用的，為AI工作負(fù)載和GPU支持解決方案提供了最強大的擴展平臺。第四，靈活的容量擴展。DDN的存儲平臺提供了靈活的容量擴展選項，支持從少量TB到幾十PB的擴展，滿足不同企業(yè)的需求。AIGCAIGC第二章AIGC第二章AIGCAIGC 2.1.1AIGC整體架 數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源 數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集元數(shù)據(jù)數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集元數(shù)據(jù)對象服務(wù)視頻服務(wù)塊服務(wù)文件服務(wù)對象服務(wù)視頻服務(wù)塊服務(wù)文件服務(wù)AIGCAIGC如圖2-1所示，AIGC整體架構(gòu)分為五層，自上而下分別是：應(yīng)用層SaaS、模型層MaaS、數(shù)據(jù)層aaS、平臺層aaS以及基礎(chǔ)設(shè)施層IaaS。應(yīng)用層SaaS是AIGC技術(shù)產(chǎn)生價值的窗口，模型根據(jù)輸入數(shù)據(jù)生成新的內(nèi)容；模型層MaaS是AIGC的核心環(huán)節(jié)，主要通過大量的數(shù)據(jù)來訓(xùn)練、驗證模型并支撐模型的運轉(zhuǎn)；數(shù)據(jù)層aaS主要分為數(shù)據(jù)服務(wù)、數(shù)據(jù)集成、數(shù)據(jù)治理三個部分，其中數(shù)據(jù)服務(wù)主要負(fù)責(zé)數(shù)據(jù)的處理和高質(zhì)量數(shù)據(jù)集的生成，數(shù)據(jù)集成主要對數(shù)據(jù)進(jìn)行匯集，數(shù)據(jù)治理主要對各個來源的數(shù)據(jù)集進(jìn)行統(tǒng)一管理、安全檢查等；平臺層aaS對數(shù)據(jù)、計算、網(wǎng)絡(luò)和存儲資源進(jìn)行調(diào)度，例如網(wǎng)關(guān)服務(wù)、數(shù)據(jù)庫服務(wù)、多租戶管理、鑒權(quán)認(rèn)證，其中對于存儲的服務(wù)主要有文件服務(wù)、對象服務(wù)、塊服務(wù)和視頻服務(wù)等；基礎(chǔ)設(shè)施層IaaS構(gòu)建了AIGC的基礎(chǔ)設(shè)施底座，包括計算資源（CPU、GPU、NPU）、介質(zhì)資源（磁帶、HDD、SSD、內(nèi)存等）、網(wǎng)絡(luò)資源（TCP/IP、InfiniBandswitchA等）。在AIGC的整體架構(gòu)中，存儲隨著數(shù)據(jù)流動而存在。如圖2-1所示，存儲主要在數(shù)據(jù)層、平臺層和基礎(chǔ)層，同時對應(yīng)用層和模型層起支撐作用。由此可見，在AIGC整體架構(gòu)中，存儲起著至關(guān)重要的作用。當(dāng)前得益于數(shù)據(jù)量的快速增長和摩爾定律的快速發(fā)展，在更多的場景下，用戶更傾向于借助強大的算力以及數(shù)據(jù)驅(qū)動模型進(jìn)步。而人工智能場景也逐漸從以模型為中心向以數(shù)據(jù)為中心轉(zhuǎn)變，算力、算法和數(shù)據(jù)已經(jīng)成為推動AIGC發(fā)展的三駕馬車。就人工智能發(fā)展趨勢和實際應(yīng)用而言，在AIGC場景中，存儲不再是簡單的數(shù)據(jù)容器，而是推動AIGC發(fā)展的核心組件。 2.1.2AIGC作業(yè)流程下的存儲數(shù)據(jù)流 AIGCAIGCMetadataStorage 10Gb100Gb高速AIGC 多協(xié)議：數(shù)據(jù)采集階段涉及的數(shù)據(jù)來源多種多樣，包括互聯(lián)網(wǎng)、企業(yè)內(nèi)部數(shù)據(jù)庫、物聯(lián)網(wǎng)傳感器等。這些數(shù)據(jù)往往通過不同的協(xié)議進(jìn)行傳輸和存儲，如HTTP、FTP、TSP等。因此，存儲系統(tǒng)需要支持多種通訊協(xié)議，以便與各種數(shù)據(jù)源順暢對接，實現(xiàn)數(shù)據(jù)的無縫采集和傳輸。AIGCAIGC 易管理：數(shù)據(jù)預(yù)處理涉及多種操作，如數(shù)據(jù)清洗、格式轉(zhuǎn)換、特征提取等，這些操作往往需要根據(jù)具體的數(shù)據(jù)特性和業(yè)務(wù)需求進(jìn)行調(diào)整。存儲系統(tǒng)應(yīng)提供靈活的數(shù)據(jù)管理能力，支持?jǐn)?shù)據(jù)的靈活組織、檢索和更新，以滿足數(shù)據(jù)預(yù)處理過程中的多樣化需求。 高I/O、低延遲：數(shù)據(jù)訓(xùn)練階段需要頻繁地從存儲系統(tǒng)中讀取大量數(shù)據(jù)，用以更新模型的參數(shù)和權(quán)重。因此，存儲系統(tǒng)必須具備高性能的讀寫能力，如在萬卡集群、萬億參數(shù)大模型的快速訓(xùn)練時，需要存儲提供TB級的帶寬，小模型的訓(xùn)練推理則要求存儲系統(tǒng)提供超過百萬級的IOPS和低時延。確保數(shù)據(jù)能夠迅速加載到計算資源中，減少I/O等待時間，提高訓(xùn)練效率。易管理：在數(shù)據(jù)訓(xùn)練階段，存儲系統(tǒng)還需要提供靈活的數(shù)據(jù)管理和優(yōu)化功能。這包括數(shù)據(jù)壓縮、去重、緩存管理、冷熱數(shù)據(jù)分離等策略，以優(yōu)化存儲資源的利用率和性能。同時，還需要支持?jǐn)?shù)據(jù)的動態(tài)遷移和平衡，以應(yīng)對訓(xùn)練過程中計算資源和存儲資源的變化。AIGCAIGC 高可靠：數(shù)據(jù)歸檔的首要目標(biāo)是確保數(shù)據(jù)的長期保存與耐久性。這意味著存儲系統(tǒng)必須具備高可靠性和長壽命，能夠抵御物理損壞、電源故障、自然災(zāi)害等風(fēng)險，確保數(shù)據(jù)不會因時間流逝或外部環(huán)境變化而丟失。此外，還需定期執(zhí)行數(shù)據(jù)完整性檢查和修復(fù)，以保證數(shù)據(jù)的持續(xù)可用性。AIGCAIGCAIGC

AIGC在第二章中，我們詳細(xì)分析AIGC場景下從數(shù)據(jù)采集到數(shù)據(jù)歸檔的各個階段對存儲系統(tǒng)的特定需求。為了方便分析，對第二章中所提需求做進(jìn)一步整理，對整個AIGC作業(yè)流程的需求分為軟件和硬件兩個層面。在硬件層面上，為滿足海量數(shù)據(jù)存儲需求，存儲需要具有大容量、可擴展，同時在歸檔階段還需要存儲可長期保存數(shù)據(jù)，具有耐久性。在軟件功能上，為滿足多模態(tài)數(shù)據(jù)存儲需求，存儲需要支持多種協(xié)議，同時，為滿足高性能場景的存儲需求、提升大模型訓(xùn)練效率，存儲需要具有高性能、高并發(fā)、低延遲和快速數(shù)據(jù)檢索的功能，支持并行數(shù)據(jù)處理和分布式訓(xùn)練。此外，在整個流程中，數(shù)據(jù)管理和數(shù)據(jù)治理也是非常重要的需求。 客戶客戶節(jié)點節(jié)點節(jié)點節(jié)點在當(dāng)前的AI基礎(chǔ)設(shè)施平臺中，計算服務(wù)器配置非常高，更高性能的CPU和更多的插槽數(shù)帶來了NUMA（Non-UniormMemoryAccess）節(jié)點數(shù)據(jù)的增加。在多核處理器環(huán)境下，會產(chǎn)生大量的跨NUMA問。如圖3-3所示，在未經(jīng)過NUMA均衡的存儲系統(tǒng)中，存儲的緩存空間集中在單個NUMA節(jié)點內(nèi)存內(nèi)。當(dāng)請求量增大時，所有其他NUMA節(jié)點的CPU核的數(shù)據(jù)訪問均集中在單個Socket內(nèi)，造成了大量跨Socket、跨NUMA訪問。這不僅導(dǎo)致了CPU核的超負(fù)荷運載和大量閑置，還使得單次遠(yuǎn)端NUMA節(jié)點訪問造成的微小時延累積，進(jìn)一步增大整體時延。為了降低跨NUMA訪問帶來的時延，通過內(nèi)核親和力調(diào)度技術(shù)，在數(shù)控分離架構(gòu)下使內(nèi)核客戶端可自主控制數(shù)據(jù)頁緩存分配策略并主動接管用戶下發(fā)的I/O任務(wù)。這種方式能夠更加靈活地實現(xiàn)各類客戶端內(nèi)核態(tài)到遠(yuǎn)端存儲池的數(shù)據(jù)移動策略。其中，針對不同的I/O線程進(jìn)行NUMA感知優(yōu)化，將業(yè)務(wù)讀線程與數(shù)據(jù)自動分配到相同的NUMA節(jié)點上，使所有數(shù)據(jù)均在本地NUMA內(nèi)存命中，有效減少了高并發(fā)下NUMA節(jié)點間數(shù)據(jù)傳輸，降低了I/O鏈路時延并提升內(nèi)存訪問效率，保證各NUMA節(jié)點的負(fù)載均衡。GPUGPUGPUGPUGPUppppppppppaaaaaaaaaaggggggggggeeeeeeeeeNUMANodeppppppppppaaaaaaaaaaggggggggggeeeeeeeeeNUMANodeppppppppppaaaaaaaaaaggggggggggeeeeeeeeeNUMANodeppppppppppaaaaaaaaaaggggggggggeeeeeeeeeNUMANode小文件聚合也是AIGC場景下實現(xiàn)文件性能加速的重要手段。具體來看，第一，寫入過程。首先，小文件寫入時先進(jìn)入到快速層，介質(zhì)是快于HDD的NVME或持久內(nèi)存，配置的EC或副本模式也更快速，對數(shù)據(jù)進(jìn)行落盤，并記錄元數(shù)據(jù)；然后，文件拼接后形成4MB-10MB的大文件落向HDD層，如果聚合模塊中的數(shù)據(jù)需要釋放時，更改元數(shù)據(jù)文件，使其數(shù)據(jù)索引到HDD位置，整體過程根據(jù)文件的尺寸不同提升小文件5-10倍的性能。第二，讀出過程。根據(jù)數(shù)據(jù)所在位置分別從聚合層和HDD層讀取，EC算法支持從單分片中讀取，讀取通常不受影響，同時并發(fā)性能也會隨之提高。第三，GC過程。如果數(shù)據(jù)刪除過多或產(chǎn)生空洞，后臺需要進(jìn)行GC的數(shù)據(jù)整理。GC過程的常用方法有兩種：一是搬移數(shù)據(jù)，搬移數(shù)據(jù)可以重新排列得到更多的可用空間利用率，但是大量的搬移則會占用帶寬和資源，適用于刪除一次就刪掉了大量數(shù)據(jù)且需要重新排布的數(shù)據(jù)較少的場景；二是對空洞管理的方案，根據(jù)空洞的管理進(jìn)行聚合，性能比較穩(wěn)定，但是磁盤空間利用率低，適用于少量刪除或整體文件尺寸比較平均一致的場景。ECCache（聚合模塊AIGCAIGC數(shù)據(jù)存儲中的高密硬件設(shè)計包括高密硬盤設(shè)計、免工具設(shè)計、高性能接口、高效散熱設(shè)計、簡易維護(hù)設(shè)計等。分開來看，高密硬盤布局可以在有限的機箱空間（如4U或5U高度）內(nèi)，通過優(yōu)化硬盤布局和排列方式最大化硬盤數(shù)量；免工具設(shè)計，旨在方便拆卸，大大縮短運維時間成本，如HDD硬盤框抽屜設(shè)計，支持單獨抽出維護(hù)（內(nèi)滑軌+坦克鏈）；高性能接口技術(shù)，如PCIe4.0轉(zhuǎn)SAS4.0、PCIe5.0SI設(shè)計等，能夠支持更高的帶寬和更低的延遲，滿足AIGC等高性能計算場景的需求；高效散熱設(shè)計，如優(yōu)化氣流通道、使用高性能風(fēng)扇和散熱器，以及通過智能溫控技術(shù)配合先進(jìn)的風(fēng)冷系統(tǒng)，可以實現(xiàn)最佳工作環(huán)境，保障系統(tǒng)穩(wěn)定運行；簡易維護(hù)設(shè)計，如BMC技術(shù)，技術(shù)人員可以通過Web管理界面、故障診斷LED等指引設(shè)備，并可通過UID指示燈標(biāo)記有故障的機器，提高系統(tǒng)可用性。在大容量存儲介質(zhì)方面，QCNAND的崛起為大容量存儲介質(zhì)的發(fā)展提供了契機。QCNAND閃存每個存儲單元可記錄4個位的數(shù)據(jù)，相比傳統(tǒng)的SC、MC、TC，具有更高的數(shù)據(jù)密度，能夠在相同空間內(nèi)存儲更多的數(shù)據(jù)。由于QC技術(shù)的快速發(fā)展，當(dāng)前NVMeSSD最大容量已經(jīng)超過百TB，大大提升了高速存儲介質(zhì)的存儲密度。同時，X-NAND等關(guān)鍵技術(shù)的誕生，也緩解了采用AC介質(zhì)所帶來的性能下降問題，提升TC/QC的性能，進(jìn)而加速Q(mào)C的普及。而在數(shù)據(jù)的備份歸檔階段，HDD仍然是主要的選擇之一，在HDD內(nèi)部，通過改進(jìn)磁記錄技術(shù)，如采用垂直磁記錄（PMR）和疊瓦式磁記錄（SMR）技術(shù)，可以增加磁盤表面的存儲密度。對于以讀取為主的冷數(shù)據(jù)存儲場景，這種介質(zhì)能夠在同樣的盤片數(shù)量下實現(xiàn)更大的存儲容量，滿足AIGC系統(tǒng)中大量歷史數(shù)據(jù)和模型參數(shù)的存儲需求。數(shù)據(jù)壓縮本質(zhì)是通過使用算法和技術(shù)減少數(shù)據(jù)存儲或傳輸過程中所占空間或帶寬的過程。傳統(tǒng)的數(shù)據(jù)壓縮算法包含了無損壓縮（如Hu?man編碼、LZ系列編碼等）和有損壓縮（分形壓縮、小波壓縮等），以上算法和技術(shù)很難滿足AIGC場景下量大、類多、速度快的數(shù)據(jù)的壓縮需求，新的數(shù)據(jù)壓縮技術(shù)順勢而生?；旌狭袎嚎s（HCC）技術(shù)以塊的形式組織數(shù)據(jù)，同時利用行存儲和列存儲的方法存儲數(shù)據(jù)。數(shù)據(jù)一旦被定位，一個行集合中的列值會被分組到一起，然后將其進(jìn)行壓縮，待壓縮完成后數(shù)據(jù)會被存儲到壓縮單元中。利用HCC技術(shù)的倉庫壓縮和存檔壓縮都取得了高效的壓縮比，其中，倉庫壓縮在典型情況下可以提供10：1的壓縮率，存檔壓縮比可以達(dá)到15：1，極大的節(jié)省了存儲空間。此外，存儲系統(tǒng)支持基于固定長度數(shù)據(jù)塊或可變長度數(shù)據(jù)塊的重復(fù)數(shù)據(jù)判斷和刪除機制，通過SHA256等算法計算數(shù)據(jù)指紋表記錄數(shù)據(jù)特征，當(dāng)有相同指紋特征的數(shù)據(jù)寫入時只保留一份數(shù)據(jù)，將重復(fù)數(shù)據(jù)刪除，其中基于可變長度數(shù)據(jù)塊計算的指紋信息更加靈活和精確，可支持更高的數(shù)據(jù)重刪率。通過數(shù)據(jù)重刪技術(shù)可在重復(fù)數(shù)據(jù)占比較高的數(shù)據(jù)類型存儲時顯著節(jié)省存儲空間。 通過全局元數(shù)據(jù)共享技術(shù)構(gòu)建全局統(tǒng)一命名空間，對外提供統(tǒng)一的數(shù)據(jù)視圖，可視化呈現(xiàn)熱冷數(shù)據(jù)的分布，檢索系統(tǒng)任意位置的數(shù)據(jù)并進(jìn)行訪問，在高速池上實現(xiàn)海量百億級文件秒級檢索。 故障恢復(fù)技術(shù)通過多副本和糾刪碼算法實現(xiàn)數(shù)據(jù)的冗余保護(hù)，這與中國傳統(tǒng)醫(yī)學(xué)中的邏輯理念不謀而合,即“治已病”。存儲系統(tǒng)的K+M糾刪碼級別有：K+1、K+2、K+3和K+4，其中，K表數(shù)據(jù)塊的數(shù)量如，K+2允許系統(tǒng)在不同的節(jié)點上故障兩塊硬盤，或故障兩個節(jié)點。系統(tǒng)不僅能支持硬盤級的故障，而且還支持機柜級或節(jié)點級的故障。只要系統(tǒng)中同時故障的節(jié)點數(shù)不超過M，系統(tǒng)就可以持續(xù)提供服務(wù)。通過數(shù)據(jù)重構(gòu)過 計，對外提供統(tǒng)一的增值特性服務(wù)，在NFS、CIFS、HDFS或S3協(xié)議中的一種協(xié)議下設(shè)置了某個高級特性后對其 數(shù)據(jù)分層管理基于數(shù)據(jù)的訪問頻率、重要性以及其他相關(guān)屬性，通過機器學(xué)習(xí)、數(shù)據(jù)挖掘等技術(shù)，建立數(shù)據(jù)訪問頻率預(yù)測模型，準(zhǔn)確識別出熱數(shù)據(jù)和冷數(shù)據(jù)，并分別存儲在不同的存儲介質(zhì)或存儲層級上。當(dāng)數(shù)據(jù)在變?yōu)闇乩錉顟B(tài)并滿足設(shè)定的分層遷移策略時，自動遷移到異地的存儲系統(tǒng)中或是不同存儲介質(zhì)的異構(gòu)存儲系統(tǒng)中，當(dāng)后續(xù)的作業(yè)階段觸發(fā)了對已遷移數(shù)據(jù)的訪問請求時，自動將數(shù)據(jù)回遷至原存儲系統(tǒng)中。通過數(shù)據(jù)分層管理策略實現(xiàn)數(shù)據(jù)在全生命周期內(nèi)的自動遷移和透明流動，包括在后端存儲使用磁帶庫和藍(lán)光存儲等冷存儲介質(zhì)的場景，實現(xiàn)數(shù)據(jù)在高性能的SSD介質(zhì)、HDD磁盤、以及低成本的冷存儲介質(zhì)之間的高效流轉(zhuǎn)。同時，存儲系統(tǒng)根據(jù)設(shè)定的存儲策略判斷匹配的存儲池資源，通過自動遷移功能按前端I/O負(fù)載的變化調(diào)整數(shù)據(jù)遷移速率，可最大限度地降低數(shù)據(jù)遷移動作本身對系統(tǒng)的性能影響。AIGCAIGCAIGC數(shù)據(jù)存儲解決方案采用分布式存儲和備份歸檔作為存儲底座。采用不同盤位的分布式全閃和混閃存儲與備份歸檔存儲共同構(gòu)建統(tǒng)一資源池，分布式并行存儲的burstbu?er功能，能夠智能識別熱點數(shù)據(jù)，精準(zhǔn)分級。統(tǒng)一資源池和全局文件系統(tǒng)能保證數(shù)據(jù)跨介質(zhì)、跨設(shè)備流動，防止形成數(shù)據(jù)孤島，備份歸檔的存儲特性則保證數(shù)據(jù)的長期保存和耐久性，具備數(shù)據(jù)流動能力。 100GB-TBHDDHDDHDDHDDHDDHDD HDDHDDHDDHDDHDDHDD 疊瓦式磁記錄(SMR)、二維磁記錄(TDMR)、點陣式磁記錄(BPMR)以及能量輔助磁記錄，以降低冷數(shù)據(jù)歸檔存儲成本，具備強大的數(shù)據(jù)容納能力。基于分布式存儲架構(gòu)和數(shù)據(jù)、元數(shù)據(jù)管理功能，則可對外提供數(shù)據(jù)并行處理、模型分布式訓(xùn)練的數(shù)據(jù)管理能力。存儲系統(tǒng)發(fā)生故障時會導(dǎo)致數(shù)據(jù)讀寫操作失敗、降低CHK讀寫性能，影響訓(xùn)練效率。字節(jié)級分布式鎖、系統(tǒng)故障快速恢復(fù)、系統(tǒng)故障預(yù)測和系統(tǒng)防護(hù)相結(jié)合，可以加快故障恢復(fù)、提前預(yù)測故障和進(jìn)行系統(tǒng)防護(hù)，達(dá)到為存儲底座提供全方位保護(hù)的效果，保證數(shù)據(jù)安全?；诜植际酱鎯Χ鄥f(xié)議融合互通的功能，該方案可實現(xiàn)同時支持文件、對象和大數(shù)據(jù)存儲服務(wù)，對外同時提供POSIX、NFS、CIFS、FTP、FTPS、HTTP、HDFS、S3和CSI等多種數(shù)據(jù)協(xié)議，實現(xiàn)不同協(xié)議下用戶權(quán)限共享、語義無損、性能一致，同時數(shù)據(jù)在存儲池內(nèi)僅保存一份，但是可以通過多種協(xié)議訪問，避免不同協(xié)議下數(shù)據(jù)的拷貝，節(jié)省50%的數(shù)據(jù)存儲空間。而通過全局元數(shù)據(jù)共享技術(shù)則可以構(gòu)建統(tǒng)一命名空間，支持跨平臺、跨形態(tài)、跨地域的全局?jǐn)?shù)據(jù)管理，并對外提供統(tǒng)一的數(shù)據(jù)視圖，用戶可方便地檢索任意位置系統(tǒng)的數(shù)據(jù)并進(jìn)行訪問，在高速池上可實現(xiàn)10億文件秒級檢索，體現(xiàn)了此方案的數(shù)據(jù)共享能力。AIGC 以上存儲解決方案為計算平臺提供超高的性能支持，可達(dá)400萬IOPS和500GB帶寬，滿足大模型訓(xùn)練過程中大規(guī)模數(shù)據(jù)讀寫的帶寬需求，有效避免大模型訓(xùn)練過程中大量小文件toen讀取時延的問題，滿足整個存儲資源的整體性能。同時，該方案可提供全數(shù)據(jù)生命周期管理的能力，實現(xiàn)數(shù)據(jù)按熱度進(jìn)行流動、提供熱、溫、冷、冰四級存儲介質(zhì)，實現(xiàn)高效、節(jié)能的數(shù)據(jù)分級存儲。在上層，智能化運維管理平臺，采用AIOPS主動運維監(jiān)控、預(yù)測分析、提升管理效率、降低運維成本。以上功能特性滿足AIGC模型訓(xùn)練場景下極低時延與極高IOPS需求。滿足跨學(xué)科領(lǐng)域研究的需求，為智慧醫(yī)療、智能感知、人機協(xié)同、數(shù)字孿生、材料發(fā)現(xiàn)、芯片制造、視覺影像多個研究方向的大模型研究提供了安全可靠的數(shù)據(jù)存儲底座。文件、對象融合存儲，TCO降低HDRIB全NVMe20*AS1300024多模型、百GB HOME目 工具鏡像倉 容器持久存該方案的平臺配置的存儲系統(tǒng)采取分級策略，配置一級高性能存儲+二級大容量存儲，實現(xiàn)數(shù)據(jù)在不同層級間自由流轉(zhuǎn)。存儲模塊全部支持多種存儲類型，多種功能模塊協(xié)同工作，打破單一軟硬件技術(shù)壁壘，使業(yè)務(wù)運行更加順暢。并且該方案提供閃存存儲空間300TB，存儲吞吐可達(dá)100GB/s+。該解決方案配備高性能存儲系統(tǒng)，為用戶提供強大、高效的數(shù)據(jù)存儲空間和數(shù)據(jù)訪問的能力，同時提供了多種數(shù)據(jù)特征提取、整合，多維度動態(tài)組織數(shù)據(jù)集的能力，為用戶“再創(chuàng)新，再發(fā)現(xiàn)”提供了強力的工具。計算模塊提供了異構(gòu)計算框架的兼容能力，復(fù)雜流程的解析能力/并發(fā)能力和異構(gòu)資源的高效利用能力。實現(xiàn)一套集群中多種業(yè)務(wù)并行，多種計算并行，多租戶共享。 客戶需要一套高性能的全閃存儲系統(tǒng)，支持?jǐn)?shù)百億參數(shù)的醫(yī)學(xué)影像生成模型訓(xùn)練，規(guī)劃3PB全閃存儲集群，要求聚合帶寬200GB/s，集群OPS達(dá)到350萬。為了支持?jǐn)?shù)據(jù)采集、預(yù)處理和歸檔，客戶還需要一套大容量的混閃存儲系統(tǒng)，規(guī)劃30PB混閃存儲集群，要求性能達(dá)到50GB/s，集群OPS為135萬。醫(yī)療數(shù)據(jù)的安全和隱私保護(hù)至關(guān)重要，客戶要求存儲系統(tǒng)在保證高性能的同時，必須具備強大的數(shù)據(jù)安全和隱私保護(hù)機制。數(shù)據(jù)采 數(shù)據(jù)處 數(shù)據(jù)訓(xùn) 數(shù)據(jù)推全閃存儲高200GB帶寬，350萬數(shù)據(jù)預(yù)處理階段有大量醫(yī)學(xué)影像數(shù)據(jù)需要快速上傳和預(yù)處理。通過優(yōu)化數(shù)據(jù)路徑，減少數(shù)據(jù)傳輸路徑中的瓶頸，提高上傳和預(yù)處理速度。通過并發(fā)優(yōu)化算法，提升多客戶端同時上傳和處理數(shù)據(jù)的效率（上傳速率和性能），利用智能緩存技術(shù)，加快常用數(shù)據(jù)的訪問速度，高并發(fā)上傳和智能緩存技術(shù)使數(shù)據(jù)處理時間節(jié)省30%。模型訓(xùn)練階段深度學(xué)習(xí)模型訓(xùn)練需要高性能存儲系統(tǒng)，訓(xùn)練過程中需要頻繁讀取和寫入大量數(shù)據(jù)，因此需要較高的吞吐性能，3PB全閃存儲集群支持高帶寬和高OPS，滿足深度學(xué)習(xí)模型訓(xùn)練需求。數(shù)據(jù)分片和并行處理技術(shù)通過將大文件分成多個小塊存儲和處理，提高數(shù)據(jù)存儲和訪問效率。通過內(nèi)置的智能調(diào)度算法自動調(diào)整存儲資源分配，確保高性能需求的訓(xùn)練任務(wù)順利進(jìn)行。通過全局去重技術(shù)，減少重復(fù)數(shù)據(jù)存儲量，提升存儲利用率。全閃存儲集群優(yōu)化后，聚合帶寬達(dá)到250GB/s，OPS超過400萬，訓(xùn)練和推理效率提升110%。多層次的數(shù)據(jù)保護(hù)機制確保醫(yī)療數(shù)據(jù)的安全性和隱私保護(hù)，提升系統(tǒng)的合規(guī)性和可靠性，確保了研究中心醫(yī)療影像數(shù)據(jù)安全的相關(guān)保密規(guī)定得到嚴(yán)格落實。 GPUGPU小文件高IOPS容器服 模型訓(xùn) 分析任 高頻交支持GDSGPU該方案不僅提供了極高的IOPS，還具備了極低的延遲和極強的小文件讀寫能力以及元數(shù)據(jù)處理能力。在面對海量小文件場景下，性能無衰減。配合分布式計算系統(tǒng)，可以承載多種分析應(yīng)用，并且通過進(jìn)程和容器的方式運行批量計算、并行計算，動態(tài)高效分配資源。提供對GPU等稀缺資源的管理和調(diào)度能力，高效利用人工智能技術(shù)助力量化分析流程。面對智能分析數(shù)據(jù)處理過程中的性能瓶頸，通過計算和存儲的協(xié)同，解決了I/O瓶頸帶來的分析效率低下和計算資源利用率低的問題。AIGCAIGCAIGC 隨著AIGC產(chǎn)業(yè)的大力發(fā)展，各地方政府也在積極推進(jìn)大型智算中心的構(gòu)建，例如北京、深圳、上海等地已經(jīng)出臺了多種布局算力基礎(chǔ)設(shè)施的實施方案。目前，國內(nèi)單個智算中心的存儲規(guī)模均在EB級，智算中心的規(guī)模和數(shù)量不斷擴大，帶來了存儲的能耗的快速上升。相關(guān)數(shù)據(jù)顯示，2023年，全國數(shù)據(jù)中心耗電量達(dá)到2700億千瓦時，占社會總用電量的3%。而智算中心引入了更多的算力相關(guān)設(shè)備，其耗電量將遠(yuǎn)高于同等規(guī)模的數(shù)據(jù)中心。根據(jù)斯坦福人工智能研究院發(fā)布的《2023年人工智能指數(shù)報告》顯示，GPT-3單次訓(xùn)練耗電量就已高達(dá)1287兆瓦時，智算中心內(nèi)綠色能源使用占比超過20%，液冷機柜數(shù)量占比超過50%，存儲能耗中80%于存儲介質(zhì)。目前主流的存儲介質(zhì)主要包括HDD磁盤和SSD磁盤。其中HDD磁盤功耗大約在6W以上，而SSD磁盤在靜態(tài)無負(fù)荷條件下，功耗僅大約在0.05W到.2W之間。然而，由于SSD單盤價格相對較高，且在相同容量下，需要更多數(shù)量的HDD，直接導(dǎo)致存儲的總能耗大幅上升，嚴(yán)重阻礙國內(nèi)“碳達(dá)峰&碳中和”的進(jìn)展。對于滿足AIGC高性能需求的同時提升存儲系統(tǒng)的能效比并降低能耗成本這一問題，各存儲廠商紛紛出臺了相應(yīng)的解決方案。比較典型的有以下幾種，一是采用能耗更低的全閃存存儲（ll-Flashtoag,AFS）存存儲方案。全閃存存儲利用固態(tài)硬盤（SSD）的高速讀寫能力，提供極低的延遲和高吞吐量，非常適合AIGC應(yīng)用中的實時數(shù)據(jù)處理需求?；扉W存存儲則結(jié)合了SSD和傳統(tǒng)硬盤驅(qū)動器（HDD），通過智能數(shù)據(jù)分層技術(shù)，將最活躍的數(shù)據(jù)存儲在SSD上，而將較少訪問的數(shù)據(jù)存儲在HDD上，從而在性能和成本之間取得平衡。二是智能數(shù)據(jù)管理策略。這些策略包括自動數(shù)據(jù)分層，它根據(jù)數(shù)據(jù)訪問的頻率和模式，動態(tài)地將數(shù)據(jù)在不同存儲層之間遷移。通過冷數(shù)據(jù)歸檔技術(shù)將不常訪問的數(shù)據(jù)移動到更節(jié)能的存儲介質(zhì)上，減少對高性能存儲資源的需求，減少不必要的數(shù)據(jù)存儲和訪問。此外，還有在數(shù)據(jù)中心的存儲中實施數(shù)據(jù)去重和壓縮技術(shù)，減少存儲需求以及利用軟件定義存儲和存儲虛擬化技術(shù)提高資源利用率等技