算網(wǎng)融合下的多云部署和數(shù)據(jù)存儲發(fā)展趨勢分析

算網(wǎng)融合下的多云部署和數(shù)據(jù)存儲發(fā)展趨勢分析翟爽

王旭東

張震（華為技術有限公司，深圳518129）摘要：算網(wǎng)融合因其能夠提供高效算力、先進存力、高速運力而成為加速產(chǎn)業(yè)數(shù)字化轉型的重要抓手。在算網(wǎng)融合的演進中也伴隨著多云協(xié)同、云網(wǎng)協(xié)同、云數(shù)協(xié)同、存算協(xié)同等挑戰(zhàn)。當前各行各業(yè)的上云需求猛增，但是大部分選擇了混合多云的部署方式，而數(shù)據(jù)存儲作為承載業(yè)務的數(shù)據(jù)載體，如何協(xié)同數(shù)據(jù)存儲與多云的高效發(fā)展，推動算網(wǎng)融合落地已經(jīng)變得越發(fā)重要。洞察了在多云發(fā)展過程中數(shù)據(jù)存儲的發(fā)展趨勢，以及在多云環(huán)境下數(shù)據(jù)管理、數(shù)據(jù)流動中面臨的挑戰(zhàn)，同時提出數(shù)據(jù)存儲與云原生協(xié)同發(fā)展的建議，幫助企業(yè)在多云架構下選擇適合的存儲類型。關鍵詞：多云；算網(wǎng)融合；數(shù)據(jù)存儲；云原生；全閃存儲0

引言自2006年云計算首次商用以來，隨著全球數(shù)字化轉型進程加速，云計算正逐漸成為經(jīng)濟發(fā)展的首選數(shù)字化業(yè)務平臺。《“十四五”數(shù)字經(jīng)濟發(fā)展規(guī)劃》明確指出“推進云網(wǎng)協(xié)同和算網(wǎng)融合發(fā)展”，《“十四五”國家信息化規(guī)劃》明確要求構建新型算力基礎設施。據(jù)Gartner機構測算，2015—2021年全球云計算市場滲透率由4.3%上升到15.3%[1]，2021年全球公有云市場規(guī)模達到了3307億美元，增速達到32.5%，用戶已經(jīng)遍及互聯(lián)網(wǎng)、政務、金融、教育、制造等各個行業(yè)。我國已經(jīng)成為全球重要的云計算市場，2021年我國云計算市場規(guī)模達3229億元，同比增長54.4%，公有云市場2181億元，同比增長70.8%，私有云市場1048億元，同比增長28.7%[2]。其中，互聯(lián)網(wǎng)是云計算的主流應用行業(yè)，而在政策的驅動下，我國政務云規(guī)模持續(xù)高速增長。金融、交通、制造等行業(yè)的云計算應用水平也在快速提高，成為最具潛力的領域。雖然云計算發(fā)展迅速，但是也正在變得越來越復雜。之前很多企業(yè)上云的愿景是將應用負載放在單個云上，但隨著業(yè)務的需求和技術的發(fā)展，混合多云架構因為能夠為企業(yè)提供更多選擇正變得更具吸引力。上云已經(jīng)由單一云架構轉變?yōu)榛旌隙嘣频慕ㄔO方式。在多云架構部署的模式下，如何實現(xiàn)數(shù)據(jù)的安全管理、高效流通、敏捷變更已經(jīng)成為企業(yè)管理者在選擇多云架構時重點思考的問題。1

混合多云與存儲技術發(fā)展趨勢1.1

多元化的企業(yè)需求推動多云市場的爆發(fā)式增長當企業(yè)決定采用云計算作為基礎架構時，需要考慮時間、成本、業(yè)務創(chuàng)新、風險管控、法律遵從、關鍵信息資產(chǎn)保護等多種因素。尤其對于業(yè)務全球化、多元化的大中型企業(yè)，單一的云商很難滿足分布地域廣、高耦合度、系統(tǒng)復雜的業(yè)務需求，因此多云架構變成了一種新常態(tài)。多云的優(yōu)勢是讓企業(yè)選擇最適合其每個應用負載的云服務，既可以選擇多種云平臺，也可以選擇不同的云形態(tài)，既不會被單一云資源鎖定，也能夠滿足在距離數(shù)據(jù)中心更近的位置上云。根據(jù)Flexera統(tǒng)計，如圖1所示，89%的企業(yè)選擇了多云的部署模式，其中80%選擇了混合云，7%選擇了混合公有云，2%選擇了混合私有云[3]。由此可見，混合多云的部署模式是絕大部分企業(yè)上云的選擇。圖1

企業(yè)多云部署趨勢

1.2

數(shù)據(jù)中心存儲技術的發(fā)展趨勢隨著人工智能、大數(shù)據(jù)、5G、物聯(lián)網(wǎng)的快速發(fā)展，數(shù)據(jù)規(guī)模呈現(xiàn)爆發(fā)式增長，數(shù)據(jù)已經(jīng)成為關鍵的生產(chǎn)要素。存儲作為數(shù)據(jù)的直接載體和數(shù)據(jù)中心的重要組成部分，守護著數(shù)字經(jīng)濟發(fā)展的生命線。中國算力大會發(fā)布了《中國存力白皮書（2022年）》，明確了數(shù)據(jù)中心存力規(guī)模為800EB，并闡述了數(shù)據(jù)存力的概念，指出數(shù)據(jù)存儲技術的發(fā)展和數(shù)據(jù)存力的水平是衡量數(shù)字經(jīng)濟高質(zhì)量發(fā)展的關鍵因素，是激活數(shù)據(jù)要素價值、提高數(shù)據(jù)匯聚能力的根本[4]。

Gartner發(fā)布的《2022年存儲與數(shù)據(jù)保護技術成熟度曲線報告》顯示，存儲發(fā)展趨勢主要包含以下重點方向：2021—2025年，部署支持主存儲工作負載的外部閃存存儲中采用NVMe-oF技術的比例由5%增長到30%；2022—2025年，推出至少一種混合云架構部署模式的存儲廠商由15%增長到60%；2022—2025年，部署在邊緣的企業(yè)存儲比例由15%增長到40%；2026年，在數(shù)據(jù)中心、公有云和邊緣部署的非結構化數(shù)據(jù)容量預計將是2022年的3倍[5]。在云計算存儲領域，容器存儲部署和數(shù)據(jù)處理單元專有硬件集成的存儲也成為兩大發(fā)展趨勢。

2

混合多云下數(shù)據(jù)基礎設施層建設面臨的挑戰(zhàn)

2.1

數(shù)據(jù)爆發(fā)式增長帶來的數(shù)據(jù)管理難題根據(jù)IDC報告，2022—2026年，企業(yè)生成的數(shù)據(jù)將從59ZB增長到155ZB，全球數(shù)據(jù)領域的規(guī)模預計將增加一倍以上。企業(yè)數(shù)據(jù)增長速度將是消費者數(shù)據(jù)的兩倍[6]。ESG的多云成熟度調(diào)查也顯示，企業(yè)管理的非結構化數(shù)據(jù)的三年復合年增長率為39.4%[7]。這將給企業(yè)的管理和數(shù)據(jù)保護帶來更大的挑戰(zhàn)，尤其是在多云的部署模式下。多云環(huán)境除了使用公有云、私有云、專有云等不同形態(tài)的云服務，還體現(xiàn)在使用不同云計算供應商的資源服務，在多云環(huán)境下最大的難題是如何將割裂的數(shù)據(jù)和資源進行統(tǒng)一管理，并應對數(shù)據(jù)利用率低、運維復雜、運營成本高等挑戰(zhàn)。

希捷報告指出，2020年企業(yè)只有32%的可用數(shù)據(jù)被使用[8]。由于多云之間的架構不同導致數(shù)據(jù)之間的訪問存在壁壘，要實現(xiàn)多云的數(shù)據(jù)存儲擴展、數(shù)據(jù)的輕松流通和利用很困難，容易產(chǎn)生新的“數(shù)據(jù)孤島”。

在不同云之間保留數(shù)據(jù)會限制業(yè)務負載的可移動性并增加合規(guī)風險。特別是目前云計算的存儲成本是不穩(wěn)定的，伴隨著數(shù)據(jù)的指數(shù)增長、成本的增加，隱藏的費用支出大大提高了總擁有成本（TotalCostofOwnership，TCO），并且額外的高額費用會讓數(shù)據(jù)被鎖定在某個云上。比如73%的受訪者表示，數(shù)據(jù)留存成本限制了他們企業(yè)最大化數(shù)據(jù)價值的能力。還有60%的受訪企業(yè)表示，由于存儲成本過高，刪除了他們認為有價值的業(yè)務數(shù)據(jù)[7]?？梢钥吹剑絹碓蕉嗟钠髽I(yè)感受到了多云數(shù)據(jù)成本相關的挑戰(zhàn)。

2.2

多云讓不同數(shù)據(jù)資源形成了孤島由于多云建設采用了不同的技術堆棧、不同的數(shù)據(jù)平臺來實現(xiàn)數(shù)據(jù)整合和管理，所以企業(yè)很難遷移不同格式且駐留在不同存儲技術中的數(shù)據(jù)。雖然企業(yè)整合了公有云、私有云、傳統(tǒng)企業(yè)數(shù)據(jù)中心和邊緣數(shù)據(jù)中心等多種基礎資源來支撐各種云化應用，但不同技術體系的數(shù)據(jù)中心仍是“數(shù)據(jù)孤島”，相互之間的數(shù)據(jù)共享與流動十分困難且成本相當高。可遷移性解決方案獲取和維護成本很高，并且缺乏可遷移性可能導致多云戰(zhàn)略的風險。由于“數(shù)據(jù)孤島”的長期存在，數(shù)據(jù)的遷移和流轉要面對更多的安全風險，如何使不同云上的數(shù)據(jù)實現(xiàn)合規(guī)管理也面臨著巨大的挑戰(zhàn)。

2.3

多云之間的數(shù)據(jù)資源流動難在企業(yè)多云的場景下，數(shù)據(jù)資源往往需要被不同的應用平臺處理，這就要求數(shù)據(jù)能在不同云平臺之間雙向自由流動，但是每一個云商采用的存儲層硬件資源是不同的，這就形成了硬件資源被云商鎖定的局面，當企業(yè)在建設多個云平臺時就會被迫采用不同的存儲硬件資源。而云商的存儲硬件資源之間的協(xié)議不互通、生態(tài)不適配、數(shù)據(jù)不一致、數(shù)據(jù)不可用等限制帶來了數(shù)據(jù)流動的風險和瓶頸，從而造成完成數(shù)據(jù)遷移和數(shù)據(jù)可用的時間達到數(shù)周或者數(shù)月。在多云之間、邊緣和云之間的數(shù)據(jù)流動需要占用大量的網(wǎng)絡帶寬和穩(wěn)定的低時延，因此，不穩(wěn)定的網(wǎng)絡傳輸效率也會帶來數(shù)據(jù)流動的瓶頸。從全球的云計算和存儲產(chǎn)業(yè)發(fā)展來看，云和存儲之間建立了開放合作的生態(tài)和標準，其更具備前瞻性和協(xié)同性。在商務層面，云平臺與數(shù)據(jù)存儲設備分開采購；在技術層面，云平臺和數(shù)據(jù)存儲設備兼容互通。統(tǒng)一的數(shù)據(jù)存儲資源池能夠支撐多云間的數(shù)據(jù)實時共享和流動，保障數(shù)據(jù)的完整一致性。

3

促進多云和數(shù)據(jù)存儲協(xié)同高質(zhì)量發(fā)展的相關建議

3.1

部署多元數(shù)據(jù)存儲形態(tài)，分層解耦建設多云基礎設施數(shù)據(jù)存儲一直是高價值數(shù)據(jù)的最佳底座，并伴隨著數(shù)據(jù)應用的演進而發(fā)展。早期的數(shù)據(jù)應用主要是數(shù)據(jù)庫系統(tǒng)以及大型主機應用，此時的外置存儲以存儲區(qū)域網(wǎng)絡（StorageAreaNetwork，SAN）存儲為主。隨著互聯(lián)網(wǎng)、云計算的高速發(fā)展，不同用戶在使用云計算時產(chǎn)生的數(shù)據(jù)形式、應用場景、訪問方式都存在較大的差異，云計算需要滿足各類場景下的多元用戶需求，統(tǒng)一存儲應運而生。在保證性能、可靠性的基礎上，存儲擴展能力也得到了極大的提升。在IaaS層數(shù)據(jù)存儲架構選擇上有多種方式，包括基于服務器存儲的分布式架構、基于外置存儲的SAN架構等，但是無論選擇哪種方式，當前的IaaS層絕大部分采用了計算、存儲、網(wǎng)絡分離的分層解耦組網(wǎng)模式，即使是大型的公有云服務商也不例外。尤其是在以混合云或者私有云為主的多云部署方式下，數(shù)據(jù)中心的外置存儲設備作為分層解耦的架構更具備優(yōu)勢。其帶來的數(shù)據(jù)管理、數(shù)據(jù)流動、成本控制更加符合多云發(fā)展的現(xiàn)狀。多云架構下應當選擇多元化的存儲類型，并采用分層解耦的建設方式。

3.2

數(shù)據(jù)集中共享，存儲云原生能力加速賦能企業(yè)多云數(shù)字化轉型企業(yè)業(yè)務創(chuàng)新持續(xù)加速，需要進一步縮短應用上市的周期，擁抱容器技術成為了當今絕大部分企業(yè)的選擇。應用云上開發(fā)、云下部署既能利用公有云的敏捷彈性降低開發(fā)測試成本，又能利用私有云保證數(shù)據(jù)安全和主權。由于云上云下的開發(fā)和應用架構不一致以及業(yè)務割裂，無法保證應用的一致性交付、一致性運維，云上PaaS/SaaS服務下推到云下企業(yè)數(shù)據(jù)中心需要對企業(yè)信息技術（InformationTechnology，IT）架構進行容器化改造。有狀態(tài)應用在進行云化改造時，云原生應用場景對服務的敏捷度、靈活性要求非常高,很多場景期望容器的快速啟動、靈活的調(diào)度。云原生時代的存儲系統(tǒng)，除了要滿足性能、穩(wěn)定性、可靠性的要求以外，還要滿足業(yè)務系統(tǒng)對敏捷性的要求，能夠通過統(tǒng)一的編排系統(tǒng)配合業(yè)務上線，并且可以實現(xiàn)快速擴容。首先，存儲支持標準接口規(guī)范，實現(xiàn)與容器的對接，采用專業(yè)存儲代替服務器本地盤，具有高可靠性，計算和存儲靈活更換、擴展。在這一基礎上，網(wǎng)絡附屬存儲（NetworkAttachedStorage，NAS）是最適合作為容器底座的存儲，一方面，業(yè)務系統(tǒng)可以非常方便地掛載和卸載到NAS文件系統(tǒng)上，契合容器彈性伸縮的訴求；另一方面，NAS擁有豐富的企業(yè)級特性，如多租戶、配額等，與容器面向應用級的多租戶、服務質(zhì)量（QualityofService，QoS）等訴求可以配合使用。此外，NAS還可以將文件系統(tǒng)開銷卸載到存儲上，在大并發(fā)應用下，性能不受主機操作系統(tǒng)開銷影響。在容器標準接口和災備插件的配合下，數(shù)據(jù)存儲可以為容器提供應用級的跨云、跨數(shù)據(jù)中心容災，使云原生關鍵應用擁有和傳統(tǒng)應用一樣的容災能力，避免單節(jié)點故障、單數(shù)據(jù)中心故障和集群故障，達到數(shù)據(jù)零丟失的可用容災級別。這種高可用機制只需通過存儲底層實現(xiàn)，應用無需為考慮高可用進行任何改造，使企業(yè)只關注應用本身，加速企業(yè)IT向多云架構邁進。

3.3

積極擁抱多云架構，打造多云時代安全可靠的存儲底座數(shù)據(jù)存儲是多云架構優(yōu)劣的關鍵，應當積極發(fā)揮數(shù)據(jù)存儲和云技術的能力，構建數(shù)據(jù)分級存儲、全局文件系統(tǒng)、存儲容器化和Diskless數(shù)據(jù)中心架構的能力。探索本地與云上冷熱數(shù)據(jù)分層管理、數(shù)據(jù)容災備份等技術路線，打造具備高可靠、高性能、多協(xié)議、低成本的統(tǒng)一存儲。從產(chǎn)、學、研、用等多維度推進，鼓勵在多云建設時采用數(shù)據(jù)基礎設施建設升級，通過制定政策促進企業(yè)在上云過程中建設統(tǒng)一的數(shù)據(jù)存儲資源池，并制定云平臺和數(shù)據(jù)存儲的互聯(lián)互通標準。加快閃存數(shù)據(jù)存儲的應用節(jié)奏，并將其納入企業(yè)數(shù)字化轉型工作計劃。加大新型存儲架構的產(chǎn)業(yè)扶持力度和科研資金投入，引導企業(yè)聯(lián)合高校、科研院所將新型存儲架構的基礎研究、技術創(chuàng)