云原生數據庫重塑企業(yè)基礎設施-云原生數據庫產業(yè)發(fā)展與行業(yè)應用白皮書 2024_第1頁
云原生數據庫重塑企業(yè)基礎設施-云原生數據庫產業(yè)發(fā)展與行業(yè)應用白皮書 2024_第2頁
云原生數據庫重塑企業(yè)基礎設施-云原生數據庫產業(yè)發(fā)展與行業(yè)應用白皮書 2024_第3頁
云原生數據庫重塑企業(yè)基礎設施-云原生數據庫產業(yè)發(fā)展與行業(yè)應用白皮書 2024_第4頁
云原生數據庫重塑企業(yè)基礎設施-云原生數據庫產業(yè)發(fā)展與行業(yè)應用白皮書 2024_第5頁
已閱讀5頁,還剩70頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

重塑企業(yè)基礎設施 第二章數據庫×云原生全面助力企業(yè)IT基礎設施升級 5.3移動云原生數據庫產品能力與應用案例 PART01企業(yè)IT基礎設施發(fā)展大模型開啟了通用人工智能(AGI)的新時代,各行各業(yè)正在以前所未有的速度進行產業(yè)升級和變革。在數智化加速轉型的過程中,企業(yè)力求通過技術革新提升運營效率,加快市場響應速度,持續(xù)強化企業(yè)創(chuàng)新能力,確保自身能夠在激烈的市場競爭中占據有利地位。企業(yè)IT基礎設施作為支撐數智化轉型的關鍵力1.1數智化發(fā)展對企業(yè)IT基礎設施提出新要求AI時代對企業(yè)IT基礎設施提出了一系列新要求。各行業(yè)的轉型升級需求旺盛,新的數字經濟產業(yè)也在快速發(fā)展,新業(yè)態(tài)、新模式層出不窮,企業(yè)IT基礎設施必須在AI時代快速實現自我革新,確保企業(yè)的發(fā)展戰(zhàn)略能夠全面落實到創(chuàng)新實AI時代的用戶需要基礎設施提供更靈活的按需服務能力。其應用場景將更加復雜多樣,需要根據動態(tài)需求情況靈活調用組件,并快速增減計算、網絡、存儲AI時代也將不斷挑戰(zhàn)各基礎設施的運行效率極限。因為AI的大數據、大算力需求特性,加之算力的高成本和復雜多樣性,對不同基礎設施資源的一體化管理和優(yōu)化加速將變得十分重要。對用戶來說,計算效率的提升意味著對綜合成本的大幅優(yōu)化。此外,伴隨AI原生應用需求的不斷豐富和迭代速度的快速增加,不同目前,對海量業(yè)務數據的管理、處理與分析是企業(yè)必備的核心能力之一。面對海量數據的實時處理需求,企業(yè)IT基礎設施必須能夠具備快速響應業(yè)務的能力,確保數據處理和分析的時效性與準確性。彈性可伸縮的池化基礎設施資源,使得企業(yè)在處理海量數據時更加游刃有余,顯著提升對業(yè)務的洞察能力和敏捷響同時,AI大模型訓練對相關數據集的數據質量和加工效率有極高要求,基礎設施應能夠提供全流程的數據準備、清洗、標注和存儲服務,以確保AI訓練目標的按期達成。以云為支撐的基礎資源需要應對大規(guī)模數據存儲和處理挑戰(zhàn),以滿AI正在與更多的數字化技術和數字化流程快速融合。企業(yè)IT服務變得更加多樣,云、數據、組件以及應用的種類和數量都在快速增加,給管理帶來了許多新的困難。在基礎設施管理中使用更多的AI算法,用于優(yōu)化資源配置、洞察系統性例如AI根據計算任務的特性,對任務進行靈活切分,并自動匹配計算資源,確保各分子任務之間的高效協同,避免局部等待和空轉造成的浪費。AI算法也可AI時代的企業(yè)IT基礎設施必須構建更加嚴密的多重防御和動態(tài)防御體系。特別是在數據要素市場化的大背景下,大量數據在云端被存儲和使用,云基礎設施必須根據需要,實施面向全流程的數據安全保障措施和可信計算環(huán)境,并從技術和管理機制上保障數據的合規(guī)使用,避免數據泄露和越權使用帶來的安全和法律1.2企業(yè)IT基礎設施的新趨勢企業(yè)IT基礎設施將全面引入智能化能力體系,將更多的技術與傳統的基礎設施進行深度融合,并通過對基礎設施的持續(xù)升級和重構,提升整體規(guī)模、性能和云原生化將成為企業(yè)IT基礎設施的主流發(fā)展趨勢。云原生基于分布式部署架構,通過容器化、微服務、自動化運維等一系列技術手段,讓企業(yè)的IT基礎設施具備高度的靈活性、可擴展性和可用性。云原生架構的IT基礎設施能夠更加快速地響應業(yè)務需求變化,實現資源的快速部署、開通和釋放,提供極致的彈性、敏捷體驗。同時,云原生架構通常會采用更完善的資源解耦、Serverless、容錯設計和故障恢復機制,并提供豐富的監(jiān)控和日志功能,可以更加細粒度地診斷和排大模型將帶來更多的企業(yè)AI原生應用開發(fā)和使用需求,企業(yè)需要考慮為AI訓練、推理和AI數據集的存儲、管理、使用提供更佳的基礎設施環(huán)境支撐,為了應對海量數據的分析、處理需求,基礎設施的并行訪問效率和網絡的協同管理等都域技術資源的整合,打造企業(yè)數智化生態(tài),幫助企業(yè)全面提升創(chuàng)新能力,形成運在AI時代,大規(guī)模集群計算將成為常態(tài)。大模型的千卡、萬卡級協同訓練,率、運行效率以及穩(wěn)定性。算網融合有非常廣泛的應用場景,在交通、醫(yī)療、制成本、體驗最優(yōu);疊加AI、大數據等能力要素,形成多要素融合的一體化服務,用戶不用關心資源類型和位置,一點接入,隨需申請,隨需使隨著建設時間的積累,未來的企業(yè)IT基礎設施內容將更加多元:在時間維度上呈現為不同時期的軟硬件系統;在技術棧維度囊括了基礎云、智能算力、數據、組件、應用等一系列廣義上的數字資源;在空間維度上以混合云、多云的形籌,施行一體化管理是很多企業(yè)需要重點對待的問題。一體化管理既能夠實現資源上的集約,也可以保障不同系統之間的充分共享協同。在一體化管理的基礎PART02數據庫×云原生全面助力企業(yè)IT基礎設施升級AI時代給企業(yè)IT基礎設施帶來了新機遇、新挑戰(zhàn)。數據庫作為現代信息系統中的核心和關鍵組成,是企業(yè)IT基礎設施的重要能力呈現,對業(yè)務的穩(wěn)定、高效運行起到至關重要的決定性作用。企業(yè)的所有業(yè)務行為都將具象至對數據的定義、操作、分析和維護管理操作過程。同時,通過對數據的進一步匯聚、存儲、治理、分析和利用,企業(yè)可以持續(xù)積累數據資產,并推動以業(yè)務場景為導向的數據服務能力發(fā)展。因此,以數據庫為核心的全棧能力升級成為未來業(yè)務創(chuàng)新發(fā)展2.1數據庫產品正面臨日益緊迫的多維度提升需求隨著各行業(yè)創(chuàng)新升級進程的加速,企業(yè)內不同業(yè)務的一體化融合趨勢持續(xù)凸顯,交易型業(yè)務和分析型業(yè)務的界限正在日漸模糊。在當前的大模型時代,數據庫的發(fā)展已經與人工智能、云計算、區(qū)塊鏈等一系列新技術密切關聯,數據庫廠商需要進一步洞察大模型時代的企業(yè)業(yè)務形態(tài)、商業(yè)模式和生態(tài)需求,圍繞數據數據形態(tài)日趨多樣:AI賦能的企業(yè)創(chuàng)新業(yè)務帶來了更加多樣的數據類型和數據關聯,圖片、視頻、語音等多模態(tài)數據的大量產生和使用,使企業(yè)必須認真考慮不同類型的數據庫需求的統籌和融合問題。無論結構化數據、非結構化數據,還是OLTP、OLAP,都需要數據庫體系提供統一、高效、穩(wěn)定、可技術需求持續(xù)提升:傳統結構化數據的屬性變得越來越復雜多樣,對數據庫的查詢、操作性能提出了更高的要求。隨著企業(yè)業(yè)務規(guī)模的快速膨脹,數據庫的并發(fā)性能和峰值支撐能力都變得極為重要。此外,創(chuàng)新型業(yè)務普遍要求灰度發(fā)布、快速迭代,數據庫需要應對更為嚴苛的彈性伸縮能力和敏捷部署系統間協同與互操作:高水平的數據庫設計可以大幅提升企業(yè)信息系統間的協同和互操作能力。不同系統之間通過數據庫實現共享與交互,破除信息孤島。企業(yè)也可以通過數據庫對不同業(yè)務進行整合和一體化管理,形成多維業(yè)新技術帶來新變革:云計算、大數據、區(qū)塊鏈與AI的發(fā)展,給數據庫產品的發(fā)展變革帶來強勁的影響力和推動力。例如,云技術提升靈活性與可擴展性,滿足容災和高可用設計要求。大數據技術帶來更多類型數據庫的需求,加速數據庫和大數據的融合發(fā)展。區(qū)塊鏈、隱私計算等幫助企業(yè)在復雜業(yè)務需求下實現數據可信、可追溯和完整性保護。AI在帶來新需求的同時,也為安全與合規(guī):在數據要素市場化的大背景下,企業(yè)數據交易需求正在快速增未來,數據要素將成為企業(yè)最重要的資產?,F代企業(yè)數據庫的高效、穩(wěn)定運行,不僅直接影響企業(yè)自身的健康運營和持續(xù)創(chuàng)新發(fā)展,也關系到不同機構間信任和協同關系的建立。高效的數據基礎設施建設和數據流通保障,將推動整個社2.2云原生架構助力數據庫能力躍升撬動企業(yè)深層業(yè)務需求數據庫對多模態(tài)、智能化和高性能等發(fā)展方向的支撐,將進一步體現在分布式一體化架構、自動化和智能化管理、靈活可擴展、安全合規(guī)以及高可用等設計中。為滿足上述要求,數據庫的云原生化將成為當前和未來數據庫發(fā)展的確定性本地部署模式公有云模式在IDC2023-2028中國關系型數據庫市場規(guī)模統計與預測數據中,公有云模式的市場份額將持續(xù)增長,年均復合增長率可達24.5%,遠高于本地化部署模式的增長率。隨著互聯網行業(yè)的減速,其整體對云服務的采購量出現下降,將使公有云數據庫的增速放緩,而傳統企業(yè)業(yè)務上云、行業(yè)云原生應用的發(fā)展將繼續(xù)驅由于企業(yè)和政府IT投資緊縮,2023年以來本地部署模式的數據庫增速下降明顯。IDC預計,本地部署數據庫市場增速將在2025年恢復到正常水平,分布式關020232023-2028CAGR:總體市場:20.9%公有云模式:24.5%傳統部署模式:134%基于云原生架構的數據庫天生具備云環(huán)境的分布式和存算分離架構優(yōu)勢,可以有效實現基于云的高可用、低成本服務,為用戶提供極致的彈性伸縮能力、Serverless特性和其他一系列高價值服務。更為重要的是,云原生數據庫能夠幫助企業(yè)將業(yè)務系統與云上組件、服務和其他系統進行快速集成,輕松實現在線聯分布式架構:云原生數據庫通常具備天然的分布式架構,對規(guī)?;臉I(yè)務數彈性伸縮能力:構建在云原生基礎設施上的數據庫系統能夠提供極致的彈性伸縮能力,包括根據工作負載情況快速增加和減少服務資源,實現自動化的資源管理,這將極大地提升數據庫乃至整個業(yè)務系統應對企業(yè)創(chuàng)新業(yè)務的復雜外部訪問變化,確保在日常運行和業(yè)務峰值期間都能夠保持高訪問性能和高可用性和容災:云原生數據庫通常采用數據冗余備份以及細粒度故障監(jiān)測、故障轉移、故障自動修復等技術,確保在發(fā)生故障時數據不出錯、不丟失,并有快速恢復服務的能力。同時,云原生數據庫一般支持跨地域的容災方案設計,利用異地備份和快速啟動能力,保障事故、災害發(fā)生時盡快恢復自動化管理與運維:云原生數據庫廣泛采用自動化管理和運維工具,實現包括運行監(jiān)控、優(yōu)化、備份和故障恢復等環(huán)節(jié)。這些自動化管理運維能力能夠大幅提升運維效率,減少錯誤發(fā)生,并顯著降低綜合運營成本。目前,人工智能和機器學習技術也已經應用在數據庫的管理維護過程中,例如利用機器與AI技術深度融合:云原生數據庫將融入更多的智能化技術和組件,通過深度學習技術理解和挖掘數據特性,幫助企業(yè)更準確、更快速地洞察業(yè)務機會,動態(tài)調整運營計劃。AI原生應用帶來的多模態(tài)數據類型也將推動云原生支持多云和跨云訪問:企業(yè)上云進程中產生了普遍性的混合云和多云環(huán)境,以滿足不同時期、不同特性的業(yè)務訪問需求。云原生數據庫須能夠支持跨云部署,并在多個云平臺上進行無縫遷移和擴展,這有利于企業(yè)獲得更多、更更全面的安全合規(guī)保障:新一代的云原生數據庫將依托云上的多重安全保障數據庫的云原生發(fā)展趨勢將緊密圍繞AI時代企業(yè)轉型升級和快速創(chuàng)新的需求,通過與云技術的融合創(chuàng)新和協同發(fā)展,支持企業(yè)快速開發(fā)AI原生應用場景,2.3AI工作負載對云原生數據庫的新要求AI時代,以大模型應用為代表的AI工作負載,對云原生數據庫的發(fā)展提出了一些新的要求,旨在保證數據庫系統能夠高效、穩(wěn)定地支撐未來AI應用的運行,極致訪問性能:AI工作負載往往與規(guī)模化的數據處理密切相關,數據庫持續(xù)穩(wěn)定的高吞吐能力非常重要,能夠幫助企業(yè)用戶在AI應用中通過并發(fā)模式處理大量數據服務請求。同時,很多交互式AI應用(例如通過自然語言進行查詢和數據統計)非常強調實時性,對數據訪問的延遲時間有嚴苛要求,其性智能調度與優(yōu)化:為了適應AI應用的訪問特性,云原生數據庫需要具備智能調度與優(yōu)化能力,即根據AI工作負載的特性動態(tài)分配資源,優(yōu)化資源利用率和系統性能。同時通過對應用運行狀態(tài)的監(jiān)測,自主調整索引策略和配置參多樣化的數據服務接口:除能夠支持多種數據類型外,為了讓AI應用更容易集成和調用各類資源,數據庫需要支持多種編程語言和框架,并提供豐富的PART03云原生數據庫典型場景和核心優(yōu)勢3.1企業(yè)數據庫現狀調研IDC對當前企業(yè)使用數據庫的情況進行了調研??傮w上看,大量企業(yè)正在從傳統數據庫向基于云的數據庫進行技術變革和架構升級。這也預示著云原生數據混合架構部署是當前數據庫部署方式。IDC調研顯示,參與本次調研的企業(yè)中,46.7%的企業(yè)采用了混合部署(公有云和私有云、公有云和本地部署的混合)的方式,私有云和本地部署的企業(yè)各占35%和18.3%,尚沒有在公有云上部88%企業(yè)在談及使用數據庫的挑戰(zhàn)時,普遍擔心單體數據庫不能滿足海量數據規(guī)模,特別是面對海量非結構化數據時,企業(yè)對性能、可用性和安全性都有許許多從云數據庫的部署及花費層面看,73.3%的企業(yè)都已經部署了云數據庫,且企業(yè)對云數據庫的預期場景包括數據存儲、應用開發(fā)、ERP應用等,對數據企業(yè)資源管理(ERP)企業(yè)資源管理(ERP)企業(yè)對云數據庫的引入也存在很多顧慮,數據遷移及可擴展性與靈活性等成為最大挑戰(zhàn)。例如,企業(yè)在使用云數據庫時,最為擔心的包括數據遷移、性能、可擴展性、一致性以及安全性等問題。在進入云數據庫部署階段時,企業(yè)需要進一步考慮應用系統升級以及數據遷移的挑戰(zhàn),在這個過程中,企業(yè)普遍擔心缺乏性能與延遲問題性能與延遲問題(數據遷移、數據一致性和完整性、停機時間等)需要對原有應用系統進行升級改造(數據遷移、數據一致性和完整性、停機時間等)需要對原有應用系統進行升級改造供應商依賴較為嚴重,遷移和部署存在困難23.3%云數據庫的可拓展性、集成性和兼容性是企業(yè)關注的重要維度,同時企業(yè)也 集成性強:可與其他云服務(數據分析、機器學習41.7%人工智能和大模型成為推動云數據庫發(fā)展的相關技術。受訪企業(yè)普遍認為人工智能、大模型、大數據等技術將對云數據庫市場需求產生影響,包括對功能、 物聯網在進入實際選型階段時,企業(yè)一般關心服務商的實施經驗和成功案例,并期望對服務商的市場地位、技術水平、生態(tài)系統兼容性、服務響應速度等進行評估。此外,服務商的前期咨詢規(guī)劃能力也十分重要,這有利于為企業(yè)用戶構建一%3.2云原生數據庫特性與通用場景云原生數據庫專為云環(huán)境設計,具備自動擴縮資源、算網資源協同、存算分離、Serverless、容器化部署、高可用性、數據安全、多數據模態(tài)和多編程語言支持等多種特性,為企業(yè)各種復雜和多樣化的業(yè)務場景提供性能強大、高可用性和可擴展的數據服務。通常情況下,云原生數據庫能夠在以下的企業(yè)通用場景中云原生數據庫得益于其分布式架構和存算分離的技術特點,能夠在高并發(fā)訪問場景下有效分散數據庫讀寫壓力,輕松應對大并發(fā)量的突發(fā)流量高峰。在存算分離設計下,數據存儲和數據計算功能分屬不同的系統模塊,兩者可以獨立進行倉容器化部署,承載高彈性流量云原生技術體系下對于組件的容器化部署,使各類資源更加輕量化,擁有快速響應業(yè)務的能力。云原生數據庫系統能夠根據工作負載動態(tài)地調整計算和存儲AI時代的企業(yè)創(chuàng)新業(yè)務可能涉及不同的數據模型和編程語言,并包含不同類型的關系型數據和非關系型數據。云原生數據庫首先應能夠適配當前企業(yè)較為普遍的湖倉一體設計,支持對關系型數據庫、非關系型數據庫、大數據平臺和對象存儲等數據源的連接和共享,結合強大的擴展能力和靈活性,幫助企業(yè)更好地開展AI模型的訓練和推理工作。同時,云原生的Serverless特性讓數據庫用戶無需云原生數據庫的分布式架構以及依托高性能網絡的高效數據處理引擎,能夠確保對規(guī)模化數據處理的高吞吐量和低延遲,這對于一些對時延非常敏感的在線事務處理和實時數據分析場景非常重要。云原生數據庫還可以借助AI輔助策略,動態(tài)優(yōu)化網絡協同模式和數據訪問路徑,從而進一步提升海量數據的處理能力,云原生數據庫能夠依托混合云、多云架構以及云的多Region、多AZ服務能力,為用戶的多環(huán)境、多區(qū)域部署提供更多的方案選擇,滿足不同類型用戶(特別是大型企業(yè))的業(yè)務需求。企業(yè)可以根據實際需要,對業(yè)務以及數據庫進行跨機房、跨地域部署,利用云原生數據庫的跨環(huán)境、跨區(qū)域數據同步能力,構建多活和容災場景,并最終落實到具體的部署方案中。在多云、混合云架構部署方式云的統一管理平臺能夠為云原生數據庫提供一體化的管理和智能化維護能力,通過細粒度的監(jiān)控和管理界面,用戶可以隨時掌握數據庫的運行狀態(tài),根據業(yè)務情況自動調整資源,優(yōu)化服務路徑。此外,云原生數據庫自身的訪問控制、故障檢測和日志審計能力也可以與云平臺進行打通,實現數據庫的內、外部融合云原生數據庫充分利用云的彈性擴展和智能化管理能力,讓企業(yè)用戶動態(tài)調整資源使用量,享受云的按需付費優(yōu)勢,大幅降低資源的閑置浪費情況。智能化的管理和優(yōu)化能力,也能夠提升IT系統整體的穩(wěn)定性和效率,在很大程度上降低3.3云原生數據庫的典型行業(yè)場景云原生數據庫的分布式架構和高可用特性,非常適合在政企、金融、泛互聯政企領域應用非常看重業(yè)務數據的安全性和穩(wěn)定性。尤其是近年來,以互聯網+政務服務為代表的數字政府建設,推出了大量面向廣大百姓的交互式服務,更是將通用AI能力融入服務環(huán)節(jié)中。云原生數據庫對保障數字政府業(yè)務向規(guī)模金融行業(yè)對數據的安全性和實時性要求極高。云原生數據庫能夠提供快速的數據訪問和高效的交易處理能力,支持高并發(fā)交易場景,如保險渠道銷售、證券工業(yè)制造領域的各類傳感器會產生大量的實時數據,云原生數據庫能夠快速讀取、存儲和分析這些數據,為相關的生產、經營管理提供數據支持,并進一步交通、物流領域需要處理包括人、車、物流動過程中的大量實時數據,并實現控制信號優(yōu)化、資源調度、時效預測等能力。云原生數據庫能夠更好地支持資云原生數據庫能夠支撐電商平臺的巨大峰值訪問量和交易量,利用高彈性的資源管理能力,確保用戶高效率、低成本、高可靠地達成商業(yè)化目標。目前的新媒體平臺也需要云原生數據庫的多模態(tài)數據存儲和處理能力,對海量的圖片、視醫(yī)療行業(yè)的電子病歷、醫(yī)療影像、藥物管理等信息種類多、規(guī)模大,在診斷、病情管理、醫(yī)療研究、智能診斷等領域,對數據存儲、處理的實時性、安全性、穩(wěn)定性都有很高的要求。云原生數據庫對推動醫(yī)療場景的電子化、智能化進游戲行業(yè)需要處理大量玩家的實時交互數據,云原生數據庫的高并發(fā)、低延PART04云原生數據庫技術最新進展和發(fā)展趨勢近年來,云原生數據庫在彈性伸縮、高可用性和智能化管理運維方面都取得存算分離、數據一致性等技術的協同發(fā)展過程中,正在承載越來越多樣的企業(yè)創(chuàng)新應用。特別是伴隨AI和機器學習技術的快速突破,云原生數據庫將進一步獲得4.1AI助力,讓云原生數據庫更智能AI應用對數據庫提出了更多需求,但同時,AI的發(fā)展也會推動云原生數據庫技術的持續(xù)進步。AI不僅能夠對數據庫管理、運維環(huán)節(jié)進行智能化改造,提升數據庫的性能和效率,還通過與數據分析、挖掘過程的結合,給用戶帶來更多的能AI優(yōu)化數據庫訪問能力:例如改善檢索策略,優(yōu)化查詢路徑,實現更快速地查詢和操作。AI技術可以幫助云原生數據庫更精確地預測用戶行為,從而合AI優(yōu)化數據庫管理與維護:AI算法能夠深度洞察數據庫的服務狀態(tài),合理調度并保持各類訪問狀態(tài)下的負載均衡?;贏I的預測性維護技術,能夠提前AI增強數據安全防護能力:AI技術能夠幫助云原生數據庫提升數據安全性和隱私保護能力,例如持續(xù)學習和發(fā)現異常訪問行為,阻止?jié)撛诘陌踩{,AI優(yōu)化數據模型選擇:云原生數據庫可以通過對AI算法的集成,幫助用戶智能選擇適合當前應用的數據模型和數據集,并輔助完成數據切片工作,在處性能優(yōu)化:AI技術可以應用于數據庫的性能優(yōu)化,如基于學習模型的優(yōu)化器、索引推薦、自動視圖生成、機器學習索引等。通過對歷史數據的分析和學習,AI能夠優(yōu)化數據庫性能,提高查詢速度和吞吐量,根據業(yè)務需求自動4.2與向量能力的深度結合隨著AI處理需求的快速提升,云原生數據庫開始與向量能力結合,進一步提適用更廣泛的應用場景:云原生數據庫結合向量能力,可以幫助企業(yè)處理和分析大規(guī)模、高維度的向量數據,在機器學習、計算機視覺、自然語言處提供更高效的數據處理能力:向量化技術有助于云原生數據庫更加高效地完成包括相似性計算和聚類分析在內的復雜功能,增強AI應用中對關聯數據的分析效率和準確性。智能化的數據管理也能賦能數據清洗、去重、分類等過與更多業(yè)務平臺實現無縫集成:云原生數據庫將借助云平臺的能力與更多的業(yè)務服務進行無縫集成,實現復雜數據類型情況下的便捷共享和交換,幫助4.3全局數據庫實現跨地域部署和多級高可用未來,跨區(qū)域的虛擬組織和全球業(yè)務將大量出現,跨區(qū)域的部署也將成為常態(tài)。云原生數據庫將實現不同地域部署節(jié)點間的全局一體化能力,讓全國乃至世界各地的用戶都能就近訪問同一個全局數據庫,不同節(jié)點之間的數據將實現秒級同步。在滿足跨區(qū)域業(yè)務的同時,通過將數據備份到相距更遠的不同區(qū)域,企業(yè)將獲得更強的抵御災難的能力。在這個過程中,數據庫的跨區(qū)域同步機制非常重要,這些機制可以保障企業(yè)數據在不同區(qū)域間的一致性,并在單個屬地發(fā)生故障4.4Serverless和智能彈性助力降本增效云原生數據庫是云計算技術體系中的重要PaaS產品。其建立了高效率、低成本、高可用的數據庫服務新模式,使數據庫技術更加普惠,覆蓋至更廣大的中小企業(yè)群體。Serverless技術作為新一代云原生數據庫的代表,讓用戶無需關心服務器的配置、維護和擴展等問題,實現按需付費,給用戶帶來極大的靈活性和成本效益。Serverless架構能夠根據應用程序的需求自動進行資源的擴縮,實現高效的資源利用,并通過高可用性和容錯能力,提供高可靠性的less能大幅改善企業(yè)用戶的開發(fā)效率、運營成本、部署速度、可靠性等指標,覆4.5多級HTAP釋放企業(yè)數據潛能HTAP(混合事務/分析處理)作為一種新興的體系架構,打破了傳統數據庫系統中事務處理(OLTP)和分析處理(OLAP)之間的壁壘,使用戶在保持數據高訪問性能的前提下,兼顧對數據的實時處理和分析操作,滿足企業(yè)對于實時數據處理和復雜分析的多維需求。云原生數據庫通過對存儲結構的優(yōu)化,以及對查詢引擎以及事務管理機制等方面的改善性設計,實現對混合工作負載更加高效的支撐。云原生數據庫還可以進一步結合AI算法和分層設計,對存儲、計算、調度PART05構建一站式云原生數據服務基礎設施5.1移動云在云數據庫方面的發(fā)展脈絡與成果展示移動云立足當前云服務商第一陣營,入選國資委首批“創(chuàng)建世界一流專業(yè)領軍示范企業(yè)”名單,開啟“成為一流云服務商”的新征程。移動云數據庫團隊于十年前正式誕生,以實現數據庫核心技術自主可控為目標,構建了完整的產品和移動云一站式云原生數據庫服務基于數據庫統一云原生平臺底座,在數據庫服務層面囊括了事務型、分析與檢索型以及NoSQL等多種類型的數據庫服務能事務型數據庫:包含云原生數據庫MySQL版、PostgreSQL版、分布式版,分析與檢索型數據庫:包含云原生數據庫數倉版,以及搜索數據庫、向量數此外,移動云還提供了完整的數據庫生態(tài)工具能力,包括數據傳輸工具、數根據云原生發(fā)展程度不同,移動云構建了云原生數據庫四級進化體系,并規(guī)范了技術架構范式。移動云首先基于K8s構建了云原生數據庫底座,旨在對全部移動云數據庫產品實現統一納管。在此過程中,通過標準化硬件,從BIOS、OS、網絡到內核實現了端到端優(yōu)化,整體性能較開源體系有全面提升。在此基礎上,移動云原生數據庫持續(xù)推動內核云原生化進程,相繼規(guī)劃和實現了多項技術 容器化部署:在K8s基礎上實現全部數據庫產品的容器化部署,滿足輕量化存算分離架構:云原生數據庫系列產品采用存算分離架構,做到計算、內向Serverless全面演進:通過負載感知、負載喚醒等技術手段,為用戶提供移動云還針對算網融合發(fā)展趨勢,啟動了新一代算力網絡數據庫的規(guī)劃設計:2023年,移動云聯合多家央企并牽頭算力網絡任務,構建全國一體化算力網絡,實現算力資源的優(yōu)化調度,并疊通過打造算力網絡的感知、智能和編排調度能力,形成基于算力域、網絡域的算網大腦,與云原生數據庫實現融合,形成更加智能化的數據流通、數據協同處理、安全數據交換以及數據智能服務能力,甚至可以進一步為用戶推薦智能化5.2移動云原生數據庫核心能力位的產品家族,打造OLTP(集中式、分布式)、OLAP(數據倉庫)三大類引擎,全面覆蓋數據庫各類應用需求,具備高性能、高彈性、高可靠等特點,產品云原生云原生移動云原生數據庫采用分離架構設計,具自主可控自主可控......全棧國產化:自研數據庫內核引擎全棧國產化:自研數據庫內核引擎OS覆蓋全面,可用于各類數據庫替換.........在云原生數據庫產品體系基礎上,移動云正在緊隨中國移動集團創(chuàng)世界一流的戰(zhàn)略定位,加快推進數據庫“由云向算”升級轉型,全力推動算力網絡數據庫發(fā)展,提出了面向算力網絡的全新理念和架構設計。區(qū)別于傳統云數據庫的多類型內核引擎模式(如OLTP/OLAP/多模,能力分別建設),算力網絡數據庫構建了融合型內核引擎,重在融合數據處理與分析的一站式能力。在供給模式上,算力網絡數據庫讓用戶無需關注地域、無需關注資源、無需關注業(yè)務負載,輕松獲得在線“任務式”數據庫服務。在業(yè)務場景上,算力網絡數據庫的應用范圍全面覆蓋云數據庫智能構建、云數據庫并網、數據算力服務、數據智能服務、全域數據5.3移動云原生數據庫產品能力與應用案例云原生數據庫PostgreSQL版是由移動云自主研發(fā)的云原生關系型數據庫產品,采用基于Shared-Storage與存儲計算分離架構,具有極致彈性能力和高可靠、高可用、彈性擴展等企業(yè)級數據庫特性,100%兼容PostgreSQL數據庫。云持續(xù)深化云原生:云原生數據庫PostgreSQL版深化了云原生存算分離架構,采用了聯邦緩存池技術,將計算節(jié)點內存進行池化,并將數據分區(qū),使每個計算節(jié)點根據分區(qū)策略緩存部分數據。此舉大大提升了緩存命中率,將融合架構設計:云原生數據庫PostgreSQL版同時兼容存算一體、存算分離架構,滿足不同類型數據庫遷移需要,并將本地數據庫->RDS->云原生數據豐富產業(yè)生態(tài),全棧自主可控:云原生數據庫PostgreSQL版全面適配不同廠商的硬件基礎設施,并在內核引擎、平臺工具、服務、渠道和社區(qū)層面聚云原生數據庫PostgreSQL版的應用場景包括:業(yè)務系統平滑上云,滿足用戶快速低成本用云,穩(wěn)定支持業(yè)務峰值;以及實現對開源PostgreSQL的國產化替換。在相關場景下,云原生數據庫PostgreSQL版解決了讀寫分離、一主多從目前,云原生數據庫PostgreSQL版聚焦的客戶需求包括黨政應用、數字政府建設、政務云信創(chuàng)需求、銀行業(yè)務核心系統性能升級和國產化替代以及泛互聯?!弊鳛橐环N普惠性補充醫(yī)療保險,對服務社會發(fā)展有重要的價值和功能。其低價格、低門檻、高保障等特點,能夠有效降低居民醫(yī)保目錄內和目錄外高額醫(yī)療負擔,為參保人提供了更高層次的惠民保系統需要構建一套高效、穩(wěn)定、擴展性強的線上系統,前期投保并發(fā)流量大,對系統帶寬、應用服務器、數據庫服務器的性能要求都很高;而且業(yè)務量前期不好預估,可能隨時要進行擴容,而投保后期主要請求來源于業(yè)務部門各類復雜的報表查詢。針對惠民保系統的前后期投保業(yè)務變化大及業(yè)務類型多變的特點,要求系統資源的擴縮容需要足夠靈活,數據庫也需要同時通過調研多種數據庫并結合項目的實際情況,基于聯仁公司先前對云原生數據庫應用經驗,活彈性,根據需求可分別對計算節(jié)點和存儲節(jié)點進行無縫擴容,無需進行數據搬遷,快速滿以往項目中用于對大量歷史數據進行歸檔查詢,發(fā)現云原生數據庫PostgreSQL版支持復雜大屏報表服務代理人服務可回溯埋點分析日志記錄權限控制本次項目,惠民保整體業(yè)務架構充分使用移動云各類數據庫,這些數據庫產品在業(yè)務的不同聯仁健康惠民保系統通過云化架構的改造和提升,自2022年6月正式上線以來,系統整體已平穩(wěn)運行2年多時間。圍繞資源靈活調度以及系統性能提升,全面優(yōu)化線上業(yè)務系統,促進主營業(yè)務的協同快速發(fā)展,推動公關組件、投保服務、代理人服務、大屏報表服務、外部系統等各業(yè)通過采用移動云架構體系改造后,全系統的可擴展性、靈活性都得到了顯著提升。同時,由于無需專門硬件投入,企業(yè)按需付費選擇所需性能,同時,數據庫系統的自動化管理得以廣泛應用,例如備份計劃自動執(zhí)行、數據庫審核一鍵開關、慢日志自動記錄、告警監(jiān)控自動觸發(fā)等,在咪咕音樂有限公司是中國移動面向移動互聯網領域設立的新媒體企業(yè),負責音樂領域產品、運營、服務一體化的專業(yè)公司。歷經10余年發(fā)展,咪咕音樂依托信息技術演進和全產業(yè)鏈模式,打造了版權運營、內容自制、彩鈴/視頻彩鈴藝人經紀等領域,構建起技術與內容雙領先生態(tài),成長為跨界融合通信網、互聯網、廣電網的龍咪咕音樂公司從2023起啟動業(yè)務上云,彩鈴集中平臺作為咪咕核心平臺,承擔了大量的業(yè)務訪問和流量。以掛機短信業(yè)務為例,主叫用戶觀看到視頻彩鈴時,彩鈴呼叫平臺會生成一條用戶鈴音播放記錄,按分鐘/半小時上傳至集中平臺,集中平臺再通過對用戶鈴音播放記錄的分析,及時通過省側運營的短信端口1065883099,為主叫用戶發(fā)送一條介紹視頻彩鈴相關業(yè)務的短信。彩鈴集中掛機短信系統流量大,對系統資源的擴縮容需要足夠靈活,數據庫也需要同時滿足OLTP及OLAP需求。通過調研多種數據庫并結合項目的實際情況,咪咕音樂公司規(guī)劃引入了云原在設計階段,通過業(yè)務分庫減少資源爭用,利用讀庫將實時性要求不高的請求引導至讀庫上,減少主庫的壓力。針對報表業(yè)務對綜合各方數據的需要,咪咕音樂公司利用移動云的數據庫在項目交付過程中,利用壓力測試、擴容演練等方式,做好充足的上線前準備。在項目運維階段,系統提供實時監(jiān)控、動態(tài)擴容能力,有效保障整個數據庫系統的平穩(wěn)運行。采用移動云架構體系改造后,系統的可擴展性和靈活性大幅增強,云原生數據庫支持資源(CPU、內存、存儲)在線擴縮容,支持單機或主備工作模式,并具備單機轉主備模式的能力。云原生數據庫某快運公司目前在全國攬派件網點有數萬家,分撥中心超近百個,自有運輸車輛近萬臺,區(qū)該企業(yè)的數據中心基礎設施,首先需要處理大量的實同時,企業(yè)也存在越來越多的面向復雜分析的準實時場景,在傳統的數據庫環(huán)境下,這些分析業(yè)務時間周期很長,且極不穩(wěn)定,系統經常出現崩潰現象,數據服務難以維系。例如對在線分撥中心的貨物滯留情況進行計算,在傳統Oracle環(huán)境下,對60天的滯留數據計算需每兩小時計算一次,每次計算需要將數據拆分為60次進行循環(huán)計算,經常由于資源不足或性能限制導致計算任此外,企業(yè)還常常需要進行跨年長期歷史數據的大規(guī)模復雜分析,例如進行回溯對賬分析,針對操作和分析混合情況,對操作和分析進行解耦。針對數據分析,通過云原生數據庫數倉版、湖倉分析引擎和Paimon數據湖搭建批流一體架構,由云原生數據庫數倉版和湖倉分析云原生數據庫數倉版中的物化視圖能簡化湖倉分層建模,可以通過物化視圖可將Paimon數數倉版直接進行分析,也能通過物化視圖將湖上數據寫入到云原生數據庫數倉版中加速查在數據集成上,云原生數據庫數倉版提供多種數據導入方式,包括實時數據導入、批量數據導入、流式數據導入等,以滿足不同業(yè)務場景下的數據導入需求。在數據建模方式上,云原生數據庫數倉版提供了星型、雪花、大寬表、預聚合等方多種數據建模后的批流一體架構中,云原生數據庫數倉版支持通過PaimonCatlog組件直接查詢Paimon數應用云原生數據庫后,實時場景和準實時

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論