液冷數(shù)據(jù)中心白皮書 2023：數(shù)據(jù)中心液冷革命解鎖未來的數(shù)字冰河

3 3 3 4 7 7 9 15 15 18 23 23 25 28 28 30 30數(shù)據(jù)中心是數(shù)字經(jīng)濟(jì)時代的核心基礎(chǔ)設(shè)施和國家戰(zhàn)略資源，但面臨嚴(yán)峻的性能、能耗、成本挑戰(zhàn)。建設(shè)全棧式液冷數(shù)據(jù)中心，是實現(xiàn)國家“雙碳”戰(zhàn)略、深入落實《數(shù)字中國建設(shè)整體布局規(guī)劃》的重應(yīng)用液冷技術(shù)，應(yīng)加強(qiáng)對全棧式液冷數(shù)據(jù)中心的研究和應(yīng)用，以推2022年我國數(shù)字經(jīng)濟(jì)總體規(guī)模連續(xù)多年保持2022年我國數(shù)字經(jīng)濟(jì)總體規(guī)模連續(xù)多年保持世界第二，對經(jīng)濟(jì)高質(zhì)量發(fā)展的引領(lǐng)支撐作用在數(shù)字經(jīng)濟(jì)中，數(shù)據(jù)起到了至關(guān)重要的作用，數(shù)據(jù)中心提供得大規(guī)模數(shù)據(jù)的存儲、處理和分發(fā)成為可能，從而推動了數(shù)字經(jīng)濟(jì)心行業(yè)正在經(jīng)歷多樣化發(fā)展，智算、超算和云數(shù)據(jù)中心是幾個重要3344?數(shù)據(jù)存儲和處理：數(shù)據(jù)中心允許企業(yè)存儲大規(guī)模的數(shù)據(jù)，并進(jìn)行高性能的數(shù)據(jù)處理。這對于數(shù)字經(jīng)濟(jì)中的企業(yè)來說至關(guān)重要，因為它們需要分析這些數(shù)據(jù)以?云計算和虛擬化：數(shù)據(jù)中心支撐云計算和虛擬化技術(shù)，使企業(yè)能夠動態(tài)分配計算資源，根據(jù)需求擴(kuò)展或縮減其基礎(chǔ)設(shè)施，提供了靈活性，允許企業(yè)更好地適?推動人工智能等新興技術(shù)發(fā)展：數(shù)據(jù)中心是訓(xùn)練和運行人工智能模型的關(guān)鍵基礎(chǔ)設(shè)施。它們支持大規(guī)模數(shù)據(jù)的收集、存儲和分析，為機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等以防止數(shù)據(jù)泄露和網(wǎng)絡(luò)攻擊。這有助于維護(hù)數(shù)據(jù)隱私，增強(qiáng)網(wǎng)絡(luò)安全，以及遵數(shù)據(jù)中心作為5G、人工智能、云計算等新一代信息通信技術(shù)的重要載體，已經(jīng)成為數(shù)字經(jīng)濟(jì)時代的底座，具有空前重要的戰(zhàn)略地位，得到了國家的高度重視。2020年4月20日，國家發(fā)改委新聞發(fā)布會上，官方首次將以數(shù)據(jù)中心、智能計“新基建”與過去的“鐵公機(jī)”傳統(tǒng)基建相比，既是技術(shù)密集型的新興產(chǎn)業(yè)，又是支撐經(jīng)濟(jì)社會數(shù)字化、網(wǎng)絡(luò)化、智能化發(fā)展的基礎(chǔ)設(shè)施，是我國數(shù)字經(jīng)濟(jì)發(fā)展的引擎。數(shù)據(jù)中心既是新基建的重要組成部分，又是新基建發(fā)展的核心IT基礎(chǔ)設(shè)施，對數(shù)字經(jīng)濟(jì)的騰飛起到至關(guān)重要的底層支撐作用。疫情后新基建和數(shù)字經(jīng)濟(jì)的大力55加快存儲網(wǎng)絡(luò)技術(shù)研發(fā)應(yīng)用，推動計算與存儲融合設(shè)計，促進(jìn)存儲與系統(tǒng)優(yōu)化算力基礎(chǔ)設(shè)施布局，促進(jìn)東西部算力高效互補面向新型電力系統(tǒng)和數(shù)據(jù)中心、算力中心、電動機(jī)械工具、施、新型基礎(chǔ)設(shè)施等重點終端應(yīng)用，開展能源電子多元化試點示范。推動先進(jìn)適用數(shù)據(jù)安全技術(shù)產(chǎn)品在電子商務(wù)、遠(yuǎn)程醫(yī)療、在線教育、新媒體等新型應(yīng)用場景，以及國家數(shù)據(jù)中心集群、國家算力樞紐低碳數(shù)據(jù)中心集群。京津冀樞紐規(guī)劃設(shè)立張家口數(shù)據(jù)中心集群，張家口積極承接北京等地實時性算力需求，引導(dǎo)溫冷業(yè)務(wù)向西部遷移，構(gòu)建長三角、粵港澳大灣區(qū)、成渝地區(qū)雙城經(jīng)濟(jì)圈、貴州、內(nèi)蒙局全國一體化算力網(wǎng)絡(luò)國家樞紐節(jié)點，建設(shè)數(shù)據(jù)中心集群，結(jié)合應(yīng)用加快構(gòu)建全國一體化大數(shù)據(jù)中心體系，推進(jìn)國家工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中相適應(yīng)的新型數(shù)據(jù)中心發(fā)展格局?？傮w布局持續(xù)優(yōu)化，全國一體化算66加快構(gòu)建全國一體化大數(shù)據(jù)中心體系，強(qiáng)化算力統(tǒng)籌智能調(diào)度，建設(shè)推動工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中心建設(shè)，打造工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中心綜在加快新型基礎(chǔ)設(shè)施建設(shè)方面，提出改造升級工業(yè)互聯(lián)網(wǎng)內(nèi)外網(wǎng)絡(luò)聯(lián)網(wǎng)標(biāo)識體系、提升工業(yè)互聯(lián)網(wǎng)平臺核心能力、建設(shè)工業(yè)互聯(lián)網(wǎng)大目前中國數(shù)據(jù)中心在進(jìn)行IT基礎(chǔ)建設(shè)時，正在向集中化、大型化發(fā)展，同時新興技術(shù)例如AI、5G的落地也向業(yè)界提出了諸多需求，包括但不僅限于需要首先數(shù)據(jù)中心對于提升整體性能的需求；支撐新興技術(shù)落地的需求運維的需求；和進(jìn)一步的，加速數(shù)據(jù)變現(xiàn)和數(shù)字化轉(zhuǎn)型的需求IDC調(diào)查顯示，國內(nèi)外各大基礎(chǔ)設(shè)施供應(yīng)商的GPU單芯片功耗基本已隨著數(shù)據(jù)中心的不斷發(fā)展，AI、邊緣數(shù)據(jù)中心等計算場景的落地，IT硬件基礎(chǔ)設(shè)例，需求已上升至15-50KW，對比傳統(tǒng)成為數(shù)字經(jīng)濟(jì)增長的驅(qū)動邏輯，越來越多的使用者將資金投入由通用算力向AI算力轉(zhuǎn)變，面對大量涌現(xiàn)的AI應(yīng)用，業(yè)務(wù)對底層算力需求顯著提升，導(dǎo)致數(shù)據(jù)中心7激進(jìn)，也有隨著人工智能等新應(yīng)用的推廣，通用服務(wù)器搭載更多CPU和GPU卡，功率進(jìn)一步上升，已經(jīng)達(dá)到1KW，但目前的通用機(jī)架沒有足夠功率承載更多計算節(jié)點，不足以滿足用戶實際需求，導(dǎo)致數(shù)據(jù)中心機(jī)架大量空置。需求，需要新建符合新標(biāo)準(zhǔn)、滿足用戶新需求的智能化數(shù)據(jù)中心部署高密度數(shù)據(jù)中心是目前解決算力大幅提升、海量數(shù)據(jù)處理和存儲的主要方式，但如何進(jìn)一步提高數(shù)據(jù)中心的性能、能耗、成本的三元平衡成為減少數(shù)據(jù)傳輸延遲和網(wǎng)絡(luò)負(fù)載，提高數(shù)據(jù)中心的性能和響應(yīng)速度。采用更高效的算法減少計算量、通過數(shù)據(jù)壓縮、去重等數(shù)據(jù)處理技的使用。但高密度數(shù)據(jù)中心的應(yīng)用阻礙也非常明顯，高密度數(shù)據(jù)中電力來支持IT硬件設(shè)備和冷卻設(shè)施的運行，能源消耗巨大，導(dǎo)致了數(shù)據(jù)中心運營和維護(hù)成本大幅上升；另外較高的硬件密度也使設(shè)備故障率上升，卻系統(tǒng)來保持服務(wù)器和芯片的正常運行。目前，液冷技術(shù)可以有效的冷板散熱可以減少設(shè)備振動，提高設(shè)備的可靠性和性能。未來，液冷化部署將不能滿足需求，液冷技術(shù)全面覆蓋數(shù)據(jù)中心的基礎(chǔ)架務(wù)器、分布式存儲架構(gòu)以及網(wǎng)絡(luò)設(shè)備的整體液冷技術(shù)部署，是未來方向；在落地方面，全棧式液冷數(shù)據(jù)中心解決方案需要覆蓋包括前求梳理、基建建設(shè)規(guī)劃，中期設(shè)備部署、管理平臺實施交付，以及899以AI、大數(shù)據(jù)、邊緣計算為代表的現(xiàn)代化應(yīng)用不斷給數(shù)據(jù)中心帶來挑戰(zhàn)，AI、云原生等業(yè)務(wù)場景，影音編輯、制作和渲染等流媒體應(yīng)用，內(nèi)容?在AI場景中，業(yè)務(wù)系統(tǒng)需要同時訪問和處理海量數(shù)據(jù)，需要存儲系統(tǒng)提供海量存力，并且可以面對高并發(fā)訪問，和快速存取數(shù)據(jù)，對存儲系統(tǒng)單節(jié)點、單機(jī)柜的有效存量提出要求；同時AI應(yīng)用通常需要處理多元異構(gòu)數(shù)據(jù)，數(shù)據(jù)的?高性能計算場景對分布式存儲系統(tǒng)的性能提出了高要求，在數(shù)據(jù)年增量逐漸達(dá)到幾十PB級別的當(dāng)今，要求分布式存儲系統(tǒng)能夠達(dá)到每秒TB級的讀寫帶寬，?云原生應(yīng)用的一個主要特性就是能夠在不同的云環(huán)境中運行，即應(yīng)用的可移植性；同時，云原生應(yīng)用也需要能夠根據(jù)需求快速且靈活地擴(kuò)展資源，以滿足用戶需求。這就要求存儲系統(tǒng)能夠根據(jù)需求動態(tài)的提供存儲資源。目前，分布式存儲系統(tǒng)可以從存儲容量、計算資源和網(wǎng)絡(luò)帶寬的多個維度來彈性擴(kuò)展，保?其他海量的數(shù)據(jù)實時分析和存儲管理需求廣泛存在于例如金融機(jī)構(gòu)的高頻、實時數(shù)據(jù)交易和分析場景；醫(yī)療領(lǐng)域的醫(yī)療影像數(shù)據(jù)在疾病診斷等場景的流通和分析；以及交通行業(yè)的車輛運行、流量數(shù)據(jù)實時處理分析以支撐交通調(diào)度和路線規(guī)劃等業(yè)務(wù)，這些需求指向分布式存儲，加之虛擬化以及云計算場景的需求這些需求的主要目標(biāo)是加速數(shù)據(jù)變現(xiàn)，存儲器作為數(shù)據(jù)承載的基礎(chǔ)，也影響著信SSD盤陣等提升性能，以期能在數(shù)據(jù)量不斷增長的情況下滿足業(yè)務(wù)的實時分析等?存儲系統(tǒng)首先必須要保障的是數(shù)據(jù)的安全性，防止數(shù)據(jù)泄露、篡改或損壞；對?其次，存儲系統(tǒng)需要對多元化的、復(fù)雜來源的數(shù)據(jù)進(jìn)行高效的數(shù)據(jù)處理，對存?最為基礎(chǔ)的是，數(shù)據(jù)中心的運維成本也隨著數(shù)據(jù)量的增長而增加。數(shù)據(jù)中心的運維成本主要包括設(shè)備采購、設(shè)備維護(hù)、電力消耗、人力成本等多個方面，需?此外，數(shù)據(jù)中心集群化建設(shè)以及“東數(shù)西算”等工程，導(dǎo)致大量數(shù)據(jù)跨區(qū)域雙傳統(tǒng)的運維方式已經(jīng)無法滿足現(xiàn)代數(shù)據(jù)中心的高效運營需求，智能化運維對于數(shù)據(jù)中心提高運營效率至關(guān)重要……為使存儲系統(tǒng)做到高效、節(jié)能，部署液冷存儲設(shè)備或?qū)ΜF(xiàn)有設(shè)備液冷化改面對數(shù)據(jù)安全以及業(yè)務(wù)穩(wěn)定性問題，通過部署冷板效率，保障元器件的穩(wěn)定工作，且冷板液冷技術(shù)可以直接避免震動問題，進(jìn)一步避免了數(shù)據(jù)受損，通過自動化監(jiān)控、預(yù)警進(jìn)高系統(tǒng)穩(wěn)定性；面對海量的、且不斷增長的多元化統(tǒng)一方面通過軟件算法優(yōu)化和數(shù)據(jù)去重等技術(shù)提升處理效率，日益增長的數(shù)據(jù)處理需求，存儲系統(tǒng)往往通過堆疊盤陣的方式造成了設(shè)備密度的提升、導(dǎo)致設(shè)備在散熱方面面臨挑戰(zhàn)。液冷式的方式部署，以彈性可擴(kuò)展的架構(gòu)應(yīng)對不斷增長的數(shù)據(jù)，同優(yōu)于傳統(tǒng)風(fēng)冷，在提升數(shù)據(jù)處理效率的同時降低散熱所需的能可支持高密度配置，使得單位空間內(nèi)可以部署更多的設(shè)備，提液冷存儲系統(tǒng)已經(jīng)可以與數(shù)據(jù)中心智能管理系統(tǒng)結(jié)合使用，通作為數(shù)據(jù)中心的重要基礎(chǔ)，存儲設(shè)備的液冷化部署在全棧式液為重要，液冷技術(shù)在減少存儲設(shè)備能耗和延長硬件壽以數(shù)據(jù)為中心的體系架產(chǎn)要素的優(yōu)化，其本身已經(jīng)成為新的生產(chǎn)要素，其價值在不斷提升，權(quán)的形式、股份形式參與生產(chǎn)經(jīng)營，賦能千行百業(yè)轉(zhuǎn)型升級。在數(shù)字程中，數(shù)字技術(shù)在發(fā)揮著重要作用，為通過算法篩選并運算得到更為據(jù)，傳統(tǒng)數(shù)據(jù)中心正在面臨嚴(yán)峻挑戰(zhàn)，算力、存力的不斷增加，讓傳統(tǒng)數(shù)據(jù)中心數(shù)據(jù)顯示，2021年，全國數(shù)據(jù)中心總耗電量高達(dá)2166億千瓦時，約占全國總耗一些數(shù)據(jù)中心運營單位的建設(shè)和運營經(jīng)驗的數(shù)據(jù)進(jìn)一步顯示，數(shù)據(jù)中心4成左右的成本都花在空調(diào)制冷的電費上，為了降低運營成本，會區(qū)建設(shè)數(shù)據(jù)中心，這也從一個側(cè)面說明了電力成本是數(shù)據(jù)設(shè)備運行過程中消耗的電能絕大部分都轉(zhuǎn)換為廢熱，若機(jī)時轉(zhuǎn)移到周圍環(huán)境中，芯片等發(fā)熱部件的運行溫度將急劇目前，由于IT設(shè)備和空調(diào)設(shè)備的冷卻系統(tǒng)設(shè)計和日常運維可以很方便地實現(xiàn)解耦，風(fēng)冷機(jī)柜和與之適配的數(shù)據(jù)中心冷卻系統(tǒng)可各自不斷進(jìn)行系統(tǒng)級，因此較長時間里，風(fēng)冷散熱仍是數(shù)據(jù)中心的主流選擇。但主機(jī)的發(fā)熱度越來越大，海量數(shù)據(jù)在計算和存儲單元之間傳輸致空調(diào)排熱成為能耗最大的部分。清華大學(xué)曾有統(tǒng)計指出，空將液體或氣體派送到高溫區(qū)域，吸收并帶走熱量這個過程的能比較大的比例，目前統(tǒng)計大致的結(jié)果為，就中小型的數(shù)據(jù)中心而言，PUE值都在2，或者以上，這是由于空調(diào)占了一半或者更多的設(shè)施總用電量PUE=IT設(shè)備用電量與此同時，綠色節(jié)能的要求正在加碼。目前我國數(shù)濟(jì)發(fā)達(dá)地區(qū)，針對巨大的能耗，這些地區(qū)已經(jīng)對低能效的傳統(tǒng)策，其他各區(qū)域中心城市也紛紛出臺各種政策支持高能效數(shù)據(jù)源局四部門按照《2030年前碳達(dá)峰行動方案》部署，出臺了《貫徹落實碳達(dá)峰明確了新建大型及以上數(shù)據(jù)中心須達(dá)到綠色數(shù)據(jù)中心要求，綠色低碳等級達(dá)到?2022年6月，工業(yè)和信息化部、國家發(fā)展改革委、生態(tài)環(huán)境部等六部門聯(lián)合印發(fā)《工業(yè)能效提升行動計劃》，積極推進(jìn)用能高效化、低碳化、綠色化，提出PUE優(yōu)于1.3;并強(qiáng)調(diào)要加快液冷、自然冷源等制冷節(jié)能統(tǒng)一的數(shù)據(jù)中心能效評價方法，規(guī)定了能效限定值等強(qiáng)制性能效準(zhǔn)入要求，限因此，數(shù)據(jù)中心需源源不斷提供與IT基礎(chǔ)設(shè)施硬件散熱需求相匹配的冷量，增加整機(jī)散熱能力，將熱量更高效的帶出IT設(shè)備，減少制冷系統(tǒng)功耗，這成為保障數(shù)液冷數(shù)據(jù)中心設(shè)計的液冷系統(tǒng)取代冷機(jī)等高能耗制冷設(shè)備，對比目前數(shù)據(jù)中心的風(fēng)側(cè)間接蒸發(fā)冷卻系統(tǒng)、DX系統(tǒng)、水冷冷凍水系統(tǒng)、風(fēng)冷冷凍水系統(tǒng)等空調(diào)系統(tǒng)，在同樣外電容量下，液冷方式允許配置更多的IT設(shè)備，占地面積更小，可最大化提高能源和空間利用率，實現(xiàn)更低PUE值、更加節(jié)能低碳。但液冷數(shù)據(jù)中心主機(jī)房設(shè)計荷載要求更高（因液冷方式允許部署高功率密度機(jī)柜，高全面應(yīng)用液冷技術(shù)的、具備多元化液冷技術(shù)路線的、主要冷卻媒介心運維功能覆蓋液冷技術(shù)的數(shù)據(jù)中心。隨著綠色節(jié)能正在成為數(shù)據(jù)現(xiàn)數(shù)據(jù)中心的極簡設(shè)計和極致能效，又契合了服務(wù)器、存儲、網(wǎng)絡(luò)功率的趨勢，在國家政策對于數(shù)據(jù)中心嚴(yán)苛的低能耗要求背景下，和支持。此外隨著液冷技術(shù)的不斷升級和不同專業(yè)技術(shù)融合的不斷的節(jié)能手段從以前的單純提高空調(diào)系統(tǒng)設(shè)備能效轉(zhuǎn)向IT設(shè)備與制冷設(shè)備聯(lián)合優(yōu)化隨著IT基礎(chǔ)設(shè)施中芯片不斷升級迭代、高性能芯片需求不斷增加、服務(wù)器密集化程度越來越高、存儲器容量越來越大，數(shù)據(jù)中心這個能耗“風(fēng)冷技術(shù)已經(jīng)成熟應(yīng)用于芯片散熱方面，但為提高散熱能力音、震動和能耗問題也日趨嚴(yán)重。由于液體的比熱容為冷卻工質(zhì)的傳熱性能，為了解決數(shù)據(jù)中心高效散熱?從能耗角度比較來看，風(fēng)冷系統(tǒng)依賴于冷卻塔的蒸發(fā)冷卻，液冷技術(shù)則可以降低能耗，提高資源利用率，主要因為液體可以更有效的將熱量從IT基礎(chǔ)硬件傳?在空間利用方面，液冷數(shù)據(jù)中心不需要像傳統(tǒng)數(shù)據(jù)中心那樣預(yù)留大量的空間來安裝空調(diào)和冷卻系統(tǒng)，因此可以更有效地利用空間資源，進(jìn)一步在機(jī)房內(nèi)，由于送風(fēng)量的減少，為數(shù)據(jù)中心機(jī)柜的布局提供了很大的靈活性，也并不一定需?在可維護(hù)性方面，風(fēng)冷系統(tǒng)雖然應(yīng)用廣泛但由于其較為復(fù)雜的系統(tǒng)，且與室外數(shù)據(jù)中心的液冷化部署應(yīng)覆蓋計算、存儲和網(wǎng)絡(luò)所有的硬件務(wù)器的能耗也在不斷提升。而且在當(dāng)前時代，大多數(shù)深度學(xué)習(xí)人工智能仍處于訓(xùn)數(shù)據(jù)中心制冷要求極高。即使是以兩路CPU為主的通用服務(wù)器，功率也已經(jīng)達(dá)到從存儲節(jié)點來看，作為數(shù)據(jù)中心的三大件之一，存儲器在數(shù)據(jù)中心IT系統(tǒng)能耗占比甚至即將超過35%，比例僅次于服務(wù)器能耗。也就是說，如果存儲系統(tǒng)的PUE值降低，那整個數(shù)據(jù)中心的PUE值都會明顯降低。存儲系統(tǒng)的液冷化部署和改造AI、5G等技術(shù)落地后對數(shù)據(jù)調(diào)用和傳輸?shù)刃实奶嵘?；以及在多平臺、多數(shù)據(jù)環(huán)境中的智能化管理與運維等。存儲密度的提升將液冷需求指向穩(wěn)定的、多層的散熱架構(gòu)，高效的冷板散熱能力將提升數(shù)據(jù)傳輸效率，智能化的冷板漏液監(jiān)控采用的都是被動散熱，也就是通過機(jī)身散熱孔，當(dāng)路由器的三閃存芯片、路由器CPU、無線芯片和以太網(wǎng)網(wǎng)卡芯片同時散熱時，目前的導(dǎo)熱硅膠墊片明顯散熱能力不足，應(yīng)用液冷核心路由器或?qū)⒁豪浣尤敫呱岵考隙紩右粔K散熱片，通過盡可能大的擴(kuò)散面積量散走。將散熱片換成水冷板之后，其散熱效率可以提高3000倍，通生態(tài)、業(yè)務(wù)上的高門檻，熱量快速帶走，可以實現(xiàn)節(jié)能降耗，且能讓高功耗部件始億美金（2千億人民幣）規(guī)模；而其中液冷服務(wù)器市場份額為9.6億美金（69億技術(shù)涉及多專業(yè)領(lǐng)域的協(xié)同和融合，在真正規(guī)?；瘧?yīng)用道路上仍面臨諸全棧式液冷數(shù)據(jù)中心部署和改造成本考量尤為看重。用戶需要技術(shù)全生命周期液冷整體解決方案，實現(xiàn)液冷數(shù)據(jù)中心端到端交付，無液冷數(shù)據(jù)中心、預(yù)制化液冷數(shù)據(jù)中心，還是老舊機(jī)房改造，能夠?qū)嵲?、中期設(shè)備定制、后期交付施工的端到端服務(wù)，滿足用戶復(fù)雜多同時，由于數(shù)據(jù)中心的使用周期遠(yuǎn)高于IT設(shè)備，未來幾年老舊數(shù)據(jù)中心的綠色化需要技術(shù)供應(yīng)商在盡可能實現(xiàn)原有風(fēng)冷室內(nèi)空調(diào)復(fù)用前提下，新增液冷系統(tǒng)部件及高功耗配電，用最小的數(shù)據(jù)中心液冷解決方案根據(jù)電子信息設(shè)備與冷卻液是否直接技術(shù)和接觸式液冷技術(shù)，非接觸式液冷技術(shù)主要為冷板式液冷?冷板式通常采用冷卻液體流經(jīng)金屬制冷板對CPU、內(nèi)存和磁盤等高功耗的部件進(jìn)行接觸式降溫，這主要取決于傳統(tǒng)數(shù)據(jù)中心對原有基礎(chǔ)設(shè)施改造成本和難度的關(guān)注度，以及當(dāng)前冷板式方案成熟度較高，商用基礎(chǔ)較好。根據(jù)IDC關(guān)于服?浸沒式將發(fā)熱電子元器件與制冷液直接接觸，利用制冷液相變形制直接將熱量帶走，所以在PUE要求較高的場景中有所應(yīng)用，且在散熱效率和單機(jī)柜功率、與浸沒式同樣適用于結(jié)構(gòu)承重經(jīng)過特殊加固的新建項目，不同的是噴淋式目前?機(jī)架式液冷服務(wù)器面對CPU、DIMM等發(fā)熱量較大的部件使用冷板式液冷技術(shù)，兩個CPU上的冷板通過波紋管串聯(lián)，通過熱交換性能更高的冷卻液來提高服務(wù)?高性能服務(wù)器是在更小的物理空間內(nèi)集成更多的處理器和IO擴(kuò)展能力。通常，在一個機(jī)箱里，電源和風(fēng)扇被多臺計算器節(jié)點共享，高性能液冷服務(wù)器在主要散熱芯片上增加液冷模組，例如在CPU通過串聯(lián)的方式進(jìn)行搭配，采用冷板進(jìn)行散熱，冷板與冷板之間通過硬管進(jìn)行連接；工作液通過分液器后流到節(jié)點中，異構(gòu)設(shè)計的，例如人工智能型液冷服務(wù)器通常配置一實現(xiàn)在圖像或人工智能等專用計算性能上的高覆蓋GPU、CPU等大功率部件。以GPU冷板組件為例，通常由冷板、轉(zhuǎn)接頭等主要零部件構(gòu)成，冷板整體預(yù)留有配管或接口模塊連接口，流件，冷卻液流過流體流道，并通過與流體流道的接觸實現(xiàn)換熱配置SSD存儲，省卻HDD磁頭運轉(zhuǎn)，在相同容量下，電力能耗可降低70%，但無法避免成本上漲；軟件方面，積極采用大比例糾刪碼、數(shù)據(jù)重少設(shè)備數(shù)量，但可能會影響存儲性能，這兩種方式都能降低數(shù)據(jù)夠全面、徹底。將換熱效率更高的冷液冷技術(shù)加載到存儲系統(tǒng)上需考量的未來技術(shù)通路?？偨Y(jié)來看，當(dāng)前的液冷數(shù)據(jù)中心主流配液冷方案，搭配針對應(yīng)用場景進(jìn)行優(yōu)化的軟件，提高數(shù)據(jù)存儲的硬件方面，曙光液冷存儲器在持續(xù)升級和優(yōu)化NVMe等介質(zhì)、水冷箱式機(jī)組結(jié)構(gòu)，?精細(xì)化的部件級制冷，避免設(shè)備局部熱點，降低內(nèi)存、HDD等存儲關(guān)鍵部件的?采用冷板式液冷設(shè)計，工藝成熟，部署、維護(hù)便捷。?產(chǎn)品選型的部件兼容多種冷媒，包括去離子水、氟化液等冷媒介質(zhì)，滿足多種?硬盤熱插拔及模塊化設(shè)計，便于硬盤獨立更換，易于維護(hù)。坦克鏈理線工藝，?硬盤模塊雙盤倉設(shè)計，內(nèi)部滑軌的抽拉形式，可將整個盤倉抽出，極大提升維?雙盤倉內(nèi)部互斥結(jié)構(gòu)，單盤倉抽出時另一盤倉自動上鎖，避免雙盤倉同時抽出?在存儲節(jié)點內(nèi)部設(shè)置多個液冷監(jiān)控點，并進(jìn)行實時探測，通過漏液導(dǎo)流結(jié)構(gòu)、漏液檢測裝置、溫度監(jiān)控裝置，在發(fā)生漏液、冷板堵塞、斷液、超溫等故障問在全棧式液冷數(shù)據(jù)中心中，系統(tǒng)軟件也在系統(tǒng)穩(wěn)定、性能提?軟件需采用大比例糾刪碼、數(shù)據(jù)重刪壓縮等技術(shù)，提高存儲資源的利用率，保?根據(jù)業(yè)務(wù)需求實現(xiàn)分區(qū)節(jié)能，即基于不同的節(jié)點分區(qū)，通過CPU降頻、硬盤休?獨立的電源控制子系統(tǒng)，能夠通過硬盤控制驅(qū)動，可對任意一塊硬盤進(jìn)行上電以曙光以曙光ParaStor產(chǎn)品為例，ParaStor可以提供TB/S級別的數(shù)據(jù)傳輸速度和EB級別的存儲容量，能夠滿足大規(guī)模數(shù)據(jù)處理和存儲的需求，可以靈活地擴(kuò)展存儲容量和性能，支持橫向和縱向的擴(kuò)展方式，在提升性能方面首先發(fā)揮優(yōu)勢；且能進(jìn)一步的結(jié)合智能化節(jié)能技術(shù)、EC糾刪碼、重刪壓縮等技術(shù)，自動化地管理和優(yōu)化數(shù)據(jù)存儲和處理的資源分配，降低系統(tǒng)功耗，提升資源管理和調(diào)度能力、提高數(shù)據(jù)處理和存儲的效率；高度協(xié)同硬應(yīng)用程序和硬件設(shè)備進(jìn)行無縫集成和協(xié)同工作；面對業(yè)務(wù)支持多種不同的數(shù)據(jù)類型，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等，以豐富的核心交換機(jī)的快速發(fā)展。但受限于網(wǎng)絡(luò)交換機(jī)的高度要求，一般采用1U架構(gòu)，散熱導(dǎo)片及風(fēng)扇功率的設(shè)計存在“面多加水，水多塊等熱源無法完全通過風(fēng)冷方式帶走全部熱量，熱量如不能及時量造成重大影響?；谏鲜隹剂?，各方在積極布局液冷交換機(jī)的務(wù)器和存儲設(shè)備共同構(gòu)建全棧式液冷數(shù)據(jù)中心的一體化解決方案據(jù)中心“水桶效應(yīng)”中重要一塊板，液冷網(wǎng)絡(luò)設(shè)備通過多種手段降本增效，包括采用節(jié)能技術(shù)如合理配置網(wǎng)絡(luò)設(shè)備避免冗余和浪處理器、內(nèi)存等元器件、優(yōu)化網(wǎng)絡(luò)架構(gòu)；減少網(wǎng)絡(luò)層次和節(jié)點，能耗，同時提高網(wǎng)絡(luò)的穩(wěn)定性和可靠性；采用綠色材料；合理利定期維護(hù)和升級網(wǎng)絡(luò)設(shè)備保持設(shè)備最佳狀態(tài)等。同時安全和高效數(shù)據(jù)中心網(wǎng)絡(luò)承載著大量敏感數(shù)據(jù)和關(guān)鍵業(yè)務(wù)，因此必須采取嚴(yán)總的來說，服務(wù)器、存儲和交換機(jī)等基礎(chǔ)設(shè)施作為數(shù)據(jù)中的散熱需求的驅(qū)動，目前技術(shù)供應(yīng)商在高效散熱的探索仍未止步性能的浸沒式液冷計算探索。浸沒式液冷是以液體作為傳熱介質(zhì)浸沒在冷卻液中進(jìn)行熱交換的冷卻技術(shù)，按照熱交換過程中傳熱變化，可分為單相浸沒液冷和相變浸沒液冷兩類。單相浸沒液冷液體在散熱過程中僅發(fā)生溫度變化，而不存在傳熱介質(zhì)相變過程顯熱變化傳遞熱量；相變浸沒液冷是作為傳熱介質(zhì)的液體在散熱浸沒式液冷系統(tǒng)作為一種新型高效、綠色節(jié)能的數(shù)據(jù)中心冷卻提高熱交換效率；與液體直接接觸不需要散熱器及冷板等結(jié)構(gòu)，散代會報告中，凸顯了數(shù)字化在教育工作中的戰(zhàn)略地位，為教育系統(tǒng)的工、醫(yī)結(jié)合，管、經(jīng)、文、法等多學(xué)科協(xié)調(diào)發(fā)展的綜合性研究原始科研創(chuàng)新能力推動進(jìn)一步的大學(xué)建設(shè)，建有29個國家級科研平臺、231個部學(xué)校在推進(jìn)數(shù)字教育的實踐中，深入學(xué)習(xí)貫徹黨的鍵點，構(gòu)建數(shù)字空間、數(shù)據(jù)賦能數(shù)據(jù)和業(yè)務(wù)雙驅(qū)動，同時著力打數(shù)據(jù)中心能耗降低30%，為國家科研項目和在校師生提供數(shù)據(jù)計算基礎(chǔ)。在此背景下，度液冷存儲ParaStor液冷存儲系統(tǒng)，直接擴(kuò)展近25PB的存儲空間，基本完成全在全棧式液冷數(shù)據(jù)中心的落地過程中，學(xué)校的項目主要負(fù)責(zé)人曾表示，在性能和能耗以及總擁有成本間尋求平衡是學(xué)校數(shù)據(jù)中心改造的重點。學(xué)校數(shù)據(jù)中心在2019年建成，數(shù)據(jù)中心PUE在測算中在指標(biāo)難題；本次建設(shè)改造的規(guī)模較大，存儲節(jié)點超過20個，且存儲容量擴(kuò)展接近25PB，如何控制耗電量也成為問題；最后是保障改造后的性能提升目標(biāo)，甚至做好工作計劃，以犧牲能耗來提升性能。面對這些要求，學(xué)校最終研?由于現(xiàn)有的數(shù)據(jù)中心做溫水水冷仍需進(jìn)行改造，如冷卻塔、管路等加建，改造首先需要控制總體改造成本，曙光在提供全棧式液冷數(shù)據(jù)中心解決方案時可以覆蓋解決方案的全生命周期，在學(xué)校的數(shù)據(jù)中心改造項目中，從基礎(chǔ)設(shè)施開始，專業(yè)的服務(wù)團(tuán)隊協(xié)助進(jìn)行設(shè)計建設(shè)，從基建開始就將液冷系統(tǒng)的安全部署考慮在內(nèi)，并為未來的數(shù)據(jù)中心擴(kuò)容做足準(zhǔn)備；同時曙光ParaStor液冷存儲系統(tǒng)與曙光液冷服務(wù)器技術(shù)同源，可與液冷服務(wù)器形成“存算一棧式”液冷方案，曙光ParaStor液冷存儲系統(tǒng)可便捷、高效地與液冷服務(wù)器形成“存算一棧式”液冷方案，便于數(shù)據(jù)中心基礎(chǔ)設(shè)施的統(tǒng)一規(guī)劃、設(shè)計和共用，助力數(shù)據(jù)中心提高?在PUE值降低方面，曙光ParaStor液冷存儲系統(tǒng)全方位繼承曙光成熟、穩(wěn)定的液冷技術(shù)，完全實現(xiàn)冷板散熱，與存儲技術(shù)全面結(jié)合；同時，專業(yè)團(tuán)隊駐場幫助軟件調(diào)優(yōu)，通過重刪壓縮等技術(shù)進(jìn)一步降低系統(tǒng)功耗，測試顯示，存儲節(jié)?在數(shù)據(jù)中心計算性能保障方面，液冷存儲方案支持CPU組件最大化發(fā)揮性能優(yōu)勢，無懼溫度帶來的業(yè)務(wù)中斷風(fēng)險；同時液冷的方案讓整套基礎(chǔ)架構(gòu)遠(yuǎn)離震動?最后的全棧式液冷部署風(fēng)險來自于保障數(shù)據(jù)安全方面，液冷工作環(huán)境的風(fēng)險之一來自冷板漏液，曙光ParaStor液冷存儲系統(tǒng)在存儲節(jié)點內(nèi)部設(shè)置多個液冷監(jiān)控點，并進(jìn)行實時探測，通過漏液導(dǎo)流結(jié)構(gòu)、漏液檢測裝置、溫度監(jiān)控裝置，在發(fā)生漏液、冷板堵塞、斷液、超溫等故障問題時自動報警，可有效保障系統(tǒng)不遭受漏液風(fēng)險；另外，在維護(hù)設(shè)計方面，采用坦克鏈理線工藝，抽拉式硬盤熱插拔的模塊化設(shè)計不僅便于維護(hù)，且雙盤倉的互斥設(shè)計讓單盤抽出時自動上學(xué)校數(shù)據(jù)中心負(fù)責(zé)人表示，擁抱液冷技術(shù)解決方案幫助學(xué)校數(shù)據(jù)中心的高性能計算業(yè)務(wù)有效的降低了PUE，將逐步實現(xiàn)綠色數(shù)據(jù)中心的建設(shè)目標(biāo)，在此過程中也希望曙光這樣的技術(shù)供應(yīng)維工作復(fù)雜度、難度高，建數(shù)據(jù)中心時都在積極尋求液冷技術(shù)的賦能，曙光在多個行業(yè)運營商云平臺提供IaaS服務(wù)應(yīng)用場景中，運營商云平臺承載行業(yè)網(wǎng)關(guān)、家庭云網(wǎng)關(guān)、視頻融合平臺等多種重要業(yè)務(wù)。但由于各業(yè)務(wù)建設(shè)時間不存儲，無法滿足用戶對智能分析的需求。但在常規(guī)存儲方案中求部署多套分布式存儲系統(tǒng)，在性能、存儲空間上出現(xiàn)使用不浪費，存儲空間利用率低等問題。而且在狹小空間內(nèi)，電子元熱點過多，傳統(tǒng)的風(fēng)冷已無法滿足其散熱需求，同時，其高能曙光可以通過ParaStor分布式液冷存儲系統(tǒng)，幫助構(gòu)建運營商的數(shù)據(jù)存力底座，實現(xiàn)數(shù)據(jù)集中，在提供常規(guī)服務(wù)的同時，利用AI技術(shù)，提供智能增值服務(wù)。曙光ParaStor液冷存儲系統(tǒng)采用典型的“三明治”架構(gòu)，從下到上分別是硬件資源層、數(shù)據(jù)處理層、協(xié)議應(yīng)用層，其中硬件資源層采用高密設(shè)計，為振動的工作環(huán)境，顯著提高硬盤IO讀寫性能式存儲軟件，由其將硬件資源池化，高效管理；協(xié)議應(yīng)用層對議，一套存儲集群同時支持文件、塊、對象、HDFS等接口信息，大量校內(nèi)、外視頻攝像頭數(shù)據(jù)的存儲和分析對存儲基礎(chǔ)在實現(xiàn)教育資源共享的同時，通過AI計算評估、預(yù)判師生安全環(huán)境，為智慧校園曙光液冷存儲方案通過改變以往每套業(yè)務(wù)系一套液冷存儲支撐所有業(yè)務(wù)，節(jié)省大量的配套網(wǎng)絡(luò)、機(jī)柜、能耗等資源，節(jié)省存文件、對象、HDFS等協(xié)議，可深入不同云平臺或數(shù)據(jù)庫等場液冷分布式存儲方案可讓設(shè)備在極低震動的條件下運行，解速和增量仍在疊加，目前的AI應(yīng)用已經(jīng)在文本生成方面落地，未來將逐漸上線生級，這樣海量數(shù)據(jù)背景下AI應(yīng)用對于數(shù)據(jù)的實時訪問和處理需求成為數(shù)據(jù)中心的性能挑戰(zhàn)。為提升數(shù)據(jù)中心性能，大量計算芯片的疊加，和并行曙光對智算中心的需求進(jìn)行了明確分析，可系統(tǒng)及相關(guān)支撐管理系統(tǒng)，并設(shè)計PUE達(dá)標(biāo)，其中計算系統(tǒng)兼容主流通用異構(gòu)計算的編程環(huán)境；分布式存儲支持千億數(shù)據(jù)量的文件和對象寫入在智算中心實施落地過程中，曙光可以提供完整的建設(shè)實施置合理，施工組織及部署方案完備，質(zhì)量和進(jìn)度保障措施科可以提供清晰的調(diào)試和運行方案，同時提供完整的培訓(xùn)方案訓(xùn)對象提供培訓(xùn)計劃、內(nèi)容和培訓(xùn)評估，最后面對所有硬件權(quán)重最重的是PUE。隨著國家的“雙碳戰(zhàn)略”和“東數(shù)西算”逐步落實，在全國各區(qū)域?qū)UE的要求不同，按照國家一體化數(shù)據(jù)中心建設(shè)要求，東部數(shù)據(jù)中心集因此這也是越來越多的數(shù)據(jù)中心采用液體制冷的方式，已滿足算力建利用和管理數(shù)據(jù)，許多國家和地區(qū)都開始了大規(guī)模的數(shù)據(jù)中心建西算”是我國重要的戰(zhàn)略布局，其本質(zhì)是將東部的數(shù)據(jù)存儲到西源的優(yōu)化配置。這種戰(zhàn)略布局可以利用西部的資源優(yōu)勢，如低根據(jù)《2023中國存力白多的計算資源，來滿足東部的數(shù)據(jù)存儲需求部建立強(qiáng)大的計算中心，可以促進(jìn)東西部之間的信息流動和資