開放數(shù)據(jù)中心委員會(huì)-伯努利融合型機(jī)柜技術(shù)白皮書

11版權(quán)聲明ODCC（開放數(shù)據(jù)中心委員會(huì)）發(fā)布的各項(xiàng)成果，受《著作權(quán)法》保護(hù)，轉(zhuǎn)載、摘編或利用其它方式使用ODCC成果中的文字或者觀點(diǎn)的，應(yīng)注明對(duì)于未經(jīng)著作權(quán)人書面同意而實(shí)施的剽竊、復(fù)制、修改、銷售、改編、匯編和翻譯出版等侵權(quán)行為，ODCC及有關(guān)單位將追究其法律責(zé)任，感謝各單位I編寫組隨著互聯(lián)網(wǎng)和云計(jì)算技術(shù)的發(fā)展，業(yè)界對(duì)于服務(wù)器的算力需求呈現(xiàn)更高性能、更高能效和多元化趨勢(shì)，CPU、GPU、DPU等不同算力平臺(tái)帶來技術(shù)創(chuàng)新的同時(shí)，對(duì)于基礎(chǔ)設(shè)施硬件的散熱和能效等方面的挑戰(zhàn)越來越大。作為基礎(chǔ)設(shè)施硬件三大核心的服務(wù)器、機(jī)房、機(jī)柜，在當(dāng)下的產(chǎn)業(yè)結(jié)構(gòu)中采用分層解耦設(shè)計(jì)，各層級(jí)主要聚焦在各自的層級(jí)進(jìn)行相關(guān)技術(shù)探索和優(yōu)化。從過往的經(jīng)驗(yàn)來看，這種分層設(shè)計(jì)在促進(jìn)產(chǎn)業(yè)鏈做大、做精、做細(xì)等方面做出了很大貢獻(xiàn)，但是因?yàn)楫a(chǎn)業(yè)分工、投入等的方面的差異，導(dǎo)致各層級(jí)之間的技術(shù)能力無法同時(shí)提高或者對(duì)齊，從而表現(xiàn)出明顯的“木桶效應(yīng)”。對(duì)應(yīng)層級(jí)的技術(shù)短板在更強(qiáng)調(diào)基礎(chǔ)設(shè)施硬件綜合能力的需求下變的更為OCP為代表的行業(yè)組織，幾乎同時(shí)對(duì)機(jī)柜技術(shù)展開技術(shù)探索，以天蝎、方升和OpenRack為代表，在機(jī)柜的結(jié)構(gòu)設(shè)計(jì)、空間設(shè)計(jì)、標(biāo)準(zhǔn)化等方面獲得了顯著的成果，積累了非常有價(jià)值的經(jīng)驗(yàn)。但是相比服務(wù)器層級(jí)和機(jī)房層級(jí)的投入和成果，作為連接服務(wù)器和機(jī)房的機(jī)柜技術(shù)探索仍然偏少。比如：服務(wù)器可以通過上蓋開孔提高系統(tǒng)散熱能力，機(jī)房冷熱通道溫差的擴(kuò)大可以降低能耗，但是因?yàn)闄C(jī)柜設(shè)計(jì)的原因，冷熱通道的溫差擴(kuò)大和上蓋開孔可能會(huì)導(dǎo)致熱風(fēng)回流伯努利融合型機(jī)柜技術(shù)白皮書為了解決分層設(shè)計(jì)帶來的機(jī)柜技術(shù)短板問題，美團(tuán)、騰訊等具備垂直整合能力的互聯(lián)網(wǎng)廠商倡導(dǎo)基于跨層級(jí)的系統(tǒng)化設(shè)計(jì)理念對(duì)服務(wù)器機(jī)柜進(jìn)行優(yōu)化，機(jī)柜將承擔(dān)更多的系統(tǒng)功能需求，不僅具備結(jié)構(gòu)承載能力，還將承擔(dān)散熱能力提升、能效優(yōu)化等多方面的系統(tǒng)需求。從本項(xiàng)目的實(shí)踐結(jié)果來看，架構(gòu)改動(dòng)小、實(shí)際收益大，體現(xiàn)了跨層級(jí)系統(tǒng)化設(shè)計(jì)思想對(duì)于當(dāng)下基礎(chǔ)設(shè)施領(lǐng)域優(yōu)化的指導(dǎo)意義，ODCC設(shè)施組內(nèi)相關(guān)單位和專家的大力支持，同時(shí)對(duì)支持本項(xiàng)目落地的廣州南盾通訊設(shè)備有限公司、普洛斯普瑞數(shù)據(jù)科技（上海）有限公司、德州歐瑞電子通信設(shè)備制造有限公司等單位和專家，在此一由于時(shí)間倉促，水平所限，錯(cuò)誤和不足之處在所難免，歡迎各伯努利融合型機(jī)柜技術(shù)白皮書 V伯努利融合型機(jī)柜技術(shù)白皮書 伯努利融合型機(jī)柜技術(shù)白皮書伯努利融合型機(jī)柜技術(shù)白皮書本白皮書主要介紹伯努利融合型機(jī)柜架構(gòu)設(shè)計(jì)思想和參考設(shè)計(jì)并對(duì)參考設(shè)計(jì)方案中的各種尺寸、設(shè)計(jì)建議、安裝要求等進(jìn)行明確OpenUnit,1OU=48mm，OCP（Open隨著互聯(lián)網(wǎng)和云計(jì)算技術(shù)的發(fā)展，業(yè)界對(duì)于服務(wù)器的算力需求呈現(xiàn)更高性能、更高能效和多元化趨勢(shì)，CPU、GPU、DPU等不同算力平臺(tái)帶來技術(shù)創(chuàng)新的同時(shí)，對(duì)于基礎(chǔ)設(shè)施硬件的散熱和能效等方面的挑戰(zhàn)越來越大。作為基礎(chǔ)設(shè)施硬件三大核心的服務(wù)器、機(jī)房、機(jī)柜，在當(dāng)下的產(chǎn)業(yè)結(jié)構(gòu)中以分層解耦設(shè)計(jì)為主，各層級(jí)主要聚焦在各自的層級(jí)進(jìn)行相關(guān)技術(shù)探索和優(yōu)化，其中服務(wù)器層級(jí)和機(jī)房層級(jí)的投入和成果更多，而作為連接服務(wù)器和機(jī)房的機(jī)柜技術(shù)探索則1伯努利融合型機(jī)柜技術(shù)白皮書相對(duì)較少，機(jī)柜技術(shù)領(lǐng)域在當(dāng)下已經(jīng)成為基礎(chǔ)設(shè)施硬件的短板，呈為了解決基礎(chǔ)設(shè)施分層設(shè)計(jì)帶來的機(jī)柜技術(shù)短板，美團(tuán)、騰訊等具備垂直整合能力的互聯(lián)網(wǎng)廠商倡導(dǎo)基于跨層級(jí)的系統(tǒng)化設(shè)計(jì)理念對(duì)服務(wù)器機(jī)柜進(jìn)行優(yōu)化，充分吸收現(xiàn)有機(jī)柜標(biāo)準(zhǔn)的設(shè)計(jì)經(jīng)驗(yàn)，對(duì)現(xiàn)有機(jī)柜架構(gòu)進(jìn)行優(yōu)化設(shè)計(jì)，提供一款基于伯努利散熱架構(gòu)（機(jī)柜前端開放+后端封閉的散熱架構(gòu)）的融合型機(jī)柜參考設(shè)計(jì)，該機(jī)柜具備40KW+的單柜散熱能力，25℃+的冷熱通道支持能力，兼容前后出線，兼容通用服務(wù)器和云服務(wù)器部署，兼容風(fēng)冷和冷板式液冷混合部署，兼容標(biāo)準(zhǔn)機(jī)柜和整機(jī)柜出貨，兼容CRPS和集中供電等特點(diǎn)。可以有效解決的當(dāng)前機(jī)柜技術(shù)面臨的兼容性和能效問題，是一款非伯努利融合型機(jī)柜采用熱端封閉+冷端開放的創(chuàng)新散熱架構(gòu)，相比業(yè)界現(xiàn)有的機(jī)柜架構(gòu)，在提升機(jī)柜系統(tǒng)散熱能力和能效方面優(yōu)勢(shì)），2設(shè)計(jì)，又強(qiáng)化機(jī)柜在基礎(chǔ)設(shè)施中對(duì)能效提升的作用，型機(jī)柜的參考設(shè)計(jì)，并對(duì)該機(jī)柜的所有設(shè)計(jì)進(jìn)行開源是，該參考設(shè)計(jì)主要為架構(gòu)層面的要求，工程人員可（1）熱端封閉：機(jī)柜后方孔條與后立柱之間實(shí)現(xiàn)結(jié)構(gòu)封堵；后方孔條與服務(wù)器之間通過泡棉實(shí)現(xiàn)熱端封堵；服務(wù)器上下間隙通過3伯努利融合型機(jī)柜技術(shù)白皮書（2）冷端開放：機(jī)柜的前方孔條與前立柱之間的間隙打開；服4伯努利融合型機(jī)柜技術(shù)白皮書伯努利融合型通用機(jī)柜參考設(shè)計(jì)高度2500mm，配置支撐柱，不配置腳輪。該機(jī)柜高度保持機(jī)柜架構(gòu)保持一致的基礎(chǔ)上，可以根據(jù)伯努利融合機(jī)柜架構(gòu)本身可以兼容不同的U高設(shè)計(jì)標(biāo)準(zhǔn)，原則上兼容業(yè)界常用的4種U高標(biāo)準(zhǔn)，包含RU/AU/SU/OU。本文的機(jī)柜參考設(shè)計(jì)采用SU標(biāo)準(zhǔn)，可安裝服務(wù)器空間為52SU，兼容RU/AU標(biāo)56伯努利融合型機(jī)柜技術(shù)白皮書（3）機(jī)柜前后方孔條距離720mm，允許公差+2mm/-2mm，此尺寸也可以根據(jù)實(shí)際需要進(jìn)行調(diào)整，如果兼容更小深度的服務(wù)器，建議通過移動(dòng)前方孔條的方式實(shí)現(xiàn)，后方孔條和后立柱不建議移動(dòng)，（7）L型支架安裝面距離可根據(jù)實(shí)際使用需求做定制設(shè)計(jì)，參考設(shè)計(jì)方案為了兼容通用服務(wù)器，該尺寸建議為350mm，允許公差（8）PDU固定支架端面距離機(jī)柜后端面125mm，允許公差為0mm/+2mm，此空間內(nèi)專為PDU預(yù)留，可以支持PDU前后出線和左右機(jī)柜內(nèi)部空間定義如下圖所示，機(jī)柜后方孔條不得占用，不能7伯努利融合型機(jī)柜技術(shù)白皮書（三）機(jī)柜標(biāo)識(shí)機(jī)柜方孔條機(jī)柜U數(shù)從下至上標(biāo)識(shí)，從1開始。是否噴涂漆面不做嚴(yán)格約束，可以根據(jù)實(shí)際使用環(huán)境和需求決定，如果方孔條不做漆面噴涂，可以直接用鍍鋅表面處理，同時(shí)相關(guān)切口需要做好防腐處理。后側(cè)方孔條粘貼封堵泡棉的位置要求不做噴涂，以保證粘（四）腳輪與支柱機(jī)柜本身兼容配置腳輪和不配置腳輪設(shè)計(jì)，如果配置腳輪，腳動(dòng)，需要可以通過20mm寬的窄縫隙。通用機(jī)柜輪，但是配置調(diào)平支架，要求腳杯底座可旋轉(zhuǎn)，在調(diào)平時(shí)對(duì)地面無8伯努利融合型機(jī)柜技術(shù)白皮書（五）機(jī)柜承載能力定義機(jī)柜可承載服務(wù)器最大重量1.2T（帶輪動(dòng)載要求），機(jī)柜最大（六）機(jī)柜并柜定義機(jī)柜支持單柜部署以及并柜部署，參考設(shè)計(jì)的機(jī)柜上并柜孔定頂部穿線孔在49U下U線向上開1個(gè)，穿線開孔機(jī)柜左右對(duì)稱，機(jī)柜前后均預(yù)留并柜橫向穿線開孔，自帶毛刷封堵。機(jī)柜上中下分布有3個(gè)并柜鎖固孔，機(jī)柜前后均配置。相關(guān)尺寸和位置示意圖參考9（七）機(jī)柜布線定義與約束機(jī)柜兼容前后出線，機(jī)柜前后同時(shí)保留理線板，前出線理線板設(shè)計(jì)深度100mm，左右兩側(cè)安裝，后理線板設(shè)計(jì)深度≥140mm，左右部兩開孔70*100mm，方孔角需要處理為圓形，配置毛刷，機(jī)柜后端底部開2個(gè)下線孔，用于下走線和液冷管路預(yù)留，每個(gè)開孔（八）設(shè)備供電定義與機(jī)柜接地PDU安裝與機(jī)柜后部，支持2條全高PDU同時(shí)安裝，或者4條半高PDU同時(shí)安裝，PDU的安裝方式比較靈活，可以支持PDU出線端面朝向機(jī)柜后面，也可以支持PDU出線端面朝向機(jī)柜側(cè)面；PDU兼容國標(biāo)和IEC標(biāo)準(zhǔn)，可以根據(jù)業(yè)務(wù)需求自行定制，PDU和對(duì)應(yīng)的固定支架做好適配設(shè)計(jì)即可。參考設(shè)計(jì)中PDU的參考尺寸如下圖所機(jī)柜后部頂部和底部均部署有接地銅柱，盡量靠近機(jī)柜后部，PDU安裝支架通過螺絲固定后理線板兩側(cè)，全高和半高PDU均可以固定，固定支架同時(shí)具備電源線理線架的功能，PDU固定支架在配置冷板兼容場(chǎng)景下，建議為無孔設(shè)計(jì)，起到液電隔離的作用，純風(fēng)冷場(chǎng)景下，可以根據(jù)成本和減重做適當(dāng)簡(jiǎn)化處理。為了保持兼此時(shí)PDU只支持左右各配置1條全高或者2條半高，PDU可用深度空間為125mm，電源線在PDU固定支架上專設(shè)的理線孔處做固定，較長的電源線則靠支架內(nèi)側(cè)捆扎，盡量遠(yuǎn)離弱電綁線區(qū)域。需要確保電源線走線整潔，不影響服務(wù)器的運(yùn)維和使用。這種出線方式為伯努利融合型機(jī)柜推薦的參考設(shè)計(jì)，可以支持950mm+深度尺寸此安裝方案為常規(guī)方案，可通過更換PDU固定支架實(shí)現(xiàn)，此時(shí)PDU支持兩側(cè)部署或者單側(cè)2條部署，電源線通過后理線區(qū)域理線（十）服務(wù)器安裝支架機(jī)柜支持多種安裝支架，抽拉滑軌，伸縮式L型滑軌和固定式L型支架，對(duì)于以上三種安裝方式下，取支撐架的地面與機(jī)箱的最低點(diǎn)，保持與方升架構(gòu)一致，要求其距離機(jī)柜標(biāo)準(zhǔn)U節(jié)線距離固定式L型支架，通過側(cè)面打螺釘與機(jī)柜固定，通過支架底部托架拖住服務(wù)器。L型支架安裝面距離不做嚴(yán)格約束，可以根據(jù)各伯努利融合型機(jī)柜技術(shù)白皮書自的實(shí)際情況進(jìn)行定制，本參考設(shè)計(jì)中的推薦L型支架安裝面距離（十一）交換機(jī)專用封堵框設(shè)計(jì)因?yàn)椴诤蠙C(jī)柜采用熱端封閉方案，所以對(duì)于深度尺寸較小的MOR和TOR，建議額外增加交換機(jī)專用封堵框用于實(shí)現(xiàn)熱端封閉，封堵框需要保證交換機(jī)順利拔插，運(yùn)維方便，同時(shí)不影響交換（2）內(nèi)部凈高度為46mm，公差0mm/+（3）含后部掛耳寬度477mm,公差+1mm/-1mm;不含后部掛耳寬度伯努利融合型機(jī)柜技術(shù)白皮書交換機(jī)封堵機(jī)框安裝方式為從機(jī)柜后端向前安裝，機(jī)框的L型卡扣與機(jī)柜的固定式L型支架實(shí)現(xiàn)滑動(dòng)卡接限位，機(jī)框在后方孔條處配置有鎖固掛耳，用于機(jī)框固定。對(duì)于封堵機(jī)框設(shè)計(jì)的幾個(gè)注意（1）L型卡扣的位置與機(jī)柜L型支架的尺寸相關(guān)，需要根據(jù)實(shí)（2）后端上蓋需要可拆卸，便于交換機(jī)維護(hù)；（3）交換機(jī)內(nèi)部盡量光滑，如有必要推薦覆膜，盡量減少對(duì)交（4）為保證封堵框和交換機(jī)的適配，交換機(jī)封堵框高度尺寸可（十二）熱端封堵毛刷板設(shè)計(jì)為了在機(jī)柜熱端封堵條件下支持交換機(jī)后出線場(chǎng)景，所以交換伯努利融合型機(jī)柜技術(shù)白皮書（十三）熱端封堵盲板設(shè)計(jì)按照伯努利散熱架構(gòu)要求，機(jī)柜的熱端封堵方案在機(jī)柜后方孔封堵盲板推薦采用塑膠材質(zhì)，通過卡條的形式實(shí)現(xiàn)嚴(yán)格的熱端氣流（十四）機(jī)柜熱端封堵泡棉設(shè)計(jì)按照伯努利散熱架構(gòu)要求，機(jī)柜的熱端封堵方案在機(jī)柜后方孔），（2）膠面要求使用：3M468，0.1mm的膠面，粘性需要滿足10（3）封堵位置為后方孔條內(nèi)側(cè)，同時(shí)避讓后方孔條開孔，方孔伯努利融合型機(jī)柜技術(shù)白皮書（4）左右后方孔條各粘貼1PCS，高度保持與后方孔條等高，封堵泡棉的具體尺寸主要取決于適配的服務(wù)器寬度尺寸，同時(shí)（十五）服務(wù)器上下間隙封堵設(shè)計(jì)本機(jī)柜采用的U高標(biāo)準(zhǔn)為SU，所以在部署服務(wù)器的時(shí)候，服務(wù)器上下之間存在間隙，此間隙原則上均建議做封堵，1RU的OEM服務(wù)器如果間隙較小，可以根據(jù)機(jī)房和服務(wù)器的實(shí)際情況決定。封堵材料仍然推薦YU356材質(zhì)的泡棉，OEM可以通過額外增加封堵條，ODM機(jī)器建議直接在服務(wù)器上蓋后方孔條對(duì)應(yīng)位置進(jìn)行泡棉粘貼實(shí)），（2）膠面要求使用：3M468，0.1mm的膠面，粘性需要滿足10伯努利融合型機(jī)柜技術(shù)白皮書（3）結(jié)構(gòu)支撐件：鈑金或者塑膠均可。（4）泡棉根據(jù)封堵間隙的大小，有幾種規(guī)格，ODM自研服務(wù)器推薦直接在服務(wù)器上蓋貼附，高度參考為C，寬度與服務(wù)器等寬，深度10mm即可；OEM服務(wù)器可以采用額外的擋風(fēng)條設(shè)計(jì)。相關(guān)參考BCDEF14238242（十六）冷板式液冷兼容設(shè)計(jì)伯努利融合型機(jī)柜兼容冷板式液冷方案，分水器的位置配置靈活，可以根據(jù)自身服務(wù)器的配置需求進(jìn)行靈活調(diào)整，服務(wù)器深度尺寸低于850mm，可以采用目前業(yè)界常見的電液分離的部署方案，服務(wù)器深度大于850mm以上，如果要支持前出線和風(fēng)液兼容設(shè)計(jì)，建伯努利融合型機(jī)柜技術(shù)白皮書參考設(shè)計(jì)中，冷熱分水