新一代數(shù)據(jù)中心高密度部署策略

1、新一代數(shù)據(jù)中心高密度部署策略 傳統(tǒng)的說明數(shù)據(jù)中心密度的方法可歸結(jié)為一種粗放、不完整和不明確的方法。這些傳統(tǒng)的方法無法提供規(guī)劃指導(dǎo)來確保能夠預(yù)見數(shù)據(jù)中心將來在最新一代的高功率密度IT 設(shè)備下的電源和制冷性能。本文概述了密度規(guī)范的要求，并介紹了制定密度規(guī)范的一種新方法。該方法提供了可實施的規(guī)范，可讓IT 員工和設(shè)備設(shè)計者之間明確交流各種要求，并加速了可預(yù)見成本效益和電氣效益的數(shù)據(jù)中心的創(chuàng)建。部署策略在定義密度規(guī)范要求時，必須充分考慮到隨時間變化的IT 負(fù)載以及分階段部署。必須就供電和制冷基礎(chǔ)設(shè)施隨時間的變化作出一些假設(shè)。那種認(rèn)為現(xiàn)有配電和空氣分配系統(tǒng)將隨著IT 負(fù)載的變化而改變的想法是不切實際的。

2、修改這些系統(tǒng)（例如修改使用中的電路或水管）可能需要一組機(jī)架甚至整個數(shù)據(jù)中心的停機(jī)，或產(chǎn)生這樣的風(fēng)險。很多資料表明人為錯誤是造成數(shù)據(jù)中心停機(jī)的主要原因，而對運行中的設(shè)備進(jìn)行修改是造成停機(jī)的主要因素。因此，最好的方法是按照行或區(qū)域安裝供電和制冷分配設(shè)備，在該行或區(qū)域的工作生命周期內(nèi)不再對其進(jìn)行變更或重新配置。 在具體實施此最佳方法時，應(yīng)采用如下所述的部署策略：(1 采用標(biāo)準(zhǔn)過道間隔在平面圖上安排機(jī)架/機(jī)柜行列(2 確定行的設(shè)計密度規(guī)范，然后構(gòu)建可支持該密度規(guī)范的完整行。(3 如果要部署的設(shè)備符合現(xiàn)有行的設(shè)計規(guī)范技術(shù)參數(shù)要求，而且該行有空余位置，則可將設(shè)備部署到該行。(4 如果要部署的設(shè)備與有空余位

3、置的行的密度有顯著不同，不要為了將設(shè)備部署到該行而修改供電或制冷系統(tǒng)，而是應(yīng)該建立新的一行以滿足更高密度的要求。(5 隨著時間的推移，應(yīng)該將很少使用的機(jī)架行徹底拆除并按照符合當(dāng)前需求的不同密度規(guī)范來重新建立。由于此策略可將與修改數(shù)據(jù)中心使用中的機(jī)架行有關(guān)的人為錯誤降到最低，因此我們強(qiáng)烈推薦您采用此策略。此行之有效的策略的確為密度規(guī)范設(shè)立了一條限制，即機(jī)架行系統(tǒng)的供電和制冷分配在安裝后就不能改變。注意，市場上有一些供電和制冷分配產(chǎn)品允許重新配置供電和制冷架構(gòu)而不會造成停機(jī)的風(fēng)險。其主要特點有：(1通過添加可熱插拔的模塊來改變UPS 功率輸出。(2通過添加可熱插拔的機(jī)架配電單元來改變機(jī)架中的插座類

4、型和容量。（3）通過插入式架裝設(shè)備來增加補(bǔ)充冷卻氣流的容量。此類設(shè)備提供了一些附加的靈活性，允許在安裝之后進(jìn)行修改，因此特別適用于不適合進(jìn)行分階段、分行部署的小型設(shè)施。行或區(qū)域內(nèi)的峰值密度和均值密度盡管，每個機(jī)架具有絕對相同的負(fù)載功率可以簡化密度規(guī)范，但是先前的討論顯示，這是一個不可能實現(xiàn)的目標(biāo)，因為在實際安裝中幾乎不可能做到這一點。事實上，機(jī)架密度的范圍可能在零（配線架）到30kW （高密度刀片式服務(wù)器）之間變化。這種變化對有效的密度規(guī)范的特性產(chǎn)生了巨大影響。由不同功率的機(jī)架組成的特定機(jī)架行或區(qū)域中，平均機(jī)架功率將低于最高機(jī)架功率值。因此，行內(nèi)的機(jī)架功率峰值/均值比實際上往往比一大或等于一。

5、非常有益的做法是考慮多種替換方法來指定機(jī)架行的功率密度設(shè)計，以便在行內(nèi)支持具有不同機(jī)架功耗的一組機(jī)架。 將行內(nèi)所有機(jī)架的功率都設(shè)計為峰值。指定行密度的一個方法為，指定行中的任何機(jī)架或所有機(jī)架的功率和制冷密度容量為機(jī)架功率的最大預(yù)期峰值。在這種情況下，總制冷容量和功率容量必須按照所有機(jī)架都可以達(dá)到最大功耗的假設(shè)情況來確定其規(guī)范。這必然會導(dǎo)致實際功率和制冷容量規(guī)模過大，因而導(dǎo)致資金和操作成本的增加，同時降低了電氣效率。 如果每機(jī)架功耗的峰值/均值比等于一，則上述這些不利之處都可以避免；但是，如果行內(nèi)的每機(jī)架功耗峰值/均值比為1.5或更高，則上述問題都會出現(xiàn)，另外，這個規(guī)范最糟糕的情況就是沒有考慮到

6、可降低每機(jī)架功耗的峰值/均值比的情況，即最大值功率機(jī)架產(chǎn)生的負(fù)載可能呈分散分布。一般來說，在機(jī)架峰值功率最差的情況下指定整體行密度并不是最優(yōu)選擇，除非每個機(jī)架的功率峰值/均值比非常接近1，但是在一般安裝中，出現(xiàn)這種情況的幾率非常低。將行內(nèi)所有機(jī)架的功率設(shè)計為平均值。指定行密度的另一個方法為，指定所有機(jī)架的功率為平均功率密度。和前一個方法一樣，這個簡單的方法并不令人滿意，但導(dǎo)致不滿的原因卻不盡相同。這個方法要求在任何機(jī)架負(fù)載可能超過均值時，減少設(shè)備直到機(jī)架的負(fù)載等于或小于均值。此外，這個方法還存在實施上的限制，實際密度低于指定設(shè)計密度的機(jī)架所產(chǎn)生的未使用的功率和制冷容量并不能給其他機(jī)架產(chǎn)生額外的

7、功率和制冷容量。這是因為行的設(shè)計僅僅是為了讓每個機(jī)架的功率和制冷最大能達(dá)到平均值?？紤]下列情況：某個IT 操作人員想要在設(shè)計容量為每機(jī)架2kW 的行中部署一個4kW 的刀片式機(jī)箱。有人可能會認(rèn)為從未使用的機(jī)架中引接一個2kW 的電源插座（如果可行）至刀片式機(jī)箱是一個可行的辦法。但是，為這4kW 的負(fù)載制冷卻成為一個問題，因為制冷系統(tǒng)的設(shè)計容量在2kW 以下。另外，由于其中一個機(jī)架的電源被其他機(jī)架占用，因此這個機(jī)架也不再可用。比較上述兩種情況的要求，我們可以得知，有效密度規(guī)范的一個重要因素為應(yīng)當(dāng)指定行內(nèi)的機(jī)架功率峰值/均值比，并且該比值應(yīng)當(dāng)大于1。如何選擇適當(dāng)?shù)臋C(jī)架功率峰值/均值比取決于實際機(jī)架

8、的預(yù)期變化。下圖對于不同的機(jī)架間實際密度的變化，機(jī)架密度的峰值/均值比對電源和制冷設(shè)備的總擁有成本產(chǎn)生的影響 典型數(shù)據(jù)中心設(shè)計的限制和假設(shè)這二者的關(guān)系上圖中顯示了典型數(shù)據(jù)中心設(shè)計的限制和假設(shè)這二者的關(guān)系：上圖顯示已安裝的IT 設(shè)備中，在三種不同的實際機(jī)架功率變化的情況下，機(jī)架密度規(guī)范的峰值/均值比是如何影響電源和制冷基礎(chǔ)設(shè)施的標(biāo)準(zhǔn)總擁有成本(TCO支出的。數(shù)據(jù)顯示，在所有機(jī)架具有相同功耗的情況下，機(jī)架密度峰值/均值比等于1時，TCO 為最佳（最低）。這種效應(yīng)的解釋可歸因于指定額外的峰值功率密度容量會增加功率和制冷分配的支出，但在所有機(jī)架都具有相同功耗時不會導(dǎo)致總擁有成本增加。但是，如果實際安裝

9、的機(jī)架功率不同，峰值/均值比沒有增加時，則會增加總擁有成本。這是因為存在無法使用的功率和制冷容量，同時，指定的IT 設(shè)備需要增加地板空間，二者共同產(chǎn)生了這種效應(yīng)。結(jié)果是，機(jī)架密度的峰值/均值比大于1，在實際安裝中可獲得最佳的TCO 。這就引出了有效制定數(shù)據(jù)中心密度規(guī)范的另一個重要因素：在典型的設(shè)計中，行內(nèi)的機(jī)架功率密度峰值/均值比應(yīng)當(dāng)大約為2，如果行內(nèi)的預(yù)期實際機(jī)架功率密度峰值/均值比大于2，建議在機(jī)架間分散最大密度的IT 負(fù)載來限制峰值/均值比，或?qū)o關(guān)的負(fù)載重新分配到其他行?；谝?guī)則的密度規(guī)范如果某行或某區(qū)域中的均值和峰值機(jī)架功率密度設(shè)計已經(jīng)指定為經(jīng)預(yù)見可實施的規(guī)范，則該規(guī)范可行。如果峰值

10、機(jī)架功率接近平均值，則可直接實施。但是，如果行內(nèi)的機(jī)架峰值/均值比接近1.5或更大，則實施該設(shè)計的挑戰(zhàn)和成本都將增加。確保只要不超過平均功率值，任何機(jī)架都可以在峰值功率的水平上操作，在使用高架地板送風(fēng)系統(tǒng)的安裝中，這樣造成的問題可能會成為非常嚴(yán)重的限制。如果在密度規(guī)范中允許使用基于規(guī)則的密度部署，可獲得的整體均值和峰值功率密度都可以提高。要理解基于規(guī)則的規(guī)范所解決的問題，請考慮將機(jī)架功率密度的峰值/均值比設(shè)定為建議的2時，在現(xiàn)有高架地板制冷系統(tǒng)中安裝機(jī)架的情況。從電源系統(tǒng)這方面來看，在最大機(jī)架密度下，每個機(jī)架都必須擁有一定的功率配額，而機(jī)架則通過PDU 或UPS 來供電，其額定值為平均機(jī)架密度

11、乘以IT 機(jī)架的個數(shù)。這個方案實施起來非常簡單。但是，從冷卻角度看，每個機(jī)架并不具有定義良好的空氣分配系統(tǒng)，其額定值為平均機(jī)架密度的兩倍。要在密度超過均值時操作機(jī)架，必須從鄰接的低于均值密度的機(jī)架中借用未使用的容量。在使用具有有限通風(fēng)容量的高架地板時，這就意味著在行內(nèi)分散高密度機(jī)架會顯著降低制冷系統(tǒng)上的局部超負(fù)荷。如果規(guī)范具備建立行內(nèi)高密度機(jī)架位置規(guī)則的能力，則可以在系統(tǒng)限制范圍內(nèi)獲得較高的峰值和平均值密度。具有簡單規(guī)則的示例為，機(jī)架僅可以超過均值額定功率的量為相鄰機(jī)架平均功耗低于均值的量。更復(fù)雜的規(guī)則可以用來最大化已知安裝中可預(yù)見的功率密度，并且這些規(guī)則可以在功率和制冷管理系統(tǒng)中實施。針對未

12、來的增長指定密度選擇很多數(shù)據(jù)中心并不是一次完全建成，而是隨著時間的推移不斷擴(kuò)展。在這些情況下，并不需要總是提前為尚未規(guī)劃的行或區(qū)域指定密度。任何指定數(shù)據(jù)中心密度的實際方法必須考慮未來的需求，因為密度需求難以預(yù)測，因此需要盡可能地保留將來密度的選擇。理想的做法是，將部署電源和制冷基礎(chǔ)設(shè)施的費用預(yù)算和相關(guān)事務(wù)盡可能延后進(jìn)行。另外，數(shù)據(jù)中心以后的擴(kuò)展并不會影響已經(jīng)投入使用的IT 設(shè)備的可用性。常用的辦法為提前規(guī)劃電源和制冷基礎(chǔ)設(shè)施，以便支持預(yù)先定義的功率密度。這樣做好處是，預(yù)先安裝設(shè)備可確保在以后進(jìn)行IT 部署時，不需要在已運行的數(shù)據(jù)中心中再做主干電源的部署。但是，這個方法還存在多個不利的影響，包括

13、：（1）當(dāng)以后的IT 密度超過電源和制冷基礎(chǔ)設(shè)施的密度時，更改或進(jìn)行重新部署是很困難的。（2）當(dāng)以后的IT 密度低于電源和制冷基礎(chǔ)設(shè)施密度時，必然會造成主要基礎(chǔ)設(shè)施投資的浪費。（3）基礎(chǔ)設(shè)施從來沒有擴(kuò)展，或由于某些規(guī)定或其他商業(yè)問題而導(dǎo)致在另一個位置進(jìn)行了擴(kuò)展，因此造成主要基礎(chǔ)設(shè)施投資的浪費。（4）近期內(nèi)數(shù)據(jù)中心的負(fù)載遠(yuǎn)遠(yuǎn)低于電源和制冷基礎(chǔ)設(shè)施的額定容量，導(dǎo)致電氣效率的顯著降低和不必要的大量電費花費。（5）提前安裝目前不需要的電源和制冷基礎(chǔ)設(shè)施，造成不必要的設(shè)備資金支出和維護(hù)合同成本。有效的密度指定模式可以通過將電源和制冷基礎(chǔ)設(shè)施定制為模塊化的大小可調(diào)的設(shè)計和實施方法來避免以上這些問題。實施這

14、種架構(gòu)時要求預(yù)先安裝主供電配電線路，如行或區(qū)域范圍內(nèi)使用的電源設(shè)備和制冷設(shè)備。昂貴的電源和制冷基礎(chǔ)設(shè)施的安裝則需要延后，如UPS 系統(tǒng)、PDU 、機(jī)架、行內(nèi)的配電設(shè)備、空調(diào)及空氣分配設(shè)備。區(qū)域或行內(nèi)支持的具體密度將在延期后具體部署時確定，并且電源和制冷基礎(chǔ)設(shè)施將按行部署或以行為基礎(chǔ)來部署。 這個討論引出了建議密度規(guī)范方法的另一個主要因素：需要在將來部署的數(shù)據(jù)中心行或區(qū)域進(jìn)行規(guī)劃時，應(yīng)充分考慮在最壞情況下的最大密度值，并要求主要的電線和管線應(yīng)當(dāng)預(yù)先安裝并支持此密度；但是對這些行的實際電源和制冷設(shè)備的選擇應(yīng)當(dāng)延后到確定了部署密度和規(guī)劃之后再進(jìn)行。這樣，電源和制冷設(shè)施的主要成本將控制在實際應(yīng)用的合理

15、范圍內(nèi)，并且在需要的位置和時間進(jìn)行部署。這樣就可以大大減少資金投入和操作成本，建造更具有能源效率的數(shù)據(jù)中心。模式現(xiàn)在可以建構(gòu)一種功率密度規(guī)范模式來滿足前面所述的要求， 并解決實際操作中的約束和限制問題。該模式包含下列關(guān)鍵因素：創(chuàng)建的數(shù)據(jù)中心物理布局以成行的機(jī)架或機(jī)柜為基礎(chǔ)，對于每一行，要求達(dá)到表1所示的數(shù)據(jù)機(jī)架范圍內(nèi)要求的數(shù)據(jù)（1）對于要在以后部署的行，應(yīng)當(dāng)指定最有可能出現(xiàn)的平均和最高機(jī)架功率，在實際部署之前降低這些值。（2）只會對規(guī)模過大的主要電源布線和管線系統(tǒng)產(chǎn)生非常小的影響從上述信息中，可以計算出表2所示的數(shù)據(jù)。數(shù)據(jù)單位說明主要用途 可用的 IT 機(jī)架總數(shù)#設(shè)計的可用 IT 機(jī)架數(shù)，以及

16、分配給電源或制冷基礎(chǔ)設(shè)施的所有機(jī) 架位置最終數(shù)目用來確定用于規(guī)劃目的的可用總電源和 IT 機(jī)架空間 總的最初功率要求 kWIT 機(jī)房的功率和制冷要求，不包含以后的部署用來確定當(dāng)前電源 和制冷基礎(chǔ)設(shè)施投資要求 總的最終功率要求 kW 在最后最壞的情況下，機(jī)房的電源和制冷要求。用來確定電源設(shè) 施的規(guī)模，包括電源開關(guān)、電線及制冷鉛管 峰值功率密度 kW/機(jī)架任何一行內(nèi)的最高功率密度用來建立制冷分配架構(gòu) 數(shù)據(jù)中心平均功率密度 kW/機(jī)架數(shù)據(jù)中心的密度范圍用于和其他常用單位進(jìn)行換算， 如 W/ft2 或 W/m2。這種轉(zhuǎn)換根據(jù)在表 1 中選擇的定義而定 使用這個方法來定義密度的最復(fù)雜的問題就是機(jī)架位置的

17、確定， 這是部署電源和制冷基 礎(chǔ)設(shè)施必須要解決的問題，如不確定則會產(chǎn)生 IT 設(shè)備無法使用的情況。1 個機(jī)架位置被電 源和制冷基礎(chǔ)設(shè)施所占用，合理的密度估算參考值為每個 IT 負(fù)載 15kW。根據(jù)從現(xiàn)有的數(shù)據(jù) 中心安裝中得到的經(jīng)驗， 這個參考值的得出包括了電源和制冷設(shè)備和相應(yīng)的空間要求。 精確 值將取決于選擇的電源和制冷基礎(chǔ)設(shè)施、機(jī)房限制和系統(tǒng)供應(yīng)商提供的指導(dǎo)原則。 數(shù)據(jù)中心規(guī)范示例 下面以示例說明如何使用規(guī)范模式來設(shè)計實際的數(shù)據(jù)中心。 在這個示例中， 首先必須提 供一個機(jī)房，必須在機(jī)房中確定所有 UPS、配電和冷卻系統(tǒng)的位，由于凈空限制，沒有高架 地板。將要部署的各種網(wǎng)絡(luò)設(shè)備包括刀片式服務(wù)器

18、、機(jī)架安裝式服務(wù)器、存儲設(shè)備和網(wǎng)絡(luò)設(shè) 備。將刀片式服務(wù)器放置在一起，不要分散擺放。根據(jù)估算，當(dāng)前的要求是填滿機(jī)房空間的 一半。機(jī)房保留的剩余空間的部署密度將超過目前部署密度的 20%，其容量至少可以支持 3 個刀片式服務(wù)器機(jī)架，據(jù)估測每個機(jī)架的功率為 25kW。可用性要求主要針對非冗余電源和 制冷系統(tǒng)。 下圖顯示機(jī)房的大致輪廓，其中包含建議的機(jī)架布局，整個機(jī)房共有 41 個機(jī)架位置。 根據(jù)說明，第 1、2 和 3 行將會立即完成部署，而第 4、5、6 和 7 行將在以后進(jìn)行部署。對 目前規(guī)劃的部署進(jìn)行審視可以指定行中諸如電力設(shè)備等的位置以減少行內(nèi)的峰值/均值比， 并分配位置以便按照要求在第 2 行將刀片式服務(wù)器擺放在一起。第 1、2、3 行機(jī)架范圍的規(guī) 范已經(jīng)寫入表 4。 圖 3建議的數(shù)據(jù)中心平面圖布局，含建議的機(jī)架布局 建議的數(shù)據(jù)中心平面圖布局，含建議的機(jī)架布局 表 4建議的數(shù)據(jù)中心行密度數(shù)據(jù) 建議的數(shù)據(jù)中心行密度數(shù)據(jù) 從這些信息可以計算出第一次部署的平均密度為， 每機(jī)架(27+57+37/21=3.3kW。 如果其他行的規(guī)劃密度超出 20%（尚未指定這些行的詳細(xì)部署），則可計算出整體數(shù)據(jù)中心 平均密度為，每機(jī)架(27+57+37+45+45+45+45/41=3.7kW。給以后未定的行 指定較高的峰值密度 15kW，將在以后對這些行進(jìn)行設(shè)計和變更