大道至簡-圖解大型互聯(lián)網數(shù)據(jù)中心典型模型-李典林

大道至簡，圖解大型互聯(lián)網數(shù)據(jù)中心典型模型原創(chuàng)

2016-04-08

騰訊數(shù)據(jù)中心ensoli數(shù)據(jù)中心本質上是數(shù)學和邏輯的組合，分析模塊化數(shù)據(jù)中心的顆粒度可以歸納演繹出其典型模型，本文介紹一些大型互聯(lián)網數(shù)據(jù)中心的典型案例，正是為了做此方面的分析。大型互聯(lián)網公司數(shù)據(jù)中心建筑布局圖一是谷歌數(shù)據(jù)中心的典型布局，從空中俯視看到的浩大體量和氤氳升騰的水汽，讓人立馬聯(lián)想到現(xiàn)代化的超級信息處理工廠，或在海上全力巡航的超級信息航母。谷歌的數(shù)據(jù)中心建筑結構極其精簡，主體機房為寬而矮的單層倉儲式廠房建筑結構，船體的中后兩艙為兩個長寬形主體機房模塊，船頭為機房配套的功能區(qū)域(如安保辦公、拆包卸貨、備品備件間等)；船體左側為模塊化變配電及柴發(fā)區(qū)域，船體右側是模塊化制冷及散熱儲水區(qū)域，水電分區(qū)，左右兩翼像巡洋艦和護衛(wèi)艦等保障航空母艦的穩(wěn)定平安運行。

圖一

谷歌數(shù)據(jù)中心俯視圖圖二為其主平面布局圖。北側為水，南側為電，中間為機房模塊，約2萬平米的中間主機房區(qū)可以支持約8到10萬臺服務器，左右兩側為網絡間以及辦公支持區(qū)。白地板區(qū)域分為南北共四個大機房房間，每個房間可以支持約2萬到2.5萬臺服務器，每個機房模塊內約30縱列，每列約25到30個IT機柜，每個大房間可以部署約750到900個機柜，約1萬KVA的電力，整個建筑約4萬KVA總用電。圖二

谷歌數(shù)據(jù)中心平圖布局圖圖三是facebook在瑞典的模塊化數(shù)據(jù)中心效果圖，該建筑也是倉儲式大廠房結構，左右兩棟數(shù)據(jù)中心大樓內共建設了1#-4#四個大房間的數(shù)據(jù)中心模塊，兩棟建筑之間有一個專用制冷機房，在建筑的兩側也部署了室外集裝箱柴發(fā)。此外，在數(shù)據(jù)中心建筑隔壁，還設有一個用于辦公的其它功能的建筑。

圖三

facebook模塊化機房俯視圖圖四類似這個數(shù)據(jù)中心的平面布局（冷機和配電位置稍有改變，但主體框架模塊沒變），同樣左右兩側共四個大機房模塊，A/B區(qū)南北各兩個，大房間的南北兩側為AHU模塊，同樣和冷熱通道一一對應；兩個建筑大房間之間為電力模塊，以及制冷模塊，同樣是模塊化的設計。每個AHU對應各自的一個通道，約60個機柜，平均每個IT機柜功率約為8-10KW，因此每個AHU的制冷量約為500-600KW。中間北側為電力模塊房間，四個房間共6套IT電力模塊，以及1套備份模塊、1套冷機等負載配單模塊；中間南側為制冷泵房，共9個制冷模塊，按8用1備計算，每個房間均攤約2個制冷模塊。

每個大機房房間同樣可支持約2萬到2.5萬臺規(guī)模服務器，每個房間內部署了約4*13*15個機柜，共約780個機柜，并支持擴展到900個，同樣約1萬KVA的電力，整個建筑約4萬KVA總用電，共支持約8到10萬臺的服務器。圖四

facebook數(shù)據(jù)中心平面布局圖圖五是facebook另外一個長條形數(shù)據(jù)中心的俯視圖，該建筑從左到右共有四個大機房模塊，每個機房模塊有獨立的4臺室外型集裝箱柴發(fā)，屋頂是其自然冷空調系統(tǒng)，緊貼數(shù)據(jù)中心建筑的上側有辦公用房。

圖五

facebook數(shù)據(jù)中心布局二這種長條形布局下，機房內部如圖六Open

datacenter的數(shù)據(jù)中心機房模型，每個大機房模塊共12*6*11=792個機柜，整個數(shù)據(jù)中心建筑共有12到14臺柴發(fā)，兩個蓄冷罐，支撐四個大機房模塊運用。

圖六

Open

datacenter的模型布局圖七是Switch公司的super

nap

7數(shù)據(jù)中心俯視圖，類似的，整個數(shù)據(jù)中心建筑由四個大機房模塊構成，每個機房模塊約10MVA的供電容量，由6臺（5+1）2000KW的柴發(fā)做掉電備份，9套1200KVA的UPS，三角形DR方式2N供電。同樣的，每個大機房模塊有44個R18的微模塊構成，總計約792個IT機柜，平均單功率約為9KW；9個（8+1）AHU空調模塊，每個AHU模塊標稱具有1000KW的散熱實力。

圖七

Switch公司的supernap

7數(shù)據(jù)中心布局從谷歌、facebook和super

nap等數(shù)據(jù)中心的典型模型上看，大型互聯(lián)網數(shù)據(jù)中心大多是模塊化設計，基本整個園區(qū)規(guī)劃有兩到三棟大型數(shù)據(jù)中心建筑，總共用電80到120MVA，由132KV變電站供電。每棟數(shù)據(jù)中心建筑用電量則高達40MVA，數(shù)據(jù)中心建筑內有4個大機房模塊，每個機房模塊約2-2.5萬臺服務器，典型的單模塊機柜數(shù)量為750-1000個機柜，每棟數(shù)據(jù)中心建筑約有8-10萬臺的服務器，總機柜數(shù)量為3000到4000個機柜。大型互聯(lián)網數(shù)據(jù)中心基本多為倉儲式單層建筑結構，建筑內的典型四個大機房模塊有長條型并排布局，也有南北向田字型布局，模塊化的電力和空調模塊就近擺放。大型互聯(lián)網公司數(shù)據(jù)中心的電氣為什么大型互聯(lián)網數(shù)據(jù)中心都有相像的特征，這背后有何邏輯呢？

其實數(shù)據(jù)中心的一些邊界條件基本限制了數(shù)據(jù)中心的典型模型，比如一條中壓外線（美國為13.2KV，歐洲中國約為10KV）的電力容量約為10MVA-12MVA，典型的變壓器容量約為1600KVA、2000KVA、2500KVA、3000KVA、3150KVA等有限檔位，母排和斷路器容典型量約1600A、2000A、3200A、4000A、50000A、6300A等有限檔位，還有冷機的冷量、UPS的容量等都是類似的有限檔位，因此數(shù)據(jù)中心規(guī)劃設計須要兼顧到這些產業(yè)鏈，并滿意馬路運輸條件，以及操作人員可以忍受的連續(xù)工作最高溫度等，依據(jù)不同系統(tǒng)的合適顆粒度，選擇最佳性價比的典型模型。

通常電力是數(shù)據(jù)中心內較為珍貴的資源，所以數(shù)據(jù)中心設計通常會把一條外線的容量盡量用滿，即一個機房模塊通常會用滿10到12MVA的外電容量，圖八是個典型的互聯(lián)網公司數(shù)據(jù)中心供電架構圖，單路市電供電，高壓柴發(fā)備份。

圖八

典型互聯(lián)網數(shù)據(jù)中心供電架構圖我們可以依據(jù)一條13.2KV外線約12MVA的容量來推算該機房模塊的模型，配置了4臺2500KW左右的高壓柴發(fā)，4臺3000KVA的變壓器，額外有1臺2500KW的柴發(fā)和3000KVA的變壓器作為四個房間的冗余備份，剛好用滿電力容量，因此數(shù)據(jù)中心大機房模塊內通常也規(guī)劃有4個小房間的模塊。

前面是針對互聯(lián)網數(shù)據(jù)中心內單路市電+柴發(fā)的供電架構，假如對于部分雙路10KV外電的高牢靠2N供電架構，事實上也是類似處理方法，將10MVA的外電，分攤到4個IT房間，每個房間約2個2000KVA的變壓器，剩余一對2000KVA的變壓器給到制冷房間用于冷機制冷等。當然也可以按三個IT房間來規(guī)劃，這種布局下每個房間配置2個2500KVA的變壓器，剩余一對2500KVA的變壓器給到冷機和其他動力設備。

圖九

典型數(shù)據(jù)中心2N供電高牢靠設計的模型在建筑布局上，同樣采納模塊化的布局，如圖十的典型數(shù)據(jù)中心建筑內有左右兩個大機房模塊，每個大機房模塊內的一對10KV外線帶有四個IT房間，每個房間由一對2000KVA的變壓器來擔當，每個房間按IT機柜功率來部署，大約有200到250個的IT機柜（由IT機柜平均功率確定）。同樣配套的模塊化電力和空調就近擺放，按需建設實現(xiàn)變成長邊投資，為將來的技術升級供應條件。

圖十

典型數(shù)據(jù)中心2N供電高牢靠設計的布局綜上，典型的互聯(lián)網數(shù)據(jù)中心機房模塊內，也同樣因為電力容量限制，以及設備顆粒度的不連續(xù)性，加上產業(yè)鏈生態(tài)等會有最佳模型。典型的模塊化數(shù)據(jù)中心由2個高壓模塊（或者單N的1條外線）、8到10個低壓變配電模塊（或者單N的4到5個低壓模塊）、3到4個IT房間（每個機房模塊配置2500KVA或者2000KVA的變壓器）的典型模型。每個模塊化數(shù)據(jù)中心約750到1000個IT機柜，每個IT房間約200到250個IT機柜。動力設備方面基本多為3到4臺800到1100冷噸的冷機，以及4到6臺1800KW到2500KW的柴發(fā)等。大型互聯(lián)網公司數(shù)據(jù)中心空調模塊相對而言，大型互聯(lián)網數(shù)據(jù)中心的制冷系統(tǒng)的標準化較差，這主要由不同地區(qū)的制冷方式差異導致。比如熱帶地區(qū)采納的集中式冷機制冷，和涼快地區(qū)分散式AHU模塊制冷就會有很大的差異。但從前面分析的數(shù)據(jù)中心模型上看，大型互聯(lián)網數(shù)據(jù)中心的空調系統(tǒng)也呈模塊化方式在建設。如圖十一所示的谷歌數(shù)據(jù)中心，綜前所述，一棟40MVA的數(shù)據(jù)中心建筑，由四個大機房模塊構成，每個機房模塊約10MVA的用電。整個數(shù)據(jù)中心建筑左側有15套空調系統(tǒng)，因此每個機房模塊分攤到3套空調系統(tǒng)，剩余3套空調給四個機房模塊做冗余備份，以及其他辦公和環(huán)境負荷等，每套空調系統(tǒng)約有1000到1200冷噸。

圖十一

谷歌數(shù)據(jù)中心的模塊化空調系統(tǒng)而如圖十二的Super

nap數(shù)據(jù)中心則采納了模塊化AHU散熱方式，每個10MVA的大機房模塊配置了9個AHU模塊，每個AHU模塊的散熱實力達到了1000KW，8用1備，該AHU支持六種不同的冷卻方式，并在AHU內部加裝了小飛輪UPS，保障AHU模塊供冷的持續(xù)性，也是特別經典的模塊化空調設計實現(xiàn)。

圖十二

SuperNAP數(shù)據(jù)中心的模塊化空調系統(tǒng)前面簡潔介紹了兩個大型互聯(lián)網公司模塊化空調系統(tǒng)的應用案例。地區(qū)不同，制冷方式不同，