IDC機(jī)房的思考

1、從通信電源到網(wǎng)絡(luò)能源從通信電源到網(wǎng)絡(luò)能源 主講人主講人 丁濤丁濤 2008.8 2008.8對(duì)對(duì)計(jì)算中心機(jī)房的若干思考機(jī)房的若干思考1.1歷史的回顧l上世紀(jì)三十年代旋轉(zhuǎn)制交換設(shè)備電源采用交流馬達(dá)帶直流發(fā)電機(jī)l1976年后大量縱橫制交換設(shè)備電源采用DZ-603/DZY-02 相控整流器l1986年開始安裝程控,此后開關(guān)電源盛行l(wèi)2006年NGN進(jìn)網(wǎng),IDC機(jī)房大量涌現(xiàn),IP化網(wǎng)絡(luò)將取代現(xiàn)有的固話移動(dòng)網(wǎng)1.2現(xiàn)狀l電源設(shè)備更迭專業(yè)人員不變(因市電.空調(diào).應(yīng)急電不變)l通信主機(jī)改變專業(yè)人員亦改變l機(jī)房發(fā)展的兩大特點(diǎn)要有相應(yīng)對(duì)策:l大的大 如計(jì)算中心大型機(jī)房l小的小 如基站,FTTx終端電源1.3結(jié)論

2、l網(wǎng)絡(luò)能源-基礎(chǔ)設(shè)施 變配電 UPS 蓄電池 專用空調(diào) 柴油發(fā)電機(jī)組或燃汽輪發(fā)電機(jī)組將是網(wǎng)絡(luò)時(shí)代計(jì)算中心近期的主打產(chǎn)品l通信電源-設(shè)備裝機(jī)容量最大化: 2.1.最佳工作面積的理論估算機(jī)房設(shè)置示意圖:l設(shè)設(shè): P=走道(含架間走道) D=架寬; H=架厚l l B=機(jī)架排數(shù);A=每排機(jī)架數(shù); N=機(jī)架總數(shù)=A*Bl l 機(jī)房總寬=A*D+2P; 機(jī)房總長(zhǎng)=B(H+P)+Pl工作面積: S=(N/B*D+2P)* B(H+P)+Pl令dS/dB=0,使S最小,并得B最佳和A最佳, B最佳=lA最佳= N/B最佳=N/l lS最佳=2(H+P1) 2 PHND2PHND2PPHND2 推論推論: a

3、.上式表示: 當(dāng)機(jī)架和走道尺寸給定時(shí),機(jī)架數(shù)量與最佳工作面積的關(guān)系,而且可認(rèn)為 2(X+Y)2,由于正方形面積最大則: S最佳=2個(gè)正方形.b.專用空調(diào)最佳下送風(fēng)距離為16米.(標(biāo)準(zhǔn)機(jī)架寬度為0.6米,厚度為1.2米).約裝25個(gè)機(jī)架.c.計(jì)算中心18*36米=648米2為一個(gè)基本裝機(jī)單元. 2.2我們可以通過(guò)如下的數(shù)據(jù)實(shí)例證明上述結(jié)論的正確性：假設(shè)IDC區(qū)域總面積約為650 m2、H=1m、D=0.6m、P=1.2m、空調(diào)厚度為1m的條件下，在不同的長(zhǎng)和寬的條件下其可容機(jī)架的數(shù)量為：（1） 當(dāng)S=18m*36m=648m2：A=25、B=16、N=400；（2） 當(dāng)S=26m*26m=676

4、m2：A=34、B=11、N=374；（3） 當(dāng)S=14m*46m=644m2：A=17、B=20、N=340；2.3排機(jī)架數(shù)A與排數(shù)B的最佳比例q 的研究l設(shè)定q=A/B。 在實(shí)際中如果利用B最佳最佳和和A最佳最佳的公式并以通用式求出的公式并以通用式求出q最佳最佳而該值并不決定于所安裝的設(shè)備數(shù)量而該值并不決定于所安裝的設(shè)備數(shù)量N，而取決于設(shè)備的尺寸和通道的大小。 因此因此, 在工程中走道在工程中走道P值要合理值要合理, 不能隨意放寬不能隨意放寬, 機(jī)機(jī)房機(jī)架成排設(shè)置和擴(kuò)容房機(jī)架成排設(shè)置和擴(kuò)容, 這樣所占用的走道最少這樣所占用的走道最少, 而而且專用空調(diào)無(wú)論上下送風(fēng)對(duì)著走道方向輸送冷風(fēng)且專用空

5、調(diào)無(wú)論上下送風(fēng)對(duì)著走道方向輸送冷風(fēng), 氣流組織可達(dá)到最佳狀態(tài)。氣流組織可達(dá)到最佳狀態(tài)。過(guò)道尺寸過(guò)道尺寸P不同時(shí)機(jī)房最小面積與機(jī)架數(shù)不同時(shí)機(jī)房最小面積與機(jī)架數(shù)量量N之間的關(guān)系曲線之間的關(guān)系曲線2.4 結(jié)論：結(jié)論：lA. 新建機(jī)房時(shí)，選擇長(zhǎng)度是寬度2倍的房間，可達(dá)到最佳布局的房間形式，考慮維護(hù)需求長(zhǎng)36m和寬18m的房間是建設(shè)IDC機(jī)房的最佳單元；其配套的UPS等電力系統(tǒng)區(qū)域約為機(jī)房區(qū)域的1/2，故IDC機(jī)房的最佳建設(shè)單元面積約為1000m2。l B.因占過(guò)道最少,沿垂直房間長(zhǎng)邊方向成排布置機(jī)架，是最合理的；空調(diào)向架間走道方向組織冷風(fēng)通道是最佳路由。 2.5推薦平面:當(dāng)機(jī)房寬18米時(shí)空調(diào)可單邊設(shè)置

6、3.1數(shù)據(jù)中心空調(diào)工藝: 空調(diào)能耗最小化A.計(jì)算中心機(jī)房顯熱量大應(yīng)采用專用空調(diào): 專用空調(diào)顯熱比為0.95壓縮機(jī)能效比3.3 普通空調(diào)顯熱比為0.65壓縮機(jī)能效比2.9 以CM20A專用空調(diào)為例:總冷量19.1KW則顯冷量18.2KW; 普通空調(diào)要產(chǎn)生18.2KW的顯冷量 則:18.2KW/0.65=28KW 兩種空調(diào)的年耗電計(jì)算:專用空調(diào)(19.1/3.3)*24*365=50702KWH 普通空調(diào):(28/2.9)*24*365=84579KWH普通空調(diào)比專用空調(diào)年耗電量大: 84579/50702=1.67倍. B.專用空調(diào)的大風(fēng)量小焓差,使具有熱島效應(yīng)的IDC機(jī)房不產(chǎn)生結(jié)露現(xiàn)象C.專用

7、空調(diào)可連續(xù)工作,具有來(lái)電自復(fù)功能,溫濕度控制精度高D.普通空調(diào)間歇工作,設(shè)計(jì)壽命短,無(wú)濕度控制功能,空氣過(guò)濾能力差3.2數(shù)據(jù)中心采用下送風(fēng)上走線3.3數(shù)據(jù)中心對(duì)上送風(fēng)的改造3.4.下送風(fēng)的兩種形式:a. IDC機(jī)架工藝(冷風(fēng)架內(nèi)循環(huán))IDC標(biāo)準(zhǔn)機(jī)架工藝標(biāo)準(zhǔn)機(jī)架工藝(冷風(fēng)架外循環(huán))冷風(fēng)架外循環(huán)理想狀態(tài):架外冷風(fēng)循環(huán)不理想狀態(tài):兩種氣流組織方式比較兩種氣流組織方式比較 機(jī)架內(nèi)機(jī)架內(nèi) 機(jī)架外機(jī)架外1.風(fēng)阻風(fēng)阻 小小 大大2.先冷卻機(jī)架內(nèi)先冷卻機(jī)架內(nèi) 是是 否否3.先冷卻環(huán)境先冷卻環(huán)境 否否 是是4.影響機(jī)架上部冷卻影響機(jī)架上部冷卻 否否 是是IDC機(jī)房小型機(jī)冷卻方式機(jī)架實(shí)測(cè):某數(shù)據(jù)中心單個(gè)機(jī)架發(fā)熱量

8、：2.8kW送風(fēng)方式：下送風(fēng)上走線實(shí)際測(cè)試：送風(fēng)平均溫度為18，機(jī)架出風(fēng)溫度為30小結(jié):采用冷風(fēng)架內(nèi)循環(huán)采用冷風(fēng)架內(nèi)循環(huán)(小于小于4KW/架架)時(shí)時(shí):l*假地板高度0.5米,機(jī)架頂應(yīng)加裝強(qiáng)制風(fēng) 冷電機(jī).l假地板高度0.5米,功耗2KW/架左右可不架左右可不 加裝強(qiáng)制風(fēng)冷電機(jī).l*假地板高度大于1米時(shí),機(jī)架可自然冷卻.l在冷量足夠時(shí),要確保冷風(fēng)路由不短路,不擴(kuò)散,不紊流,這才是空調(diào)節(jié)能的保證!3.5計(jì)算中心機(jī)架工藝:現(xiàn)狀機(jī)架現(xiàn)狀一個(gè)刀片是一個(gè)卡一個(gè)刀片是一個(gè)卡式服務(wù)器式服務(wù)器, ,上面裝有上面裝有處理處理, ,記憶單元記憶單元, ,硬硬盤盤, ,整合的以太網(wǎng)整合的以太網(wǎng) NICs,NICs,可選

9、的光纖可選的光纖HBAsHBAs通道，硬件方通道，硬件方案管理及其他案管理及其他 I/O I/O 技術(shù)。技術(shù)。 kW/m2 kW/Rack IBMlEach BladeCenter chassis occupies “7U” 每個(gè)刀片機(jī)箱占“7U” lMax 6 BladeCenters in standard “42U” rack 每個(gè)機(jī)架可裝6個(gè)機(jī)箱共“42U”lMax heat output per BladeCenter: 4kW 每個(gè)機(jī)箱最大發(fā)熱量每個(gè)機(jī)箱最大發(fā)熱量4KWlMax heat output per rack: 24kW 每個(gè)機(jī)架最大發(fā)熱量每個(gè)機(jī)架最大發(fā)熱量24KWlNo

10、minal cooling airflow: 6 x 850 = 5100 m3/h 額定散熱風(fēng)量 6 x 850 = 5100 m3/h Dell10 PowerEdge 1855 Blades occupy “7U” 10 個(gè)PowerEdge 1855刀片 占“7U”Max 60 PowerEdge 1855 Blades in standard “42U” rack 每個(gè)機(jī)架可裝60個(gè)PowerEdge 1855刀片共“42U”Max heat output per 10 Blades: 4.17kW 10個(gè)刀片最大發(fā)熱量個(gè)刀片最大發(fā)熱量4.17KWMax heat output pe

11、r rack: 25kW 每個(gè)每個(gè)機(jī)架最大發(fā)熱量機(jī)架最大發(fā)熱量: 25KWNominal cooling airflow: 6 x 680 = 4080 m3/h 額定散熱風(fēng)量： 6 x 680 = 4080 m3/h 刀片服務(wù)器是插入一個(gè)供應(yīng)共刀片服務(wù)器是插入一個(gè)供應(yīng)共用框架，如電源，制冷，服務(wù)用框架，如電源，制冷，服務(wù)器管理，器管理，KVMKVM開關(guān)的機(jī)箱開關(guān)的機(jī)箱每個(gè)機(jī)箱是每個(gè)機(jī)箱是7 7U,U,每個(gè)機(jī)架是每個(gè)機(jī)架是4242U,U,也就是每個(gè)機(jī)架可裝也就是每個(gè)機(jī)架可裝6 6個(gè)機(jī)箱個(gè)機(jī)箱目前刀片服務(wù)器在數(shù)據(jù)中心一般目前刀片服務(wù)器在數(shù)據(jù)中心一般都分散裝在幾個(gè)機(jī)架上都分散裝在幾個(gè)機(jī)架上重量也是

12、問題重量也是問題- -滿載機(jī)架大約可滿載機(jī)架大約可達(dá)到達(dá)到900公斤公斤 由于在同一個(gè)機(jī)架上的刀片服務(wù)器不可能同時(shí)滿載，實(shí)際上的熱負(fù)荷小于估計(jì)值(IBM和Siemens只為他們的設(shè)備提供最大15KW的制冷量)氣流組織要適應(yīng)高功率密度機(jī)架lA、約束氣流和自由氣流l氣流的流動(dòng)有2種基本形式，一種是約束流，即在有限空間內(nèi)被強(qiáng)制按照人為規(guī)定的路徑流動(dòng)，例如風(fēng)管內(nèi)的氣流, 機(jī)架內(nèi)的風(fēng)道；另一種是自由氣流，例如上送風(fēng)系統(tǒng)中的射流。在計(jì)算中心機(jī)房中，約束流的計(jì)算方便，氣流利用率高（不容易形成呆滯區(qū)），在冷卻設(shè)備時(shí)應(yīng)首先考慮此種方式。自由氣流對(duì)環(huán)境冷卻中可以應(yīng)用，由于其有較好的彌漫性，對(duì)控制環(huán)境有很好的作用。

13、lB、氣流短路和送風(fēng)擴(kuò)散l氣流短路主要是存在短路路徑，例如空調(diào)出風(fēng)口和回風(fēng)口太近且無(wú)物理阻隔，就會(huì)造成空調(diào)氣流短路，又如在機(jī)架中，進(jìn)風(fēng)的前腔和排風(fēng)的后腔的水平空間中沒有隔板，也會(huì)造成冷氣不經(jīng)過(guò)服務(wù)器而直接短路到排風(fēng)。氣流短路還可能發(fā)生在前后沒有良好隔絕的服務(wù)器進(jìn)風(fēng)和排風(fēng)口。短路的氣流是有害的，沒有按照規(guī)定的路徑帶走熱量，只是空循環(huán)。l在實(shí)踐中，我們對(duì)送風(fēng)擴(kuò)散做過(guò)測(cè)試，選擇前面板開孔的機(jī)架，測(cè)量進(jìn)風(fēng)速度、排風(fēng)速度和機(jī)架內(nèi)參考點(diǎn)溫度，然后將面板封閉，在其他工況完全的情況下，數(shù)據(jù)有明顯差異。l 上表說(shuō)明, 在面板開孔情況下, 由于送風(fēng)無(wú)效擴(kuò)散, 風(fēng)速大風(fēng)量大能耗增大,而冷卻效果下降設(shè)定參數(shù)：l：熱交

14、換系數(shù)?。籰S架：機(jī)架截面積m2；lS入：每機(jī)架的有效進(jìn)風(fēng)口面積（m2）；l：電熱轉(zhuǎn)換效率；lV1：機(jī)架進(jìn)風(fēng)口氣流速率（m/min）；lV2：機(jī)架內(nèi)氣流速率（m/min，l不計(jì)重力和摩擦，l自架底而頂設(shè)其流速恒定）；l 熱 交 換 平 衡 公 式 ： n Q C J ( T2-T1)=P860kcal4.2kJ/kcal；Q：機(jī)架容積為m3； C：空氣的密度kg/m3； J：空氣的比 kJ/kg；P:機(jī)架功耗（KW）； T1：平均機(jī)架下進(jìn)風(fēng)溫度 T2：機(jī)架出風(fēng)口溫度； n：機(jī)架熱交換次數(shù)（次/h）； 熱交換平衡公式：熱交換平衡公式：n n Q Q C C J J (T(T2_2_- -T T1

15、 1) ) = = P P 860kcal860kcal 4.2kJ/kcal4.2kJ/kcal機(jī)架功耗機(jī)架功耗P、出風(fēng)口截面、氣流速率的函數(shù)曲線圖出風(fēng)口截面、氣流速率的函數(shù)曲線圖3.6對(duì)策:A.低功率密度(小于4KW/架)l下送風(fēng)架內(nèi)循環(huán) 效率高已采用B.中功率密度l下送風(fēng)冷池 己有部分機(jī)房在試用C.高功率密度(大于10 KW/架)l下送風(fēng)冷池+活化地板+吊頂 修改目前規(guī)范A.低功率密度(小于4KW/架)下送風(fēng)架內(nèi)循環(huán): 效率高已采用B.中功率密度下送風(fēng)+冷池: 己有部分機(jī)房在試用C.高功率密度(大于10KW/架)下送風(fēng)冷池+活化地板+吊頂: 修改目前規(guī)范CCACdown flowBlad

16、e ServerRackModulator活化地板系統(tǒng)活化地板系統(tǒng):EC 風(fēng)機(jī)風(fēng)機(jī),獨(dú)特的控制軟件控制出風(fēng)溫度獨(dú)特的控制軟件控制出風(fēng)溫度External BMSMaster ControlExternal BMSMaster Control10kW / Rack整合系統(tǒng)整合系統(tǒng)EC 風(fēng)機(jī)風(fēng)機(jī)獨(dú)特的控制軟件獨(dú)特的控制軟件控制出風(fēng)溫度控制出風(fēng)溫度Active Floor System 活化地板系統(tǒng)活化地板系統(tǒng)lOracle Austin Data Centerl 130,000 sq ft buildingl Total data floor sq ft 82,000約8000平方米l Redun

17、dant medium voltage (12.47 kV) utility feedsl UPS capacity 7.8 MW parallel redundant (15.6 MW total).約800KWUPS20臺(tái)l Generator capacity is 14 MW (N+1)約10臺(tái)1400KW油機(jī)l Electrical system is designed to have multiple diverse paths andlcross over paths from utility to PDUs and serversl Chiller capacity is 36

18、00 tons (N+1)約30臺(tái)3萬(wàn)多大卡專用空調(diào)l 22,500 operational serversl 4.5 petabytes (4,500 terabytes) of disk storagel 355 servers on average installed each monthl Largest Dell/Linux and NetApp installation多種對(duì)策在一個(gè)機(jī)房的應(yīng)用:Hot aisleHot aisleCold AirBlade ServerRackBlade ServerRackAB1B2AA=B1+B2 10 kW / Rack一般情況下，在滿足最大

19、風(fēng)量的前提下，結(jié)合上述分析過(guò)程，我們可在保證最大風(fēng)量需求的基礎(chǔ)上，根據(jù)機(jī)架的出風(fēng)開口面積與風(fēng)量需求設(shè)定合適的出風(fēng)壓力（即氣流的靜壓流速）。3.7架空地板出風(fēng)口的風(fēng)量調(diào)試:l參考值:刀片服務(wù)器滿機(jī)架 在18-22C時(shí)風(fēng)量由4000-5000m3/h(24kw) 要做到合適的地板壓力的秘決是： 地板空間足夠深 良好的密封性 空調(diào)能夠產(chǎn)生足夠的壓力(機(jī)房換氣次數(shù)) 選擇正確的地板出風(fēng)百葉(風(fēng)速相近) 地板出風(fēng)百葉可調(diào)風(fēng)量(根據(jù)實(shí)際需求調(diào)節(jié)風(fēng)量=風(fēng)口面積*風(fēng)速） 符合熱負(fù)荷的正確的出風(fēng)百葉 架空地坂下各測(cè)試點(diǎn)靜壓相等 4.1.UPS供電系統(tǒng)越來(lái)越復(fù)雜B.與直流供電系統(tǒng)相比UPS的問題突出表現(xiàn): *增加

20、逆變環(huán)節(jié) *增加市電頻率跟蹤 *增加對(duì)相位同步 *增加交直流轉(zhuǎn)換狀態(tài) C.除UPS主機(jī)外,供電系統(tǒng)還要求增加: *諧波濾波器 *隔離變壓器 *交流穩(wěn)壓器 *靜態(tài)開關(guān) *機(jī)外旁路開關(guān) D.UPS系統(tǒng)又出現(xiàn): *模塊式供電 *雙總線供電 *雙獨(dú)立UPS系統(tǒng)供電 *n+1冗余供電(同時(shí)又出現(xiàn)1+1,2+1,3+1 系統(tǒng)哪個(gè)好的爭(zhēng)論)4.2機(jī)架配電:雙回路供電l嚴(yán)禁同一母排容量相差懸殊的開關(guān)緊密安裝。l交流開關(guān)要保障品牌、保證容量、時(shí)延整定等符合要求。lUPS分路配電柜全部分路開關(guān)的總?cè)萘亢洼斎肟傞_關(guān)的容量為2比1或者2.5比1.l同一支路中,下級(jí)與上級(jí)開關(guān)的配置差為2個(gè)系列.l開關(guān)運(yùn)行電流為額走值的

21、0.8倍,如考慮多個(gè)開關(guān)并列緊湊裝置,則必須降容使用.lUPS運(yùn)行電流為額定電流的0.8倍.4.3應(yīng)急電源:燃汽輪機(jī)與柴油機(jī) 國(guó)產(chǎn)燃汽輪機(jī) 柴油機(jī)組1.穩(wěn)態(tài)頻率調(diào)整率 = 1% = 5%2.瞬態(tài)頻率調(diào)整率 4% 10%3.頻率穩(wěn)定時(shí)間 = 2秒 = 7秒4.頻率波動(dòng)率 = 0.5% = 1%5.穩(wěn)態(tài)電壓調(diào)整率 1% 4% 6.瞬態(tài)電壓調(diào)整率 12% 20%7.電壓穩(wěn)定時(shí)間 =1.5秒 = 2.4秒8.線電壓正弦畸變率 =3% = 5% YD/T5040-2005條文說(shuō)明中: 燃燃汽輪發(fā)電機(jī)組因其重量輕汽輪發(fā)電機(jī)組因其重量輕,發(fā)電質(zhì)量好可以作為大型局發(fā)電質(zhì)量好可以作為大型局(站站)固定固定 使用

22、的發(fā)電電源使用的發(fā)電電源.4.4采用柴油機(jī)應(yīng)考慮UPS的匹配lA.選擇發(fā)電機(jī)內(nèi)阻小(降容)或者永磁發(fā)電機(jī)l THDu 發(fā)電機(jī)容量取UPS容量的倍數(shù)l 15% 1.5-2.5l 8% 3-5l 5% 6以上lB.發(fā)電機(jī)帶整流性UPS負(fù)載的比率:l發(fā)電機(jī)輸出THDu 12脈沖 6脈沖 l 5% 78% 42% l 10% 100% 69%l 15% 100% 96%l3、采用輸入市電頻率寬、輸入功率緩啟動(dòng)，在油機(jī)輸入時(shí)能限制充電功率的雙變換UPS 。l4、采用諧波抑制電路，將諧波電流含量降低到5%10%以上時(shí),柴油發(fā)電機(jī)組的容量可按UPS容量的1.51.8倍選擇。(比增加油機(jī)容量合算)l5 5、啟

23、動(dòng)油機(jī)后，先上部分阻性負(fù)載后上UPS負(fù)載,專用空調(diào)和其它負(fù)載最后上，可以改善UPS輸入諧波和無(wú)功電流對(duì)發(fā)電機(jī)組穩(wěn)定性的影響。(適合帶綜合性負(fù)載的油機(jī))4.5計(jì)算中心機(jī)房安全評(píng)估l高低壓部分l 1.市電標(biāo)準(zhǔn) 等 級(jí) AA A B C 市電電源 一類 一類 二類及以上二類及以上 1)一類市電供電： 從兩個(gè)穩(wěn)定可靠的獨(dú)立電源各自引入一路供電線。 該兩路不應(yīng)同時(shí)出現(xiàn)檢修停電，平均每月停電次數(shù)不應(yīng) 大于1次，平均每次故障時(shí)間不應(yīng)大于0.5h。 2)二類市電供電： 由兩個(gè)以上獨(dú)立電源構(gòu)成穩(wěn)定可靠的環(huán)形網(wǎng)上引入一 路供電線，或由一個(gè)穩(wěn)定可靠的獨(dú)立電源(輸電線路)上引 入一路供電線。允許有計(jì)劃?rùn)z修停電，平均每月停電次 數(shù)不應(yīng)大于3.5次，平均每次故障時(shí)間不大于6h。計(jì)算中心機(jī)房安全評(píng)估l 2.電容柜有無(wú)抑制浪涌等措施l 3.市電聯(lián)鎖可靠否l 4.配電系統(tǒng)開關(guān)保護(hù)(如:容量.整定.變壓器溫度顯示等) l 5.油機(jī)配置(如:容量.風(fēng)量.諧波影響等) 等級(jí) AA A B C自備發(fā)電機(jī)組 N臺(tái)主用 一類市電：N臺(tái)主用 二類市電:N+1冗余 6.其它(如:三線交叉) 1)雙回路配電的兩回路線路