數(shù)據(jù)中心的高壓直流之路

1、數(shù)據(jù)中心的高壓直流之路1. 引言傳統(tǒng)的數(shù)據(jù)中心大都通過 UPS 來實現(xiàn)掉電保護，通常所有 IT 負載都要經(jīng)過 UPS 來供電， 假定實際運行 UPS 的平均效率為 90%（雖然目前 UPS 最高效率是可以達到 95%以上， 但我們知 道 UPS 的效率和負載率有關(guān)，如左下圖所示，隨著負載率的提升，效率才會變高，那么正常情 況 20%-40% 負載率下很難會達到最高效率點。根據(jù)在運行UPS 的實際測試數(shù)據(jù)，絕大多數(shù)情況下的效率不高于 90% ），那么每 100 度電，經(jīng)過 UPS 這個環(huán)節(jié)就白白損耗掉 10%。不僅如此， 我們還需要考慮 UPS 散發(fā)出來的熱量需要額外的空調(diào)帶走，按數(shù)據(jù)中心典型

2、PUE 為 1.8 來算， 那么 UPS 環(huán)節(jié)帶來的總能耗達 18% ，很不節(jié)能。a） UPS 效率和負載率的關(guān)系（b）傳統(tǒng)機房的能耗分布我們還知道 UPS 設(shè)備的拓撲結(jié)構(gòu)比較復(fù)雜，因此其單機可靠性一直不是很高。為了解決單 點故障問題，通常會引入 2N，甚至 2* （ N+1 ）的冗余配置，那么這種情況下，雖然一定程度上 提升了整個系統(tǒng)的可靠性，但帶來的問題其實不少。首先， 投資成本雙倍增加， 而且占用了很多 機房的寶貴空間，并增加了運維的復(fù)雜度。其次，同前面解釋過的一樣， UPS 系統(tǒng)的負載率在2N 情況下會比較低， 此時 UPS 的效率也很低， 額外增加了不少電費開銷并浪費了很多寶貴的能

3、源。最后，單機 UPS的容量可能不夠大，那么往往會采用并機模式，同樣由于 UPS 自身結(jié)構(gòu)的 復(fù)雜性，且并機要求幅度、頻率、相位等同，加上并機板自身也為單故障點，并機風(fēng)險較大。很多實際發(fā)生的案例表明在市電電網(wǎng)正常情況下，但因 UPS 自身故障引起機房掉電情況。 UPS 是大容量危險設(shè)備，其內(nèi)部電容等元件壽命只有五年，因此電容擊穿、漏液短路等危險也 時有發(fā)生，輕則造成系統(tǒng)宕機，重則導(dǎo)致機房著火，而且出了事故，第一時間現(xiàn)場無法處理，嚴重依賴廠商響應(yīng)速度。綜上所述，傳統(tǒng)的 UPS 供電方案，可靠性也不是很高?；蛘哒f為了達到 較高可靠性，需要把系統(tǒng)做得很復(fù)雜，且投資很大。這里再補充一點關(guān)于模塊化 UP

4、S 的看法，雖然模塊化 UPS 部分解決了分期投資以及可調(diào)負 載率從而效率更高等問題， 但同樣存在多模塊設(shè)計并機復(fù)雜引起的可靠性問題仍沒很好解決， 而 且由于電池掛接在逆變器之前， 也無法實現(xiàn)輕載下的節(jié)能休眠等功能， 因此不是很好的解決辦法。c) UPS 配電的復(fù)雜性d) UPS 故障引發(fā)機房燃燒事故2. 高壓直流技術(shù)初探筆者作為國內(nèi)較早從事高壓直流產(chǎn)品開發(fā)， 并進行后續(xù)應(yīng)用研究的同行， 在這里和大家一起探討發(fā)掘， 以便讓此技術(shù)得到更好應(yīng)用。 本文主要分析比較 240V 高壓直流解決方案的一些特點上圖是高壓直流的簡單拓撲結(jié)構(gòu)，很直觀得展現(xiàn)了 240V 高壓直流的一些特點： 1、減少變化級數(shù)，

5、整體效率更高； 2、電池直掛在輸出母線上， 相當(dāng)于提供另外一路備份， 可靠性更高； 3、 兼容現(xiàn)有絕大多數(shù) IT 設(shè)備的高頻開關(guān)電源，用電設(shè)備幾乎不用任何更改，推廣非常容易；4、拓撲非常簡單，可靠性提高； 5、高壓直流系統(tǒng)為模塊化熱插拔設(shè)計，運維非常方便。關(guān)于 240V 高壓直流兼容現(xiàn)有絕大多數(shù) IT 設(shè)備的高頻開關(guān)電源可行性分析， 可參考拙作 交 流電源的高壓直流直供可行性分析 一文。 鑒于此，該技術(shù)的推廣門檻非常低， 用電設(shè)備基本不 用任何改造，經(jīng)過簡單測試驗證后即可投入應(yīng)用。國內(nèi)已有多個數(shù)據(jù)中心跑在 240V 高壓直流供 電環(huán)境下， 一直工作穩(wěn)定可靠， 因此也從理論和實際都證明了該方案可

6、行。 而且由于電池直掛母 線，可作為很大的一個濾波池， 濾除電網(wǎng)串過來的毛刺以及其它供電支路諧波的影響， 給用電設(shè) 備提供一個很好的供電電源。電信行業(yè)幾萬臺設(shè)備，及多年的應(yīng)用數(shù)據(jù)表明，采用 240V 高壓直 流給 IT 設(shè)備供電，電源的可靠性不僅沒有降低，而且還提升一倍以上。3. 高壓直流技術(shù)的一些優(yōu)點1、高壓直流系統(tǒng)的模塊化設(shè)計。如下圖，高壓直流系統(tǒng)采用模塊化設(shè)計，可大容量并機集 中式供電也可小容量一體柜分布式供電， 供電方式非常靈活。 采用分布式供電的高壓直流系統(tǒng)可 以直接放置在列頭柜位置， 無須配套的獨立電力室， 大大節(jié)省機房空間。 而且分布式供電故障影 響面小，只影響一小區(qū)域，不像 U

7、PS 出故障則影響一大片區(qū)域的供電。高壓直流系統(tǒng)不僅供電 設(shè)備可以分期建設(shè)，而且設(shè)備內(nèi)部還可隨著 IT 設(shè)備上架量不斷增加，逐步按需配置模塊個數(shù)。 而且直流并機沒有頻率和相位相同的需求，因此并機非常簡單可靠，同樣系統(tǒng)擴容也非常容易。模塊化設(shè)計的另外一個重大好處是運維得到了大大解放， 而且不再依賴于 UPS 廠家的支持。 如果發(fā)現(xiàn)了故障模塊， 需要做的只是熱插拔更換故障模塊， 像換塊服務(wù)器硬盤一樣簡單， 一線的 現(xiàn)場人員即可處理，非常便捷。我們知道 48V 的通信電源系統(tǒng)非常成熟可靠，而且大家有豐富 的運營經(jīng)驗，那么 240V 高壓直流技術(shù)的運營幾乎借鑒了 48V 系統(tǒng)的原理，也非常便捷可靠。2

8、、關(guān)于高壓直流系統(tǒng)的高效率。前面的分析，我們知道高壓直流系統(tǒng)不再采用2N 配置（ 如果要求高可靠性，完全也可以實現(xiàn)2N） ，而采用的是系統(tǒng)內(nèi)部模塊的 N+1 配置，且可以根據(jù)實際負載情況配置合適的整流模塊個數(shù)，得到較高的負載率，從而有很高的系統(tǒng)效率。不僅如此， 由于高壓直流系統(tǒng)自身具備的節(jié)能休眠功能， 可以根據(jù)實時負載需求開啟合適的工作模塊個數(shù)，保證在全負載范圍和機房全生命周期都可實現(xiàn)高效率。而不像傳統(tǒng)的UPS 方案 在機房建成初期設(shè)備上架率較低時候效率很差。高壓直流系統(tǒng)的一個非常明顯的優(yōu)點是不但自身可實現(xiàn)成熟的電池管理， 而且還有智能休眠 節(jié)能功能， 其原因仍是電池直掛母線。 由于電池直掛母

9、線， 那么瞬時的負載沖擊可以通過電池放 電來做緩沖，休眠退出過程中電池放電，然后設(shè)備退出休眠后再正常帶載，因此不會拉垮系統(tǒng)； 而傳統(tǒng)的模塊化 UPS 方案若啟動休眠，由于電池掛接在逆變環(huán)節(jié)之前，則可能無法及時退出休 眠導(dǎo)致整個系統(tǒng)宕機掉電空載下高壓直流系統(tǒng)啟動節(jié)能休眠后功耗很低只有幾百瓦，日耗電6 度，而傳統(tǒng)的 UPS 空載日耗電 160 度，低載下節(jié)能非常明顯。 并且最新的高壓直流系統(tǒng)休眠控制策略還具有同步老化以及定時喚醒功能 ,保證整個系統(tǒng)的各個整流模塊同步老化, 并提高系統(tǒng)的可靠性。下表為國內(nèi)某運營商的實際運行數(shù)據(jù)，我們可以看到節(jié)能和節(jié)省投資非常明顯。3、關(guān)于高壓直流系統(tǒng)的可靠性。前面我

10、們已經(jīng)知道高壓直流系統(tǒng)內(nèi)是N+1 的配置方式，那么即便壞了一個整流模塊， 對系統(tǒng)的可靠性幾乎沒有影響。 而且電池作為另外一個備份單元， 也 可給運維人員提供充足的割接改造等騰挪時間。下圖比較了傳統(tǒng) UPS 單機和 240V 高壓直流拓撲結(jié)構(gòu)，從結(jié)構(gòu)上看，高壓直流系統(tǒng)和傳統(tǒng)48V 通信電源系統(tǒng)差異很少，只是電壓更高些，整體結(jié)構(gòu)非常清爽，非常簡單。即便整流環(huán)節(jié)出 了故障，還有電池直掛母線繼續(xù)保障系統(tǒng)供電。 反觀 UPS 方案，由于涉及靜態(tài)旁路、 整流環(huán)節(jié)、 逆變環(huán)節(jié)、 以及輸出靜態(tài)開關(guān)， 甚至輸出升壓變壓器等， 越復(fù)雜的系統(tǒng)， 出故障的概率就要增加， 因此整體可靠性較 240V 高壓直流方案要低很

11、多4、關(guān)于高壓直流的安全性。很多同行一聽到高壓直流，都覺得非?？植?，似乎高壓則安全 性差，直流則無法脫開，那么是否是這樣呢？我們下面來分析這個問題。高壓直流系統(tǒng)和傳統(tǒng)的 UPS 方案不一樣，采用的是正負極輸出浮地方式，不像 48V 通信電源系統(tǒng)采用正極接地方式，也不像傳統(tǒng) UPS 采用中線接地方式。由于整流模塊內(nèi)部輸出安規(guī)電容的原因，實際高壓直流系統(tǒng)正負極到大地的電壓都是135V 左右（ 240V 的高壓直流系統(tǒng)額定電壓為 240V ，但默認電壓為 270V ，好比 48V 電源系統(tǒng)的默認電壓為 54V 一樣，兩者是 5倍的關(guān)系），根據(jù)人體正常電阻約為 6300 ohms 左右，那么誤碰到其中

12、一極的 135V 直流估算下來的 電流不足以對人體造成傷害的， 況且通常我們還穿鞋等， 因此實際即便誤碰到任何一根母排， 人體是幾乎沒有感覺的（非專業(yè)人士勿試，也強烈不建議模仿），如下圖單手觸摸母排照片所示。UPS 方案，任何一相火線如果正負母排的任何一級接地了，雖不會造成系統(tǒng)掉電（而傳統(tǒng) 輸出接地，則會導(dǎo)致設(shè)備掉電），此時若誤碰到另外一極，則 270V 直流可能會讓操作人員有觸 電感覺，但根據(jù)理論估算，同樣不會對人體有較大傷害（再次強烈不建議拿自己安全做測試）。 實際設(shè)計中為了避免此意外發(fā)生， 通常要求高壓直流系統(tǒng)配置絕緣監(jiān)測儀， 以便出現(xiàn)系統(tǒng)絕緣問 題時候提早預(yù)防并定位故障點。反觀傳統(tǒng)的

13、UPS 系統(tǒng)，從下面的表格可以知道其實人體對交流的耐受能力遠遠低于直流， 其可能原因是人體心臟的心跳頻率和交流 50Hz 或者 60Hz 的工頻較為接近，那么交流觸電時候 更容易引起心室震顫（共振原理？待考證），導(dǎo)致生命危險。因此 240V 高壓直流其實挺安全。4. 高壓直流供電方案研究1、單機供電方案從前面的分析上看，我們知道高壓直流系統(tǒng)的單機可靠性要遠高于 UPS 單機的可靠性，因 為高壓直流設(shè)備內(nèi)部的 N+1 的模塊化設(shè)計，以及有電池直掛母線作為備份。雖然可以有較高的 可靠性， 但畢竟是單路系統(tǒng)， 那么可以采取下圖的雙路供電配電結(jié)構(gòu)， 采用來自同一電源系統(tǒng)的 A、 B 路給雙電源服務(wù)器供

14、電，雖然是假雙路供電，但任何一路跳閘，另外一路仍可保證設(shè)備不 掉電。這種結(jié)構(gòu)的一個不足是單電源設(shè)備的可靠性還不是非常高。2、雙系統(tǒng)雙路供電配電結(jié)構(gòu)對于一些要求超高可靠性的系統(tǒng)， 可以采用雙系統(tǒng)雙路供電配電結(jié)構(gòu)來供電， 這種配置方式 下可靠性非常高，不僅實現(xiàn)了 2*(N+1) 配置，還有兩路電池直接掛在母線上，達到了運營商骨干 網(wǎng)的可靠性等級。 這種方式可靠性問題是解決了， 但不足之處是投資成本會加大。 其實很多情況 下，業(yè)務(wù)的可靠性無需這么高，因此是否有新的拓撲結(jié)構(gòu)來實現(xiàn)低成本且高可靠呢？3、一路市電一路高壓直流方案我們這里創(chuàng)新性得提出如下的一路市電加一路 240V 高壓直流的供電方案， 既可

15、以實現(xiàn)低成 本，還能實現(xiàn)高可靠， 非常值得推廣。 當(dāng)然這個拓撲涉及三個問題， 一個是市電直接給設(shè)備供電，是否會造成設(shè)備損壞或者掉電？第二個是直接將 240V 高壓直流給設(shè)備供電， 設(shè)備是否支持？第關(guān)于第一個問題， 我們知道身邊就有無以計數(shù)的電子設(shè)備等跑在市電電網(wǎng)下， 正常情況下極 少出現(xiàn)問題，那么對于性能以及可靠性要求更高的 IT 設(shè)備電源，也是基本沒問題的。況且對于 雙電源設(shè)備，即便市電供電的這個電源因電網(wǎng)原因出現(xiàn)異常， 270V 供電的另外一個電源仍能保 證系統(tǒng)可靠工作不掉電。 當(dāng)然為了保證整體系統(tǒng)的可靠性， 市電直供輸入的防雷接地等工作要做 好。那么第二個問題，其實前面已經(jīng)介紹過了，普通

16、 IT 設(shè)備的電源絕大多數(shù)都是支持 240V 高 壓直流的(同樣可參考拙作交流電源的高壓直流直供可行性分析)，除了極少數(shù)電源內(nèi)部增 加了頻率檢測等機制 (完全可以通過升級軟件屏蔽此功能等辦法來解決) ，那么在前期在設(shè)備上 架前做好高壓直流適應(yīng)性測試即可。 當(dāng)然少量的單電源設(shè)備可以從高壓直流支路取電， 仍可實現(xiàn) 較高可靠性。第三個關(guān)于諧波的問題，我們知道傳統(tǒng)的UPS 采用的是晶閘管不控整流技術(shù)，不管是 6 脈沖還是 12 脈沖，單靠 UPS 設(shè)備是無法達到很低的電流諧波的，那么高的諧波電流不僅影響運行可靠性，造成能源浪費的同時還可能被電網(wǎng)公司罰錢，而高壓直流技術(shù)則沒有此問題。 原因是高壓直流設(shè)備

17、采用成熟的功率因數(shù)校正技術(shù)，功率因數(shù)很高且諧波很小基本可以達到 A 類機房的要求，無須再配置額外的諧波治理設(shè)備。同樣現(xiàn)在的 IT 設(shè)備采用的高頻開關(guān)電源，且 諧波也很小，因此市電直供部分也無須諧波治理，配電結(jié)構(gòu)非常簡單。繼續(xù)分析這個拓撲結(jié)構(gòu)的可靠性，從前面的 UPS 單機可靠性以及高壓直流單機可靠性數(shù)據(jù) 來比較這種拓撲結(jié)構(gòu)和 2N 配置的 UPS(市電可靠性按 99.86% 來算，目前大多數(shù)數(shù)據(jù)中心所在 城市的電網(wǎng)可靠性基本都可達到此值)。根據(jù)計算可以得到如下可靠性：2N UPS 可靠性： 1-( 1-0.99999)*(1-0.99999)10 個 9一路市電一路高壓直流可靠性： 1-( 1

18、-0.9986)*(1-0.9999999) 10 個 9 我們發(fā)現(xiàn)一路市電一路高壓直流方案的可靠性和2N 的 UPS 配置差別不大，基本是一個量級的。那么鑒于此這種方式可以省去一路 UPS的投資，而且省去那一路的 UPS 帶來的電費也相 應(yīng)可以省掉， 意味著可以帶來 capex 和 opex 的大大節(jié)省，下面我們再來好好算這筆帳： 假定一個大型數(shù)據(jù)中心有 10 萬臺服務(wù)器，每臺服務(wù)器按 200W 功耗計算，在相同的可靠性 下計算。先來算 capex ：傳統(tǒng) 2N UPS 方案，按單機 800KVA 的 UPS 來算(若按 400KVA 系統(tǒng)算，會省錢更多)， 每臺含電池 120W 算，需要投資 120W*2*10 萬 *0.2KW/(800KVA*0.9*0.8)=8330W;一路市電一路高壓直流方案，按單機 140KW 的高壓直流系統(tǒng)，每臺含電池30W ，需要投資30W*1*10W*0.2KW/ ( 140KW*0.85 ) =5042W節(jié)約投資 3288W ，這里暫且還沒考慮 2N UPS 方案下需要低配、旁路、隔離變壓器、諧波治理、STS 等等配電環(huán)節(jié)的額外投資，因此總體算下來， capex 方面可以減少投資 5000W 以上。 而且這里計算的高壓直流價格偏高， 隨著高壓直流技術(shù)的成熟， 未來價格有很大的下降空間