深刻理解老外體會思科UCS刀片(組圖)

1、深刻理解 老外體會思科 UCS 刀片 (組圖 ) 革命性的、前沿的、尖端的等，這些都是用來形容 IT 領(lǐng)域中很多產(chǎn)品的詞匯，但是后來們這些產(chǎn)品卻變成 了無用的、普通的、不稀奇的。事實上，真正革命性的產(chǎn)品很少見。盡管如此，思科 UCS( 統(tǒng)一計算系統(tǒng) ) 卻能符合這個要求。為了能夠完全理解思科的這一全新技術(shù)，你需要摒棄原來形成的對刀片式服務(wù)器和刀片機箱 (chassis) 的觀念。請重新整理你那些關(guān)于 KVM 、控制臺訪問、網(wǎng)絡(luò)和存儲接口的概念。你要改變服務(wù)器數(shù)據(jù)中心即 被存儲陣列和網(wǎng)絡(luò)包圍的服務(wù)器島嶼的這種思想。 思科的優(yōu)點是從一開始就使用基于刀片式的服務(wù)器平臺， 而且是最大限度地利用刀片式服

2、務(wù)器。簡而言之，思科 UCS 是圍繞著刀片機箱這一熟悉的概念而建立的， UCS 對刀片機箱進行了重構(gòu)，使 之有更強的管理能力和更好的擴展性。這篇總結(jié)文章側(cè)重于 UCS 實質(zhì)性的細節(jié)，以及筆者近期訪問思科 San Jose 測試實驗室時操作這個系統(tǒng)的親身體驗。思科 UCS 的組成模塊一個 Cisco UCS 機箱提供八個刀片 ( 一半寬度 )插槽，每塊刀片配備兩個英特爾Nehalem 處理器，最多可以容納 96GB 的 DIMM(8GB) 內(nèi)存;兩個 SAS 驅(qū)動插槽，一個 LSI Logic SAS RAID 控制器，以及一個 刀片背板 (backplane) 連接。另外，每塊刀片還配備了一個

3、 Cisco 集中網(wǎng)絡(luò)適配器 (CNA) 。這個 CNA 實質(zhì) 上是系統(tǒng)的心臟，即 UCS 區(qū)別于傳統(tǒng)刀片式系統(tǒng)的組成部分。CNA 是一個夾層板 (mezzanine board) ，它直接跟機箱的網(wǎng)絡(luò)結(jié)構(gòu)相連， 板子上裝有 QLogic 4Gb 光 纖 HBA 通道和一個 Intel 10Gb 以太網(wǎng)接口。連接刀片的一端是兩個 10Gb 的 NIC 和兩個 4Gb FC 接口， 并在另一端有兩個 10Gb 的連接連到背板上。 最初發(fā)布的版本不支持每個刀片上有多片 CNA ，或許那時一 個 CNA 真的就足夠了。不過， CNA 對于整個 UCS 系統(tǒng)運行來說是必須的，因為它通過兩個 10Gb

4、的通 道進行存儲和網(wǎng)絡(luò)活動，這使得 blade 與傳統(tǒng) I/O 之間有著本質(zhì)的區(qū)別。這是通過使用以太網(wǎng)光纖通道 (FCoE)來實現(xiàn)的。因此，系統(tǒng)除了刀片其余的部分都是以太網(wǎng)，系統(tǒng)使用結(jié)構(gòu)互聯(lián)(Fabric Interconnect ,Fl)來處理FC網(wǎng)絡(luò)流量。那么在機箱中我們擁有了一些配備 CNA 的刀片。在同一個機箱中我們還有兩個四口的 10Gb 光纖接 口卡，以及兩個 FI 來驅(qū)動所有的東西。技術(shù)上稱 FI 為交換機是不準確的，因為機箱的功能更像是一個裝 載刀片的遠程線路卡。在機箱內(nèi)部沒有交換發(fā)生;對于刀片來說它們只是簡單的背板，跟FI 有直接的連接。物理上，F(xiàn)l的外形跟Cisco Nex

5、us 5000 交換機是一樣的，但是FI有更大的功率和存儲空間來處理FCoE跟FC 之間的大量數(shù)據(jù)。它們提供了二十個 10Gb 的端口，每個端口支持一個擴展卡。這些擴展卡有不同的類型， 或支持四個 4Gb 的 FC 端口和四個 10Gb 的以太網(wǎng)端口， 或支持六個 10Gb 的以太網(wǎng)端口， 或者支持八個 4Gb 的 FC 端口。 這是每個 Fl 中除了那二十個 10Gb 端口以外的硬件。 還有 三個銅做的管理和簇端口， 也有期望的串行控制臺接口。 Fl 全權(quán)負責(zé) UCS 方案的管理和業(yè)務(wù)流程， 能夠同 時運行 CLl 和 GUl 界面，不需要任何基于外部服務(wù)器的組件。Test Center S

6、corecardManagement1PerformanceIReliability1Interoperability1Overall Score20%20%10teCisco UCS 1.08108II9耐】j 技術(shù)jI 9.2tjRr . ft -1 LEXCELLENf思科ucs連接各部分可能你的腦子中已經(jīng)想出了連接的大概情況。UCS的配置基準應(yīng)該有兩個 FI,分別運行在主動/被動模式，所有的網(wǎng)絡(luò)通訊也是以主動/被動模式在兩個FI和每個機箱之間運行。（想想一個帶多余主機的 Cisco Catalyst 6509 交換機機箱，即使其中一個主機待機，它上面的以太網(wǎng)口還是可以用的。兩個FI也以

7、同樣的方式工作）。它們通過一對1Gb的以太網(wǎng)口互相連接，自身還擁有跟更大 CNA連接的帶外管理端口。刀 片式服務(wù)器機箱通過機箱中每個FEX（結(jié)構(gòu)擴展）上的兩個或者四個10Gb電纜跟FI連接在一起，每個FI都有一套FEX連接。就是這樣，一個完全配置好的、上行線路為80Gb的機箱有四條電源線和八根 SFP+電纜從機箱里面出來，除此之外沒有別的東西?？梢韵胂?，一個完整的UCS機箱能夠裝載56個blade，只用56根數(shù)據(jù)電纜驅(qū)動，如果只用4個10Gb連接，那么每個機箱只需要28根線。從那里，F(xiàn)I對用一些10Gb的上行線跟LAN連接在一起，F(xiàn)I上面剩余的結(jié)構(gòu)用來連接機箱。一對FI能夠用連接到數(shù)據(jù)中心 L

8、AN的兩個10Gb上行線驅(qū)動18個機箱，每個機箱 40Gb，還允許用一個八口的 FC擴展卡跟SAN進行4Gb的FC連接。UCS配置的基礎(chǔ)是DME（數(shù)據(jù)管理引擎），它是一個基于內(nèi)存的關(guān)系數(shù)據(jù)庫，控制著方案的所有方面。 他是通過一個開放的 XML API程序自身驅(qū)動的。所有的東西都是圍繞這個API進行，利用此 API可以非常容易的編寫跟顯示器連接的腳本或者執(zhí)行UCS的任何一個功能。實際上，GUI和CLI都是圍繞XML配置的基本shell，所以GUI和CLI分別能夠做什么和不能夠做什么并沒有實質(zhì)上的區(qū)別，甚至外部的腳本 也一樣。UCS是一個令人驚奇的、開源的、方便使用的系統(tǒng)。由于這個原則，備份整個U

9、CS配置也變得簡單了 ：整個配置可以通過 SCP、FTP、SFTP或者TFTP協(xié)議發(fā)送到一個服務(wù)器上，盡管這一操作不能通 過GUI或者CLI來安排。UCS初次安裝大約需要一分鐘。第一個FI上面的帶外管理接口通過控制臺能夠獲得一個IP地址，通過同樣的子網(wǎng)絡(luò)獲得一個簇的IP地址。你所需要做的只是命名這個簇，設(shè)置管理員密碼就可以了。第二個FI將會監(jiān)測第一級設(shè)置，然后請求一個IP地址加入到系統(tǒng)中。接著，點擊簇上面的瀏覽器會連接到Java GUI上，這時你就可以對 UCS進行配置了。這個方便的示意圖展示了單個機箱跟一對結(jié)構(gòu)互聯(lián)FI的直接關(guān)系。盡管在圖中被顯示為外部設(shè)備，但是結(jié)構(gòu)擴展器(Fabric Ex

10、tender)實際上在機箱自身的內(nèi)部把思科UCS建立起來第一步是在FI上面定義端口。他們既可以做上行連接端口連接到LAN又可以做服務(wù)器端口連接到機箱。右擊每個FI的可視標識，然后選擇合適的功能來配置這些端口。這比較簡單，但是有點麻煩，因為你 不能同時選擇一組端口，你必須一個一個的定義。一旦你定義了端口，機箱就會自動被連接，幾分鐘后所 有機箱內(nèi)的刀片都會顯示岀來，等待你給他們分配任務(wù)。此時事情變得有意思了。在對刀片進行任何的配置之前，你必須定義各種池(pool)和全局設(shè)置。這些池涉及光纖通道的 WWNN(World Wide Node Name) 和 WWPN (World Wide Port

11、Name) 分配、以太 網(wǎng)MAC的池分配、UUID分配以及刀片上面 BMC接口的IP管理池。這些都是開放的，你可以給UUID，WWNN ， WWPN和MAC分配任何你想喜歡的地址范圍。實際上，他們太開放了，以至于如果不小心 的話，你可能會重復(fù)使用這些地址，給自己帶來麻煩。然而，配置池非常簡單，你只需要指定一個起始地 址和放在池里面的地址數(shù)量。不過請確保把這些地址搞清楚，不要弄錯，因為過后你不能修改設(shè)置好的池;你只能用相鄰的地址范圍再設(shè)置另外一個池。上圖是一個機箱的錯誤提醒，顯示了一個刀片被突然拉動之后刀片上面的錯誤標記。下圖是一個結(jié)構(gòu) 互聯(lián)的示意圖，顯示了連接的端口和系統(tǒng)狀態(tài)。4MlaN!|k

12、 «vl你還需要考慮固件的修改。你可以把所有刀片器件幾個不同的固件版本都裝載在FI上，然后把這些版本進行自定義，保證特定的刀片為其每個器件運行特定版本的固件，從FC HBA 直到blade自身的bios設(shè)置。因為UCS非常新，所以只有幾個可以選擇的修訂版本，可以通過FTP， SFTP，TFTP，和SCP來把他們裝載到FI上。一旦裝載到了 FI上，固件就會按要求加載到每個刀片中。你還能設(shè)置預(yù)先定義系 統(tǒng)的啟動順序一比如，先從 CD-ROM啟動，然后是本地磁盤，再然后是FC LUN，以及PXE（預(yù)先啟動執(zhí)行環(huán)境）。這些都可以按要求分配到每個服務(wù)器實例，如果需要的話還可以只包括一個元素。你

13、還可以給刀片定義 VLAN，以及哪個VLAN應(yīng)該是本地(native)的。假設(shè)每個服務(wù)器都會連接那些10Gb的接口，但是本地VLAN分配意味著那不是一個不能變通的要求。在實際工作中，很可能每個blade都會連接電纜，所以上面那個假設(shè)成立。然而，F(xiàn)I不會跟VTP(VLAN連接協(xié)議)配合的很好，所以 VLAN的定義需要手動進行，而不是源自交換局域網(wǎng)其余的部分。如果你需要給你的服務(wù)器定義很多VLAN，那么請準備好，你需要進行很多次點擊和輸入。思科希望在后面發(fā)布的版本中修正這個問題。Am 叫1Ml OrIIP3.kl B|l JMiIm uol:，匕工f-曲l雖然互聯(lián)結(jié)構(gòu)(Fabric Interco

14、nnects)不跟網(wǎng)絡(luò)的其他部分對話 VTP，但是你可以定義跟更大的局域網(wǎng)匹配的VLAN.還有一些其他的零碎事情，比如擦除策略(scrub policies)等。這個策略是為了決定當服務(wù)從帶本地磁盤的物理刀片抽岀的時候應(yīng)該采取什么行動一一換言之，本地磁盤是應(yīng)該被擦除呢還是可以置之不理。不 幸的是，這個“擦除”不是真正的擦除一一它只是毀掉分區(qū)表，卻沒有覆蓋磁盤。一旦已經(jīng)建立好你的池，你就可以開始把你的刀片建設(shè)成實際的服務(wù)器了。建設(shè)服務(wù)器的選擇很簡單：刀片要么從SAN或者PXE啟動，要么從本地磁盤啟動。存儲管理不在 UCS的范圍之內(nèi)，所以讓我們假設(shè) 你有一個器件存儲管理程序， 你需要給最初的UCS

15、安裝分配很多LUN.那么你可以通過 UCS GUI列出一個 簡單的WWNN 和 WWPN分配列表，并立即把這個列表轉(zhuǎn)出到CSV，這樣可以把這個信息非常簡單的傳遞到存儲配置的管理員手中。很方便吧。我好像扯遠了一一我們還沒有建立一個服務(wù)器呢。思科UCS服務(wù)配置服務(wù)器的構(gòu)建是在服務(wù)配置文件中定義的，這些文件本身是從服務(wù)配置模板中獲得的。服務(wù)配置模板 允許你定義特定的服務(wù)器實例，并自動提供一個或多個服務(wù)器。一旦您創(chuàng)建了一個全局配置文件，您可以 把這個配置文件復(fù)制到許多需要完成任務(wù)的服務(wù)器中去。結(jié)構(gòu)配置文件確定每個刀片組件的固件修訂版本 以及可供選擇的WWNN , WW PN和MAC池;確定你可能已經(jīng)定

16、義好的啟動順序；甚至啟動方法一一通過 SAN啟動，通過本地啟動，或者通過你擁有的其他方法啟動。這一切組織起來出奇的簡單。 *忌 h* *t -flirMLA_ -o品晝£1斗出石妣E »*» 爭»( »>» c補甘 ImmuMU ii昴吟10$ trapfll!- IgMmn«askMnAffr»tauait* 4 att 2tM耀電 WKBtonn ftmH m rr naJrt.«.i >r I <«>d I l> T MTiTli JDKri'XFtD

17、 CEB 根la 刊呼il (Ml rrRil feHhfdiiiVgBfia k l r Hn 迦.till OWZlo 0W上面的圖顯示了所有配置服務(wù)的分配狀態(tài)，以及哪些配置服務(wù)被分配到哪些物理刀片上。下圖的清單 顯示了一個WWNN 池以及哪些服務(wù)配置正在使用的哪些池地址。這個列表可以非常方便的導(dǎo)出為一個 CSV格式文件。你還可以訪問你早期建立的以太網(wǎng)和 FC端口指示，比如ethO、ethl、fcO和fc1 這些要跟每個FI對應(yīng)起來，因此在每個刀片上面產(chǎn)生了一定的冗余。我就在這里遇到過一些錯誤，舉個例子，分配的端口清楚的被定義為 Fabric A，但是當模板應(yīng)用到一個服務(wù)器時，F(xiàn)abric

18、 A中不知怎么又冒出了一個 FabricB，這就需要手動來校正。他們向我保證他們正在積極的修改這個錯誤。在這個宏偉的格局中，這只是個小問題，而且強調(diào)一下，這是 1.0版本。有兩種形式的服務(wù)配置模板：原始型和升級型。每個模板都有其優(yōu)缺點，不幸的是兩種模式之間不能互相切換 ;如果你一開始用的是原始模式，那么以后不能進行升級。原始型模板用來建立一次性的服務(wù)配置，最初的模板沒有附件。而升級型的模板是跟這些服務(wù)配置形 影相隨的，所以在升級型模板中改變設(shè)置就會引起所有相關(guān)服務(wù)配置的改動。這是一把雙刃劍，因為它可 以使服務(wù)配置管理變的簡單，只要重新啟動就會完成這些配置的修改而幾乎不會出現(xiàn)警告?？墒钱斈?點擊

19、保存的時候，會引起 20 個刀片都重新啟動，雖然這個啟動跟改變模板啟動順序步驟那樣無傷大雅。 如果有一個選擇可以錯開所有的重新啟動，或者可以對其進行時間安排，或者兩種選擇都有就好了。思科 已經(jīng)知曉這個問題，并且正在著手研究解決方案。原始型配置沒有這個問題，但是一旦建立后，如果需要修改的話，那么你必須一個一個手動修改，一 個服務(wù)器一個服務(wù)器的來。不幸的是，這里沒有兩全其美的解決方案。無論如何，你可以建立一個服務(wù)配置，定義刀片應(yīng)該在器件上運行什么固件;把什么樣的 WWNN ，WWPN ， 和 MAC 地址分配給刀片上的各種端口 ;把什么樣的管理 IP 地址分配給 BMC; 啟動刀片的順序 ; 以及

20、從哪里啟動刀片本地磁盤還是 SAN LUN. 然后你可以把這個配置分配給特定的刀片，或者你可以 把所有的刀片匯集在一起組成池，然后把配置分配給這個池，讓 UCS 來選擇刀片。然后，奇跡發(fā)生了。 思科 UCSPXE 的魔法在 UCS 進行處理之前， 每個刀片里面什么配置都沒有。根據(jù)每個服務(wù)器服務(wù)配置， 一個刀片必須能夠 符合任何數(shù)量的特定要求，從固件的修訂版本開始。 Cisco 通過 PXE 用某種 網(wǎng)絡(luò) PXE magic 程 序啟動刀片，以及用 PXE 推動基于 Linux 的配置代理，完成從什么都沒有的刀片到完全配置好的刀片的轉(zhuǎn) 變。代理然后訪問所有不同的器件，閃存和固

21、件，分配給他們不同的地址，讓刀片跟服務(wù)配置相符合。這 總共需要一到兩分鐘。隨后，刀片重啟，并準備接受一個操作系統(tǒng)。這個過程有點進退兩難：如果我想用PXE啟動操作系統(tǒng)怎么辦呢？通過一些magic程序，UCS配置器PXE 框架不會干擾正常的 PXE 操作。一旦刀片按照服務(wù)配置進行了設(shè)置，他就會聰明的讓路。從這一點開 始，你可以像平時一樣安裝操作系統(tǒng)比如， VMware ESX Server ， RHEL 5.3 ，或者你有的任何系統(tǒng)。上圖顯示的是完全不一樣的東西：一個Cisco BIOS POST畫面你還可以使用在遠程 KVM功能中的虛擬媒體工具。這個稍微有點老套了，但是你可以從你的本地系統(tǒng)中選擇

22、一個ISO鏡像來給刀片作為連接在上面的CD或者DVD，從那里啟動來安裝操作系統(tǒng)。這時另外一個有趣的事情發(fā)生了：一般來講，不用安裝任何的驅(qū)動程序。Windows Server 2008， RHEL 5.3以及后者VMware ESX 3.5 U4 在他們的默認安裝中已經(jīng)擁有所有的UCS驅(qū)動程序。你可能認為思科計劃這個已經(jīng)有段時間了，你還可能會認為思科跟不同的操作系統(tǒng)供應(yīng)商關(guān)系都不錯?？赡苣闶钦_的。思科UCS在房間中跳躍現(xiàn)在你用 Windows Server 2008， VMware ESX ， RHEL 5.3，或者別的什么系統(tǒng)軟件配置了你的刀片。每個刀片都可以使用你定義的多個 VLAN，都受

23、你提出的SAN LUN約束，基本上每個刀片都是臃 腫的、不做聲的，并且運行的十分歡快。那么當一個刀片壞了的時候會發(fā)什么事呢？HAUCS沒有一個真正定義的高可用性，這點有點讓人失望。然而，如果你把服務(wù)器實例分配到一個有很 多刀片的池，它從 SAN LUN啟動，如果其中一個刀片運行那個實例失敗，那么會導(dǎo)致實例會從池里面的 另外一個同樣的刀片啟動。這個過程需要幾分鐘，因為UCS需要根據(jù)服務(wù)配置的所有設(shè)定來準備目標刀片， 然后重啟，但是它確實提供基本的HA能力。盡管這個窮人的 HA實用，但是看到一些“真實的”形式在UCS上定義還是挺不錯的。UCS另外一個重要的方面是結(jié)構(gòu)管理。思科UCS的管理框架利用了

24、繼承的概念，這點跟 LDAP的思想一樣。因此，有可能創(chuàng)建擁有自己策略、池、以及服務(wù)配置的組織，而由于子結(jié)構(gòu)可以從父結(jié)構(gòu)的池里 面提取等等，這些結(jié)構(gòu)可以從上面的結(jié)構(gòu)中繼承策略和池。這讓管理簡單了許多，可以允許你建立能夠成 為接受全部內(nèi)容的全局池和策略，并對那些應(yīng)用于特定結(jié)構(gòu)的策略設(shè)定得更詳細。另外，管理可以順著結(jié)構(gòu)這條線線安排。用另外一個設(shè)施 dubbed Locales ，管理人員對于特定機構(gòu) 的特定管理職責(zé)可以得到特定的權(quán)利，那些權(quán)利也會傳遞到子結(jié)構(gòu)。思科 UCS 擴展情況對于所有的 IT 基礎(chǔ)設(shè)施來說，可擴展性是關(guān)鍵。令人驚奇的是，擴展對于 UCS 來說卻不是個問題。 每個 UCS 612

25、0XP FI 可以通過雙向局域網(wǎng)上行線處理 144 個刀片，馬上就要發(fā)布的 6140s 可以用同樣的 方式處理最大 304 個刀片。這個控制器刀片比率是非常強大的，它允許 UCS 能進行極大的擴展，然而 所需的只是相對便宜的機箱和刀片，而不是昂貴的 FI.UCS 還能提供一些重要的多租戶架構(gòu)。比如，可能你有彼此獨立的工作組或者客戶，他們不僅需要從 物理硬件上分開彼此，而且還需要完全獨立的局域網(wǎng)。使用Pin Group 功能可以實現(xiàn)這個目標，它可以把特定的物理接口指定在某組服務(wù)器上。 你可以把這些應(yīng)用在局域網(wǎng)或者 SAN 連接上面， 所以你能把特定的 服務(wù)配置指派給特定的 SAN 而不是指派給特

26、定的刀片。這允許下面的一些情況： 使用某個特定部門自己的局域網(wǎng)和 SAN 創(chuàng)建的一個服務(wù)配置可以使用四個刀 片。這些服務(wù)配置將被指派到特定的上行端口連接到局域網(wǎng)和 SAN. 如果一個刀片不工作了， 那么安排這個 刀片上面的服務(wù)配置就會分配到另外一個刀片上面另外的刀片可能位于其他的機箱然后這個服 務(wù)器實例作為 pin group 的一部分還是會一直保持其物理上的獨立性。這對于擁有完全不同的網(wǎng)絡(luò)部分和 存儲部分的服務(wù)提供商和企業(yè)來說，是一個非常大的優(yōu)點。 UCS 方案可以用在任何數(shù)量的不同的網(wǎng)絡(luò)拓撲 結(jié)構(gòu)中，還能保持物理上的獨立性，而且這個會自動進行。其實可擴展性的事宜就只剩下機箱自身了，比如一些

27、金屬板，一個背板，還有一些組件接口等。機箱 中沒有智能成分，這也使得他們價格便宜。另外隨著 FI 的大規(guī)模批量生產(chǎn)，意味著你擴展越多的機箱，你 的方案會越便宜。如果說可以從 UCS 學(xué)到什么的話，那么應(yīng)該是機箱其實就是 FI 的擴展，而且無論你需 要什么，他們都有足夠的帶寬來運行。這就是說，一旦你把一組 FI 裝滿，你就必須重新開始一個新的簇 ; 不同的 UCS 簇尚不能在一個單獨的管理域里面混合使用。思科 UCS 貨物出門概不退換，買主須自行當心坦率的說，UCS的1.0版本提供的功能、范圍以及廣度給人印象非常深刻。但這并不是說它沒有問題。首先，改變服務(wù)配置是否會引起刀片重新啟動不是很明確。有些情況下，當配置改變可能會引起一個刀片 重啟的時候會出現(xiàn)警告信息，然而刀片的狀態(tài)卻有點不明確。我遇到過幾個小的 GUI 問題以及一個更重要的小故障：在一個服務(wù)配置推進