集群和負(fù)載均衡知識(shí)

1、集群和負(fù)載均衡知識(shí)在今天的IT界，我們會(huì)經(jīng)常聽到“集群”這個(gè)詞，特別是在服務(wù)器和小型機(jī)廣泛應(yīng)用的領(lǐng)域，好像集群的概念已經(jīng)深入到IT界的方方面面。那么什么是集群呢？通俗一點(diǎn)說，集群是這樣一種技術(shù)：它包括至少將兩個(gè)系統(tǒng)連接到一起，使兩個(gè)服務(wù)器能夠像一臺(tái)機(jī)器那樣工作或者看起來好像一臺(tái)機(jī)器。例如，一個(gè)有2臺(tái)服務(wù)器生成的web服務(wù)器集群系統(tǒng)，它對(duì)每個(gè)終端用戶是透明的，而且看起來完全就像一個(gè)web服務(wù)器。 采用集群系統(tǒng)通常是為了提高系統(tǒng)的穩(wěn)定性和網(wǎng)絡(luò)中心的數(shù)據(jù)處理能力及服務(wù)能力，自80年代初以來，各種形式的集群技術(shù)紛紛涌現(xiàn)，這些技術(shù)均源于Digital的VAX平臺(tái)之上。因?yàn)榧耗軌蛱峁└呖捎眯院涂缮炜s性，

2、所以，它迅速成為企業(yè)和ISP計(jì)算的支柱。一、 集群系統(tǒng)的分類：最常見的三種群集類型包括高性能科學(xué)群集、負(fù)載均衡群集和高可用性群集科學(xué)群集通常，第一種涉及為群集開發(fā)并行編程應(yīng)用程序，以解決復(fù)雜的科學(xué)問題。這是并行計(jì)算的基礎(chǔ)，盡管它不使用專門的并行超級(jí)計(jì)算機(jī)，這種超級(jí)計(jì)算機(jī)內(nèi)部由十至上萬個(gè)獨(dú)立處理器組成。但它卻使用商業(yè)系統(tǒng)，如通過高速連接來鏈接的一組單處理器或雙處理器 PC，并且在公共消息傳遞層上進(jìn)行通信以運(yùn)行并行應(yīng)用程序。因此，您會(huì)常常聽說又有一種便宜的Linux 超級(jí)計(jì)算機(jī)問世了。但它實(shí)際是一個(gè)計(jì)算機(jī)群集，其處理能力與真的超級(jí)計(jì)算機(jī)相等，通常一套象樣的群集配置開銷要超過 $100,000。這對(duì)

3、一般人來說似乎是太貴了，但與價(jià)值上百萬美元的專用超級(jí)計(jì)算機(jī)相比還算是便宜的。負(fù)載均衡群集 負(fù)載均衡群集為企業(yè)需求提供了更實(shí)用的系統(tǒng)。如名稱所暗示的，該系統(tǒng)使負(fù)載可以在計(jì)算機(jī)群集中盡可能平均地分?jǐn)偺幚?。該?fù)載可能是需要均衡的應(yīng)用程序處理負(fù)載或網(wǎng)絡(luò)流量負(fù)載。這樣的系統(tǒng)非常適合于運(yùn)行同一組應(yīng)用程序的大量用戶。每個(gè)節(jié)點(diǎn)都可以處理一部分負(fù)載，并且可以在節(jié)點(diǎn)之間動(dòng)態(tài)分配負(fù)載，以實(shí)現(xiàn)平衡。對(duì)于網(wǎng)絡(luò)流量也如此。通常，網(wǎng)絡(luò)服務(wù)器應(yīng)用程序接受了太多入網(wǎng)流量，以致無法迅速處理，這就需要將流量發(fā)送給在其它節(jié)點(diǎn)上運(yùn)行的網(wǎng)絡(luò)服務(wù)器應(yīng)用。還可以根據(jù)每個(gè)節(jié)點(diǎn)上不同的可用資源或網(wǎng)絡(luò)的特殊環(huán)境來進(jìn)行優(yōu)化？高可用性群集 

4、 高可用性群集的出現(xiàn)是為了使群集的整體服務(wù)盡可能可用，以便考慮計(jì)算硬件和軟件的易錯(cuò)性。如果高可用性群集中的主節(jié)點(diǎn)發(fā)生了故障，那么這段時(shí)間內(nèi)將由次節(jié)點(diǎn)代替它。次節(jié)點(diǎn)通常是主節(jié)點(diǎn)的鏡像，所以當(dāng)它代替主節(jié)點(diǎn)時(shí)，它可以完全接管其身份，并且因此使系統(tǒng)環(huán)境對(duì)于用戶是一致的。二、 集群現(xiàn)有解決方案1、高級(jí)集群解決方案NOVELLS NETWARE CLUSTER SERVICES FOR NETWARE 5VERITAS CLUSETER SERVER FOR NT 42、標(biāo)準(zhǔn)集群方案MICROSOFT（R） CLUSTER SERVER （MSCS） （注：Windows2000Advanced

5、Server 內(nèi)置）LONGER HA FOR NT4LONGER HA FOR SCO UNIXLONGER HA FOR LINUX負(fù)載均衡的分類和說明定義 : 其實(shí)，負(fù)載均衡并非傳統(tǒng)意義上的“均衡”，一般來說，它只是把有可能擁塞于一個(gè)地方的負(fù)載交給多個(gè)地方分擔(dān)。如果將其改稱為“負(fù)載分擔(dān)” ，也許更好懂一些。說得通俗一點(diǎn)，負(fù)載均衡在網(wǎng)絡(luò)中的作用就像輪流值日制度，把任務(wù)分給大家來完成，以免讓 一個(gè)人累死累活。不過，這種意義上的均衡一般是靜態(tài)的，也就是事先確定的“輪值”策略。與輪流值日制度不同的是，動(dòng)態(tài)負(fù)載均衡通過一些工具實(shí)時(shí)地分析數(shù)據(jù)包，掌握網(wǎng)絡(luò)中的數(shù)據(jù)流量狀況，把任務(wù)合理分配出去

6、。結(jié)構(gòu)上分為本地負(fù)載均衡和地域負(fù)載均衡(全局負(fù)載均衡)，前一種是指對(duì)本地的服務(wù)器集群做負(fù)載均衡，后一種是指對(duì)分別放置在不同的地理位置、在不同的網(wǎng)絡(luò)及服務(wù)器群集之間作負(fù)載均衡。服務(wù)器群集中每個(gè)服務(wù)結(jié)點(diǎn)運(yùn)行一個(gè)所需服務(wù)器程序的獨(dú)立拷貝，諸如Web、FTP、Telnet或e-mail服務(wù)器程序。對(duì)于某些服務(wù)（如運(yùn)行在Web服務(wù)器上的那些服務(wù)）而言，程序的一個(gè)拷貝運(yùn)行在群集內(nèi)所有的主機(jī)上，而網(wǎng)絡(luò)負(fù)載均衡則將工作負(fù)載在這些主機(jī)間進(jìn) 行分配。對(duì)于其他服務(wù)（例如e-mail），只有一臺(tái)主機(jī)處理工作負(fù)載，針對(duì)這些服務(wù)，網(wǎng)絡(luò)負(fù)載均衡允許網(wǎng)絡(luò)通訊量流到一個(gè)主機(jī)上，并在該主機(jī)發(fā)生故障時(shí)將通訊量移至其他主機(jī)。負(fù)載均衡

7、技術(shù)實(shí)現(xiàn)結(jié)構(gòu)在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上，負(fù)載均衡提供了一種廉價(jià)有效的方法擴(kuò)展服務(wù)器帶寬和增加吞吐量，加強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)處理能力，提高網(wǎng)絡(luò)的 靈活性和可用性。它主要完成以下任務(wù)：解決網(wǎng)絡(luò)擁塞問題，服務(wù)就近提供，實(shí)現(xiàn)地理位置無關(guān)性 為用戶提供更好的訪問質(zhì)量提高服務(wù)器響應(yīng)速度 提高服務(wù)器及其他資源的利用效率避免了網(wǎng)絡(luò)關(guān)鍵部位出現(xiàn)單點(diǎn)失效    廣義上的負(fù)載均衡既可以設(shè)置專門的網(wǎng)關(guān)、負(fù)載均衡器，也可以通過一些專用軟件與協(xié)議來實(shí)現(xiàn)。對(duì)一個(gè)網(wǎng)絡(luò)的負(fù)載均衡應(yīng)用，從網(wǎng)絡(luò)的不同層次入手，根據(jù)網(wǎng)絡(luò)瓶頸所在進(jìn)行具體分析。從客戶端應(yīng)用為起點(diǎn)縱向分析，參考OSI的分層模型，

8、我們把負(fù)載均衡技術(shù)的實(shí)現(xiàn)分為客戶端負(fù)載均衡技術(shù)、應(yīng)用服務(wù)器技術(shù)、高層協(xié)議交換、網(wǎng)絡(luò)接入?yún)f(xié)議交換等幾種方式。基于客戶端的負(fù)載均衡這種模式指的是在網(wǎng)絡(luò)的客戶端運(yùn)行特定的程序，該程序通過定期或不定期的收集服務(wù)器群的運(yùn)行參數(shù)：CPU占用情況、磁盤 IO、內(nèi)存等動(dòng)態(tài)信息，再根據(jù)某種選擇策略，找到可以提供服務(wù)的最佳服務(wù)器，將本地的應(yīng)用請(qǐng)求發(fā)向它。如果負(fù)載信息采集程序發(fā)現(xiàn)服務(wù)器失效，則找到其他可替代的服務(wù)器作為服務(wù)選擇。整個(gè)過程對(duì)于應(yīng)用程序來說是完全透明的，所有的工作都在運(yùn)行時(shí)處理。因此這也是一種動(dòng)態(tài)的負(fù)載均衡技術(shù)。但這種技術(shù)存在通用性的問題。因?yàn)槊恳粋€(gè)客戶端都要安裝這個(gè)特殊的采集程序；并且，為了保證應(yīng)用層

9、的透明運(yùn)行，需要針對(duì) 每一個(gè)應(yīng)用程序加以修改，通過動(dòng)態(tài)鏈接庫(kù)或者嵌入的方法，將客戶端的訪問請(qǐng)求能夠先經(jīng)過采集程序再發(fā)往服務(wù)器，以重定向的過程進(jìn)行。對(duì)于每一個(gè)應(yīng)用幾乎要對(duì)代碼進(jìn)行重新開發(fā)，工作量比較大。所以，這種技術(shù)僅在特殊的應(yīng)用場(chǎng)合才使用到，比如在執(zhí)行某些專有任務(wù)的時(shí)候，比較需要分布式的計(jì)算能力，對(duì)應(yīng)用的開發(fā)沒 有太多要求。另外，在采用JAVA構(gòu)架模型中，常常使用這種模式實(shí)現(xiàn)分布式的負(fù)載均衡，因?yàn)閖ava應(yīng)用都基于虛擬機(jī)進(jìn)行，可以在應(yīng)用層和虛擬機(jī)之間設(shè)計(jì)一個(gè)中間層，處理負(fù)載均衡的工作。應(yīng)用服務(wù)器的負(fù)載均衡技術(shù)如果將客戶端的負(fù)載均衡層移植到某一個(gè)中間平臺(tái)，形成三層結(jié)構(gòu)，則客戶端應(yīng)用可以不需要做特

10、殊的修改，透明的通過中間層應(yīng)用服務(wù)器將請(qǐng)求均衡到相應(yīng)的服務(wù)結(jié)點(diǎn)。比較常見的實(shí)現(xiàn)手段就是反向代理技術(shù)。使用反向代理服務(wù)器，可以將請(qǐng)求均勻轉(zhuǎn)發(fā)給多臺(tái)服務(wù)器，或者直接將緩存的數(shù)據(jù)返回客戶端，這樣的加速模式在一定程度上可以提升靜態(tài)網(wǎng)頁的訪問速度，從而達(dá)到負(fù)載均衡的目的。使用反向代理的好處是，可以將負(fù)載均衡和代理服務(wù)器的高速緩存技術(shù)結(jié)合在一起，提供使用反向代理的好處是，可以將負(fù)載均衡和代理服務(wù)器的高速緩存技術(shù)結(jié)合在一起，提供有益的性能。然而它本身也存在一些問題，首先就是必須為每一種服務(wù)都專門開發(fā)一個(gè)反向代理服務(wù)器，這就不是一個(gè)輕松的任務(wù)。反向代理服務(wù)器本身雖然可以達(dá)到很高效率，但是針對(duì)每一次代理，代理服

11、務(wù)器就必須維護(hù)兩個(gè)連接，一個(gè)對(duì)外的連接，一個(gè)對(duì) 內(nèi)的連接，因此對(duì)于特別高的連接請(qǐng)求，代理服務(wù)器的負(fù)載也就非常之大。反向代理能夠執(zhí)行針對(duì)應(yīng)用協(xié)議而優(yōu)化的負(fù)載均衡策略， 每次僅訪問最空閑的內(nèi)部服務(wù)器來提供服務(wù)。但是隨著并發(fā)連接數(shù)量的增加，代理服務(wù)器本身的負(fù)載也變得非常大，最后反向代理服務(wù)器本身會(huì)成為服務(wù)的瓶頸?；谟蛎到y(tǒng)的負(fù)載均衡 NCSA的可擴(kuò)展Web是最早使用動(dòng)態(tài)DNS輪詢技術(shù)的web系統(tǒng)。在DNS中為多個(gè)地址配置同一個(gè)名字，因而查詢這個(gè)名字的客戶機(jī)將 得到其中一個(gè)地址，從而使得不同的客戶訪問不同的服務(wù)器，達(dá)到負(fù)載均衡的目的。在很多知名的web站點(diǎn)都使用了這個(gè)技術(shù)：包括 早期的ya

12、hoo站點(diǎn)、163等。動(dòng)態(tài)DNS輪詢實(shí)現(xiàn)起來簡(jiǎn)單，無需復(fù)雜的配置和管理，一般支持bind8.2以上的類unix系統(tǒng)都能夠運(yùn)行，因此廣為使用。DNS負(fù)載均衡是一種簡(jiǎn)單而有效的方法，但是存在不少問題。首先域名服務(wù)器無法知道服務(wù)結(jié)點(diǎn)是否有效，如果服務(wù)結(jié)點(diǎn)失效，余名系統(tǒng)依然會(huì)將域名解析到該節(jié)點(diǎn)上，造成用戶訪問失效。其次，由于DNS的數(shù)據(jù)刷新時(shí)間TTL（Time to LIVE）標(biāo)志，一旦超過這個(gè)TTL，其他DNS服務(wù)器就需要和這個(gè)服務(wù)器交互，以重新獲得地址數(shù)據(jù)，就有可能獲得不同IP地址。因此為了使地址能隨機(jī)分配，就應(yīng)使TTL盡量短，不同地方的DNS服務(wù)器能更新對(duì)應(yīng)的 地址，達(dá)到隨機(jī)獲得地址。然而將TT

13、L設(shè)置得過短，將使DNS流量大增，而造成額外的網(wǎng)絡(luò)問題。最后，它不能區(qū)分服務(wù)器的差異，也不能反映服務(wù)器的當(dāng)前運(yùn)行狀態(tài)。當(dāng)使用DNS負(fù)載均衡的時(shí)候，必須盡量保證不同的客戶計(jì) 算機(jī)能均勻獲得不同的地址。例如，用戶A可能只是瀏覽幾個(gè)網(wǎng)頁，而用戶B可能進(jìn)行著大量的下載，由于域名系統(tǒng)沒有合適的負(fù)載策略僅僅是簡(jiǎn)單的輪流均衡，很容易將用戶A的請(qǐng)求發(fā)往負(fù)載輕的站點(diǎn)，而將B的請(qǐng)求發(fā)往負(fù)載已經(jīng)很重的站點(diǎn)。因此，在動(dòng)態(tài)平衡特 性上，動(dòng)態(tài)DNS輪詢的效果并不理想。高層協(xié)議內(nèi)容交換技術(shù)除了上述的幾種負(fù)載均衡方式之外，還有在協(xié)議內(nèi)部支持負(fù)載均衡能力的技術(shù)，即URL交換或七層交換，提供了一種對(duì)訪問流量的高層控制方式。Web

14、內(nèi)容交換技術(shù)檢查所有的HTTP報(bào)頭，根據(jù)報(bào)頭內(nèi)的信息來執(zhí)行負(fù)載均衡的決策。例如可以根據(jù)這些信息來確定 如何為個(gè)人主頁和圖像數(shù)據(jù)等內(nèi)容提供服務(wù)，常見的有HTTP協(xié)議中的重定向能力等。HTTP運(yùn)行于TCP連接的最高層?？蛻舳送ㄟ^恒定的端口號(hào)80的TCP服務(wù)直接連接到服務(wù)器，然后通過TCP連接向服務(wù)器端發(fā)送一個(gè) HTTP請(qǐng)求。協(xié)議交換根據(jù)內(nèi)容策略來控制負(fù)載，而不是根據(jù)TCP端口號(hào)，所以不會(huì)造成訪問流量的滯留。由于負(fù)載平衡設(shè)備要把進(jìn)入的請(qǐng)求分配給多個(gè)服務(wù)器，因此，它只能在TCP連接時(shí)建立，且HTTP請(qǐng)求通過后才能確定如何進(jìn)行負(fù)載的平衡。當(dāng)一個(gè)網(wǎng)站的點(diǎn)擊率達(dá)到每秒上百甚至上千次時(shí)，TCP連接、HTTP報(bào)

15、頭信息的分析以及進(jìn)程的時(shí)延已經(jīng)變得很重要了，要 盡一切可能提高這幾各部份的性能。在HTTP請(qǐng)求和報(bào)頭中有很多對(duì)負(fù)載平衡有用的信息。我們可以從這些信息中獲知客戶端所請(qǐng)求的URL和網(wǎng)頁，利用這個(gè)信息，負(fù)載平衡設(shè)備就可以將所有的圖像請(qǐng)求引導(dǎo)到一個(gè)圖像服務(wù)器，或者根據(jù)URL的數(shù)據(jù)庫(kù)查詢內(nèi)容調(diào)用CGI程序，將請(qǐng)求引導(dǎo)到一個(gè)專用 的高性能數(shù)據(jù)庫(kù)服務(wù)器。如果網(wǎng)絡(luò)管理員熟悉內(nèi)容交換技術(shù)，他可以根據(jù)HTTP報(bào)頭的cookie字段來使用Web內(nèi)容交換技術(shù)改善對(duì)特定客戶的服務(wù)，如果能從HTTP請(qǐng)求中找到一些規(guī)律，還可以充分利用它作出各種決策。除了TCP連接表的問題外，如何查找合適的HTTP報(bào)頭信息以及作出負(fù)載平衡決

16、策的過程，是影響Web內(nèi)容交換技術(shù)性能的重要問題。如果We b服務(wù)器已經(jīng)為圖像服務(wù)、SSL對(duì)話、數(shù)據(jù)庫(kù)事務(wù)服務(wù)之類的特殊功能進(jìn)行了優(yōu)化，那么，采用這個(gè)層次的流量控制將可以提高網(wǎng)絡(luò)的性能。網(wǎng)絡(luò)接入?yún)f(xié)議交換大型的網(wǎng)絡(luò)一般都是由大量專用技術(shù)設(shè)備組成的，如包括防火墻、路由器、第3、4層交換機(jī)、負(fù)載均衡設(shè)備、緩沖服務(wù)器和Web 服務(wù)器等。如何將這些技術(shù)設(shè)備有機(jī)地組合在一起，是一個(gè)直接影響到網(wǎng)絡(luò)性能的關(guān)鍵性問題?，F(xiàn)在許多交換機(jī)提供第四層交換功能，對(duì)外提供一個(gè)一致的IP地址，并映射為多個(gè)內(nèi)部IP地址，對(duì)每次TCP和UDP連接請(qǐng)求，根據(jù)其端口號(hào)，按照即定的策略動(dòng)態(tài)選擇一個(gè)內(nèi)部地址，將數(shù)據(jù)包轉(zhuǎn)發(fā)到該地址上，達(dá)到

17、負(fù)載均衡的目的。很多硬件廠商將這種技術(shù)集成在他們的交換機(jī)中，作為他們第四層交換的一種功能來實(shí)現(xiàn)，一般采用隨機(jī)選擇、根據(jù)服務(wù)器的連接數(shù)量或者響應(yīng)時(shí)間進(jìn)行選擇的負(fù)載均衡策略來分配負(fù)載。由于地址轉(zhuǎn) 換相對(duì)來講比較接近網(wǎng)絡(luò)的低層，因此就有可能將它集成在硬件設(shè)備中，通常這樣的硬件設(shè)備是局域網(wǎng)交換機(jī)。當(dāng)前局域網(wǎng)交換機(jī)所謂的第四層交換技術(shù)，就是按照IP地址和TCP端口進(jìn)行虛擬連接的交換，直接將數(shù)據(jù)包發(fā)送到目的計(jì)算機(jī)的 相應(yīng)端口。通過交換機(jī)將來自外部的初始連接請(qǐng)求，分別與內(nèi)部的多個(gè)地址相聯(lián)系，此后就能對(duì)這些已經(jīng)建立的虛擬連接進(jìn)行交換。 因此，一些具備第四層交換能力的局域網(wǎng)交換機(jī)，就能作為一個(gè)硬件負(fù)載均衡器，完成服務(wù)器的負(fù)載均衡。由于第四層交換基于硬件芯片，因此其性能非常優(yōu)秀，尤其是對(duì)于網(wǎng)絡(luò)傳輸速度和交換速度遠(yuǎn)遠(yuǎn)超過普通的數(shù)據(jù)包轉(zhuǎn)發(fā)。然而，正因?yàn)樗鞘褂糜布?/p>