集群之負(fù)載均衡集群(LVS)

1、集 群（一）之 負(fù)載均衡集群（LVS）ipvsadm（1.0版本）定義這是一個由國人主持的項目。它是一個負(fù)載均衡/高可用性集群，主要針對大業(yè)務(wù)量的網(wǎng)絡(luò)應(yīng)用（如新聞服務(wù)、網(wǎng)上銀行、電子商務(wù)等）。LVS是建立在一個主控服務(wù)器(通常為雙機)（director）及若干真實服務(wù)器（real-server）所組成的集群之上。real-server負(fù)責(zé)實際提供服務(wù)，主控服務(wù)器根據(jù)指定的調(diào)度算法對real-server進(jìn)行控制。而集群的結(jié)構(gòu)對于用戶來說是透明的，客戶端只與單個的IP（集群系統(tǒng)的虛擬IP）進(jìn)行通信，也就是說從客戶端的視角來看，這里只存在單個服務(wù)器。Real-server可以提供眾多服務(wù)，如ftp

2、, http, dns, telnet, nntp, smtp 等。主控服務(wù)器負(fù)責(zé)對Real-Server進(jìn)行控制。客戶端在向LVS發(fā)出服務(wù)請求時，主控服務(wù)器（Director）會通過特定的調(diào)度算法來指定由某個Real-Server來應(yīng)答請求，而客戶端只與Load Balancer的IP（即虛擬IP，VIP）進(jìn)行通信.客戶端發(fā)出服務(wù)請求à主控服務(wù)器接受請求à指定某個real-server來應(yīng)答請求（之間的通訊是通過虛擬IP來進(jìn)行傳遞）二、 集群采用三層結(jié)構(gòu) 一般來說，LVS集群采用三層結(jié)構(gòu)，其主要組成部分為：A、負(fù)載調(diào)度器（load balancer），它是整個集群對外面的

3、前端機，負(fù)責(zé)將客戶的請求按照一定的算法分發(fā)到下一層不同的服務(wù)器進(jìn)行處理，自己本身不做具體業(yè)務(wù)的處理。而客戶認(rèn)為服務(wù)是來自一個IP地址（我們可稱之為虛擬IP地址）上的。這是LVS的核心部分，另外該層還可用監(jiān)控下一層的狀態(tài)，如果下一層的某臺服務(wù)器不能正常工作了，它會自動把其剔除，恢復(fù)后又可用加上。該層由一臺或者幾臺Director Server組成。B、服務(wù)器池（server pool），是一組真正執(zhí)行客戶請求的服務(wù)器，執(zhí)行的服務(wù)有WEB、MAIL、FTP和DNS等。C、共享存儲（shared storage），它為服務(wù)器池提供一個共享的存儲區(qū)，這樣很容易使得服務(wù)器池?fù)碛邢嗤膬?nèi)容，提供

4、相同的服務(wù)。負(fù)載調(diào)度器、服務(wù)器池和共享存儲系統(tǒng)通過高速網(wǎng)絡(luò)相連接，如100Mbps交換網(wǎng)絡(luò)、Myrinet和Gigabit網(wǎng)絡(luò)等。使用高速的網(wǎng)絡(luò)，主要為避免當(dāng)系統(tǒng)規(guī)模擴大時互聯(lián)網(wǎng)絡(luò)成為整個系統(tǒng)的瓶頸。三、負(fù)載均衡機制前面我們說了LVS是工作在網(wǎng)絡(luò)層。相對于其它負(fù)載均衡的解決辦法，比如DNS域名輪流解析、應(yīng)用層負(fù)載的調(diào)度、客戶端的調(diào)度等，它的效率是非常高的。LVS的通過控制IP來實現(xiàn)負(fù)載均衡。IPVS是其具體的實現(xiàn)模塊。IPVS的主要作用：安裝在Director Server上面，在Director Server虛擬一個對外訪問的IP（VIP）。用戶訪問VIP，到達(dá)Direc

5、tor Server，Director Server根據(jù)一定的規(guī)則選擇一個Real Server，處理完成后然后返回給客戶端數(shù)據(jù)。這些步驟產(chǎn)生了一些具體的問題，比如如何選擇具體的Real Server，Real Server如何返回給客戶端數(shù)據(jù)等等。IPVS為此有三種機制：1.VS/NAT(Virtual Server via Network Address Translation)，即網(wǎng)絡(luò)地址翻轉(zhuǎn)技術(shù)實現(xiàn)虛擬服務(wù)器?？蛻敉ㄟ^Virtual IP Address（虛擬服務(wù)的IP地址）訪問網(wǎng)絡(luò)服務(wù)

6、時，請求報文到達(dá)調(diào)度器，調(diào)度器根據(jù)連接調(diào)度算法從一組真實服務(wù)器中選出一臺服務(wù)器，將報文的目標(biāo)地址Virtual IP Address改寫成選定服務(wù)器的地址，報文的目標(biāo)端口改寫成選定服務(wù)器的相應(yīng)端口，最后將修改后的報文發(fā)送給選出的服務(wù)器（Real Server）。同時，調(diào)度器在連接Hash表中記錄這個連接，當(dāng)這個連接的下一個報文到達(dá)時，從連接Hash表中可以得到原選定服務(wù)器的地址和端口，進(jìn)行同樣的改寫操作，并將報文傳給原選定的服務(wù)器。Real Server處理完數(shù)據(jù)后，需要返回給Diretor Server，然后Diretor server將數(shù)據(jù)包中的源地

7、址和源端口改成VIP的地址和端口，最后把數(shù)據(jù)發(fā)送出去給用戶。這樣，客戶所看到的只是在Virtual IP Address上提供的服務(wù)，而服務(wù)器集群的結(jié)構(gòu)對用戶是透明的由此可以看出，用戶的請求和返回都要經(jīng)過Diretor Server，如果數(shù)據(jù)過多，調(diào)度器肯定會不堪重負(fù)。如下圖所示：在一組服務(wù)器前有一個調(diào)度器，它們是通過Switch/HUB相連接的。這些服務(wù)器提供相同的網(wǎng)絡(luò)服務(wù)、相同的內(nèi)容，即不管請求被發(fā)送到哪一臺服務(wù)器，執(zhí)行結(jié)果是一樣的。服務(wù)的內(nèi)容可以復(fù)制到每臺服務(wù)器的本地硬盤上，可以通過網(wǎng)絡(luò)文件系統(tǒng)（如NFS）共享，也可以通過一個分布式文件系統(tǒng)來提供。VS/NAT 的優(yōu)點是服務(wù)器可

8、以運行任何支持TCP/IP的操作系統(tǒng)，它只需要一個IP地址配置在調(diào)度器上，服務(wù)器組可以用私有的IP地址。缺點是它的伸縮能力有限， 當(dāng)服務(wù)器結(jié)點數(shù)目升到20時，調(diào)度器本身有可能成為系統(tǒng)的新瓶頸，因為在VS/NAT中請求和響應(yīng)報文都需要通過負(fù)載調(diào)度器。2.VS/TUN（Virtual Server via IP Tunneling）,即IP隧道技術(shù)實現(xiàn)虛擬服務(wù)器。它跟VS/NAT基本一樣，但是Real server是直接返回數(shù)據(jù)給客戶端，不需要經(jīng)過Diretor server,這大大降低了Diretor server的壓力。在V

9、S/TUN 的集群系統(tǒng)中，負(fù)載調(diào)度器只將請求調(diào)度到不同的后端服務(wù)器，后端服務(wù)器將應(yīng)答的數(shù)據(jù)直接返回給用戶。這樣，負(fù)載調(diào)度器就可以處理大量的請求，它甚至可以調(diào)度百臺以上的服務(wù)器（同等規(guī)模的服務(wù)器），而它不會成為系統(tǒng)的瓶頸。即使負(fù)載調(diào)度器只有100Mbps的全雙工網(wǎng)卡，整個系統(tǒng)的最大吞吐量可超過 1Gbps。所以，VS/TUN可以極大地增加負(fù)載調(diào)度器調(diào)度的服務(wù)器數(shù)量。VS/TUN調(diào)度器可以調(diào)度上百臺服務(wù)器，而它本身不會成為系統(tǒng)的瓶頸，可以 用來構(gòu)建高性能的超級服務(wù)器。IP隧道（IP tunneling）是將一個IP報文封裝在另一個IP報文的技術(shù)，這可以使得目標(biāo)為一個IP地址的數(shù)據(jù)報文能被封裝和轉(zhuǎn)發(fā)

10、到另一個IP地址。IP隧道技術(shù)亦稱為IP封裝技術(shù)（IP encapsulation）。IP隧道主要用于移動主機和虛擬私有網(wǎng)絡(luò)（Virtual Private Network），在其中隧道都是靜態(tài)建立的，隧道一端有一個IP地址，另一端也有唯一的IP地址。VS/TUN技術(shù)對服務(wù)器的要求是所有的服務(wù)器必須支持"IP Tunneling"或者"IP Encapsulation"協(xié)議。目前，VS/TUN 的后端服務(wù)器主要運行Linux操作系統(tǒng)。因為"IP Tunneling"正成為各個操作系統(tǒng)的標(biāo)準(zhǔn)協(xié)議，所以VS/TUN也會適用運行其它操作系統(tǒng)

11、的后端服務(wù)器VS/TUN的工作流程如下圖所示，它的連接調(diào)度和管理與VS/NAT中的一樣，只是它的報文轉(zhuǎn)發(fā)方法不同。調(diào)度器根據(jù)各個服務(wù)器的負(fù)載情況，動態(tài)地選擇一臺服務(wù)器，將請求報文封裝在另一個IP報文中，再將封裝后的IP報文轉(zhuǎn)發(fā)給選出的服務(wù)器；服務(wù)器收到報文后，先將報文解封獲得原來目標(biāo)地址為VIP的報文，服務(wù)器發(fā)現(xiàn)VIP地址被配置在本地的IP隧道設(shè)備上，所以就處理這個請求，然后根據(jù)路由表將響應(yīng)報文直接返回給客戶。（各個服務(wù)器要將VIP地址配置在自己的IP隧道設(shè)備上）VS-TUN的real-servers相對于director可以遠(yuǎn)程；而且每個real-server都可以在單獨的網(wǎng)絡(luò)上，但需要在路

12、由器上做工作，允許源地址為VIP的輸出包。配置方法和要求與VS-DR方式類似。只是需要將lo：0設(shè)備換為tunl0設(shè)備，其對應(yīng)模塊為ipip；VS-TUN方式的特點和VS-DR相似，不過主要用于real-server分布在因特網(wǎng)之上的情況，real-servers對于director可以是遠(yuǎn)程的，real-servers之間可以處于不同網(wǎng)段VS/TUN的工作流程圖：在這里需要指出，根據(jù)缺省的TCP/IP協(xié)議棧處理，請求報文的目標(biāo)地址為VIP，響應(yīng)報文的源地址肯定也為VIP，所以響應(yīng)報文不需要作任何修改，可以直接返回給客戶，客戶認(rèn)為得到正常的服務(wù)，而不會知道究竟是哪一臺服務(wù)器處理的。3.VS/D

13、R（Virtual Server via Direct Routing），即用直接路由技術(shù)實現(xiàn)虛擬服務(wù)器。跟前面兩種方式，它的報文轉(zhuǎn)發(fā)方法有所不同，VS/DR通過改寫請求報文的MAC地址，將請求發(fā)送到Real Server，而Real Server將響應(yīng)直接返回給客戶，免去了VS/TUN中的IP隧道開銷。這種方式是三種負(fù)載調(diào)度機制中性能最高最好的，但是必須要求Director Server與Real Server都有一塊網(wǎng)卡連在同一物理網(wǎng)段上。跟VS/TUN方法相同，VS/DR利用大多數(shù)Internet服務(wù)的非對稱

14、特點，負(fù)載調(diào)度器中只負(fù)責(zé)調(diào)度請求，而服務(wù)器直接將響應(yīng)返回給客戶，可以極大地提高整個集群系統(tǒng)的吞吐量。調(diào)度器和服務(wù)器組都必須在物理上有一個網(wǎng)卡通過不分?jǐn)嗟木钟蚓W(wǎng)相連，如通過交換機或者高速的HUB相連。VIP地址為調(diào)度器和服務(wù)器組共享，調(diào)度器配置的 VIP地址是對外可見的，用于接收虛擬服務(wù)的請求報文； 所有的服務(wù)器（Real server）把VIP地址配置在各自的NonARP網(wǎng)絡(luò)設(shè)備上，它對外面是不可見的，只是用于處理目標(biāo)地址為VIP的網(wǎng)絡(luò)請求。 VS/DR的工作流程：在VS/DR中，根據(jù)缺省的TCP/IP協(xié)議棧處理，請求報文的目標(biāo)地址為VIP，響應(yīng)報文的源地址肯定也為VIP，所以響應(yīng)報

15、文不需要作任何修改，可以直接返回給客戶，客戶認(rèn)為得到正常的服務(wù)，而不會知道是哪一臺服務(wù)器處理的。VS/DR負(fù)載調(diào)度器跟VS/TUN一樣只處于從客戶到服務(wù)器的半連接中，按照半連接的TCP有限狀態(tài)機進(jìn)行狀態(tài)遷移數(shù)據(jù)包、數(shù)據(jù)幀的大致流向是這樣的：client -> VS -> RS -> client一 試驗環(huán)境采用VS/DR的工作方式Load Balance：01Virtual IP: 00Gateway: .101Realserver1: 03Realserver1:

16、04三臺虛擬機之間采用的是橋接的方式進(jìn)行連接。我們用web服務(wù)來驗證一個最基本的lvs，01主機做調(diào)度器，采用輪叫的調(diào)度算法，讓兩臺realserver的web分別呈現(xiàn)不同的頁面，用戶輸入Virtual IP的時候，則可以不停的刷新出兩臺realserver的頁面，實現(xiàn)負(fù)載均衡。二 安裝軟件 安裝ipvsadm，是基于內(nèi)核安裝的，要找到合適自己內(nèi)核的ipvsadm，因為我自己的yum倉庫本身意境有適合自己內(nèi)核的ipvsadm了，所以我就直接安裝。如果光盤自帶沒有的話，可以去/software/ipvs.htm

17、l#kernel-2.6 中去下載合適自己內(nèi)核的，同時要注意因為是基于內(nèi)核的，所以要確保所有主機內(nèi)核是要一致的，內(nèi)核不一致是做不出效果的。rootlocalhost yum.repos.d# yum install ipvsadm yInstalling : ipvsadm-1.25-9.el6.i686 1/1 Installed:ipvsadm.i686 0:1.25-9.el6 Complete!三 配置詳解主控服務(wù)器配置1、 主控服務(wù)器網(wǎng)絡(luò)設(shè)置rootlocalhost yum# ifconfig eth0:0 22 netmask 55

18、 up2、 清空配置目錄為了防止以前的配置干擾到我們的實驗，所以我這里先對以前ipvsadm的配置進(jìn)行清空，當(dāng)然剛安裝的是沒必要進(jìn)行此步驟的rootlocalhost yum.repos.d# ipvsadm C3、 給主控服務(wù)器添加規(guī)則 rootlocalhost # ipvsadm -A -t 22:80 -s rr-A -add-service 在內(nèi)核的虛擬服務(wù)器表中添加一條新的虛擬服務(wù)器記錄。也就是增加一臺新的虛擬服務(wù)器。-t -tcp-service service-address 說明虛擬服務(wù)器提供的是tcp 的服務(wù)vip:port or real-serve

19、r-ip:port-s scheduler scheduler 使用的調(diào)度算法，有這樣幾個選項rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,默認(rèn)的調(diào)度算法是： wlc.所以我本段的意思是添加一個虛擬服務(wù)器，地址為22，所提供的服務(wù)是80端口的服務(wù)，采用的算法是rr，輪叫的算法rootlocalhost # ipvsadm l /顯示內(nèi)核虛擬服務(wù)器表IP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddre

20、ss:Port Forward Weight ActiveConn InActConnTCP 22:http rr /已經(jīng)顯示這個虛擬服務(wù)器了，提供了http服務(wù)，采用的是輪叫的算法。rootlocalhost # ipvsadm -a -t 22:80 -r 03:80 -grootlocalhost # ipvsadm -a -t 22:80 -r 04:80 g-a -add-server 在內(nèi)核虛擬服務(wù)器表的一條記錄里添加一條新的真實服務(wù)器記錄。也就是在一個虛擬服務(wù)器中增加一臺

21、新的真實服務(wù)器-t -tcp-service service-address 說明虛擬服務(wù)器提供的是tcp 的服務(wù)vip:port or real-server-ip:port-r -real-server server-address 真實的服務(wù)器Real-Server:port-g -gatewaying 指定LVS 的工作模式為直接路由模式（也是LVS 默認(rèn)的模式） 所以我本段的意思就是給虛擬服務(wù)器表里添加一個真實的服務(wù)器記錄，采用直接路由的模式，虛擬服務(wù)器提供的服務(wù)是80端口的服務(wù)rootlocalhost # ipvsadm -lIP Virtual Server version 1

22、.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 22:http rr -> 03:http Route 1 0 0 -> 04:http Route 1 0 0 看到?jīng)]，兩個realserver已經(jīng)加入到虛擬服務(wù)器的表中了，并且提供的服務(wù)是http服務(wù)4、 保存ipvsadm配置前面意境配置好了ipvsadm，如果我們沒有保存就開

23、啟此服務(wù)，會有如下報錯：但是如果我們保存了后，就不會報錯rootlocalhost yum# /etc/init.d/ipvsadm saveSaving IPVS table to /etc/sysconfig/ipvsadm: OK rootlocalhost yum# /etc/init.d/ipvsadm startClearing the current IPVS table: OK Applying IPVS configuration: OK ipvsadm的配置這個時候已經(jīng)保存在/etc/sysconfig/ipvsadm文件下了。rootlocalhost yum# cat

24、/etc/sysconfig/ipvsadm -A -t 22:80 -s rr-a -t 22:80 -r 04:80 -g -w 1-a -t 22:80 -r 03:80 -g -w 1real server配置1、 給兩臺real server 添加虛擬地址這是因為，當(dāng)LVS把client的包轉(zhuǎn)發(fā)給Real-server時，因為包的目的IP地址是VIP，那么如果Real-server收到這個包后，發(fā)現(xiàn)包的目的IP不是自己的系統(tǒng)IP，那么就會認(rèn)為這個包不是發(fā)給自己的，就會丟棄這個

25、包，所以需要將這個IP地址綁到網(wǎng)卡上；當(dāng)發(fā)送應(yīng)答包給client 時，Real-server就會把包的源和目的地址調(diào)換，直接回復(fù)給client。另外綁定VIP的掩碼是”55，說明廣播地址是其本身，那么他就不會將ARP發(fā)送到實際的自己該屬于的廣播域了，這樣防止與LVS上VIP沖突，而導(dǎo)致IP沖突rootclient103 # ifconfig lo:0 22 netmask 55 uprootclient104 # ifconfig lo:0 22 netmask 55 up

26、rootclient103 home# route add -host 22 dev lo:0rootclient103 home# route -n Kernel IP routing tableDestination Gateway Genmask Flags Metric Ref Use Iface22 55 UH 0 0 0 eth0 U 0 0 0 eth0 U 0 0 0

27、 eth0 00 UG 0 0 0 eth0這里需要注意：realserver必須要在lo上設(shè)置VIP，不能在出口網(wǎng)卡上設(shè)置VIP，這是因為，要讓RS能夠處理目標(biāo)地址為VIP的ip包，首先必須要讓RS能夠收到這個包，而在lo上設(shè)置vip是能夠完成接受包，并且返回給客戶端的。但是如果我是設(shè)置在出口網(wǎng)卡上，則會影響客戶端的arp request，以至于整個load balance都不能正常工作。我一開始就是在eth0上設(shè)置了VIP，結(jié)果刷新頁面的時候，總是無法實現(xiàn)交替，查看了半天配置都沒問題，一下子糾結(jié)了快兩周。悲催死了。（自己實在太拘泥細(xì)節(jié)了，

28、這樣太耗費時間。）不過這里我還是有些疑問的，等以后有時間了，在慢慢研究2、關(guān)閉arp響應(yīng)在很多情形下realserver有網(wǎng)口連接到load balancer請求進(jìn)入網(wǎng)口所連接的交換機，VIP地址在LVS/DR和LVS/TUN集群中為load balancer和所有realserver共享的。若有ARP請求詢問VIP地址，load balancer和其他real server都作響應(yīng)，就會亂套了，所以要關(guān)閉。如果Real-server有個多個網(wǎng)卡，每個網(wǎng)卡在不同的網(wǎng)段，那么可以過濾掉非本網(wǎng)卡ARP請求的回應(yīng)；但是如果多個網(wǎng)卡的ip在一個網(wǎng)段，那么就不行了，比如本例就不行rootclient10

29、3 home# vim /etc/sysctl.confnet.ipv4.conf.lo.arp_announce = 2net.ipv4.conf.lo.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2net.ipv4.conf.all.arp_ignore = 1rootclient103 home# sysctl p /讓更改的配置立即生效net.ipv4.ip_forward = 0net.ipv4.conf.default.rp_filter = 1net.ipv4.conf.default.accept_source_route =

30、0kernel.sysrq = 0kernel.core_uses_pid = 1net.ipv4.tcp_syncookies = 1kernel.msgmnb = 65536kernel.msgmax = 65536kernel.shmmax = 4294967295kernel.shmall = 268435456net.ipv4.conf.lo.arp_announce = 2net.ipv4.conf.lo.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2net.ipv4.conf.all.arp_ignore = 1其實對lo的可以不

31、用，因為arp對邏輯接口沒有意義，但如果如果你的RS的外部網(wǎng)絡(luò)接口是eth0，那么下面的兩個則是必須的。net.ipv4.conf.all.arp_announce = 2net.ipv4.conf.all.arp_ignore = 1當(dāng)然，也可以寫成：net.ipv4.conf.eth0.arp_announce = 2net.ipv4.conf.eth0.arp_ignore = 1-另外一個realserver端配置和此一模一樣。到這里基本的配置就已經(jīng)完成了，我們啟動兩個real server 的http服務(wù)后，在用戶端的web頁面上輸入22頁面后，就可以看到兩臺r

32、eal server 提供服務(wù)的輪叫。 Ok，到這里我們用ipvsadm進(jìn)行配置就已經(jīng)都o(jì)k了，現(xiàn)在我們對兩臺realserver開啟web服務(wù)，通過在客戶端刷新22這個網(wǎng)址，就可以實現(xiàn)不同頁面的輪回，以實現(xiàn)負(fù)載均衡。圖上畫圈的說明我再刷新頁面的時候，已經(jīng)實現(xiàn)了輪回名詞解釋：arp_ignore:定義對目標(biāo)地址為本地IP的ARP詢問不同的應(yīng)答模式00 - (默認(rèn)值): 回應(yīng)任何網(wǎng)絡(luò)接口上對任何本地IP地址的arp查詢請求1 - 只回答目標(biāo)IP地址是來訪網(wǎng)絡(luò)接口本地地址的ARP查詢請求2 -只回答目標(biāo)IP地址是來訪網(wǎng)絡(luò)接口本地地址的ARP查詢請求,且來訪IP必須在該網(wǎng)絡(luò)接口的子網(wǎng)段內(nèi)3 - 不回應(yīng)該網(wǎng)絡(luò)界面的arp請求，而只對設(shè)置的唯一和連接地址做出回應(yīng)4-7 - 保留未使用8 -不回應(yīng)所有（本地地址）的arp查詢 arp_announce - INTEGER對網(wǎng)絡(luò)接口上，本地IP地址的發(fā)出的，ARP回應(yīng)，作出相應(yīng)級別的限制:  確定不同程度的限制,宣布對來自本地源IP地址發(fā)出Arp請求的接口0