Hadoop平臺搭建與應(yīng)用（第2版）（微課版）-課后習(xí)題及答案 項(xiàng)目3

Hadoop平臺搭建與應(yīng)用項(xiàng)目2Hive環(huán)境搭建與基本操作PAGE68PAGE69Zookeeper集群中有哪些角色？在一個(gè)集群中，最少需要3臺?；蛘弑ＷC2N+1臺，保證集群中有奇數(shù)臺的主要原因是為了選舉算法。Zookeeper集群是一個(gè)主從集群，它一般是由一個(gè)Leader(領(lǐng)導(dǎo)者)和多個(gè)Follower(跟隨者)組成。此外，針對訪問量比較大的Zookeeper集群，還可新增Observer(觀察者)。Zookeeper集群中的三種角色各司其職，共同完成分布式協(xié)調(diào)服務(wù)，如下圖所示。Zookeeper集群架構(gòu)圖（1）Leader它是Zookeeper集群工作的核心，也是事務(wù)性請求(寫操作)的唯一調(diào)度和處理者，它保證集群事務(wù)處理的順序性，同時(shí)負(fù)責(zé)進(jìn)行投票的發(fā)起和決議，以及更新系統(tǒng)狀態(tài)。（2）Follower它負(fù)責(zé)處理客戶端的非事務(wù)(讀操作)請求，如果接收到客戶端發(fā)來的事務(wù)性請求，則會轉(zhuǎn)發(fā)給Leader，讓Leader進(jìn)行處理，同時(shí)還負(fù)責(zé)在Leader選舉過程中參與投票。（3）Observer它負(fù)責(zé)觀察Zookeeper集群的最新狀態(tài)的變化，并且將這些狀態(tài)進(jìn)行同步。對于非事務(wù)性請求可以進(jìn)行獨(dú)立處理;對于事務(wù)性請求，則會轉(zhuǎn)發(fā)給Leader服務(wù)器進(jìn)行處理。它不會參與任何形式的投票，只提供非事務(wù)性的服務(wù)，通常用于在不影響集群事務(wù)處理能力的前提下，提升集群的非事務(wù)處理能力(提高集群讀的能力，也降低了集群選主的復(fù)雜程度)。什么是Zookeeper中的腦裂？對于Zookeeper來說有一個(gè)重要問題，就是根據(jù)什么來判斷一個(gè)節(jié)點(diǎn)死亡(down掉)了？Zookeeper通過內(nèi)部心跳機(jī)制來確定leader的狀態(tài)，一旦leader出現(xiàn)意外Zookeeper能很快獲悉并且通知其他的follower，其他follower在之后作出相關(guān)反應(yīng)，這樣就完成了一個(gè)切換，這種模式也是比較通用的模式。但是這里面有個(gè)很嚴(yán)重的問題，因?yàn)樾奶霈F(xiàn)超時(shí)可能是leader掛了，也可能是zookeeper節(jié)點(diǎn)之間網(wǎng)絡(luò)出現(xiàn)了問題，導(dǎo)致leader假死的情況，leader其實(shí)并未死掉，但是由于假死會發(fā)起新的leader選舉，選舉出一個(gè)新的leader，但舊的leader網(wǎng)絡(luò)又通了，導(dǎo)致出現(xiàn)了兩個(gè)leader，有的客戶端連接到老的leader，而有的客戶端則連接到新的leader。這樣就會出現(xiàn)很嚴(yán)重問題。Zookeeper是如何解決腦裂問題的？要解決Split-Brain腦裂的問題，一般有下面幾種種方法：（1）Quorums(法定人數(shù))方式:比如3個(gè)節(jié)點(diǎn)的集群，Quorums=2,也就是說集群可以容忍1個(gè)節(jié)點(diǎn)失效，這時(shí)候還能選舉出1個(gè)leader，集群還可用。比如4個(gè)節(jié)點(diǎn)的集群，它的Quorums=3，Quorums要超過3，相當(dāng)于集群的容忍度還是1，如果2個(gè)節(jié)點(diǎn)失效，那么整個(gè)集群還是無效的。這是zookeeper防止"腦裂"默認(rèn)采用的方法。（2）Redundantcommunications(冗余通信)方式：集群中采用多種通信方式，防止一種通信方式失效導(dǎo)致集群中的節(jié)點(diǎn)無法通信。4.Zookeeper有哪幾種部署模式？Zookeeper有三種部署模式：（1）單機(jī)部署：一臺集群上運(yùn)行；（2）偽集群部署：一臺集群啟動多個(gè)Zookeeper實(shí)例運(yùn)行。（3）集群部署：多臺集群運(yùn)行；5.Zookeeper的工作原理？Zookeeper的核心是原子廣播，這個(gè)機(jī)制保證了各個(gè)Server之間的同步。實(shí)現(xiàn)這個(gè)機(jī)制的協(xié)議叫做Zab協(xié)議。Zab協(xié)議有兩種模式，它們分別是恢復(fù)模式（選主）和廣播模式（同步）。Zab協(xié)議的全稱是ZookeeperAtomicBroadcast（Zookeeper原子廣播）。Zookeeper是通過Zab協(xié)議來保證分布式事務(wù)的最終一致性。Zab協(xié)議要求每個(gè)Leader都要經(jīng)歷三個(gè)階段：發(fā)現(xiàn)，同步，廣播。當(dāng)服務(wù)啟動或者在領(lǐng)導(dǎo)者崩潰后，Zab就進(jìn)入了恢復(fù)模式，當(dāng)領(lǐng)導(dǎo)者被選舉出來，且大多數(shù)Server完成了和leader的狀態(tài)同步以后，恢復(fù)模式就結(jié)束了。狀態(tài)同步保證了leader和Server具有相同的系統(tǒng)狀態(tài)。為了保證事務(wù)的順序一致性，zookeeper采用了遞增的事務(wù)id號（zxid）來標(biāo)識事務(wù)。所有的提議（proposal）都在被提出的時(shí)候加上了zxid。實(shí)現(xiàn)中zxid是一個(gè)64位的數(shù)字，它高32位是epoch用來標(biāo)識leader關(guān)系是否改變，每次一個(gè)leader被選出來，它都會有一個(gè)新的epoch，標(biāo)識當(dāng)前屬于那個(gè)leader的時(shí)期。低32位用于遞增計(jì)數(shù)。每個(gè)Server在工作過程中有四種狀態(tài)：LOOKING：當(dāng)前Server不知道leader是誰，正在