Hadoop面試題匯總

1、單選題1. 下面哪個(gè)程序負(fù)責(zé)數(shù)據(jù)存儲(chǔ)。a) b) c) d) e)答案 C2. 中的 默認(rèn)保存幾份？a)3 份 b)2 份 c)1 份 d) 不確定答案A默認(rèn)3分3. 下列哪個(gè)程序通常與在一個(gè)節(jié)點(diǎn)啟動(dòng)？a) b) c) d)答案 D4. 作者a) b) c)答案 C5. 默認(rèn)a)32 b)64 c)128答案： 1 版本是 64M2 版本是128M6. 下列哪項(xiàng)通常是集群的最主要瓶頸a) b) 網(wǎng)絡(luò) c) 磁盤 d) 內(nèi)存答案：C磁盤7. 所創(chuàng)立的項(xiàng)目的名稱都受到其家人的啟發(fā)，以下項(xiàng)目不是由他創(chuàng)立的項(xiàng)目是A8.CD答案： D8. 配置時(shí)，包含在哪一個(gè)配置文件中A8CD答案： B9 配置文件中，

2、顯示覆蓋里的內(nèi)容。在版本0.20 中，被分離成三個(gè)文件，不包括ABCD答案： A10默認(rèn)的當(dāng)前工作目錄是$，的值需要在哪個(gè)配置文件內(nèi)說明A.B.C.D. 以上均不是答案： B11. 關(guān)于單機(jī)模式和偽分布式模式的說法，正確是A兩者都起守護(hù)進(jìn)程，且守護(hù)進(jìn)程運(yùn)行在一臺(tái)機(jī)器上8 單機(jī)模式不使用，但加載守護(hù)進(jìn)程C兩者都不與守護(hù)進(jìn)程交互，避免復(fù)雜性D后者比前者增加了輸入輸出以及可檢查內(nèi)存使用情況答案：D12. 下列關(guān)于的說法錯(cuò)誤的是A的文件不是通用的，只用于文件系統(tǒng)B類的默認(rèn)實(shí)例化方法是以系統(tǒng)的資源配置為基礎(chǔ)的13 / 33C對(duì)象存儲(chǔ)文件和目錄的元數(shù)據(jù)D是的子類答案：A13的負(fù)責(zé)管理文件系統(tǒng)的命名空間，將

3、所有的文件和文件夾的元數(shù)據(jù)保存在一個(gè)文件系統(tǒng)樹中，這些信息也會(huì)在硬盤上保存成以下文件：A.日志B.命名空間鏡像C.兩者都是答案： C14 . 的保存了一個(gè)文件包括哪些數(shù)據(jù)塊，分布在哪些數(shù)據(jù)節(jié)點(diǎn)上，這些信息也存儲(chǔ)在硬盤上。A.正確B.錯(cuò)誤答案： B知識(shí)點(diǎn)：在系統(tǒng)啟動(dòng)的時(shí)候從數(shù)據(jù)節(jié)點(diǎn)收集而成的15 就是出現(xiàn)問題時(shí)的備用節(jié)點(diǎn)A 正確B.錯(cuò)誤答案： B知識(shí)點(diǎn)：它和元數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)不同的事情。其主要功能就是周期性將元數(shù)據(jù)節(jié)點(diǎn)的命名空間鏡像文件和修改日志合并，以防日志文件過大。合并過后的命名空間鏡像文件也在 保存了一份，以防失敗的時(shí)候，可以恢復(fù)。16的是基于流數(shù)據(jù)模式訪問和處理超大文件的需求而開發(fā)的，默認(rèn)的

4、最基本的存儲(chǔ)單位是 64M,具有高容錯(cuò)、高可靠性、高 可擴(kuò)展性、高吞吐率等特征，適合的讀寫任務(wù)是A. 一次寫入，少次讀寫B(tài).多次寫入，少次讀寫C. 一次寫入，多次讀寫D多次寫入，多次讀寫答案： C17無法高效存儲(chǔ)大量小文件，想讓它能處理好小文件，比較可行的改進(jìn)策略不包括A利用、等方式歸檔小文件B多設(shè)計(jì)C大小適當(dāng)調(diào)小D調(diào)大內(nèi)存或?qū)⑽募到y(tǒng)元數(shù)據(jù)存到硬盤里答案：D18. 關(guān)于的文件寫入，正確的是A支持多用戶對(duì)同一文件的寫操作B用戶可以在文件任意位置進(jìn)行修改C默認(rèn)將文件塊復(fù)制成三份存放D復(fù)制的文件塊默認(rèn)都存在同一機(jī)架上答案：C19 中的和命令操作對(duì)象是A文件B目錄C兩者都是答案：C20 在啟動(dòng)時(shí)自動(dòng)

5、進(jìn)入安全模式，在安全模式階段，說法錯(cuò)誤的是A安全模式目的是在系統(tǒng)啟動(dòng)時(shí)檢查各個(gè)上數(shù)據(jù)塊的有效性B根據(jù)策略對(duì)數(shù)據(jù)塊進(jìn)行必要的復(fù)制或刪除C當(dāng)數(shù)據(jù)塊最小百分比數(shù)滿足的最小副本數(shù)條件時(shí)，會(huì)自動(dòng)退出安全模式D文件系統(tǒng)允許有修改答案：D21. 下列關(guān)于為存儲(chǔ)并行切分和處理的數(shù)據(jù)做的設(shè)計(jì)，錯(cuò)誤的是A 擴(kuò)展了以支持隨機(jī)讀B 為實(shí)現(xiàn)細(xì)粒度并行，輸入分片 ( )應(yīng)該越小越好C 一臺(tái)機(jī)器可能被指派從輸入文件的任意位置開始處理一個(gè)分片D 輸入分片是一種記錄的邏輯劃分，而數(shù)據(jù)塊是對(duì)輸入數(shù)據(jù)的物理分割答案： B多選題1. 關(guān)于哪項(xiàng)是正確的？a) 它是的熱備b) 它對(duì)內(nèi)存沒有要求c) 它的目的是幫助合并編輯日志，減少啟動(dòng)時(shí)

6、間d) 應(yīng)與 部署到一個(gè)節(jié)點(diǎn)答案 C D2. 下列哪項(xiàng)可以作為集群的管理？a) b) c) d)答案1：3. 配置機(jī)架感知的下面哪項(xiàng)正確a) 如果一個(gè)機(jī)架出問題，不會(huì)影響數(shù)據(jù)讀寫b) 寫入數(shù)據(jù)的時(shí)候會(huì)寫到不同機(jī)架的中c) 會(huì)根據(jù)機(jī)架獲取離自己比較近的網(wǎng)絡(luò)數(shù)據(jù)答案具體可以參考機(jī)架感知加強(qiáng)集群穩(wěn)固性，該如何配置機(jī)架感知4. 端上傳文件的時(shí)候下列哪項(xiàng)正確a) 數(shù)據(jù)經(jīng)過傳遞給b) 端將文件切分為，依次上傳c) 只上傳數(shù)據(jù)到一臺(tái)，然后由負(fù)責(zé) 復(fù)制工作答案 B5. 下列哪個(gè)是運(yùn)行的模式a) 單機(jī)版 b) 偽分布式c) 分布式答案6. 提供哪幾種安裝的方法a) b) c) d)答案：具體可以參考四種安裝方式

7、總結(jié)及實(shí)例指導(dǎo)簡(jiǎn)答題1. 集群可以運(yùn)行的3 個(gè)模式？1） 單機(jī)（本地）模式;2） 偽分布式模式;3） 全分布式模式;2. 單機(jī)（本地）模式中的注意點(diǎn)？在單機(jī)模式（） 中不會(huì)存在守護(hù)進(jìn)程，所有東西都運(yùn)行在一個(gè)上。 這里同樣沒有，使用的是本地文件系統(tǒng)。單機(jī)模式適用于開發(fā)過程中運(yùn)行程序，這也是最少使用的一個(gè)模式。3. 偽分布模式中的注意點(diǎn)？偽分布式 （） 適用于開發(fā)和測(cè)試環(huán)境，在這個(gè)模式中，所有守護(hù)進(jìn)程都在同一臺(tái)機(jī)器上運(yùn)行。4. 全分布模式又有什么注意點(diǎn)？全分布模式通常被用于生產(chǎn)環(huán)境，這里我們使用N 臺(tái)主機(jī)組成一個(gè)集群，守護(hù)進(jìn)程運(yùn)行在每臺(tái)主機(jī)之上。這里會(huì)存在運(yùn)行的主機(jī)，運(yùn)行的主機(jī)，以及運(yùn)行的主機(jī)。在

8、分布式環(huán)境下，主節(jié)點(diǎn)和從節(jié)點(diǎn)會(huì)分開。5. 是否遵循模式？是的，在用例下，還擁有“”目錄。6. 的核心配置是什么？的核心配置通過兩個(gè)文件來完成：1， ； 2， 。 這些文件都使用格式， 因此每個(gè)中都有一些屬性，包括名稱和值，但是當(dāng)下這些文件都已不復(fù)存在。7. 那當(dāng)下又該如何配置？現(xiàn)在擁有3 個(gè)配置文件：1，；2，；3，。這些文件都保存在子目錄下。8. 只是單一的目錄？只是一個(gè)目錄。9. 的 3 個(gè)主要屬性？決定的是元數(shù)據(jù)存儲(chǔ)的路徑以及的存儲(chǔ)方式（磁盤或是遠(yuǎn)端）決定的是數(shù)據(jù)存儲(chǔ)的路徑用于第二10. 如何退出輸入模式？退出輸入的方式有：1， 按；2， 鍵入 （如果你沒有輸入任何當(dāng)下）或者鍵入（如果你

9、已經(jīng)輸入當(dāng)下），并且按下。11. “”命令的用處？這個(gè)命令可以檢查、 是否正常工作。12. 如何重啟？點(diǎn)擊，再點(diǎn)擊。鍵入 （），（），（），及0.20 （）。13. 的全名？全名是：。14. 命令的作用？可以讓你知道哪個(gè)節(jié)點(diǎn)是。15. 命令的作用是？說明了守護(hù)進(jìn)程（服務(wù)）的位置或狀態(tài)，其實(shí)是特性，和關(guān)系不大。16. 如何在瀏覽器中查找？如果你確實(shí)需要在瀏覽器中查找，你不再需要:8021 ，的端口號(hào)是50070。提供了中. 的運(yùn)行環(huán)境。18. 文件是否提供了多個(gè)入口？是的你可以擁有多個(gè)文件接口。19. 文件當(dāng)下的位置？現(xiàn)在位于。20. 在中，代表了什么？代表了“ ”。21. 用于做什么？用來存儲(chǔ)

10、。22. 需求什么樣的網(wǎng)絡(luò)？核心使用（）來驅(qū)動(dòng)從節(jié)點(diǎn)上的服務(wù)器進(jìn)程，并在主節(jié)點(diǎn)和從節(jié)點(diǎn)之間使用連接。23. 全分布式環(huán)境下為什么需求？這主要因?yàn)榧褐型ㄐ胚^于頻繁，需要盡可能快的給發(fā)布任務(wù)。24. 工作的端口號(hào)是？工作的端口號(hào)是.22， 當(dāng)然可以通過它來配置，22是默認(rèn)的端口號(hào)。25. 為什么本地主機(jī)需要密碼？在中使用密碼主要是增加安全性，在某些情況下也根本不會(huì)設(shè)置密碼通信。26. 如果在中添加，是否還需要設(shè)置密碼？是的，即使在中添加了，還是需要設(shè)置密碼。27. 假如中沒有數(shù)據(jù)會(huì)怎么樣？沒有數(shù)據(jù)的就不能稱之為，通常情況下，肯定會(huì)有數(shù)據(jù)28. 當(dāng) 宕掉時(shí)，會(huì)發(fā)生什么？當(dāng) 失敗時(shí)，集群仍然可以正常

11、工作，只要沒問題。29. 是否可以在上運(yùn)行？你最好不要這么做，或者是才是的最佳操作系統(tǒng)。在安裝中， 通常不會(huì)被使用，因?yàn)闀?huì)出現(xiàn)各種各樣的問題。因此， 絕對(duì)不是的推薦系統(tǒng)。30. 簡(jiǎn)要描述如何安裝配置一個(gè)開源版，描述即可，列出步驟更好1. 配置主機(jī)名2. 配置4. 安裝5. 安裝6. 配置(1) 修改(2) 修改(3) 修改(4) 修改(5) 修改(6) 修改7. 配置的環(huán)境變量8. 格式化32 . 請(qǐng)列出正常工作的集群中都需要啟動(dòng)哪些進(jìn)程，他們的作用3. 配置面密碼互通17 / 33分別是什么？名字節(jié)點(diǎn)，存儲(chǔ)元數(shù)據(jù)輔助實(shí)現(xiàn)文件和文件的合弁存儲(chǔ)數(shù)據(jù)的節(jié)點(diǎn)負(fù)責(zé)集群中所有資源的統(tǒng)一管理和分，它接收來

12、自各個(gè)節(jié)點(diǎn)（）的資源匯報(bào)信息，弁把這些信息按照一定的策略分配給各個(gè)應(yīng)用 程序是中每個(gè)節(jié)點(diǎn)上的代理，它管理集群中單個(gè)計(jì)算節(jié)點(diǎn)，包括與 保持通信，監(jiān)督的生命周期管理，監(jiān)控每個(gè)的資源使用（內(nèi)存、 等）情況，追蹤節(jié)點(diǎn)健康狀況，管理日志和不同應(yīng)用程序用到的 附屬服務(wù)（）33 .請(qǐng)寫出以下執(zhí)行命令1）殺死一個(gè)？一2）刪除上的目錄3加入一個(gè)新的存儲(chǔ)節(jié)點(diǎn)和刪除一個(gè)計(jì)算節(jié)點(diǎn)需要刷新集群狀態(tài) 命令？5 .請(qǐng)列出你所知道的調(diào)度器，弁簡(jiǎn)要說明其工作方法？（1）默認(rèn)的調(diào)度器(2)計(jì)算能力調(diào)度器(3)公平調(diào)度器(4)適用于異構(gòu)集群的調(diào)度器(5)適用于實(shí)時(shí)作業(yè)的調(diào)度器和6 .請(qǐng)列出在你以前工作中所使用過的開發(fā)的語言?7 .

13、當(dāng)前日志采樣格式為34有哪些方式保存元數(shù)據(jù)，各有哪些特點(diǎn)？原生使用作為元數(shù)據(jù)庫，無法弁發(fā)調(diào)用可以將元數(shù)據(jù)保存在數(shù)據(jù)庫中遠(yuǎn)程服務(wù)器模式，在服務(wù)器端啟動(dòng)一個(gè)，客戶端利用 協(xié)議通過訪問元數(shù)據(jù)庫35 .請(qǐng)簡(jiǎn)述怎么樣實(shí)現(xiàn)二級(jí)排序？有兩種方法進(jìn)行二次排序，分別為：和。對(duì)于 ，主要思想是：在()函數(shù)中，將某個(gè)對(duì)應(yīng)的所有保 存下來，然后進(jìn)行排序。這種方法最大的缺點(diǎn)是：可能會(huì)造成對(duì)于，主要思想是：將和部分拼接成一個(gè)組合(實(shí)現(xiàn)接口或 者調(diào)用函數(shù))，這樣獲取的結(jié)果便是先按排序， 后按排序的結(jié)果, 需要注意的是，用戶需要自己實(shí)現(xiàn)，以便只按照進(jìn)行數(shù)據(jù)劃分36 . 簡(jiǎn)述實(shí)現(xiàn)的幾種方法？2.1是一種最簡(jiǎn)單的方式，其主要思想

14、如下：在階段，函數(shù)同時(shí)讀取兩個(gè)文件1 和2，為了區(qū)分兩種來源的數(shù)據(jù)對(duì)，對(duì)每條數(shù)據(jù)打一個(gè)標(biāo)簽（）, 比如： 0 表示來自文件1， 2表示來自文件2。即：階段的主要任務(wù)是對(duì)不同文件中的數(shù)據(jù)打標(biāo)簽。在階段，函數(shù)獲取相同的來自1 和 2 文件的 ， 然后對(duì)于同一個(gè)，對(duì) 1 和 2 中的數(shù)據(jù)進(jìn)行（笛卡爾乘積）。即：階段進(jìn)行實(shí)際的連接操作。2.2之所以存在，是因?yàn)樵陔A段不能獲取所有需要的字段，即：同一個(gè)對(duì)應(yīng)的字段可能位于不同中。是非常低效的，因?yàn)殡A段要進(jìn)行大量的數(shù)據(jù)傳輸。是針對(duì)以下場(chǎng)景進(jìn)行的優(yōu)化：兩個(gè)待連接表中，有一個(gè)表非常大，而另一個(gè)表非常小，以至于小表可以直接存放到內(nèi)存中。這樣，我們可以將小表復(fù)制多份

15、，讓每個(gè)內(nèi)存中存在一份（比如存放到 中），然后只掃描大表：對(duì)于大表中的每一條記錄，在中查找是否有相同的的記錄，如果有，則連接后輸出即可。為了支持文件的復(fù)制，提供了一個(gè)類，使用該類的方法如下：（ 1 ）用戶使用靜態(tài)方法（） 指定要復(fù)制的文件，它的參數(shù)是文件的(如果是上的文件，可以這樣：:9000 ，其中 9000是自己配置的端口號(hào))。在作業(yè)啟動(dòng)之前會(huì)獲取這個(gè)列表，并將相應(yīng)的文件拷貝到各個(gè)的本地磁盤上。( 2) 用戶使用() 方法獲取文件目錄，并使用標(biāo)準(zhǔn)的文件讀寫讀取相應(yīng)的文件。2.3，也叫半連接，是從分布式數(shù)據(jù)庫中借鑒過來的方法。它的產(chǎn)生動(dòng)機(jī)是：對(duì)于，跨機(jī)器的數(shù)據(jù)傳輸量非常大，這成了操作的一個(gè)瓶

16、頸， 如果能夠在端過濾掉不會(huì)參加操作的數(shù)據(jù)，則可以大大節(jié)省網(wǎng)絡(luò)。實(shí)現(xiàn)方法很簡(jiǎn)單：選取一個(gè)小表，假設(shè)是1，將其參與的抽取出來，保存到文件3 中， 3 文件一般很小，可以放到內(nèi)存中。在階段， 使用將 3 復(fù)制到各個(gè)上，然后將 2 中不在 3 中的對(duì)應(yīng)的記錄過濾掉，剩下的階段的工作與相同。2.4 +在某些情況下，抽取出來的小表的集合在內(nèi)存中仍然存放不下，這時(shí)候可以使用以節(jié)省空間。最常見的作用是：判斷某個(gè)元素是否在一個(gè)集合里面。它最重要的兩個(gè)方法是：() 和 () 。最大的特點(diǎn)是不會(huì)存在，即：如果()返回， 則該元素一定不在集合中，但會(huì)存在一定的， 即： 如果 ()返回，則該元素可能在集合中。因而可將

17、小表中的保存到中，在階段過濾大表，可能有一些不在小表中的記錄沒有過濾掉(但是在小表中的記錄一定不會(huì)過濾掉)，這沒關(guān)系，只不過增加了少量的網(wǎng)絡(luò)而已。37. 請(qǐng)用實(shí)現(xiàn)非遞歸二分查找？( )第一個(gè)位置.0;最高位置. 數(shù)組長(zhǎng)度-1, 因?yàn)橄聵?biāo)是從0 開始的 .1;當(dāng) 指針 和不重復(fù)的時(shí)候.(1);與最中間的數(shù)字進(jìn)行判斷, 是否相等, 相等的話就返回對(duì)應(yīng)的數(shù)組下標(biāo).()如果小于的話則移動(dòng)最高層的 指針 ()1;移動(dòng)最低的 指針 21 / 331;-1;38.請(qǐng)簡(jiǎn)述中，作用？:分區(qū)操作是操作中的一個(gè)重要過程，作用就是將的結(jié)果按照 規(guī)則分發(fā)到不同中進(jìn)行處理，從而按照分區(qū)得到多個(gè)輸出結(jié)果 :每一個(gè)可能會(huì)產(chǎn)生

18、大量的輸出，的作用就是在端對(duì)輸出先做 一次合弁，以減少傳輸?shù)降臄?shù)據(jù)量39用如何處理數(shù)據(jù)傾斜問題1 .增加的內(nèi)存2 .增加個(gè)數(shù)3 .4 .其他優(yōu)化的討論.5 .排序算法的討論6 .正在實(shí)現(xiàn)中的.7 .8 .9.尤其是23 / 3340 中內(nèi)部表和外部表的區(qū)別內(nèi)部表現(xiàn)有表后有數(shù)據(jù)，數(shù)據(jù)在的目錄下管理外部表先有數(shù)據(jù)后有表，數(shù)據(jù)不再的目錄下管理刪除表時(shí)，內(nèi)部表對(duì)應(yīng)文件被刪除刪除表時(shí)，外部表對(duì)應(yīng)的文件不會(huì)被刪除41 用使用非遞歸二分查找參看題 3742 如何處理大量小文件（ 1）或者，是一個(gè)高效地將小文件放入塊中的文件存檔工具，它能夠?qū)⒍鄠€(gè)小文件打包成一個(gè)文件，這樣在減少內(nèi)存使用的同時(shí)，仍然允許對(duì)文件進(jìn)

19、行透明的訪問。對(duì)某個(gè)目錄下的所有小文件存檔成：當(dāng)然，也可以指定的大?。?使用 ） 。是在 之上的一個(gè)文件系統(tǒng)，因此所有命令對(duì)文件均可用，只不過是文件路徑格式不一樣，的訪問路徑可以是以下兩種格式：（ 本節(jié)點(diǎn) ）可以這樣查看文件存檔中的文件：輸出：12使用時(shí)需要兩點(diǎn)，第一，對(duì)小文件進(jìn)行存檔后，原文件并不會(huì)自動(dòng)被刪除，需要用戶自己刪除；第二，創(chuàng)建文件的過程實(shí)際上是在運(yùn)行一個(gè)作業(yè)，因而需要有一個(gè)集群運(yùn)行此命令。此外，還有一些缺陷：第一，一旦創(chuàng)建，便不可改變。要增加或移除里面的文件，必須重新創(chuàng)建歸檔文件。第二，要?dú)w檔的文件名中不能有空格，否則會(huì)拋出異常，可以將空格用其他符號(hào)替換 （ 使用 和參數(shù) ） 。

20、（ 2）由一系列的二進(jìn)制組成，如果為小文件名，為文件內(nèi)容，則可以將大批小文件合并成一個(gè)大文件。0.21.0 中提供了，包括，和類進(jìn)行寫，讀和排序操作。如果版本低于 0.21.0 的版本，實(shí)現(xiàn)方法可參見3 。27 / 338）是一種新的，用于將多個(gè)文件合弁成一個(gè)單獨(dú)的，另外，它會(huì) 考慮數(shù)據(jù)的存儲(chǔ)位置。43中的默認(rèn)保存幾份？3份44繼承那個(gè)類創(chuàng)建類繼承自己編寫一個(gè)方法，返回值和參數(shù)任意。45.請(qǐng)列出正常工作的集群中都需要啟動(dòng)哪些進(jìn)程，他們的作用 分別是什么？參看題3246、處理過程1）輸入文件（）2）格式化輸入文件（）3）分割器（）4）5）6）分區(qū)和洗牌（& ）9）格式化輸出（）47、流程參看題4

21、848、上傳細(xì)節(jié)使用提供的客戶端開發(fā)庫，向遠(yuǎn)程的發(fā)起請(qǐng)求；會(huì)檢查要?jiǎng)?chuàng)建的文件是否已經(jīng)存在，創(chuàng)建者是否有權(quán)限進(jìn) 行操作，成功則會(huì)為文件創(chuàng)建一個(gè)記錄， 否則會(huì)讓客戶端拋出異 常；當(dāng)客戶端開始寫入文件的時(shí)候，開發(fā)庫會(huì)將文件切分成多 個(gè)，弁在內(nèi)部以數(shù)據(jù)隊(duì)列的形式管理這些，弁向申清新的， 獲取用來存儲(chǔ)的合適的列表，列表的大小根據(jù)在中對(duì)的設(shè)置而定。開始以（管道）的形式將寫入所 有的中。開發(fā)庫把以流的 方式寫入第一個(gè)，該把該存儲(chǔ)之后，再將其傳遞給在此中的下一個(gè)，直到最后一個(gè)，這種寫數(shù)據(jù)的方式呈流水線的形式。最后一個(gè)成功存儲(chǔ)之后會(huì)返回一個(gè) ，在里傳遞至客戶端， 在客戶端的開發(fā)庫內(nèi)部維護(hù)著”,成功收到返回的 后

22、會(huì)從 移除相應(yīng)的。如果傳輸過程中，有某個(gè)出現(xiàn)了故障，那么當(dāng)前的會(huì)被關(guān)29 / 33閉，出現(xiàn)故障的會(huì)從當(dāng)前的中移除，剩余的會(huì)繼續(xù)剩下的中繼續(xù)以的形式傳輸，同時(shí)會(huì)分配一個(gè)新的，保持設(shè)定的數(shù)量。49、的做什么的是一個(gè)開放源碼的分布式協(xié)調(diào)服務(wù)，是一種典型的分布式數(shù)據(jù)一致性解決方案。由雅虎創(chuàng)建，貢獻(xiàn)給了。利用可以實(shí)現(xiàn)數(shù)據(jù)發(fā)布訂閱、負(fù)載均衡、命名服務(wù)、分布式協(xié)調(diào) / 通知、集群管理、分布式鎖、分布式隊(duì)列等功能。50、是什么是 4 提供的一種新的方式，也叫做非阻塞式，特點(diǎn)是可以在非阻塞模式下進(jìn)行工作，時(shí)都不會(huì)產(chǎn)生阻塞，從而可以解決在高并發(fā)場(chǎng)景下遇到的問題。51、的細(xì)節(jié)中的表在行的方向上分隔為多個(gè)，分散在不同

23、的中這樣做的目的是在查詢時(shí)可以將工作量分布到多個(gè)中以提高速度由 ） 表示是分布式存儲(chǔ)和負(fù)載均衡的最小單元要注意不在中，而是在的內(nèi)存中，在內(nèi)存 （其實(shí)也有數(shù)據(jù)在本地文件系統(tǒng)中，因?yàn)閮?nèi)存空間畢竟是有限的）中存儲(chǔ)數(shù)據(jù)以提高查詢性能，對(duì)于修改會(huì)將數(shù)據(jù)同步到中，以持久化數(shù)據(jù)。中的數(shù)據(jù)按照的字典順序（字典順序！ ！ ！先比較第一位25 / 33果相同再比較第二位。）按序存儲(chǔ)，所以當(dāng)以查詢數(shù)據(jù)時(shí)，可以提高速度。）按序存儲(chǔ)，所以當(dāng)以查詢數(shù)據(jù)時(shí),的分裂， 當(dāng)變的很大時(shí)會(huì)分裂成兩個(gè)，存放到不同的中，防止一個(gè)過大，導(dǎo)致查詢其中數(shù)據(jù)時(shí)速度很慢的系統(tǒng)結(jié)構(gòu)：主要有52、什么是分布式分布式處理則是將不同地點(diǎn)的，或具有不同功

24、能的，或擁有不同數(shù)據(jù)的多臺(tái)計(jì)算機(jī)通過通信網(wǎng)絡(luò)連接起來，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成大規(guī)模信息處理任務(wù)的計(jì)算機(jī)系統(tǒng)。53 函數(shù)式編程的好處：1. 代碼簡(jiǎn)潔，開發(fā)快速2. 接近自然語言，易于理解3. 更方便的代碼管理4. 易于“并發(fā)編程”5. 代碼的熱升級(jí)（函數(shù)式編程沒有副作用，只要保證接口不變，內(nèi)部實(shí)現(xiàn)是外部無關(guān)的。所以，可以在運(yùn)行狀態(tài)下直接升級(jí)代碼，不需要重啟，也不需要停機(jī)。）54 在中，比如啟動(dòng)，會(huì)打印很多日志，什么命令可以不顯示這些日志？ 可以通過在命令前增加上命令來實(shí)現(xiàn)55 的 加鎖是加部分鎖 是加的哪部分？數(shù)據(jù)分段上56 環(huán)形緩沖區(qū)集群搭配的作用和優(yōu)化？每個(gè)有一個(gè)環(huán)形內(nèi)存緩沖

25、區(qū)，用于存儲(chǔ)任務(wù)的輸出。默認(rèn)大小100（屬性），一旦達(dá)到閥值0.8（）, 一個(gè)后臺(tái)線程把內(nèi)容寫到（） 磁盤的指定目錄（）下的新建的一個(gè)溢出寫文件。寫磁盤前，要。 如果有后續(xù)的數(shù)據(jù)，將會(huì)繼續(xù)寫入環(huán)形緩沖區(qū)中，最終寫入下一個(gè)溢出文件中。環(huán)形緩沖區(qū)是一種緩沖區(qū)技術(shù)，通過首尾相接的方式循環(huán)使用緩沖區(qū)，解決了數(shù)據(jù)量過大時(shí)緩沖區(qū)大小過大的問題。57 、原理和所有的都可以提供查詢功能只有能夠提供增刪改的功能，如果客戶端連接表示要進(jìn)行增刪改，會(huì)將請(qǐng)求轉(zhuǎn)發(fā)給來處理。所有的增刪改的操作都會(huì)有一個(gè)版本號(hào)，這個(gè)版本號(hào)是遞增唯一的，用來記錄提案的順序。如何選老大？選老大情況1：集群剛啟動(dòng)時(shí)，誰當(dāng)老大都可以，一般是最先啟

26、動(dòng)的做老大選老大情況2：老大掛了，集群會(huì)暫時(shí)停止對(duì)外服務(wù)進(jìn)入選舉階段，所有都會(huì)廣播一個(gè)自己的所持有的最高版本給整個(gè)集群，當(dāng)大家收到其他發(fā)過來的最高版本信息后，就會(huì)進(jìn)行投票，投給收到的版本信息最高的，每個(gè)機(jī)器只能發(fā)一票，此時(shí)選擇集群中數(shù)據(jù)版本最高的機(jī)器做老大，任意一個(gè)當(dāng)發(fā)現(xiàn)自己收到了過半的投票（自己也可以投給自己）, 可以認(rèn)為獲得了選舉勝利，可以成為了。老大如何決定一個(gè)提案是否通過？如果老大自己說了算，那么如果剛好老大掛了，其他人不知道老大同一的提案，可能就造成新選出來的不知道之前老大同意過的提案，從而造成違反一致性。不可行如果老大把提案發(fā)給所有人，所有人都同意了才能通過提案，這時(shí)如果集群中任意

27、一臺(tái)機(jī)器出問題，投票都無法進(jìn)行，相當(dāng)于存在單節(jié)點(diǎn)故障的可能。不可取。折中一下，老大收到提案后，發(fā)給所有人，所有人收到后都要回復(fù)老大，當(dāng)老大收到過半同意的投票時(shí)，則通過這個(gè)提案。這樣一來，極端的情況下只要集群中有過半的機(jī)器還活著，選出來的老大是一定知道之前老大最后提案的。! 引申出來的結(jié)論是，集群必須過半存活才能正常工作！! 又引申出來的結(jié)論是，偶數(shù)臺(tái)機(jī)器提供的集群可靠性和偶數(shù) -1 臺(tái)機(jī)器提供的可靠性是相同的！所以集群中機(jī)器的數(shù)量最好是基數(shù)個(gè)。58、的可以存那些數(shù)據(jù)包括文件和之間關(guān)系的信息、數(shù)量信息、和之間的關(guān)系信息59 和傳統(tǒng)的面臨的問題：在執(zhí)行如下操作時(shí)會(huì)產(chǎn)生阻塞：在高并發(fā)場(chǎng)景下，如上的方

28、法產(chǎn)生的阻塞可能會(huì)產(chǎn)生一些無法避免的問題。在開發(fā)服務(wù)器程序時(shí)，通常針對(duì)于每一個(gè)客戶端都要?jiǎng)?chuàng)建一個(gè)線程來處理，而線程的開辟和運(yùn)行是相當(dāng)耗費(fèi)資源的，服務(wù)器能夠運(yùn)行的并發(fā)線程數(shù)量是很有限的。在高并發(fā)場(chǎng)景下，大量的客戶端并發(fā)連接導(dǎo)致服務(wù)器創(chuàng)建大量線程，會(huì)直接影響服務(wù)器的性能。 而一些場(chǎng)景下客戶端連接后傳輸?shù)臄?shù)據(jù)并不多，只是保持連接的狀態(tài)，此時(shí)創(chuàng)建的大量線程閑置著浪費(fèi)服務(wù)器資源。所以我們想到用少量的線程來處理多個(gè)客戶端的連接，但是這種方式下傳統(tǒng)會(huì)有阻塞的問題決定了是無法實(shí)現(xiàn)的。也叫做非阻塞式，特點(diǎn)是可以在非阻塞模式下進(jìn)行工作，時(shí)都不會(huì)產(chǎn)生阻塞，從而可以解決在高并發(fā)場(chǎng)景下遇到的問題。: 面向流操作的是字節(jié)

29、或字符流只能單向傳輸數(shù)據(jù)操作的是字節(jié)或字符: 面向通道操作的是緩沖區(qū)通道可以雙向的傳輸數(shù)據(jù)操作的是緩沖區(qū)60 聚類包括那些？一堆數(shù)據(jù)，怎么用聚類中的一個(gè)算法實(shí)現(xiàn)？算法接受輸入量k ；然后將n 個(gè)數(shù)據(jù)對(duì)象劃分為k 個(gè)聚類以便使得所獲得的聚類滿足：同一聚類中的對(duì)象相似度較高；而不同聚類中的對(duì)象相似度較小。聚類相似度是利用各聚類中對(duì)象的均值所獲得一個(gè)“中心對(duì)象”（引力中心）來進(jìn)行計(jì)算的。算法的工作過程說明如下：首先從 n 個(gè)數(shù)據(jù)對(duì)象任意選擇k 個(gè)對(duì)象作為初始聚類中心；而對(duì)于所剩下其它對(duì)象，則根據(jù)它們與這些聚類中心的相似度（距離），分別將它們分配給與其最相似的（聚類中心所代表的）聚類；然后再計(jì)算每個(gè)所獲新聚類的聚類中心（該聚類中所有對(duì)象的均值）；不斷重復(fù)這一過程直到標(biāo)準(zhǔn)測(cè)度函數(shù)開始收斂為止。. k 個(gè)聚類具有以下特點(diǎn)：各聚類本身盡可能的緊湊，而各聚類之間盡可能的分開。（中心法）有其缺點(diǎn)：產(chǎn)生類的大小相差不會(huì)很大，對(duì)于臟數(shù)據(jù)很敏感。改進(jìn)的算法：k方法。 這兒選取一個(gè)對(duì)象叫做來代替上面的中心的作用，這樣的一個(gè)就標(biāo)識(shí)了這個(gè)類。和不一樣的地方在于中心點(diǎn)的選取，在中， 我們將中心點(diǎn)取為當(dāng)前中所有數(shù)據(jù)點(diǎn)的平均值， 在 算法中， 我們將從當(dāng)前中選取這樣一個(gè)點(diǎn)它到