云計(jì)算課堂討論題

1、 如何理解分布式系統(tǒng)中的CAP定理？（一致性、可用性、分區(qū)容錯(cuò)性）CAP原則又稱CAP定理，指的是在一個(gè)分布式系統(tǒng)中，Consistency^一致性）、Availability（可用性）、Partitiontolerance（分區(qū)容錯(cuò)性），三者不可得兼。一致性（C）：在分布式系統(tǒng)中的所有數(shù)據(jù)備份，在同一時(shí)刻是否同樣的值。（等同于所有節(jié)點(diǎn)訪問同一份最新的數(shù)據(jù)副本），換句話就是說，任何時(shí)刻，所用的應(yīng)用程序都能訪問得到相同的數(shù)據(jù)。可用性（A）：在集群中一部分節(jié)點(diǎn)故障后，集群整體是否還能響應(yīng)客戶端的讀寫請求。（對數(shù)據(jù)更新具備高可用性），換句話就是說，任何時(shí)候，任何應(yīng)用程序都可以讀寫數(shù)據(jù)。分區(qū)容錯(cuò)性（P）：以實(shí)際效果而言，分區(qū)相當(dāng)于對通信的時(shí)限要求。系統(tǒng)如果不能在時(shí)限內(nèi)達(dá)成數(shù)據(jù)一致性，就意味著發(fā)生了分區(qū)的情況，必須就當(dāng)前操作在C和A之間做出選擇，換句話說，系統(tǒng)可以跨網(wǎng)絡(luò)分區(qū)線性的伸縮和擴(kuò)展。2、 云計(jì)算平臺（系統(tǒng)）的核心技術(shù)是虛擬化技術(shù)、服務(wù)計(jì)算（功能服務(wù)化、按需服務(wù)、按需收費(fèi)）、分布式技術(shù)（分布式存儲、分布式計(jì)算一分而治之）。如何理解？虛擬化是云計(jì)算最重要的核心技術(shù)之一，它為云計(jì)算服務(wù)提供基礎(chǔ)架構(gòu)層面的支撐，是ICT服務(wù)快速走向云計(jì)算的最主要驅(qū)動(dòng)力。從技術(shù)上講，虛擬化是一種在軟件中仿真計(jì)算機(jī)硬件，以虛擬資源為用戶提供服務(wù)的計(jì)算形式。旨在合理調(diào)配計(jì)算機(jī)資源，使其更高效地提供服務(wù)。它把應(yīng)用系統(tǒng)各硬件間的物理劃分打破，從而實(shí)現(xiàn)架構(gòu)的動(dòng)態(tài)化，實(shí)現(xiàn)物理資源的集中管理和使用。虛擬化的最大好處是增強(qiáng)系統(tǒng)的彈性和靈活性，降低成本、改進(jìn)服務(wù)、提高資源利用效率。服務(wù)計(jì)算（ServiceComputing）泛指以服務(wù)及其組合為基礎(chǔ)構(gòu)造應(yīng)用這一新開發(fā)范型相關(guān)的方法、技術(shù)、規(guī)范、理論和支撐環(huán)境分布式網(wǎng)絡(luò)存儲系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺存儲服務(wù)器分擔(dān)存儲負(fù)荷，利用位置服務(wù)器定位存儲信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。3、 Hadoop是開源（opensource）的云計(jì)算實(shí)現(xiàn)系統(tǒng)。你如何認(rèn)識開源產(chǎn)品和閉源產(chǎn)品？開源是一種生產(chǎn)軟件和發(fā)布軟件的方法。它只是一個(gè)執(zhí)行的范例。開源意味著沒有使用費(fèi)用；只要在幾個(gè)規(guī)則下，你就可以隨意使用，其中包括的發(fā)布規(guī)則在開源使用說明中已有描述。與閉源代碼產(chǎn)品（如Oracle公司或尤其是微軟公司）不同，其使用許可并不復(fù)雜。使用真正的開源代碼，你可以得到使用許可證移動(dòng)性，這意味著云計(jì)算使用許可中的一切。4、 Hadoop系統(tǒng)主要有哪四大模塊?相互關(guān)系如何?作為計(jì)算機(jī)類專業(yè)人士，如何利用好Hadoop提供的編程接口進(jìn)行Hadoop平臺上的二次開發(fā)？Hadoop架包括以下四個(gè)模塊:（p182）HadoopCommon這些是其他Hadoop模塊所需的Java庫和實(shí)用程序。這些庫提供文件系統(tǒng)和操作系統(tǒng)級抽象。井包含啟動(dòng)Hadoop所需的Java文件和腳本。HadoopYARN這是一個(gè)用于作業(yè)調(diào)度和集群資源管理的框架。HadoopDistributedFileSystem（HDFS）分布式文件系統(tǒng)，提供時(shí)應(yīng)用程序數(shù)據(jù)的高吞吐量訪間。HadoopMapReduce這是基于YARN的用于并行處理大數(shù)據(jù)集的系統(tǒng)。編程接口：（p202）2018.5.241、Hadoop2.0主要有哪些主要組件?記住主要的六個(gè)組件的功能。HDFS:如果您希望有4000多臺電腦處理您的數(shù)據(jù)，那么最好將您的數(shù)據(jù)分發(fā)給4000多臺電腦。HDFS可以幫助您做到這一點(diǎn)。HDFS有幾個(gè)可以移動(dòng)的部件。Datanodes存儲數(shù)據(jù)，Namenode跟蹤存儲的位置。還有其他部件，但這些已經(jīng)足以使您開始了。MapReduce:這是一個(gè)面向Hadoop的編程模型。有兩個(gè)階段，毫不意外，它們分別被稱為Map和Reduce。如果希望給您的朋友留下深刻的印象，那么告訴他們，Map和Reduce階段之間有一個(gè)隨機(jī)排序。JobTracker管理您的MapReduce作業(yè)的4000多個(gè)組件。TaskTracker從JobTracker接受訂單。如果您喜歡Java，那么用Java編寫代碼。如果您喜歡SQL或Java以外的其他語言，您的運(yùn)氣仍然不錯(cuò)，您可以使用一個(gè)名為HadoopStreaming的實(shí)用程序。Hive和Hue:如果您喜歡SQL，您會(huì)很高興聽到您可以編寫SQL，并使用Hive將其轉(zhuǎn)換為一個(gè)MapReduce作業(yè)。不，您不會(huì)得到一個(gè)完整的ANSI-SQL環(huán)境，但您的確得到了4000個(gè)注釋和多PB級的可擴(kuò)展性。Hue為您提供了一個(gè)基于瀏覽器的圖形界面，可以完成您的Hive工作。Pig:一個(gè)執(zhí)行MapReduce編碼的更高層次的編程環(huán)境。Pig語言被稱為PigLatin。您可能會(huì)發(fā)現(xiàn)其命名約定有點(diǎn)不合常規(guī)，但是您會(huì)得到令人難以置信的性價(jià)比和高可用性。Oozie:管理Hadoop工作流。這并不能取代您的調(diào)度程序或BPM工具，但它在您的Hadoop作業(yè)中提供if-then-else分支和控制。HBase:一個(gè)超級可擴(kuò)展的鍵值存儲。它的工作原理非常像持久的散列映射（對于Python愛好者，可以認(rèn)為是詞典）。盡管其名稱是HBase，但它并不是一個(gè)關(guān)系數(shù)據(jù)庫。Zookeeper:用于管理集群的同步性。2、 Hadoop部署版分為社區(qū)版和商用版（穩(wěn)定版），有何區(qū)別?主要是商用版有哪些?社區(qū)版Hadoop：Apache發(fā)布的一款支持?jǐn)?shù)據(jù)密集型分布式應(yīng)用并以Apache2.0許可協(xié)議發(fā)布的開源軟件框架。它支持在商品硬件構(gòu)建的大型集群上運(yùn)行的應(yīng)用程序;商用版Hadoop：第三方公司在社區(qū)版Hadoop基礎(chǔ)上進(jìn)行了一些修改、整合以及各個(gè)服務(wù)組件兼容性測試；當(dāng)前hadoop的發(fā)行版本除了Apache的開元版本之外，華為發(fā)行版、Intel發(fā)行版以及Cloudera發(fā)行版等。免費(fèi)的發(fā)行版則主要是國外的，比如Apache的發(fā)行版、Cloudera發(fā)行版等。3、 Zookeeper組件功能如何?工作原理如何？（p223）4、 Zooleeper、Hbase、Hive組件都提供了常用的兩種實(shí)驗(yàn)方法：Shell接口和編程接口。請舉例說明。（p225,p230,p237）在計(jì)算機(jī)中，虛擬化（Virtualization）是一種資源管理技術(shù)，是將計(jì)算機(jī)的各種實(shí)體資源，如服務(wù)器、網(wǎng)絡(luò)、內(nèi)存及存儲等，予以抽象、轉(zhuǎn)換后呈現(xiàn)出來，打破實(shí)體結(jié)構(gòu)間的不可切割的障礙，使用戶可以比原本的組態(tài)更好的方式來應(yīng)用這些資源。這些資源的新虛擬部份是不受現(xiàn)有資源的架設(shè)方式，地域或物理組態(tài)所限制。一般所指的虛擬化資源包括計(jì)算能力和資料存儲。在實(shí)際的生產(chǎn)環(huán)境中，虛擬化技術(shù)主要用來解決高性能的物理硬件產(chǎn)能過剩和老的舊的硬件產(chǎn)能過低的重組重用，透明化底層物理硬件，從而最大化的利用物理硬件。1、 比較VMware、Xen等虛擬化產(chǎn)品的關(guān)鍵技術(shù)，以及對云計(jì)算技術(shù)提供的支持。Xen是一個(gè)開放源代碼虛擬機(jī)監(jiān)視器，由劍橋大學(xué)開發(fā)。Xen的缺點(diǎn)是操作系統(tǒng)必須進(jìn)行顯式地修改（“移植”）以在Xen上運(yùn)行（但是提供對用戶應(yīng)用的兼容性），所以比較麻煩。使得Xen無需特殊硬件支持，就能達(dá)到高性能的虛擬化。Linux的官方內(nèi)核在較早之前已經(jīng)去掉了對Xen的支持。VMWare（VirtualMachineware）是一個(gè)“虛擬PC”虛擬機(jī)管理管理軟件。它的產(chǎn)品可以使你在一臺機(jī)器上同時(shí)運(yùn)行二個(gè)或更多Windows>DOS、LINUX系統(tǒng)。與“多啟動(dòng)”系統(tǒng)相比，VMWare采用了完全不同的概念。多啟動(dòng)系統(tǒng)在一個(gè)時(shí)刻只能運(yùn)行一個(gè)系統(tǒng)，在系統(tǒng)切換時(shí)需要重新啟動(dòng)機(jī)器。VMWare是真正“同時(shí)”運(yùn)行，多個(gè)操作系統(tǒng)在主系統(tǒng)的平臺上，就象標(biāo)準(zhǔn)Windows應(yīng)用程序那樣切換。而且每個(gè)操作系統(tǒng)你都可以進(jìn)行虛擬的分區(qū)、配置而不影響真實(shí)硬盤的數(shù)據(jù)，你甚至可以通過網(wǎng)卡將幾臺虛擬機(jī)用網(wǎng)卡連接為一個(gè)局域網(wǎng)，極其方便。安裝在VMware操作系統(tǒng)性能上比直接安裝在硬盤上的系統(tǒng)低不少，因此，比較適合學(xué)習(xí)和測試。是否開源是否免費(fèi)性能優(yōu)點(diǎn)缺點(diǎn)XEN是是高 1.性能較好。2.開源、免費(fèi) 操作復(fù)雜，維護(hù)成本較高，目前已被RedHat拋棄VMWare否否一般相對比較成熟的商業(yè)軟件，市場占有率較大 不開源，需要付費(fèi)2、 服務(wù)器虛擬化有哪些主要底層實(shí)現(xiàn)技術(shù)？（p252）3、虛擬機(jī)遷移的作用？ 簡述虛擬機(jī)遷移的主要步驟。（p253）4、 主要的開源虛擬化平臺有哪些？你準(zhǔn)備選擇哪一個(gè)作為重點(diǎn)學(xué)習(xí)和構(gòu)建云計(jì)算平臺？AbiCloud企業(yè)級開源云計(jì)算平臺、Eucalyptus開源云計(jì)算平臺、10genMongoDB開源高性能存儲平臺、.Enomalism彈性計(jì)算平臺、云計(jì)算平臺Nimbus、OpenStack開源虛擬化平臺（p269）1、 Openstack是什么？（p269）OpenStack是一個(gè)開源的云計(jì)算管理平臺項(xiàng)目，由幾個(gè)主要的組件組合起來完成具體工作。OpenStack支持幾乎所有類型的云環(huán)境，項(xiàng)目目標(biāo)是提供實(shí)施簡單、可大規(guī)模擴(kuò)展、豐富、標(biāo)準(zhǔn)統(tǒng)一的云計(jì)算管理平臺。OpenStack通過各種互補(bǔ)的服務(wù)提供了基礎(chǔ)設(shè)施即服務(wù)（IaaS）的解決方案，每個(gè)服務(wù)提供API以進(jìn)行集成。2、Nova、Swift、Glance三者各是什么？有什么關(guān)系？（p272、p282、p291）關(guān)系：（P291）3、什么是分布式系統(tǒng)中的CAP定理？數(shù)據(jù)一致性模型有幾大類？如何實(shí)現(xiàn)最終一致性？一致性（C）：在分布式系統(tǒng)中的所有數(shù)據(jù)備份，在同一時(shí)刻是否同樣的值。（等同于所有節(jié)點(diǎn)訪問同一份最新的數(shù)據(jù)副本），換句話就是說，任何時(shí)刻，所用的應(yīng)用程序都能訪問得到相同的數(shù)據(jù)。可用性（A）:在集群中一部分節(jié)點(diǎn)故障后，集群整體是否還能響應(yīng)客戶端的讀寫請求。（對數(shù)據(jù)更新具備高可用性），換句話就是說，任何時(shí)候，任何應(yīng)用程序都可以讀寫數(shù)據(jù)。分區(qū)容錯(cuò)性（P）：以實(shí)際效果而言，分區(qū)相當(dāng)于對通信的時(shí)限要求。系統(tǒng)如果不能在時(shí)限內(nèi)達(dá)成數(shù)據(jù)一致性，就意味著發(fā)生了分區(qū)的情況，必須就當(dāng)前操作在C和A之間做出選擇，換句話說，系統(tǒng)可以跨網(wǎng)絡(luò)分區(qū)線性的伸縮和擴(kuò)展。常用的一致性模型有：a、嚴(yán)格一致性b、順序一致性c、因果一致性d、管道一致性e、弱一致性f、釋放一致性g、最終一致性h、deltaconsistency最終一致性的幾種具體實(shí)現(xiàn)：1、讀不舊于寫一致性2、會(huì)話一致性（3、單讀一致性4、單寫一致性5、寫不舊于讀一致性4、 什么叫守護(hù)進(jìn)程（daemon）?什么叫Hypervisor?守護(hù)進(jìn)程（daemon）介紹守護(hù)進(jìn)程，也稱為精靈進(jìn)程，是一種運(yùn)行在后臺的特殊進(jìn)程，它不存在控制終端，并周期性地執(zhí)行某項(xiàng)任務(wù)或等待處理某項(xiàng)任務(wù)。Hypervisor是一種運(yùn)行在物理服務(wù)器和操作系統(tǒng)之間的中間軟件層，可允許多個(gè)操作系統(tǒng)和應(yīng)用共享一套基礎(chǔ)物理硬件，因此也可以看作是虛擬環(huán)境中的“元”操作系統(tǒng)，它可以協(xié)調(diào)訪問服務(wù)器上的所有物理設(shè)備和虛擬機(jī)，也叫虛擬機(jī)監(jiān)視器（VirtualMachineMonitor）。Hypervisor是所有虛擬化技術(shù)的核心。非中斷地支持多工作負(fù)載遷移的能力是Hypervisor的基本功能。當(dāng)服務(wù)器啟動(dòng)并執(zhí)行Hypervisor時(shí)，它會(huì)給每一臺虛擬機(jī)分配適量的內(nèi)存、CPU、網(wǎng)絡(luò)和磁盤，并加載所有虛擬機(jī)的客戶操作系統(tǒng)。相比于行存儲，列存儲有哪些特點(diǎn)優(yōu)點(diǎn)是針對某個(gè)列中的值進(jìn)行簡單查詢的速度非?？欤枰膬?nèi)部存儲資源最少。這表示對某個(gè)列中特定值的搜索可以直接進(jìn)入該列的存儲區(qū)，而不需要掃描整行的數(shù)據(jù)。這樣也使得數(shù)據(jù)壓縮變得更容易，因?yàn)橐粋€(gè)列中的數(shù)據(jù)通常具有相同的數(shù)據(jù)類型。這種體系結(jié)構(gòu)在處理數(shù)據(jù)倉庫使用的海量數(shù)據(jù)時(shí)沒有問題，但不適合需要進(jìn)行大量以行的方式進(jìn)行訪問和更新操作的聯(lián)機(jī)事物處理。就是這種數(shù)據(jù)庫之一。在由一萬億行組成的測試數(shù)據(jù)集中，輸入數(shù)據(jù)共很明顯，這是一種適合數(shù)據(jù)倉庫的技術(shù)。這種技術(shù)雖然在壓縮和快速訪問方面有優(yōu)勢，但也存在插入操作復(fù)雜的缺點(diǎn)。公有地址：由InterNIC（InternetNetworkInformationCenter因特網(wǎng)信息中心）負(fù)責(zé)。這些IP地址分配給注冊并向InterNIC提出申請的組織機(jī)構(gòu)。通過它直接訪問因特網(wǎng)。私有地址：屬于非注冊地址，專門為組織機(jī)構(gòu)內(nèi)部使用。彈《生ip：在EC2啟動(dòng)實(shí)例時(shí)，自動(dòng)地為每個(gè)實(shí)例分配一個(gè)私有IP地址和一個(gè)公共IP地址。地理區(qū)域：按照實(shí)際的地理位置劃分的可用區(qū)域：根據(jù)是否有獨(dú)立的供電系統(tǒng)和冷卻系統(tǒng)等從架構(gòu)上分析hadoop優(yōu)缺點(diǎn)HDFS缺點(diǎn)：1、 不能做到低延遲：由于hadoop針對高數(shù)據(jù)吞吐量做了優(yōu)化，犧牲了獲取數(shù)據(jù)的延遲，所以對于低延遲數(shù)據(jù)訪問，不適合hadoop，對于低延遲的訪問需求，HBase是更好的選擇，2、 不適合大量的小文件存儲：由于namenode將文件系統(tǒng)的元數(shù)據(jù)存儲在內(nèi)存中，因此該文件系統(tǒng)所能存儲的文件總數(shù)受限于namenode的內(nèi)存容量，根據(jù)經(jīng)驗(yàn)，每個(gè)文件、目錄和數(shù)據(jù)塊的存儲信息大約占150字節(jié)。3、 不適合多用戶寫入文件，修改文件：Hadoop2.0雖然支持文件的追加功能，但是還是不建議對HDFS上的文件進(jìn)行修改，因?yàn)樾实汀?、 對于上傳到HDFS上的文件，不支持修改文件，HDFS適合一次寫入，多次讀取的場景。5、 HDFS不支持多用戶同時(shí)執(zhí)行寫操作，即同一時(shí)間，只能有一個(gè)用戶執(zhí)行寫操作。二、HDFS優(yōu)點(diǎn)：1、 高可靠生。Hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴。2、 高擴(kuò)展性。Hadoop是在可用