播客hadoop課程詳細(xì)筆記--第1天

2建開(kāi)發(fā)環(huán)我們的開(kāi)發(fā)是在虛擬機(jī)下進(jìn)行的。在windows操作系統(tǒng)中安裝虛擬機(jī)軟件，在虛擬機(jī)中l(wèi)inux操作系統(tǒng)稱為“客戶機(jī)”。我們使用的OracleVirtualBox作為虛擬機(jī)RedHat公司linux版本。虛擬機(jī)軟件的安VirtualBox簡(jiǎn)VirtualBox號(hào)稱是免費(fèi)虛擬機(jī)軟件中最強(qiáng)的，擁有豐富的特色和出色的性能，在虛擬機(jī)我們選擇它的理由是十兆的安裝程序，安裝完成后也只有120多兆，太小巧了。功能簡(jiǎn)單實(shí)用。配置簡(jiǎn)單、克隆系統(tǒng)、共享文件、虛擬化等一樣不免費(fèi)。這是最大的VirtualBox安讀者根據(jù)自己的電腦情況適合自己操作系統(tǒng)的安裝程序，作者的系統(tǒng)是WindowsXP32位，以下截圖是來(lái)自WindowsXP的。安裝完成后，在電腦的“網(wǎng)絡(luò)連接”中，會(huì)多出一個(gè)網(wǎng)絡(luò)連接，如圖2-12-點(diǎn)擊桌面上的VirtualBox圖標(biāo)，就可以打開(kāi)VirtualBox了，如圖2-2所示2-定”命令，如2-3所示。2-一個(gè)磁盤空間較大的位置，如2-4所示。2-2-選擇“擴(kuò)展”選項(xiàng)，點(diǎn)擊安裝符號(hào)，選擇一個(gè)擴(kuò)展包進(jìn)行安裝，如圖2-62-至此，虛擬機(jī)安裝結(jié)操作系統(tǒng)的安該公司發(fā)布的Linux是基于開(kāi)源產(chǎn)品的，如果我們使用是免費(fèi)的，如果進(jìn)行升級(jí)或者接收技術(shù)支持，那就需要了。RedHat主要應(yīng)用于服務(wù)器領(lǐng)域，在服務(wù)器市場(chǎng)占有很大的我們使用虛擬機(jī)安裝RedHat新建虛擬機(jī)并配置參數(shù)2-內(nèi)存大小默認(rèn)值是512，修改為1024，如圖2-8所示，點(diǎn)擊“下一2-設(shè)置是否創(chuàng)建虛擬硬盤，使用默認(rèn)值，如圖2- 所示，點(diǎn)擊“創(chuàng)建”按鈕2-選擇虛擬磁盤類型，我們使用默認(rèn)值，如圖2- 所示，點(diǎn)擊“下一步”按鈕2-設(shè)置是否動(dòng)態(tài)分配磁盤空間，使用默認(rèn)值，如圖2- 所示，點(diǎn)擊“下一步”按鈕2-設(shè)置磁盤文件大小和存放位置，使用默認(rèn)值，如圖2- 所示，點(diǎn)擊“創(chuàng)建”按鈕2-彈出窗口框關(guān)閉，如圖2-13所示2-點(diǎn)擊的設(shè)置，會(huì)彈出一個(gè)針對(duì)本操作系統(tǒng)設(shè)置的窗口，如圖2- 所示2-選擇“常規(guī)”選項(xiàng)，修改允許雙向粘貼和拖放功能，如圖2-15所示2-選擇“”選項(xiàng)，增加光驅(qū)，如圖2-16所示，點(diǎn)擊“選擇磁盤”，把我們的操作系統(tǒng)的iso文件選中2-這樣系統(tǒng)啟動(dòng)的時(shí)候會(huì)從虛擬光驅(qū)引導(dǎo)，進(jìn)行安裝，這一步很重要選擇“網(wǎng)絡(luò)”選項(xiàng)，將網(wǎng)絡(luò)連接方式修改為“僅主機(jī)適配器”，如圖2- 所示2-點(diǎn)擊彈出窗口框右下角的“確定”按鈕，關(guān)閉彈出窗口框，如圖2- 所示2-Host-Only連接方式，使得宿主機(jī)和客戶機(jī)可以單獨(dú)構(gòu)造一個(gè)網(wǎng)絡(luò)，不同于宿主機(jī)所在的網(wǎng)絡(luò)。這樣，兩個(gè)網(wǎng)絡(luò)完全。新搭建的網(wǎng)絡(luò)的網(wǎng)段是192.168.56。操作系統(tǒng)的安裝點(diǎn)擊虛擬機(jī)的“啟動(dòng)”，就會(huì)彈出窗口，進(jìn)入操作系統(tǒng)的安裝界面，如圖2- 示2-用鼠標(biāo)點(diǎn)擊窗口，然后按回車鍵，就進(jìn)入了RedHat安裝的引導(dǎo)過(guò)程宿主機(jī)操作。如果要退出獨(dú)占，按組合鍵“Ctrl”+“Alt2-5中已經(jīng)設(shè)置。如圖2-20，詢問(wèn)是否檢查磁盤，選擇“Skip”，然后按回車鍵。如圖221，點(diǎn)擊“Next”2-如圖2-21所示，選擇點(diǎn)擊“Next”按鈕2-選擇安裝語(yǔ)言，讀者可以根據(jù)自己的喜好選擇，建議使用英文，如圖2-22所示，點(diǎn)擊2-選擇鍵盤類型，這里使用默認(rèn)值，如圖2-23所示，點(diǎn)擊“Next2-選擇設(shè)備類型，這里使用默認(rèn)值，如圖2-24所示，點(diǎn)擊“Next2-詢問(wèn)是否格式化磁盤空間，選擇“Yes”，如圖2-25所示，點(diǎn)擊“Next2-小提示windows系統(tǒng)的空間數(shù)據(jù)丟失，只是對(duì)空間修改主機(jī)名稱，我們使用“hadoop0”，如圖2-26所示，點(diǎn)擊“Next2-注意：在以后的章節(jié)中，會(huì)使用這里設(shè)定的主機(jī)名，如果讀者不使用“hadoop0”，請(qǐng)選擇時(shí)區(qū)，我們修改為“Asia/Shanghai”，如圖2-27所示，點(diǎn)擊“Next”按鈕2-2-注意：該是以后登錄linux系統(tǒng)時(shí)必須使用的，請(qǐng)讀者牢記。這里的設(shè)置過(guò)于簡(jiǎn)單，是為了學(xué)習(xí)方便。在正式生產(chǎn)服務(wù)器中絕對(duì)不能這么設(shè)置，很容易被攻破，應(yīng)該設(shè)置為數(shù)字、大小寫字母、特殊符號(hào)的組合。警告過(guò)于簡(jiǎn)單，不用理會(huì)，點(diǎn)擊“UseAnyway”按鈕，如圖2-29所示2-選擇安裝類型，我們使用默認(rèn)值，如圖2-30所示，點(diǎn)擊“Next2-出現(xiàn)確認(rèn)信息，詢問(wèn)這樣做會(huì)造成磁盤數(shù)據(jù)丟失。由于是新的虛擬機(jī)磁盤，沒(méi)有數(shù)據(jù)，我們同意，點(diǎn)擊“iechagestoisk”按鈕，如圖2-31所示。2-“Customizenow2-32所示，點(diǎn)擊“Next”按鈕。2-在軟件定制部分，我們選擇安裝MySQL數(shù)據(jù)庫(kù)，如圖2-33所示，在我們以后學(xué)習(xí)時(shí)會(huì)用到，點(diǎn)擊“Next”按鈕2-然后進(jìn)入操作系統(tǒng)的安裝過(guò)程，如圖2-34，會(huì)持續(xù)很長(zhǎng)時(shí)間，讀者不要隨時(shí)操作虛擬機(jī)，防止安裝失敗，請(qǐng)耐心等待。2-經(jīng)過(guò)漫長(zhǎng)的等待，終于安裝完了，如圖2- 所示，點(diǎn)擊右下角的“Reboot”按鈕2-系統(tǒng)的初始配置系統(tǒng)重啟后進(jìn)入系統(tǒng)初始配置頁(yè)面，如圖2-36所示，點(diǎn)擊“Forward”按鈕2-這是關(guān)于操作系統(tǒng)的使用協(xié)議，我們當(dāng)然同意了，如圖2- 所示，點(diǎn)擊“Forward”鈕2-進(jìn)行軟件的自動(dòng)更新，我們沒(méi)有聯(lián)網(wǎng)，沒(méi)有，不能更新，如圖2-38所示，點(diǎn)擊2-詢問(wèn)是否創(chuàng)建一個(gè)非管理員用戶，如圖2-39所示，我們不打算這里不創(chuàng)建，點(diǎn)擊2-詢問(wèn)是否修改系統(tǒng)時(shí)間，我們不做修改，如圖2-40所示，點(diǎn)擊“Foward2-提示內(nèi)存不足，我們不用例會(huì)理會(huì)，如圖2-41所示，點(diǎn)擊“OK”按鈕2-2-系統(tǒng)加載剛才的配置信息，終于進(jìn)入登錄頁(yè)面了，如圖2-43所示2-點(diǎn)擊“Other…”，輸入用戶名root，如圖2-44所示，點(diǎn)擊“Login2-輸入wuchao，如圖2-45所示，點(diǎn)擊“Login”按鈕2-注意：root用戶具有最高權(quán)限，操作方便，本書所有操作都是以root用戶進(jìn)行的，實(shí)際工作中一般不會(huì)直接使用root用戶。讀者如果對(duì)linux權(quán)限不熟悉，請(qǐng)一定使用root用這樣，就看到了RedHat的桌面，如圖2-462-現(xiàn)右鍵菜單，如2-47所示。，2-點(diǎn)擊“EditConnections…”，彈出窗口框，如圖2-48所示2-選中連接，點(diǎn)擊右側(cè)“Edit…”，出現(xiàn)彈出窗口框，如圖2-49所示2-左上角有個(gè)復(fù)選框，請(qǐng)選中，表示啟用自動(dòng)連接，然后點(diǎn)擊右下角的“Apply…”，然后依次關(guān)閉彈出窗口。會(huì)發(fā)現(xiàn)桌面右上的紅叉了，這表明網(wǎng)絡(luò)已經(jīng)連通了。是01，如圖2-50所示。2-至此，RedHat安裝完畢關(guān)于RedHat的 操作的只是，可以查看本書的附錄部分 連接工具的安Putty作為連接linux的工具，支持SSH和 該軟件不需要安裝，直接打開(kāi)使用即可，如圖2-51所示2-HostNameRedHatip地址，其余設(shè)置使用默認(rèn)值，然后點(diǎn)擊最wuchao即可連接。本操作就是使用PieTTY完成的。文件傳輸工具的安WinSCP是一個(gè)Windows環(huán)境下SSH的開(kāi)源SFTP客戶端，同SCP協(xié)議。全球最大開(kāi)源軟件托管平臺(tái)SourceForge。安裝分成非常簡(jiǎn)單，按照提示一步步操作即可，中間沒(méi)有需要做出選擇、判斷的地方。安裝完成后，打開(kāi)軟件，點(diǎn)擊右上方的“新建”按鈕，如圖-52所示，彈出新的窗口框，如圖2-532-2-具就會(huì)連接的機(jī)器。如果成功，會(huì)看到如圖2-54所示。2-可以使用該工具進(jìn)行宿主機(jī)和客戶機(jī)之間的文件傳輸，類似FTP。下面章節(jié)，在RedHat中使用的很多軟件就是通過(guò)WinSCP從Windows傳輸過(guò)去的我們使用的版本是Oracle的jdk-6u24-linux-i586.binjdk移動(dòng)到/usr/local下。進(jìn)入到/usr/local下，通過(guò)“.”解壓文件，如圖2-55所示。2-解壓縮完成后，我們可以查看到新產(chǎn)生的jdk1.6.0_24mvjdk，目的是方便以后，如圖2-56所示。2-接下來(lái)把jdk令配置到環(huán)境變量中在linux下，有很多配置環(huán)境變量的地方，分為全局環(huán)境變量和局部環(huán)境變量。linux加載的時(shí)候，會(huì)先找全局環(huán)境變量，如果找不到，就找局部變量。本書中，我們只設(shè)置全局環(huán)境變量。2-export在文件最后增加以下內(nèi)容，讀者可以粘貼我的export環(huán)境下執(zhí)行命令如下命令保存關(guān)閉后，需要在 我解釋一下保存關(guān)閉后，需要在 個(gè)是PATH。對(duì)于環(huán)境變量的，使用“$”，多個(gè)環(huán)境變量之間的連接，使用“:”。大家在設(shè)置環(huán)境變量的時(shí)候，一定與windows下的操作區(qū)分開(kāi)，不要。命令“source”是為了讓現(xiàn)在使用“java-version”命令，如果看到如圖2-58的輸出，那就證明一切2-關(guān)閉RedHat內(nèi)置一個(gè)文本行的管理工具，可以管理、ip地址、各類服務(wù)等信息的設(shè)置。使用setup命令調(diào)出該工具，如圖2-59所示。注意：該工具不支持鼠標(biāo)操作，以下所有操作都需要使用鍵盤2-選擇“Firewallconfiguration”，然后按回車，你會(huì)看到如圖2-60所示2-會(huì)看到中間的方括號(hào)中有“*，只需要按一下空格鍵，符號(hào)“*”就會(huì)。最后使用“ab”鍵移動(dòng)到“OK回車，一步步退出就行了。那么，是否真的被關(guān)閉了哪？使用如圖2-61中令驗(yàn)證2-在linux下稱作“iptables”。該命令的含義是查看服務(wù)iptables的狀態(tài)。如果提示信息如上圖所示，說(shuō)明已經(jīng)被關(guān)閉。注意：的目的是關(guān)閉盡可能不用的端口，避免被，保證服務(wù)器運(yùn)行安全。我們這里是實(shí)驗(yàn)環(huán)境，為了避免無(wú)謂的錯(cuò)誤，選擇關(guān)閉。在實(shí)際工作中，盡可能不這么做。因?yàn)閔adoop集群之間通過(guò)主機(jī)名互相，所以必須設(shè)置dns解析。使用gedit編2-在文本最后追加一行，“01hadoop0ip與主機(jī)名之間使用空格分開(kāi)，如圖2-63所示2-保存并關(guān)閉編都是命令行，所以只能使用net了。net的缺點(diǎn)是通信不加密，非常不安全，只適合于內(nèi)網(wǎng)。為解決這個(gè)問(wèn)題，推出了加密的通信協(xié)議，即SSH。SSH的全稱是SecureS，使用非對(duì)稱，傳輸內(nèi)容使用rsa或者dsa加密，可以有效避免網(wǎng)絡(luò)。hadoop的進(jìn)程之間通信使用ssh方式，需要每次都要輸入。為了實(shí)現(xiàn)自動(dòng)化操作，我們下面配置SSH的免登錄方式。首先到用戶主下，如圖2-64所示2-現(xiàn)在執(zhí)行命令，生成密鑰，如圖2-652-解釋一下 rsa”表示使用rsa生成密鑰，回車后，會(huì)提示三次輸然后進(jìn)入密鑰文件夾，執(zhí)行命令，如圖2-66所示2-其中，命令“cpid_rsa.pubauthorized_keys”用于生成文件。至此，配置部分完注意：文件夾“.ssh”中的三個(gè)文件的權(quán)限，是有要求的，“自己之外的任何人對(duì)每個(gè)文件都沒(méi)有寫權(quán)限”。另外，“.ssh”文件夾是700權(quán)限。如果權(quán)限有問(wèn)題，會(huì)造成SSH現(xiàn)在開(kāi)始驗(yàn)證SSH無(wú)登錄，如圖2-67所示2-執(zhí)行“sshlocalhost”意味著使用“ssh”通信協(xié)議主機(jī)“l(fā)ocalhost”，第一次執(zhí)行時(shí)需要確認(rèn)；第二次不再確認(rèn)了。這就是無(wú)登錄。當(dāng)?shù)卿浀綄?duì)方機(jī)器后，退出使用命令exit”。這兩次操作時(shí)，注意觀察主機(jī)名變化。讀者可以執(zhí)行命令“sshbook0”，驗(yàn)證dns對(duì)book0解析是否正確。注意：使用命令ssh時(shí)，一定要觀察主機(jī)名的變化。很多同學(xué)在操作ssh時(shí)，由于大量的使用ssh登錄退