實(shí)驗(yàn)7-hadoop下eclipse工具使用

實(shí)驗(yàn)報(bào)告封面課程名稱：Hadoop大數(shù)據(jù)處理課程代碼：JY1124任課老師：陳寧穗實(shí)驗(yàn)指導(dǎo)老師:陳寧穗實(shí)驗(yàn)報(bào)告名稱：實(shí)驗(yàn)7hadoop下eclipse工具使用學(xué)生姓名：學(xué)號(hào)：教學(xué)班：遞交日期：簽收人：我申明，本報(bào)告內(nèi)的實(shí)驗(yàn)已按要求完成，報(bào)告完全是由我個(gè)人完成，并沒有抄襲行為。我已經(jīng)保存了這份實(shí)驗(yàn)報(bào)告的副本。申明人(簽名):實(shí)驗(yàn)報(bào)告評(píng)語(yǔ)與評(píng)分：評(píng)閱老師簽名：一、實(shí)驗(yàn)名稱：hadoop下eclipse工具使用二、實(shí)驗(yàn)日期：2023年月日三、實(shí)驗(yàn)?zāi)康模菏煜adoop下eclipse工具使用。四、實(shí)驗(yàn)用的儀器和材料：硬件：PC電腦一臺(tái)；配置：內(nèi)存，4G及以上硬盤250G及以上軟件環(huán)境：操作系統(tǒng)XP，vmware，ubuntu，jdk，hadoop五、實(shí)驗(yàn)的步驟和方法：請(qǐng)用命令完成以下操作先啟動(dòng)Hadoop守護(hù)進(jìn)程，進(jìn)入hadoop安裝目錄，執(zhí)行bin/start-all.shUbuntu中下載安裝Eclipse，執(zhí)行sudoapt-getinstalleclipse在Eclipse下安裝hadoop-eclipse-plugin〔插件jar包已提供〕。復(fù)制此插件jar包到eclipse安裝目錄/plugins/下。可通過(guò)whereiseclipse查看eclipse安裝目錄。重啟eclipse，配置hadoopinstallationdirectory。如果安裝插件成功，翻開Window-->Preferences，你會(huì)發(fā)現(xiàn)HadoopMap/Reduce選項(xiàng)，在這個(gè)選項(xiàng)里你需要配置Hadoopinstallationdirectory〔hadoop安裝目錄〕。配置完成后退出。

配置Map/ReduceLocations。

在Window-->ShowView中翻開Map/ReduceLocations。

在Map/ReduceLocations中新建一個(gè)HadoopLocation。在這個(gè)View中，右鍵-->NewHadoopLocation。在彈出的對(duì)話框中你需要配置Locationname，如myubuntu，還有Map/ReduceMaster和DFSMaster。這里面的Host、Port分別為你在mapred-site.xml、core-site.xml中配置的地址及端口。如：

配置完后退出。點(diǎn)擊DFSLocations-->myubuntu如果能顯示文件夾(2)說(shuō)明配置正確，如果顯示"拒絕連接"，請(qǐng)檢查你的配置。

在此可直接創(chuàng)立目錄，刷新即可，也可刪除目錄，也可上傳文件。假設(shè)有問(wèn)題那么考慮hdfs權(quán)限〔開放hdfs權(quán)限hadoopfs–chmod777/user/yln，也可以取消hadoophdfs的用戶權(quán)限檢查。翻開conf/hdfs-site.xml，找到dfs.permissions屬性修改為false〔默認(rèn)為true〕?！?、新建工程。

File-->New-->Project-->Map/ReduceProject

工程名可以隨便取，如maptest。選中maptest工程下的src，右鍵新建一個(gè)class類，名稱定義為example，代碼見example.java。7、上傳模擬數(shù)據(jù)文件夾。為了運(yùn)行程序，需要一個(gè)輸入的文件夾，和輸出的文件夾。輸出文件夾，在程序運(yùn)行完成后會(huì)自動(dòng)生成。將文件testnew上傳到分布式文件系統(tǒng)中。

8、運(yùn)行工程?！?〕.在新建的工程maptest，點(diǎn)擊example.java，右鍵-->RunAs-->RunConfigurations

〔2〕.在彈出的RunConfigurations對(duì)話框中，點(diǎn)JavaApplication，右鍵-->New，這時(shí)會(huì)新建一個(gè)application名為example〔3〕.配置運(yùn)行參數(shù)，點(diǎn)Arguments，在Programarguments中輸入“要傳給程序的輸入文件和要求程序?qū)⒂?jì)算結(jié)果保存的文件夾〞，如：

〔4〕.點(diǎn)擊Run，運(yùn)行程序。點(diǎn)擊Run，運(yùn)行程序，過(guò)段時(shí)間將運(yùn)行完成，等運(yùn)行結(jié)束后，可以在終端中用命令驗(yàn)證是否成功。六、數(shù)據(jù)記錄和計(jì)算：寫語(yǔ)句及截圖七、實(shí)驗(yàn)結(jié)果