廈門大學(xué)林子雨編著

廈門大學(xué)林子雨編著《大數(shù)據(jù)技術(shù)原理與應(yīng)用》教材配套上機(jī)練習(xí)熟悉常用的HDFS操作（版本號(hào)：2016年1月24日版本）主講教師：林子雨廈門大學(xué)數(shù)據(jù)庫(kù)實(shí)驗(yàn)室二零一六年一月目錄

目錄1 作業(yè)題目 12 作業(yè)目的 13 作業(yè)性質(zhì) 14 作業(yè)考核方法 15 作業(yè)提交日期與方式 16 實(shí)驗(yàn)平臺(tái) 17 實(shí)驗(yàn)內(nèi)容和要求 18 實(shí)驗(yàn)報(bào)告 2附錄1:任課教師介紹 2附錄2：課程教材介紹 2附錄3：中國(guó)高校大數(shù)據(jù)課程公共服務(wù)平臺(tái)介紹 4廈門大學(xué)林子雨編著《大數(shù)據(jù)技術(shù)原理與應(yīng)用》教材配套上機(jī)練習(xí)熟悉常用的HDFS操作 主講教師：林子雨/linziyu第1頁(yè)

廈門大學(xué)林子雨編著《大數(shù)據(jù)技術(shù)原理與應(yīng)用》教材配套上機(jī)練習(xí)熟悉常用的HDFS操作上機(jī)練習(xí)說明主講教師：林子雨E-mail:ziyulin@個(gè)人主頁(yè)：/linziyu作業(yè)題目熟悉常用的HDFS操作。作業(yè)目的（1） 理解HDFS在Hadoop體系結(jié)構(gòu)中的角色；（2） 熟練使用HDFS操作常用的Shell命令；（3） 熟悉HDFS操作常用的JavaAPI。作業(yè)性質(zhì)課后作業(yè)，必做，作為課堂平時(shí)成績(jī)。作業(yè)考核方法提交上機(jī)實(shí)驗(yàn)報(bào)告，任課老師根據(jù)上機(jī)實(shí)驗(yàn)報(bào)告評(píng)定成績(jī)。作業(yè)提交日期與方式林子雨編著《大數(shù)據(jù)技術(shù)原理與應(yīng)用》教材第三章分布式文件系統(tǒng)HDFS內(nèi)容結(jié)束后的下一周周六晚上9點(diǎn)之前提交。實(shí)驗(yàn)平臺(tái)操作系統(tǒng)：LinuxHadoop版本：2.6.0或以上版本JDK版本：1.6或以上版本JavaIDE：Eclipse實(shí)驗(yàn)內(nèi)容和要求首先，編程實(shí)現(xiàn)以下指定功能，并利用Hadoop提供的Shell命令完成相同任務(wù)：向HDFS中上傳任意文本文件，如果指定的文件在HDFS中已經(jīng)存在，由用戶指定是追加到原有文件末尾還是覆蓋原有的文件；從HDFS中下載指定文件，如果本地文件與要下載的文件名稱相同，則自動(dòng)對(duì)下載的文件重命名；將HDFS中指定文件的內(nèi)容輸出到終端中；顯示HDFS中指定的文件的讀寫權(quán)限、大小、創(chuàng)建時(shí)間、路徑等信息；給定HDFS中某一個(gè)目錄，輸出該目錄下的所有文件的讀寫權(quán)限、大小、創(chuàng)建時(shí)間、路徑等信息，如果該文件是目錄，則遞歸輸出該目錄下所有文件相關(guān)信息；提供一個(gè)HDFS內(nèi)的文件的路徑，對(duì)該文件進(jìn)行創(chuàng)建和刪除操作。如果文件所在目錄不存在，則自動(dòng)創(chuàng)建目錄；提供一個(gè)HDFS的目錄的路徑，對(duì)該目錄進(jìn)行創(chuàng)建和刪除操作。創(chuàng)建目錄時(shí)，如果目錄文件所在目錄不存在則自動(dòng)創(chuàng)建相應(yīng)目錄；刪除目錄時(shí)，由用戶指定當(dāng)該目錄不為空時(shí)是否還刪除該目錄；向HDFS中指定的文件追加內(nèi)容，由用戶指定內(nèi)容追加到原有文件的開頭或結(jié)尾；刪除HDFS中指定的文件；刪除HDFS中指定的目錄，由用戶指定目錄中如果存在文件時(shí)是否刪除目錄；在HDFS中，將文件從源路徑移動(dòng)到目的路徑。其次，編程實(shí)現(xiàn)一個(gè)類“MyFSDataInputStream”，該類繼承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：實(shí)現(xiàn)按行讀取HDFS中指定文件的方法“readLine()”，如果讀到文件末尾，則返回空，否則返回文件一行的文本。實(shí)現(xiàn)緩存功能，即利用“MyFSDataInputStream”讀取若干字節(jié)數(shù)據(jù)時(shí)，首先查找緩存，如果緩存中有所需數(shù)據(jù)，則直接由緩存提供，否則向HDFS讀取數(shù)據(jù)。查看Java幫助手冊(cè)或其它資料，用“.URL”和“org.apache.hadoop.fs.FsURLStreamHandlerFactory”編程完成輸出HDFS中指定文件的文本到終端中。實(shí)驗(yàn)報(bào)告廈門大學(xué)計(jì)算機(jī)系研究生課程《大數(shù)據(jù)技術(shù)原理與應(yīng)用》實(shí)驗(yàn)報(bào)告題目：姓名日期實(shí)驗(yàn)環(huán)境：實(shí)驗(yàn)內(nèi)容與完成情況：出現(xiàn)的問題：解決方案（列出遇到的問題和解決辦法，列出沒有解決的問題）：附錄1:任課教師介紹林子雨(1978－),男,博士,廈門大學(xué)計(jì)算機(jī)科學(xué)系助理教授,主要研究領(lǐng)域?yàn)閿?shù)據(jù)庫(kù),實(shí)時(shí)主動(dòng)數(shù)據(jù)倉(cāng)庫(kù),數(shù)據(jù)挖掘.主講課程：《大數(shù)據(jù)技術(shù)基礎(chǔ)》辦公地點(diǎn)：廈門大學(xué)海韻園科研2號(hào)樓E-mail:ziyulin@個(gè)人主頁(yè)：/linziyu數(shù)據(jù)庫(kù)實(shí)驗(yàn)室網(wǎng)站：附錄2：課程教材介紹《大數(shù)據(jù)技術(shù)原理與應(yīng)用——概念、存儲(chǔ)、處理、分析與應(yīng)用》，由廈門大學(xué)計(jì)算機(jī)科學(xué)系教師林子雨博士編著，是中國(guó)高校第一本系統(tǒng)介紹大數(shù)據(jù)知識(shí)的專業(yè)教材。本書定位為大數(shù)據(jù)技術(shù)入門教材，為讀者搭建起通向“大數(shù)據(jù)知識(shí)空間”的橋梁和紐帶，以“構(gòu)建知識(shí)體系、闡明基本原理、引導(dǎo)初級(jí)實(shí)踐、了解相關(guān)應(yīng)用”為原則，為讀者在大數(shù)據(jù)領(lǐng)域“深耕細(xì)作”奠定基礎(chǔ)、指明方向。全書共有13章，系統(tǒng)地論述了大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫(kù)HBase、NoSQL數(shù)據(jù)庫(kù)、云數(shù)據(jù)庫(kù)、分布式并行編程模型MapReduce、流計(jì)算、圖計(jì)算、數(shù)據(jù)可視化以及大數(shù)據(jù)在互聯(lián)網(wǎng)、生物醫(yī)學(xué)和物流等各個(gè)領(lǐng)域的應(yīng)用。在Hadoop、HDFS、HBase和MapReduce等重要章節(jié)，安排了入門級(jí)的實(shí)踐操作，讓讀者更好地學(xué)習(xí)和掌握大數(shù)據(jù)關(guān)鍵技術(shù)。本書可以作為高等院校計(jì)算機(jī)專業(yè)、信息管理等相關(guān)專業(yè)的大數(shù)據(jù)課程教材，也可供相關(guān)技術(shù)人員參考、學(xué)習(xí)、培訓(xùn)之用。歡迎訪問《大數(shù)據(jù)技術(shù)原理與應(yīng)用——概念、存儲(chǔ)、處理、分析與應(yīng)用》教材官方網(wǎng)站：/post/bigdata掃一掃訪問教材官網(wǎng)附錄3：中國(guó)高校大數(shù)據(jù)課程公共服務(wù)平臺(tái)介紹中國(guó)高校大數(shù)據(jù)課程公共服務(wù)平臺(tái)，由中國(guó)高校首個(gè)“數(shù)字教師”的提出者和建設(shè)者——林子雨老師發(fā)起，由廈門大學(xué)數(shù)據(jù)庫(kù)實(shí)驗(yàn)室全力打造，由廈門大學(xué)云計(jì)算與大數(shù)據(jù)研究中心、海峽云計(jì)算與大數(shù)據(jù)應(yīng)用研究中心攜手共建。這是國(guó)內(nèi)第一個(gè)服務(wù)于高校大數(shù)據(jù)課程建設(shè)的公共服務(wù)平臺(tái)，旨在促進(jìn)國(guó)內(nèi)高校大數(shù)據(jù)課程體系建設(shè)，提高大數(shù)據(jù)課程教學(xué)水平，降低大數(shù)據(jù)課程學(xué)習(xí)門檻，提升學(xué)生課程學(xué)習(xí)效果。平臺(tái)服務(wù)對(duì)象涵蓋高校、教師和學(xué)生。平臺(tái)為高校開設(shè)大數(shù)據(jù)課程提供全流程輔助，為教師開展教學(xué)工作提供一站式服務(wù)，為學(xué)生學(xué)習(xí)大數(shù)據(jù)課程提供全方位輔導(dǎo)。平臺(tái)重點(diǎn)打造