實(shí)驗(yàn)9 Pig開(kāi)發(fā)應(yīng)用

1、廣州大學(xué)華軟軟件學(xué)院South china Institute nf Software tnginEBring.CU實(shí)驗(yàn)報(bào)告封面課程名稱：Hadoop大數(shù)據(jù)處理課程代碼:JY1124任課老師：陳寧穗實(shí)驗(yàn)指導(dǎo)老師：陳寧穗實(shí)驗(yàn)報(bào)告名稱：實(shí)驗(yàn)9 Pig開(kāi)發(fā)應(yīng)用學(xué)生姓名：學(xué)號(hào)：教學(xué)班：遞交日期：簽收人：我申明，本報(bào)告內(nèi)的實(shí)驗(yàn)已按要求完成，報(bào)告完全是由我個(gè)人完成，并沒(méi)有抄襲行為。我已經(jīng)保存了這份實(shí)驗(yàn)報(bào)告的副本。申明人（簽名）:實(shí)驗(yàn)報(bào)告評(píng)語(yǔ)與評(píng)分:評(píng)閱老師簽名:一、實(shí)驗(yàn)名稱：Pig開(kāi)發(fā)應(yīng)用二、實(shí)驗(yàn)日期：2015年 月 日三、實(shí)驗(yàn)?zāi)康模菏煜ig開(kāi)發(fā)應(yīng)用。四、實(shí)驗(yàn)用的儀器和材料：硬件：PC電腦一臺(tái)；配置：內(nèi)

2、存，4G及以上 硬盤(pán)250G及以上軟件環(huán)境：操作系統(tǒng) XP, vmware, ubuntu, jdk, hadoop五、實(shí)驗(yàn)的步驟和方法：請(qǐng)用命令完成以下操作一、Pig的安裝與配置。1、下載并解壓安裝pig-0. 12. 1. tar. gz （最好用與安裝hadoop的同一用戶），且改名為 pigotar -xzvf pig-0. 12. 1. tar. gzmv pig-0. 12. 1 pig2、設(shè)置環(huán)境變量配置grid目錄下的.profile文件（.profile文件為隱藏文件，用Is -a查看）,配置如下 圖：xport JAVA_HOME=/usrxport PATH=$PATH:

3、/home/grid/hadoop-1.2.1/bin:/home/grid/pig/bin:$H0ME/bin3、重啟ubuntu,使配置生效。4、啟動(dòng)hadoop,進(jìn)入pig目錄，輸入pig命令，假設(shè)進(jìn)入grunt提示，說(shuō)明pig安裝成功。二、pig操作1、本地輸入數(shù)據(jù)通過(guò) gedit 命令添加 pigtest.txt 文件，/home/grid/input/pigtest.txt 數(shù)據(jù)如下：James,Network,Tiger, 100James,Database,Tiger,99James,PDE,Yao,95Vincent,Network,Tiger,95Vincent,PDE,Y

4、ao,98NocWeizPDE,Yao,1002、HDFS上創(chuàng)立文件，并且將上述數(shù)據(jù)文件上傳到HDFS上。grunt mkdir ingrunt mkdir outgrunt Ishdfs:/db69:9000/user/grid/in :9000/user/grid/out #拷貝本地的pigtest. txt文件到hdfs的in目錄下gruntcopyFromLocal /home/grid/pigtest. txt in gruntIs inhdfs:/db69:9000/user/hadoop/in/pigtest. txt 71186274、從HDFS上導(dǎo)入數(shù)據(jù)，將，in/pigte

5、st. txt 文件的內(nèi)容以逗號(hào)分隔賦給Agrunt A =LOAD J in/pigtest.txt USING PigStorage ) AS(student:chararray, course:chararray, teacher:chararray, score:int)；5、只取學(xué)生和老師兩個(gè)列數(shù)據(jù)gruntB = FOREACH A GENERATE student,teacher;gruntDESCRIBE B;gruntC = DISTINCT B;6、對(duì)分組結(jié)果group進(jìn)行COUNT統(tǒng)計(jì)，結(jié)果賦給Dgrunt D = FOREACH (GROUP C BY student) GENERATE group AS student, COUNT (C);7 將D寫(xiě)入hdfs為out/st_counter ;grunt STORE D INTO out/st counter;8、查看結(jié)果的內(nèi)容grunt Is out六、數(shù)據(jù)記錄和計(jì)算：寫(xiě)語(yǔ)句及截圖七、實(shí)驗(yàn)結(jié)果或結(jié)論：即根據(jù)實(shí)驗(yàn)