《大數(shù)據(jù)平臺(tái)部署與運(yùn)維》課件-分布式數(shù)據(jù)分析工具Pig

第13講分布式數(shù)據(jù)分析工具Pig

計(jì)算機(jī)工程學(xué)院學(xué)習(xí)目標(biāo)

·了解Pig的安裝及配置

·了解Pig的基本概念

·了解Pig如何保留關(guān)鍵字

·了解Pig的使用方式

1.Pig的安裝和配置Pig目前已成為Apache的頂級(jí)項(xiàng)目，其安裝過程非常簡單，但需要具備以下條件。（1）預(yù)安裝好類UNIX系統(tǒng)，如Linux。（2）類UNIX系統(tǒng)中已安裝好Java8及其后期版本，并設(shè)置環(huán)境變量JAVA_HOME指向Java安裝根目錄。（3）已部署Hadoop穩(wěn)定版本的集群環(huán)境，并設(shè)置環(huán)境變量HADOOP_HOME指向Hadoop安裝根目錄。（4）若使用Pig操作Python編寫的流式（Streaming）UDFs，需要安裝Python。1.Pig的安裝和配置從

下載最新的Pig穩(wěn)定版本，下載后解壓到相應(yīng)安裝目錄，解壓后會(huì)生成子目錄pig-x.y.z（x.y.z為版本號(hào)）：設(shè)置環(huán)境變量，編輯文件~/.bashrc或~/.bash_profile把Pig的可執(zhí)行文件所處路徑添加到PATH變量中，方便Pig的使用和管理：

1.Pig的安裝和配置Pig構(gòu)建于Hadoop平臺(tái)上，是簡化數(shù)據(jù)處理操作對(duì)HDFS和MapReduce更高層次的抽象，其底層使用HDFS做存儲(chǔ)支撐、MapReduce作任務(wù)執(zhí)行器。因此，若Pig運(yùn)行于Hadoop集群環(huán)境只需要知道Namenode進(jìn)程和JobTracker進(jìn)程所在機(jī)器，而這兩個(gè)進(jìn)程所在位置可以通過讀取Hadoop配置文件獲取。在Hadoop當(dāng)前版本中，與Namenode進(jìn)程和JobTracker進(jìn)程相關(guān)的配置信息位于core-site.xml、hdfs-site.xml和mapred-site.xml3個(gè)配置文件中，配置文件所在目錄為${HADOOP_HOME}/etc/hadoop。1.Pig的安裝和配置因此，修改操作Pig命令的用戶所屬環(huán)境變量配置文件~/.bash_profile或~/.bashrc，執(zhí)行下述操作。（1）在文件末尾添加環(huán)境變量PIG_CLASSPATH或HADOOP_CONF_DIR指向$HADOOP_HOME/etc/hadoop，即讓PIG_CLASSPATH或HADOOP_CONF_DIR指向Hadoop配置文件所在路徑，用于Pig獲取Namenode和JobTracker所在位置。（2）將Pig的bin/目錄添加到PATH變量中，方便使用Pig相關(guān)命令。2.Pig的基本概念Pig是一個(gè)針對(duì)大數(shù)據(jù)集進(jìn)行分析的平臺(tái)，擁有完整的數(shù)據(jù)操作規(guī)范——Pig語言，也稱為PigLatin，Pig最初是由Yahoo!研發(fā)用于對(duì)大量數(shù)據(jù)進(jìn)行分析，后來貢獻(xiàn)給Apache軟件基金會(huì)，目前已成為Apache的頂級(jí)項(xiàng)目。PigLatin包括一系列對(duì)數(shù)據(jù)進(jìn)行操作的過程，是一種類SQL的面向數(shù)據(jù)流的語言，提供了對(duì)數(shù)據(jù)進(jìn)行加載、合并、過濾、排序、分組、關(guān)聯(lián)以及支持對(duì)數(shù)據(jù)集使用函數(shù)功能或用戶自定義函數(shù)功能。Pig既可以運(yùn)行在單機(jī)環(huán)境下，此時(shí)所有的Pig進(jìn)程運(yùn)行在一個(gè)單獨(dú)的本地JVM上，也可以運(yùn)行在Hadoop分布式環(huán)境下，Pig程序根據(jù)數(shù)據(jù)集大小被轉(zhuǎn)換成一系列MapReduce作業(yè)運(yùn)行在Hadoop平臺(tái)上。2.Pig的基本概念1.PigLatin標(biāo)識(shí)符2.大小寫規(guī)則3.關(guān)系、包、元組、字段之間的關(guān)系4.PigLatin語句3.Pig保留關(guān)鍵字1.數(shù)據(jù)類型2.Nulls3.Pig相關(guān)命令使用pig-e命令選項(xiàng)，后面可以跟簡單的Pig操作命令利用PigLatin提供的交互式shell工具Grunt可以更方便地操作Pig命令4.Pig內(nèi)置函數(shù)（built-infunction）（1）可重入函數(shù)（EvalFunctions（2）導(dǎo)入/存儲(chǔ)函數(shù)（Load/StoreFunctions）（3）數(shù)學(xué)計(jì)算函數(shù)（MathFunctions）（4）字符串處理函數(shù)（StringFuntions（5）日期函數(shù)（DatetimeFunctions）（6）Tuple、Bag和Map函數(shù)3.Pig保留關(guān)鍵字4.使用Pig1.Pig命令行選項(xiàng)（1）-e或-execute選項(xiàng)（2）-h或-help選項(xiàng)（3）-hproperties選項(xiàng)（4）-P或-propertyFile選項(xiàng)（5）-version2.Pig的兩種運(yùn)行模式（1）本地模式（Local）（2）MapReduce模式3.Pig相關(guān)Shell命令詳解（1）外部相關(guān)shell操作命令（2）gruntshell內(nèi)部功能命令（3）gruntshell與HDFS交互命令4.使用Pig4.Pig程序運(yùn)行方式（1）Pig腳本文件（2）Pig交互式shell--Grunt（3）嵌入Pig命令到宿主程序5.Pig輸入與輸出（1）LOAD（2）STORE（3）DUMP5.Pig模式（schemas）1.定義關(guān)系模式同時(shí)指定字段名稱（fieldname）和字段類型（fieldtype）只指定字段名稱，不指定字段數(shù)據(jù)類型（此時(shí)字段類型默認(rèn)為bytearray）2.操作關(guān)系模式（1）具有模式的數(shù)據(jù)訪問方式（2）不具有模式的數(shù)據(jù)訪問方式（3）強(qiáng)制類型轉(zhuǎn)換（4）自動(dòng)類型轉(zhuǎn)換3.用LOAD和STREAM定義關(guān)系模式4.用FOREACH定義關(guān)系模式5.Pig模式（schemas）5．使用簡單數(shù)據(jù)類型定義模式（1）為所有字段指定別名和類型（2）為前兩個(gè)字段指定別名和類型，第三個(gè)字段只指定別名，不指定類型6.使用復(fù)雜數(shù)據(jù)類型定義模式（1）元組模式①包含一個(gè)元組的模式②包含兩個(gè)元組的模式（2）包模式（3）map模式①為value不指定類型②指定value類型為tuple（4）包含多種復(fù)雜類型的模式6.Pig相關(guān)函數(shù)詳解內(nèi)置函數(shù)內(nèi)置函數(shù)包括可重入函數(shù)（EvalFunctions）、加載/存儲(chǔ)函數(shù)（Load/StoreFunctions）、數(shù)學(xué)函數(shù)（MathFunctions）、字符串函數(shù)（StringFunctions）和時(shí)間函數(shù)（DatetimeFunctions）、Map/Bag/Tuple函數(shù)等。內(nèi)置函數(shù)不需要登記（register），可以直接使用；使用內(nèi)置函數(shù)時(shí)，不需要指出其完整名稱，只需簡單地使用函數(shù)名即可使用。6.Pig相關(guān)函數(shù)詳解用戶自定義函數(shù)（UDF）Pig針對(duì)用戶特定應(yīng)用需求提供了豐富的用戶自定義擴(kuò)展功能支持，用戶可以根據(jù)自己所熟悉的語言編寫Pig未實(shí)現(xiàn)的函數(shù)功能，PigUDF實(shí)現(xiàn)所支持的語言主要包括6種分別是Java、Jython、Python、JavaScript、Ruby、Groovy。目前，PigUDF實(shí)現(xiàn)語言所支持最好的是Java，因?yàn)镻ig是用Java語言實(shí)現(xiàn)的，提供了豐富的java接口操作。Pig還提供了豐富的javaUDF庫PiggyBank，是Pig編程愛好者自由實(shí)現(xiàn)，然后經(jīng)過多次正確性驗(yàn)證通過后貢獻(xiàn)給PiggyBank的。6.Pig相關(guān)函數(shù)詳解（1）使用Java語言實(shí)現(xiàn)可重入函數(shù)（EvalFunctions）（