數(shù)據(jù)倉(cāng)庫(kù)Hive應(yīng)用實(shí)戰(zhàn) 教案113-116課時(shí)：調(diào)優(yōu)數(shù)據(jù)倉(cāng)庫(kù)性能

湖南汽車工程職業(yè)學(xué)院教師授課教案第15周第1-4課時(shí)累計(jì)116課時(shí)課程名稱數(shù)據(jù)倉(cāng)庫(kù)HIVE應(yīng)用授課課題調(diào)優(yōu)數(shù)據(jù)倉(cāng)庫(kù)性能授課專業(yè)班級(jí)大數(shù)據(jù)2101班、2102班、2103班教學(xué)目標(biāo)1、了解Hive存儲(chǔ)優(yōu)化，能夠描述Hive常用的文件存儲(chǔ)格式。2、掌握Hive參數(shù)優(yōu)化，能夠靈活使用Hive配置參數(shù)優(yōu)化Hive性能。3、熟悉HiveQL語(yǔ)句優(yōu)化技巧，能夠描述HiveQL語(yǔ)句優(yōu)化的方式。教學(xué)要點(diǎn)教學(xué)重點(diǎn)1、配置MapReduce壓縮、Map個(gè)數(shù)2、配置Reduce個(gè)數(shù)3、配置本地模式教學(xué)難點(diǎn)1、Hive存儲(chǔ)優(yōu)化2、配置合并文件3、配置并行執(zhí)行課型一體化授課教法與學(xué)法（教具）示范演示法、任務(wù)驅(qū)動(dòng)教學(xué)法、分組合作教學(xué)法課后作業(yè)完成超星平臺(tái)作業(yè)、看視頻熟練操作教學(xué)后記（教師課后填寫）1、該內(nèi)容需要對(duì)HIVE進(jìn)行整體把控，學(xué)會(huì)常見(jiàn)參數(shù)的配置，要具備一定的英文功底；2、鼓勵(lì)學(xué)生要發(fā)散思維，學(xué)會(huì)綜合運(yùn)用所學(xué)知識(shí)；3、掌握思維導(dǎo)圖對(duì)于知識(shí)體系構(gòu)建的重要性。授課教師王海霞、黃史記【課前復(fù)習(xí)】Sqoop導(dǎo)入導(dǎo)出的命令？【作業(yè)點(diǎn)評(píng)】展示超星平臺(tái)學(xué)生作業(yè)完成情況，并做點(diǎn)評(píng)。【學(xué)習(xí)目標(biāo)】本任務(wù)實(shí)施以“學(xué)生信息系統(tǒng)”項(xiàng)目為實(shí)操載體，依次完成配置本地模式、配置strict模式、配置動(dòng)態(tài)分區(qū)、配置并行執(zhí)行、配置Fetch抓取和配置合并文件等操作，最終熟練掌握Hive參數(shù)調(diào)優(yōu)方法。【課程導(dǎo)入】對(duì)Hive來(lái)說(shuō)，初始配置和調(diào)優(yōu)后的配置，兩者性能之間的差距非常明顯，調(diào)優(yōu)Hive參數(shù)是提升Hive性能的重要方式之一。本任務(wù)以“學(xué)生信息系統(tǒng)”項(xiàng)目為實(shí)操載體，完成理解Hive參數(shù)調(diào)優(yōu)的作用，能熟練調(diào)優(yōu)Hive參數(shù)提升Hive性能，能熟記調(diào)優(yōu)參數(shù)項(xiàng)及參數(shù)值等學(xué)習(xí)目標(biāo)。【新課講授】一、調(diào)優(yōu)Hive參數(shù)1.配置本地模式表8-SEQ表8-\*ARABIC1本地模式相關(guān)參數(shù)項(xiàng)及描述信息表參數(shù)項(xiàng)參數(shù)描述默認(rèn)值hive.exec.mode.local.auto設(shè)置是否開(kāi)啟Hive的本地模式falsehive.exec.mode.local.auto.inputbytes.max設(shè)置Job輸入數(shù)據(jù)的最大值134217728hive.exec.mode.local.auto.input.files.max設(shè)置Job輸入文件個(gè)數(shù)的最大值42.配置strict模式Hive中有嚴(yán)格模式，由參數(shù)項(xiàng)hive.mapred.mode控制，默認(rèn)處于nostrict非嚴(yán)格模式。在嚴(yán)格模式下，主要體現(xiàn)在以下三個(gè)方面的限制，第一，對(duì)分區(qū)表的查詢必須指定分區(qū)字段；第二，查詢語(yǔ)句中ORDERBY必須指定LIMIT；第三，禁止執(zhí)行笛卡爾積查詢。若使用Hive客戶端臨時(shí)配置嚴(yán)格模式，命令如下：sethive.mapred.mode=strict;若需要永久配置嚴(yán)格模式，則需要在Hive配置文件中添加如下配置內(nèi)容：<property><name>hive.mapred.mode</name><value>strict</value></property>關(guān)閉嚴(yán)格模式:sethive.mapred.mode=nostrict;【講練結(jié)合】【例8-1】分別配置非本地模式和本地模式在studentdb數(shù)據(jù)倉(cāng)庫(kù)中查詢student表的行數(shù)。在非本地模式查詢student表的行數(shù)：sethive.exec.mode.local.auto=false;SELECTCOUNT(*)FROMstudentdb.student;圖8-SEQ圖8-\*ARABIC1非本地模式下執(zhí)行COUNT(*)函數(shù)的時(shí)間在本地模式查詢student表行數(shù)：sethive.exec.mode.local.auto=true;SELECTCOUNT(*)FROMstudentdb.student;圖8-SEQ圖8-\*ARABIC2本地模式下執(zhí)行COUNT(*)函數(shù)的時(shí)間從上述圖8-1和圖8-2兩張圖的返回結(jié)果顯示，兩種模式下同一執(zhí)行語(yǔ)句，其執(zhí)行時(shí)間相差約為19s?！纠?-2】分別配置非嚴(yán)格模式和嚴(yán)格模式在studentdb數(shù)據(jù)倉(cāng)庫(kù)中查詢分區(qū)表phy_course_dynamic_partition中的數(shù)據(jù)。在默認(rèn)的非嚴(yán)格模式查詢phy_course_dynamic_partition中的數(shù)據(jù)：SELECT*FROMstudentdb.phy_course_dynamic_partition;圖8-SEQ圖8-\*ARABIC3非嚴(yán)格模式下查詢分區(qū)表在嚴(yán)格模式查詢phy_course_dynamic_partition中的數(shù)據(jù)：sethive.mapred.mode=strict;SELECT*FROMstudentdb.phy_course_dynamic_partition;SELECT*FROMstudentdb.phy_course_dynamic_partitionWHEREopt_cour='volleyball';【新課講授】二、調(diào)優(yōu)Hive存儲(chǔ)1調(diào)優(yōu)文件存儲(chǔ)Hive底層數(shù)據(jù)是以文件的形式存儲(chǔ)在Hadoop的HDFS中，不同文件存儲(chǔ)格式不僅對(duì)存儲(chǔ)空間占用的大小有所不同，而且對(duì)HiveQL語(yǔ)句的執(zhí)行性能也有所不同，因此根據(jù)實(shí)際應(yīng)用場(chǎng)景選擇合理的文件存儲(chǔ)格式就變得尤為重要。Hive數(shù)據(jù)表支持多種類型的文件存儲(chǔ)格式存儲(chǔ)數(shù)據(jù)文件，接下來(lái)，對(duì)Hive常用的文件存儲(chǔ)格式進(jìn)行簡(jiǎn)要介紹，具體如表8-6所示。表8-SEQ表8-\*ARABIC6Hive常用文件存儲(chǔ)格式對(duì)比表文件存儲(chǔ)格式存儲(chǔ)方式自身支持壓縮支持分片加載數(shù)據(jù)方式TextFile行式存儲(chǔ)否否LOAD和INSERTSequenceFile列式存儲(chǔ)是是INSERTORCFile行列存儲(chǔ)是是INSERT2調(diào)優(yōu)數(shù)據(jù)壓縮【講練結(jié)合】【例8-4】臨時(shí)開(kāi)啟Hive中間數(shù)據(jù)壓縮，然后設(shè)置壓縮算法為結(jié)合了低CPU和高壓縮執(zhí)行效率Snappy壓縮算法。setermediate=true;setpression.codec=press.SnappyCodec;【例8-5】臨時(shí)開(kāi)啟Hive最終數(shù)據(jù)壓縮，設(shè)置最終壓縮算法為Snappy算法。setpress.output=true;setpression.codec=press.SnappyCodec【新課講授】三、調(diào)優(yōu)HiveQL1、配置列裁剪表8-SEQ表8-\*ARABIC11列裁剪相關(guān)參數(shù)項(xiàng)及描述信息表參數(shù)項(xiàng)參數(shù)描述默認(rèn)值hive.optimize.cp設(shè)置是否開(kāi)啟Hive的列裁剪true若使用Hive客戶端臨時(shí)配置列裁剪，命令如下：sethive.optimize.cp=true;若需要永久配置列裁剪，則需要在Hive配置文件中添加如下配置內(nèi)容：<property><name>hive.optimize.cp</name><value>true</value></property>在開(kāi)啟列裁剪后，使用SELECTstnameFROMstudentdb.student;語(yǔ)句查詢時(shí)，在列裁剪作用下Hive會(huì)忽略其他五列而只讀取查詢邏輯中真實(shí)需要的“stname”列。2、配置分區(qū)裁剪表8-SEQ表8-\*ARABIC12分區(qū)裁剪相關(guān)參數(shù)項(xiàng)及描述信息表參數(shù)項(xiàng)參數(shù)描述默認(rèn)值hive.optimize.pruner設(shè)置是否開(kāi)啟Hive的分區(qū)裁剪true若使用Hive客戶端臨時(shí)配置分區(qū)裁剪，命令如下：sethive.optimize.pruner=true;若需要永久配置分區(qū)裁剪，則需要在Hive配置文件中添加如下配置內(nèi)容：<property><name>hive.optimize.pruner</name><value>true</value></property>3配置MapJoin表8-SEQ表8-\*ARABIC13MapJoin優(yōu)化相關(guān)參數(shù)項(xiàng)及描述信息表參數(shù)項(xiàng)參數(shù)描述默認(rèn)值hive.auto.convert.join設(shè)置是否自動(dòng)使用MapJoin優(yōu)化truehive.mapjoin.smalltable.filesize設(shè)置MapJoin優(yōu)化的表大小，如果表大小小于該設(shè)置值，則其就會(huì)被加載進(jìn)內(nèi)存中25000000若使用Hive客戶端臨時(shí)配置啟用MapJoin優(yōu)化，命令如下：sethive.auto.convert.join=true;若需要永久配置啟用Ma