02Hive學(xué)習總結(jié)及應(yīng)用

一、文檔說明二、Hive(數(shù)據(jù)提取)概述externaltablename定表的位置。只需要在創(chuàng)建表的時候告訴Hive數(shù)據(jù)中的列分隔符和行分隔符，據(jù)移動到表所在的目錄中(如果數(shù)據(jù)是在HDFS上；但如果數(shù)據(jù)是在這種方式是最簡單的存儲方式，只需要在hive-default.xml或用數(shù)據(jù)庫，否則會提示如下錯誤(這是一個很常見的錯誤)。hiveloaddatalocalinpath'wyp.txt'intotablewyp;hiveloaddatainpath'/home/wyp/add.txt'intotablewyp;hiveinsertintotabletestionageametelhive>insertoverwritelocaldirectory'/home/wyp/wyp'hive>insertoverwritedirectory'/home/wyp/hdfs'hiveinsertintotabletestionageametel#hive啟動equiteshowdatabasesecreatedatabasetesthiveCREATEDATABASEfinancialspreferreddirectoryhiveusedefaulthivecreatetablet1(keystring);SCRIBEEXTENDEDtablenameiveshowtableshivedescextendedtmr_format;hive>showpartitionst1;chive>ALTERTABLEday_hour_tableDROPPARTITIONhive>droptablet1;hive>!ls;hivedfs-ls/;binhivefhomemyhivescriptsqlMEbinhiveihomemyhiveinitsqlcreatetablett(namestring,agestring)locationtdataintotablett刪除tt表后，會將tt表的數(shù)據(jù)和元數(shù)據(jù)信息全部刪除，即最后如果創(chuàng)建內(nèi)部表時沒有指定location，就會在reateexternaltableetnamestringagestringnputedataintotableet此時會把hdfs上/input/edata/下的數(shù)據(jù)轉(zhuǎn)到/user/hive/warehouse/et下，刪除這個外部表后，/user/hive/warehouse/et下的數(shù)據(jù)不會刪除，但是/input/edata/(1)加上location用法一樣，只不過表目錄的位置不同而已。(2)加上partition用法也一樣，只不過表目錄下會有分區(qū)目錄而estringformat返回值:string說明:轉(zhuǎn)化UNIX時間戳(從1970-01-0100:00:00UTC到指定時間的秒數(shù))到當前時區(qū)的時間格式hive>selectfrom_unixtime(1323308943,’yyyyMMdd’)fromdual;20111208返回值:bigint說明:獲得當前時區(qū)的UNIX時間戳hive>selectunix_timestamp()fromdual;返回值:bigint說明:轉(zhuǎn)換格式為“yyyy-MM-ddHH:mm:ss“的日期到UNIX時間戳。如果轉(zhuǎn)化失敗，hive>selectunix_timestamp(’2011-12-0713:01:03′)fromdual;1323234063rn返回值:biginthive>selectunix_timestamp(’2011120713:01:03′,’yyyyMMddHH:mm:ss’)fromdual;1323234063返回值:string說明:返回日期時間字段中的日期部分。hive>selectto_date(’2011-12-0810:03:01′)fromdual;2011-12-08返回值:int說明:返回日期中的年。hive>selectyear(’2011-12-0810:03:01′)fromdual;hive>selectyear(’2012-12-08′)fromdual;語法:month(stringdate)返回值:int說明:返回日期中的月份。hive>selectmonth(’2011-12-0810:03:01′)fromdual;hive>selectmonth(’2011-08-08′)fromdual;8返回值:int說明:返回日期中的天。hive>selectday(’2011-12-0810:03:01′)fromdual;8hive>selectday(’2011-12-24′)fromdual;返回值:int說明:返回日期中的小時。hive>selecthour(’2011-12-0810:03:01′)fromdual;語語法:minute(stringdate)返回值:int說明:返回日期中的分鐘。hive>selectminute(’2011-12-0810:03:01′)fromdual;3返回值:int說明:返回日期中的秒。hive>selectsecond(’2011-12-0810:03:01′)fromdual;1返回值:int說明:返回日期在當前的周數(shù)。hive>selectweekofyear(’2011-12-0810:03:01′)fromdual;返回值:int說明:返回結(jié)束日期減去開始日期的天數(shù)。hive>selectdatediff(’2012-12-08′,’2012-05-09′)fromdual;返回值:stringshive>selectdate_add(’2012-12-08′,10)fromdual;2012-12-18返回值:stringshive>selectdate_sub(’2012-12-08′,10)fromdual;2012-11-288selectfrom_unixtime(unix_timestamp(),'yyyyMMddHH')fromenodeblimitselectfrom_unixtime(unix_timestamp(),'yyyy-MM-ddHH:mm:ss')fromenodeblimit1;14-04-2509:15:58七、Hive開發(fā)配置(java)hehadoophivejdbcHiveDriverManagergetConnection八、數(shù)據(jù)類型類型TINYINTSMALLINTTBIGINTFLOATDOUBLEBOOLEANSTRING描述1個字節(jié)(8位)有符號整數(shù)2字節(jié)(16位)有符號整數(shù)4字節(jié)(32位)有符號整數(shù)8字節(jié)(64位)有符號整數(shù)4字節(jié)(32位)單精度浮點數(shù)8字節(jié)(64位)雙精度浮點數(shù)true/false字符串示例1111TRUE‘xia’,”xia”描描述一組有序字段。字段的類型必須相同一組無序的鍵/值對。鍵的類型必須是原子的，值可以是任相同一組命名的字段。字段類型可以不同示例Array(1,2)Map(‘a(chǎn)’,1,’b’,2)Struct(‘a(chǎn)’,1,1,0)類型ARRAYSTRUCTstring)partitionedby(dtstring);單分區(qū)表，按天分區(qū)，在表ALTERTABLEtable_nameADDpartition_spec[LOCATION'location1']partition_spec[LOCATION'location2']...ALTERTABLEday_tableADDPARTITIONdt008-08-08',hour='08')ALTERTABLEtable_nameDROPpartition_spec,partition_spec,...用戶可以用ALTERTABLEDROPPARTITION來刪除分區(qū)。分區(qū)的ourtablenamePARTITIONpartcolvalpartcol2=val2...)]PARTITIONdt008-08-08',hour='08');LOADDATAlocalINPATH'/user/hua/*'INTOTABLEday_hourpartitiondt2010-07-07');基于分區(qū)的查詢的語句：SELECTday_table.*FROMday_tableWHEREday_table.dt>='2008-08-08';hive>showpartitionsday_hour_table;OKdt=2008-08-08