Sqoop官方中文手冊

1、Sqoop官方中文手冊Sqoop中文手冊1.概述檔主要對SQOOP的使用進(jìn)行了說明，參考內(nèi)容主要來自于ClouderaSQOOP的官方文檔。為了用中文更清楚明白地描述各參數(shù)的使用含義，檔幾乎所有參數(shù)使用說明都經(jīng)過了我的實(shí)際驗(yàn)證而得到。2.codegen將關(guān)系數(shù)據(jù)庫表映射為一個(gè)java文件、javaclass類、以及相關(guān)的jar包，1、將數(shù)據(jù)庫表映射為一個(gè)Java文件，在該Java文件中對應(yīng)有表的各個(gè)字段。2、生成的Jar和class文件在metastore功能使用時(shí)會(huì)用至限基礎(chǔ)語句：sqoopcodegen-connectjdbc:mysql:/localhost:3306/hive-user

2、nameroot-password123456千ableTBLS2參數(shù)說明Hbindir指定生成的java文件、編譯成的class文件及將生成文件打包為JAR的JAR包文件輸-class-name-outdir生成的java文件存放路徑卞ackage-name包名，如，則會(huì)生成cn和cnnic兩級目錄，生成的文件就存放在cnnic目錄里-input-null-non-string在生成的java文件中，可以將null字符串設(shè)為想要設(shè)定的值-input-null-string同上，設(shè)定時(shí)，最好與上面的屬性一起設(shè)置，且設(shè)置同樣的值。-map-column-java數(shù)據(jù)庫字段在生成的java文件中會(huì)

3、映射為各種屬性，且默認(rèn)的數(shù)據(jù)類型與數(shù)據(jù)庫類型保持對應(yīng)，比如數(shù)據(jù)庫中某字段的類型為bigint,則在Java文件中的數(shù)據(jù)類型為long型，通過這個(gè)屬性，可以改變數(shù)據(jù)庫字段在java中映射的數(shù)據(jù)類型，格式如：-map-column-javaDB_ID=String,id=Integer-null-non-string在當(dāng)成的java文件中，比如TBL_ID=null?IInull,通過這外屬性設(shè)置可以將null字符串設(shè)置為其它值如ddd,TBL_ID=null?|ddd|-ndll-string同上，使雨的時(shí)候最好和上面的屬性一起用，且設(shè)置為相同的值-lable對應(yīng)關(guān)系數(shù)據(jù)庫的表名，生成的java

4、文件中的各屬性與該表的各字段一一對應(yīng)。3. create-hive-table生成與關(guān)系數(shù)據(jù)庫表的表結(jié)構(gòu)對應(yīng)的HIVE表基礎(chǔ)語句：sqoopcreate-hive-table-connectjdbc:mysql:/localhost:3306/hive-usernameroot-password123456千ableTBLS-hive-tableh_tbls2參數(shù)-hive-homeHive的安裝目錄，可以通過該參數(shù)覆蓋掉默認(rèn)的hive目錄-hive-overwrite覆蓋掉在hive表中已經(jīng)存在的數(shù)據(jù)-create-hive-table默認(rèn)是false,如果目標(biāo)表已經(jīng)存在了，那么創(chuàng)建任務(wù)會(huì)失

5、敗-hive-table后面接要?jiǎng)?chuàng)建的hive表dable指定關(guān)系數(shù)據(jù)庫表名4. eval可以快速地使用SQL語句對關(guān)系數(shù)據(jù)庫進(jìn)行操作，這可以使得在使用import這種工具進(jìn)行數(shù)據(jù)導(dǎo)入的時(shí)候，可以預(yù)先了解相關(guān)的SQL語句是否正確，并能將結(jié)果顯示在控制臺(tái)。查詢示例：sqoopeval-connectjdbc:mysql:/localhost:3306/hive精選公文范文，管理類，工作總結(jié)類，工作計(jì)劃類文檔，感謝閱讀下載3-usernameroot-password123456-querySELECT*FROMtblsLIMIT10數(shù)據(jù)插入示例：sqoopeval123456TBLS2hadoo

6、pTABLE-connectjdbc:mysql:/localhost:3306/hive-usernameroot-password-e-INSERTINTOVALUES(100,1375170308,1,0,',0,1,'guest','MANAGEDabc','ddd')|-e>-query這兩個(gè)參數(shù)經(jīng)過測試，比如后面分別接查詢和插入SQL語句，皆可運(yùn)行無誤，如上。5. export從hdfs中導(dǎo)數(shù)據(jù)到關(guān)系數(shù)據(jù)庫中sqoopexport-connectjdbc:mysql:/localhost:3306/hive-userna

7、meroot-password123456-lableTBLS2-export-dirsqoop/test參數(shù)說明-direct快速模式，利用了數(shù)據(jù)庫的導(dǎo)入工具，如mysql的mysqlimport,可以比jdbc連接的方式更為高效的將數(shù)據(jù)導(dǎo)入到關(guān)系數(shù)據(jù)庫中。-export-dir存放數(shù)據(jù)的HDFS的源目錄-m,-num-mappers啟動(dòng)N個(gè)map來精選公文范文，管理類，工作總結(jié)類，工作計(jì)劃類文檔，感謝閱讀下載4并行導(dǎo)入數(shù)據(jù)，默認(rèn)是4個(gè)，最好不要將數(shù)字設(shè)置為高于集群的最大Map數(shù)依ble要導(dǎo)入到的關(guān)系數(shù)據(jù)庫表-update-key后面接條件列名，通過該參數(shù)，可以將關(guān)系數(shù)據(jù)庫中已經(jīng)存在的數(shù)據(jù)進(jìn)

8、行更新操作，類似于關(guān)系數(shù)據(jù)庫中的update操作-update-mode更新模式，有兩個(gè)值updateonly和默認(rèn)的allowinsert,該參數(shù)只能是在關(guān)系數(shù)據(jù)表里不存在要導(dǎo)入的記錄時(shí)才能使用，比如要導(dǎo)入的hdfs中有一條id=1的記錄，如果在表里已經(jīng)有一條記錄id=2,那么更新會(huì)失敗。-input-null-string可選參數(shù)，如果沒有指定，則字符串null將被使用Tnput-null-non-string可選參數(shù)，如果沒有指定，則字符串null將被使用-staging-table該參數(shù)是用來保證在數(shù)據(jù)導(dǎo)入關(guān)系數(shù)據(jù)庫表的過程中事務(wù)安全性的，因?yàn)樵趯?dǎo)入的過程中可能會(huì)有多個(gè)事務(wù)，那么一個(gè)事

9、務(wù)失敗會(huì)影響到其它事務(wù)，比如導(dǎo)入的數(shù)據(jù)會(huì)出現(xiàn)錯(cuò)誤或出現(xiàn)重復(fù)的記錄等等情況，那么通過該精選公文范文，管理類，工作總結(jié)類，工作計(jì)劃類文檔，感謝閱讀下載5參數(shù)可以避免這種情況。創(chuàng)建一個(gè)與導(dǎo)入目標(biāo)表同樣的數(shù)據(jù)結(jié)構(gòu)，保留該表為空在運(yùn)行數(shù)據(jù)導(dǎo)入前，所有事務(wù)會(huì)將結(jié)果先存放在該表中，然后最后該表通過一次事務(wù)將結(jié)果寫入到目標(biāo)表中。-clear-staging-table如果該staging-table非空，則通過該參數(shù)可以在運(yùn)行導(dǎo)入前清除staging-table里的數(shù)據(jù)。-batch該模式用于執(zhí)行基本語句6.import將數(shù)據(jù)庫表的數(shù)據(jù)導(dǎo)入到hive中，如果在hive中沒有對應(yīng)的表，則自動(dòng)生成與數(shù)據(jù)庫表名相同

10、的表。sqoopimport-connectjdbc:mysql:/localhost:3306/hive-usernameroot-password123456-lableuser-split-byid-hive-importwplit-by指定數(shù)據(jù)庫表中的主鍵字段名，在這里為id。參數(shù)說明-append將數(shù)據(jù)追加到hdfs中已經(jīng)存在的dataset中。使用該參數(shù)，sqoop將把數(shù)據(jù)先導(dǎo)入到一個(gè)臨時(shí)目錄中，然后重新給文件命名到一個(gè)正式的目錄中，以避免和該目錄中已存在的文件重名。-as-avrodatafile將數(shù)據(jù)導(dǎo)入到一個(gè)Avro數(shù)據(jù)文件中-as-sequencefile將數(shù)據(jù)導(dǎo)入至U個(gè)s

11、equence文件中-as-textfile將數(shù)據(jù)導(dǎo)入到一個(gè)普通文件中，生成該文件后，可以在hive中通過sql語句查詢出結(jié)果。-boundary-query邊界查詢，也就是在導(dǎo)入前先通過SQL查詢得到一個(gè)結(jié)果集，然后導(dǎo)入的數(shù)據(jù)就是該結(jié)果集內(nèi)的數(shù)據(jù)，格式如：-boundary-query?selectid,creationdatefrompersonwhereid=3',表示導(dǎo)入的數(shù)據(jù)為id=3的記錄，或者selectmin(),max()from,注意查詢的字段中不能有數(shù)據(jù)類型為字符串的字段，否則會(huì)報(bào)錯(cuò)：InvalidvalueforgetLong()目前問題原因還未知-column

12、s指定要導(dǎo)入的字段值，格式如：-columnsid,usernamedirect直接導(dǎo)入模式，使用的是關(guān)系數(shù)據(jù)庫自帶的導(dǎo)入導(dǎo)出工具。官網(wǎng)上是說這樣導(dǎo)入會(huì)更快-direct-split-size在使用上面direct直接導(dǎo)入的基礎(chǔ)上，對導(dǎo)入的流按字節(jié)數(shù)分塊，特別是使用直連模式從PostgreSQL導(dǎo)入數(shù)據(jù)的時(shí)候，可以將一個(gè)到達(dá)設(shè)定大小的文件分為幾個(gè)獨(dú)立的文件。Tnline-lob-limit設(shè)定大對象數(shù)據(jù)類型的最大值-m,-num-mappers啟動(dòng)N個(gè)map來并行導(dǎo)入數(shù)據(jù)，默認(rèn)是4個(gè)，最好不要將數(shù)字設(shè)置為高于集群的節(jié)點(diǎn)數(shù)-query,-e從查詢結(jié)果中導(dǎo)入數(shù)據(jù)，該參數(shù)使用時(shí)必須指定darget-

13、dir、-hive-table,在查詢語句中一定要有where條件且在where條件中需要包含$CONDITIONS,示例：-query?select*frompersonwhere$CONDITIONS?target-dir/user/hive/warehouse/person-hive-tableperson-split-by表的歹U名，用來切分工作單元，一般后面跟主鍵IDCable關(guān)系數(shù)據(jù)庫表名，數(shù)據(jù)從該表中獲取4arget-dir指定hdfs路徑warehouse-dir與4arget-dir不能同時(shí)使用，指定數(shù)據(jù)導(dǎo)入的存放目錄，適用于hdfs導(dǎo)入，不適合導(dǎo)入hive目錄-where從

14、關(guān)系數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)時(shí)的查詢條件，示例：-where?id=2'-z,-compress壓縮參數(shù)，默認(rèn)情況下數(shù)據(jù)是沒被壓縮的，通過該參數(shù)可以使用gzip壓縮算法對數(shù)據(jù)進(jìn)行壓縮，適用于SequenceFile,text文件，和Avro文件-compression-codecHadoop壓縮編碼，默認(rèn)是gzip-null-string可選參數(shù)，如果沒有指定，則字符串null將被使用-null-non-string可選參數(shù)，如果沒有指定，則字符串null將被使用增量導(dǎo)入?yún)?shù)說明-check-column(col)用來作為判斷的列名，如id-incremental(mode)append:追力口

15、，比如對大于last-value指定的值之后的記錄進(jìn)行追加導(dǎo)入。lastmodified:最后的修改時(shí)間，追加last-value指定的日期之后的記錄-last-value(value)指定自從上次導(dǎo)入后列的最大值，也可以自己設(shè)定某一值對incremental參數(shù)，如果是以日期作為追加導(dǎo)入的依據(jù)，則使用lastmodified,否則就使用append值。7.import-all-tables將數(shù)據(jù)庫里的所有表導(dǎo)入到HDFS中，每個(gè)表在hdfs中都對應(yīng)一個(gè)獨(dú)立的目錄。sqoopimport-all-tables-connectjdbc:mysql:/localhost:3306/testsqoo

16、pimport-all-tables-connectjdbc:mysql:/localhost:3306/test-hive-import參數(shù)說明- as-avrodatafile同import參數(shù)- as-sequencefile同import參數(shù)- as-textfile同import參數(shù)-direct同import參數(shù)-direct-split-size同import參數(shù)-inline-lob-limit同import參數(shù)-m,中um-mappers同import參數(shù)warehouse-dir同import參數(shù)-z,-compress同import參數(shù)-compression-codec

17、同import參數(shù).job用來生成個(gè)sqoop的任務(wù)）生成后）該任務(wù)并不執(zhí)行，除非使用命令執(zhí)行該任務(wù)sqoopjob參數(shù)說明-create生成一個(gè)job）示例如：sqoopjob-createmyjobimport-connectjdbc:mysql:localhost:3306/testCableperson-delete刪除一個(gè)jobsqoopjob-deletemyjob-exec執(zhí)行一個(gè)jobsqoopjob-execmyjob5elp顯示幫助說明-list顯示所有的jobsqoopjob-listeta-connect用來連接metastore服務(wù)）示例如：eta-connectjd

18、bc:hsqldb:hsql:/localhost:16000/sqoop-show顯示一個(gè)job的各種參數(shù)sqoopjob-showmyjobverbose打E|3命令運(yùn)行時(shí)的詳細(xì)信息9.list-databases打印出關(guān)系數(shù)據(jù)庫所有的數(shù)據(jù)庫名sqooplist-databases-connectjdbc:mysql:/localhost:3306/-usernameroot-password123456打印出關(guān)系數(shù)據(jù)庫某一數(shù)據(jù)庫的所有表名sqooplist-tables-connectjdbc:mysql:/localhost:3306/zihou-usernameroot-passwo

19、rd12345611.精選公文范文，管理類，工作總結(jié)類，工作計(jì)劃類文檔，感謝閱讀下載11merge將HDFS中不同目錄下面的§據(jù)合在一起，并存放在指定的目錄中，示例如：sqoopmerge-new-data/test/p1/person-onto/test/p2/persontarget-dir/test/mergedjar-file/opt/data/sqoop/person/-class-namePerson-merge-keyid其中，-class-nam斯指定的class名是對應(yīng)于中的Person類，而是通過Codegen生成的參數(shù)-new-dataHdfs中存放數(shù)據(jù)的一個(gè)目

20、錄，該目錄中的數(shù)據(jù)是希望在合并后能優(yōu)先保留的，原則上一般是存放越新數(shù)據(jù)的目錄就對應(yīng)這個(gè)參數(shù)。-ontoHdfs中存放數(shù)據(jù)的一個(gè)目錄，該目錄中的數(shù)據(jù)是希望在合并后能被更新數(shù)據(jù)替換掉的，原則上一般是存放越舊數(shù)據(jù)的目錄就對應(yīng)這個(gè)參數(shù)。-merge-key合并鍵，一般是主鍵IDjar-file合并時(shí)引入的jar包，該jar包是通過Codegen工具生成的jar包-class-name對應(yīng)的表名或?qū)ο竺?，該class類是包含在jar包中的。target-dir合并后的數(shù)據(jù)在精選公文范文，管理類，工作總結(jié)類，工作計(jì)劃類文檔，感謝閱讀下載12HDFS里的存放目錄12.metastore記錄sqoopjob的

21、元數(shù)據(jù)信息，如果不啟動(dòng)metastore實(shí)例，則默認(rèn)的元數(shù)據(jù)存儲(chǔ)目錄為：/.sqoop,如果要更改存儲(chǔ)目錄，可以在配置文件中進(jìn)行更改。metastore實(shí)例啟動(dòng)：sqoopmetastore-shutdown關(guān)閉一個(gè)運(yùn)行的metastore實(shí)例13.version顯示sqoop版本信息語句：sqoopversion14.help打印sqoop幫助信息語句：sqoophelp15.公共參數(shù)Hive參數(shù)參數(shù)說明-hive-delims-replacement用自定義的字符串替換掉數(shù)據(jù)中的n,r,and01等-hive-drop-import-delims在導(dǎo)入數(shù)據(jù)到hive中時(shí)，去掉數(shù)據(jù)中n,r和

22、01這樣的字符-map-column-hive生成hive表時(shí)，可以更改生成字段的數(shù)據(jù)類型，格式如：map-column-hiveTBL_ID=String,LAST_ACCESS_TIME=string-hive-partition-key創(chuàng)建分區(qū)，后面直接精選公文范文，管理類，工作總結(jié)類，工作計(jì)劃類文檔，感謝閱讀下載跟分區(qū)名即可，創(chuàng)建完畢后，通過describe表名可以看到分區(qū)名，默認(rèn)為string型-hive-partition-value該值是在導(dǎo)入數(shù)據(jù)到hive中時(shí)，與-hive-partition-key設(shè)定的key對應(yīng)的value值。-hive-homeHive的安裝目錄，可以通

23、過該參數(shù)覆蓋掉默認(rèn)的hive目錄-hive-import將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫中導(dǎo)入至IIhive表中-hive-overwrite覆蓋掉在hive表中已經(jīng)存在的數(shù)據(jù)-create-hive-table默認(rèn)是false,如果目標(biāo)表已經(jīng)存在了，那么創(chuàng)建任務(wù)會(huì)失敗-hive-table后面接要?jiǎng)?chuàng)建的hive表Cable指定關(guān)系數(shù)據(jù)庫表名數(shù)據(jù)庫連接參數(shù)參數(shù)說明-connectJdcb連接url,示例如：-connectjdbc:mysql:/localhost:3306/hive-connection-manager指定要使用的連接管理類-driver數(shù)據(jù)庫驅(qū)動(dòng)類-hadoop-homeHadoop根目

24、錄-help打印幫助信息-P從控制端讀取密碼-passwordJdbcurl中的數(shù)據(jù)庫連接密碼-usernameJdbcurl中的數(shù)據(jù)庫連接用戶名-verbose在控制臺(tái)打印出詳細(xì)信息-connection-param-file一個(gè)記錄著數(shù)據(jù)庫連接參數(shù)的文件文件輸出參數(shù)用于import場景。示例如：sqoopimport-connectjdbc:mysql:/localhost:3306/test-usernameroot-Pdableperson-split-byid-check-columnid-incrementalappend-last-value1-enclosed-byI-esca

25、ped-by#fields-terminated-by.參數(shù)說明-enclosed-by給字段值前后加上指定的字符，比如雙引號，示例：-enclosed-byII?,顯示例子：II3”,IIjimsssIIescdipejd-by給雙引號作轉(zhuǎn)義處理，如字段值為惻試I；經(jīng)過-處理后，在hdfs中的顯示值為：I測試II,對單引號無效fields-terminated-by設(shè)定每個(gè)字段是以什么符號作為結(jié)束的，默認(rèn)是逗號，也可以改為其它符號，如句號.，示例如：fields-terminated-by.Tines-terminated-by設(shè)定每條記錄行之間的分隔符，默認(rèn)是換行，-mysql-delimitersMysql默認(rèn)的分隔符設(shè)置，字段之間以，隔開，行之間以換行n隔開，默認(rèn)轉(zhuǎn)義符號是，字段值以單引號包含起來。-optionally-enclosed-byenclosed-by是強(qiáng)制給每個(gè)字段值前后都加上指定的符號，而-optionally-enclosed-by只是給帶有雙弓I號或單引號的字段值加上指定的符號，故叫可選的。示例如：-optionally-enclosed-by?$'文件輸入?yún)?shù)對數(shù)據(jù)格+的解析，用于export場景，與文件輸出參數(shù)