數(shù)據(jù)工程師培訓(xùn)題庫(kù)四

1、【說(shuō)明】a) 客觀題30題，每題2分，總計(jì)60分b) 主觀題4題，每題10分，總計(jì)40分c) 滿(mǎn)分100分?！静欢?xiàng)選擇題（每題2分共60分）】1、 下列與HDFS有關(guān)的說(shuō)法正確的是（ ）AHDFS DataNode節(jié)點(diǎn)上的磁盤(pán)需要做RAID1，用來(lái)保證數(shù)據(jù)的可靠性BHDFS可以在磁盤(pán)之間通過(guò)balance操作，平衡磁盤(pán)之間的負(fù)載情況CHDFS建議DataNode之間的數(shù)據(jù)盤(pán)個(gè)數(shù)、容量大小不一致，以體現(xiàn)HDFS的負(fù)載均衡能力D規(guī)劃HDFS集群時(shí)，建議Active NameNode和Standby NameNode分配在不同的機(jī)架上 2、 以下哪個(gè)服務(wù)作為HDFS高可靠協(xié)調(diào)服務(wù)的共享存儲(chǔ)？（ ）

2、A. ZooKeeperB. JournalNodesC. NameNodeD. ZKFailoverController3、 在集群中配置HDFS的副本數(shù)為3，設(shè)置數(shù)據(jù)塊大小為128M，此時(shí)我們上傳一份64M的數(shù)據(jù)文件，該數(shù)據(jù)文件占用HDFS空間大小為（ ）A . 64MB . 128MC . 384MD . 192M4、 在Yarn服務(wù)中，不包含以下哪種角色（ ）A . ResourceManagerB . NodeManagerC . ApplicationMasterD . Contianer5、 ResourceManager是YARN的主要組成部分，有關(guān)其功能描述不正確的是（ ）A

3、 . 它直接將集群所擁有的資源按需分配給運(yùn)行在YARN上的應(yīng)用程序B . 它負(fù)責(zé)將集群中的所有資源進(jìn)行統(tǒng)一管理和分配C . 它接受各個(gè)節(jié)點(diǎn)的資源匯報(bào)信息D . 它把資源按照策略分配給各應(yīng)用TDH數(shù)據(jù)平臺(tái)認(rèn)證工程師試題姓名：_ 分?jǐn)?shù)：_6、 當(dāng)前用戶(hù)提交了一個(gè)wordcount詞頻統(tǒng)計(jì)的任務(wù)，最后任務(wù)執(zhí)行失敗，可能的原因有哪些（ ）A . 當(dāng)前集群中沒(méi)有足夠的資源，不足以滿(mǎn)足當(dāng)前wordcount任務(wù)的需求B . 執(zhí)行該任務(wù)的用戶(hù)沒(méi)有權(quán)限訪(fǎng)問(wèn)HDFS上的數(shù)據(jù)文件C . 用戶(hù)在執(zhí)行任務(wù)之前在HDFS相應(yīng)的目錄下創(chuàng)建了提交任務(wù)時(shí)指定的輸出目錄D . 以上原因都有可能7、 以下關(guān)于外表和托管表描述正確

4、的是（ ）A、外表的數(shù)據(jù)存儲(chǔ)在本地，托管表的數(shù)據(jù)存儲(chǔ)在hdfs上B、刪除托管表只會(huì)刪除Inceptor上的元數(shù)據(jù)不會(huì)刪除數(shù)據(jù)文件，刪除外表兩者都會(huì)被刪除C、刪除外表只會(huì)刪除Inceptor上的元數(shù)據(jù)不會(huì)刪除數(shù)據(jù)文件，刪除托管表兩者都會(huì)被刪除D、刪除托管表或外表，incepotr上的元數(shù)據(jù)和數(shù)據(jù)文件都會(huì)被刪除8、 SQL運(yùn)行中如果出現(xiàn)maptask數(shù)據(jù)特別多，執(zhí)行時(shí)間又很短時(shí)可以通過(guò)小文件合并來(lái)進(jìn)行優(yōu)化，以下是合并參數(shù)有（ ）A. SET ngmr.partition.automerge = TRUE;B. SET ngmr.partition.mergesize = n;C. SET ngmr

5、.partition.mergesize.mb = m;D. SET mapred.reduce.tasks = N;9、 以下關(guān)于inceptor日志信息描述正確的有（ ）A. Inceptor server日志存放于各節(jié)點(diǎn)的/var/log/inceptorsqlx/hive-server.logB. 可以通過(guò)inceptor server 4040查看SQL錯(cuò)誤日志C. Excutor日志存放于excutor節(jié)點(diǎn)的/var/log/inceptorsqlx/spark-excutor.logD ExcutorGC日志存放于excutor節(jié)點(diǎn)的/var/log/inceptorsqlx/s

6、park-excutor.gc.log10、 tableA 有10G的數(shù)據(jù)，tableB有100G的數(shù)據(jù)，兩個(gè)表通過(guò)共有的id列做關(guān)聯(lián)查詢(xún)name列，以下方式可以?xún)?yōu)化計(jì)算效率的是（ ）A. select /*+MAPJOIN(a)*/ , from tableA a join tableB b on a.id=b.idB. select /*+MAPJOIN(b)*/ , from tableA a join tableB b on a.id=b.idC. 建表時(shí)將tableA 和 tableB 根據(jù)id字段分相同數(shù)量的桶D. 建表時(shí)將table

7、A 和 tableB 根據(jù)name字段分相同數(shù)量的桶11、 以下屬于HMaster功能的是（ ）A 為Region Server 分配regionB 存儲(chǔ)數(shù)據(jù)元信息C 對(duì)region進(jìn)行compact操作D 管理用戶(hù)對(duì)table的增刪改查操作12、 Hyperbase與Inceptor的關(guān)系，描述正確的是（ ）A 兩者不可或缺，Inceptor保證Hyperbase的服務(wù)的正常運(yùn)行B 兩者沒(méi)有任何關(guān)系C Inceptor可以訪(fǎng)問(wèn)HyperbaseD 兩者相輔相成13、 下列創(chuàng)建全局索引的語(yǔ)句，正確的是（ ）A add_index t1, index_name, COMBINE_INDEX|IN

8、DEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=trueB add_global_index t1, index_name, COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=trueC add_fulltext_index t1, index_name, COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=trueD create_global_index t1, index_name, COMBINE_INDEX|INDEXED=f1:q1:9|ro

9、wKey:rowKey:10,UPDATE=true14、 以下對(duì)流處理計(jì)算框架描述不正確的是（ ）A Spark Streaming是基于微批（batch）對(duì)數(shù)據(jù)進(jìn)行處理的B Apache Storm是基于時(shí)間（event）對(duì)數(shù)據(jù)進(jìn)行處理的C Transwarp StreamSQL可基于微批或事件對(duì)數(shù)據(jù)進(jìn)行處理D 以上說(shuō)法都不對(duì)15、 某交通部門(mén)通過(guò)使用流監(jiān)控全市過(guò)往24小時(shí)各個(gè)卡口數(shù)據(jù)，要求每分鐘更新一次，原始流為org_stream，以下實(shí)現(xiàn)正確的是（ ）A. CREATE STREAMWINDOW traffic_stream AS SELECT * FROM original_str

10、eam STREAM w1 AS (length 1 minute slide 24 hour);B. CREATE STREAM traffic_stream AS SELECT * FROM original_stream STREAMWINDOW w1 AS (length 1 minute slide 24 hour);C. CREATE STREAM traffic_stream AS SELECT * FROM original_stream STREAMWINDOW w1 AS (length 24 hour slide 1 minute);D. CREATE STREAM tr

11、affic_stream AS SELECT * FROM original_stream AS (length 24 second slide 1 minute);16、 Zookeeper服務(wù)描述正確的為（ ）A . Zookeeper中每一個(gè)server互為leader。B . Zookeeper中只有一個(gè)leader，并通過(guò)備份機(jī)制產(chǎn)生。C . Zookeeper中不存在leader,所有server共同提供服務(wù)。D . Zookeeper通過(guò)選舉機(jī)制確定leader，有且僅有一個(gè)。17、 通過(guò)Hue修改HDFS目錄或文件的權(quán)限可以通過(guò)以下哪些方式實(shí)現(xiàn)（ ）A Hdfs相應(yīng)的權(quán)限B 通

12、過(guò)Hue超級(jí)用戶(hù)hue登錄C 以hdfs用戶(hù)登錄D 以上都可以18、 通過(guò)Oozie使用ssh，必須滿(mǎn)足以下條件（ ）A 以root用戶(hù)登錄各個(gè)節(jié)點(diǎn)B Oozie用戶(hù)可以免密鑰登錄 C Oozie用戶(hù)必須要有bash權(quán)限D(zhuǎn) . 所訪(fǎng)問(wèn)必須是集群的節(jié)點(diǎn)19、 有關(guān)使用sqoop抽取數(shù)據(jù)的原理的描述不正確的是（ ）A . sqoop在抽取數(shù)據(jù)的時(shí)候可以指定map的個(gè)數(shù)，map的個(gè)數(shù)決定在hdfs生成的數(shù)據(jù)文件的個(gè)數(shù)B . sqoop抽取數(shù)據(jù)是個(gè)多節(jié)點(diǎn)并行抽取的過(guò)程，因此map的個(gè)數(shù)設(shè)置的越多性能越好C . sqoop任務(wù)的切分是根據(jù)split字段的（最大值-最小值）/map數(shù)D . sqoop抽取

13、數(shù)據(jù)的時(shí)候需要保證執(zhí)行當(dāng)前用戶(hù)有權(quán)限執(zhí)行相應(yīng)的操作20、 在使用sqoop連接關(guān)系型數(shù)據(jù)時(shí)，下面哪個(gè)命令可以查看關(guān)系型數(shù)據(jù)庫(kù)中有哪些表？（ ）A. sqoop list-databases -username root -password -connect jdbc:mysql:/5:3306/B. sqoop list-databases -username root -P -connect jdbc:mysql:/5:3306/C. sqoop list-databases -username root -password-file fi

14、le:/root/.pwd -connect jdbc:mysql:/5:3306/D. sqoop list-tables -username root -password -connect jdbc:mysql:/5:3306/test21、 要將采集的日志數(shù)據(jù)作為kafka的數(shù)據(jù)源，則flume sink需要設(shè)置為下列哪項(xiàng)參數(shù)（ ）A . hdfsB . kafkaC . org.apache.flume.sink.kafka.KafkaSinkD . topicname22、 下列是關(guān)于flume和sqoop對(duì)比的描述，不正確的是（

15、）A . flume主要用來(lái)采集日志而sqoop主要用來(lái)做數(shù)據(jù)遷移B . flume主要采集流式數(shù)據(jù)而sqoop主要用來(lái)遷移規(guī)范化數(shù)據(jù)C . flume和sqoop都是分布式處理任務(wù)D . flume主要用于采集多數(shù)據(jù)源小數(shù)據(jù)而sqoop用來(lái)遷移單數(shù)據(jù)源數(shù)據(jù)23、 有關(guān)Elasticsearch描述有誤的一項(xiàng)是（ ）A 它會(huì)利用多播形式發(fā)現(xiàn)節(jié)點(diǎn)。B 主節(jié)點(diǎn)(master node) 通過(guò)選舉方式產(chǎn)生。C 主節(jié)點(diǎn)(master node)進(jìn)行集群的管理，只負(fù)責(zé)集群節(jié)點(diǎn)添加和刪除。D 主節(jié)點(diǎn)會(huì)去讀集群狀態(tài)信息，必要的時(shí)候進(jìn)行恢復(fù)工作。24、 下面措施中，不能保證kafka數(shù)據(jù)可靠性的是（ ）A .

16、 kafka會(huì)將所有消息持久化到硬盤(pán)中保證其數(shù)據(jù)可靠性B . kafka通過(guò)Topic Partition設(shè)置Replication來(lái)保證其數(shù)據(jù)可靠性C . kafka通過(guò)設(shè)置消息重發(fā)機(jī)制保證其數(shù)據(jù)可靠性D . kafka無(wú)法保證數(shù)據(jù)可靠性25、 TDH提供哪幾種認(rèn)證模式？（ ）A 所有服務(wù)使用簡(jiǎn)單認(rèn)證模式所有服務(wù)都無(wú)需認(rèn)證即可互相訪(fǎng)問(wèn)B 所有服務(wù)都啟用Kerberos認(rèn)證，用戶(hù)要提供Kerberos principal和密碼（或者keytab）來(lái)訪(fǎng)問(wèn)各個(gè)服務(wù)C 所有服務(wù)都啟用Kerberos同時(shí)Inceptor啟用LDAP認(rèn)證D 所有服務(wù)都啟用LDAP認(rèn)證26、 開(kāi)啟LDAP后，應(yīng)該使用哪個(gè)

17、命令連接Inceptor（ ）A. transwarp -t -h $ip。B. beeline -u jdbc:hive2:/$ip:10000 -n $username -p $password。C. beeline -u jdbc:hive2:/$ip:10000/default;principal=hive/node1TDH。D. beeline -u jdbc:hive2:/$ip:10000/default;principal=user1TDH。27、 Inceptor server服務(wù)無(wú)法啟動(dòng)時(shí)，該如何查看日志是（ ）A 查看TDH manager所在節(jié)點(diǎn)/var/log/inc

18、eptorsql*/目錄下的hive-server2.log日志B 查看Inceptor server所在節(jié)點(diǎn)/var/log/inceptorsql*/目錄下的hive-server2.log日志C 查看Resource Manager所在節(jié)點(diǎn)/var/log/Yarn*/目錄下的yarn-yarn-resourcemanager-poc-node1.log日志D 查看任意節(jié)點(diǎn)/var/log/inceptorsql*/目錄下的hive-server2.log日志28、 現(xiàn)有一批數(shù)據(jù)需要進(jìn)行清洗，要求對(duì)其中null通過(guò)update轉(zhuǎn)換為0，刪除重復(fù)的記錄，添加部分新的記錄，則該表應(yīng)該設(shè)計(jì)為（ ）A.