大數(shù)據(jù)課程期末考試復(fù)習(xí)題及答案

1、大數(shù)據(jù)課程期末考試復(fù)習(xí)題及答案1. 有一批海量數(shù)據(jù)，需要實現(xiàn)復(fù)雜計算分析，此時建議使用下面哪個計算引擎？ MapReduceSpark(正確答案)YARNHDFS2. 有一批海量數(shù)據(jù)，后期主要側(cè)重于快速的讀寫，有修改需求，此時建議存儲到哪個存儲系統(tǒng)中? HDFSHBase(正確答案)MySQLRedis3. 在shell命令行中向HDFS上傳文件，需要使用哪個命令？ uploadsetinsertput(正確答案)4. 針對HDFS中NameNode的職責描述，錯誤的是： NameNode是整個文件系統(tǒng)的管理節(jié)點NameNode中負責維護File與Block list的關(guān)系NameNode中負

2、責存儲文件數(shù)據(jù)(正確答案)NameNode負責接收用戶讀寫請求5. 3個5M的文件和1個130M的文件，在HDFS中會產(chǎn)生多少個Block塊？ 345(正確答案)66. HDFS中的哪個進程是負責定期將edits文件中的內(nèi)容合并到fsimage中的？ NameNodeDataNodeSecondaryNameNode(正確答案)NodeManager7. Hive中的數(shù)據(jù)存儲在哪里？ HBaseHDFS(正確答案)本地磁盤MapReduce8. Kafka的消費者設(shè)置哪種策略可以實現(xiàn)消費最新的數(shù)據(jù)？ beforeearliestlatest(正確答案)after9. 針對HDFS中的小文件問題

3、，可以使用下面哪種解決方案？ Sequencefile(正確答案)NlineFileTextFileDBFile10. MapReduce中，哪個步驟默認是可選的？ 排序分組規(guī)約(正確答案)分區(qū)11. MapReduce編程的時候，針對字符串需要使用哪種數(shù)據(jù)類型？ StringText(正確答案)TextWritableStringWritable12. 在Hadoop2.x中，一個Block塊的大小默認是： 64M100M128M(正確答案)256M13. Kafka中生產(chǎn)數(shù)據(jù)時，希望Leader節(jié)點回復(fù)收到消息才確認接收成功，此時需要設(shè)置ack的值為？ 01(正確答案)2314. 在Hiv

4、e中，想要實現(xiàn)全局排序需要使用？ SORT BYORDER BY(正確答案)CLUSTER BYDISTRIBUTE BY15. Hive中創(chuàng)建外部表，需要使用關(guān)鍵字： createexternal(正確答案)partitionlocation16. Hive中哪種類型的表適合做數(shù)據(jù)抽樣？ 內(nèi)部表外部表分區(qū)表桶表(正確答案)17. 針對MapReduce程序數(shù)據(jù)傾斜優(yōu)化的手段，錯誤的是： 增加Reduce任務(wù)個數(shù)把傾斜的key打散針對join操作，如果有一個小表，可以考慮實現(xiàn)map端join增加Reduce階段的內(nèi)存(正確答案)18. YARN中的哪種調(diào)度器可以實現(xiàn)多隊列且隊列內(nèi)部任務(wù)先進先出

5、？ FIFO SchedulerCapacity Scheduler(正確答案)Fair SchedulerQueueScheduler19. 針對Spark中RDD的描述，錯誤的是： RDD數(shù)據(jù)只能存放在內(nèi)存中(正確答案)RDD在抽象上來說是一種元素數(shù)據(jù)的集合，它是被分區(qū)的RDD提供的有容錯性，可以自動從節(jié)點失敗中恢復(fù)過來RDD可以通過集合或者文件來創(chuàng)建20. 下面哪個算子可以解決Spark RDD中數(shù)據(jù)傾斜的問題？ reduceByKeymapPartitionsgroupByKeyrepartition(正確答案)21. 針對Hive的描述，錯誤的是： Hive的數(shù)據(jù)存儲在HDFS中Hi

6、ve不支持數(shù)據(jù)更新Hive底層執(zhí)行引擎可以使用TezHive的數(shù)據(jù)格式是由操作系統(tǒng)決定的(正確答案)22. HDFS中的Federation機制無法解決哪個問題？ 保證HDFS的高可用(正確答案)提高HDFS集群的讀寫吞吐率實現(xiàn)良好的隔離性提高HDFS集群的擴展性23. Spark這種架構(gòu)不適合應(yīng)用在下面哪個場景中？ 低延時的海量數(shù)據(jù)計算需求低延時SQL交互查詢需求準實時(秒級)海量數(shù)據(jù)計算需求海量離線數(shù)的分布式存儲(正確答案)24. Spark中執(zhí)行下面哪個算法不會真正執(zhí)行任務(wù)？ reduceByKey(正確答案)countByKeyforeachreduce25. Spark中下面哪個算子

7、在執(zhí)行的時候不會產(chǎn)生Shuffle？ distinctreduceByKeymap(正確答案)repartition26. 如何指定Hive表中的字段分隔符？ row format delimitedlines terminated bycolumn terminated byfields terminated by(正確答案)27. 使用什么命令向Hive表中加載數(shù)據(jù)？ load data(正確答案)insert intoadd dataalter table28. 如何查看Hive中表t1的詳細建表語句？ desc t1show create table t1(正確答案)describe

8、t1show t129. 在zookeeper中修改節(jié)點/abc上的值為1，寫法正確的是： set /abc 1(正確答案)create /abc 1modify /abc 1get /abc 130. 向HBase的表t1中添加數(shù)據(jù)，寫法正確的是： put t1,rowkey1,info,abcput t1,rowkey1,info,age:abcput t1,rowkey1,level:abc,age:xyzput t1,rowkey1,level:abc,xyz(正確答案)31. HBase中，如果一個列族中如果有3列，那么這3列會分到幾個文件中存儲？ 1(正確答案)23432. 針對H

9、Base的應(yīng)用場景的介紹，錯誤的是： 適合半結(jié)構(gòu)和非結(jié)構(gòu)數(shù)據(jù)適合存儲記錄稀疏的數(shù)據(jù)適合存儲多版本數(shù)據(jù)適合海量數(shù)據(jù)分析(正確答案)33. HRegionServer包含了HLog和？ HRegion(正確答案)HMasterHDFSData34. 下面Spark中哪個算子容易導(dǎo)致driver端內(nèi)存溢出？ mapcountcollect(正確答案)take35. Spark中想要獲取RDD中的前N個元素，需要使用什么算子？ collecttake(正確答案)countforeach36. Spark中哪一種持久化策略表示只存儲到內(nèi)存，并且不序列化。 MEMORY_ONLY(正確答案)persist

10、()MEMORY_AND_DISKMEMORY_ONLY_SER37. Flume中的哪個組件表示是臨時存儲數(shù)據(jù)的管道？ SourceActionTransformationChannel(正確答案)38. Flume中的哪種組件可以實現(xiàn)文件的實時監(jiān)控采集？ Spooling Directory SourceExec Source(正確答案)NetCat TCP/UDP SourceKafka Source39. Flume中的哪個攔截器可以實現(xiàn)正則抽取功能？ Timestamp InterceptorSearch and Replace InterceptorStatic Intercept

11、orRegex Extractor Interceptor(正確答案)40. Flume中的哪種Channel選擇器會將Source采集過來的Event發(fā)往所有Channel？ Replicating Channel Selector(正確答案)More Channel SelectorMultiplexing Channel SelectorRandom Channel Selector41. Hive支持修改數(shù)據(jù)，但是不支持刪除數(shù)據(jù)。 對錯(正確答案)42. Hive中的分區(qū)表：表的定義和數(shù)據(jù)的生命周期互相不約束，數(shù)據(jù)只是表對hdfs上的某一個目錄的引用而已。 對錯(正確答案)43. HBase中，若MemStore中的數(shù)據(jù)有丟失，則可以從HLog上恢復(fù)。 對(正確答案)錯44. HBase中，每一行數(shù)據(jù)中的Rowkey字段不是必須的，可以為null。 對錯(正確答案)45. HBase中，針對具有多個歷史版本數(shù)據(jù)的字段，會按照時間戳正序排序。 對錯(正確答案)46. HBase中minor合并時會忽略之前標記為刪除狀態(tài)的數(shù)據(jù)。 對錯(正確答案)47. spark中的map和flatmap算子的區(qū)別是flatmap