樂智教育大數(shù)據(jù)課程-期中測評試題及答案

1、樂智教育大數(shù)據(jù)課程-期中測評您的姓名： 填空題 *_有一批海量數(shù)據(jù)，需要實現(xiàn)復(fù)雜計算分析，此時建議使用下面哪個計算引擎？ 單選題MapReduceSpark(正確答案)YARNHDFS有一批海量數(shù)據(jù)，后期主要側(cè)重于快速的讀寫，有修改需求，此時建議存儲到哪個存儲系統(tǒng)中? 單選題HDFSHBase(正確答案)MySQLRedis在shell命令行中向HDFS上傳文件，需要使用哪個命令？ 單選題uploadsetinsertput(正確答案)針對HDFS中NameNode的職責(zé)描述，錯誤的是： 單選題NameNode是整個文件系統(tǒng)的管理節(jié)點NameNode中負(fù)責(zé)維護(hù)File與Block list的關(guān)

2、系NameNode中負(fù)責(zé)存儲文件數(shù)據(jù)(正確答案)NameNode負(fù)責(zé)接收用戶讀寫請求3個5M的文件和1個130M的文件，在HDFS中會產(chǎn)生多少個Block塊？ 單選題345(正確答案)6HDFS中的哪個進(jìn)程是負(fù)責(zé)定期將edits文件中的內(nèi)容合并到fsimage中的？ 單選題NameNodeDataNodeSecondaryNameNode(正確答案)NodeManagerHive中的數(shù)據(jù)存儲在哪里？ 單選題HBaseHDFS(正確答案)本地磁盤MapReduceKafka的消費(fèi)者設(shè)置哪種策略可以實現(xiàn)消費(fèi)最新的數(shù)據(jù)？ 單選題beforeearliestlatest(正確答案)after針對HDF

3、S中的小文件問題，可以使用下面哪種解決方案？ 單選題Sequencefile(正確答案)NlineFileTextFileDBFileMapReduce中，哪個步驟默認(rèn)是可選的？ 單選題排序分組規(guī)約(正確答案)分區(qū)MapReduce編程的時候，針對字符串需要使用哪種數(shù)據(jù)類型？ 單選題StringText(正確答案)TextWritableStringWritable在Hadoop2.x中，一個Block塊的大小默認(rèn)是： 單選題64M100M128M(正確答案)256MKafka中生產(chǎn)數(shù)據(jù)時，希望Leader節(jié)點回復(fù)收到消息才確認(rèn)接收成功，此時需要設(shè)置ack的值為？ 單選題01(正確答案)23在

4、Hive中，想要實現(xiàn)全局排序需要使用？ 單選題SORT BYORDER BY(正確答案)CLUSTER BYDISTRIBUTE BYHive中創(chuàng)建外部表，需要使用關(guān)鍵字： 單選題createexternal(正確答案)partitionlocationHive中哪種類型的表適合做數(shù)據(jù)抽樣？ 單選題內(nèi)部表外部表分區(qū)表桶表(正確答案)針對MapReduce程序數(shù)據(jù)傾斜優(yōu)化的手段，錯誤的是： 單選題增加Reduce任務(wù)個數(shù)把傾斜的key打散針對join操作，如果有一個小表，可以考慮實現(xiàn)map端join增加Reduce階段的內(nèi)存(正確答案)YARN中的哪種調(diào)度器可以實現(xiàn)多隊列且隊列內(nèi)部任務(wù)先進(jìn)先出？

5、 單選題FIFO SchedulerCapacity Scheduler(正確答案)Fair SchedulerQueueScheduler針對Spark中RDD的描述，錯誤的是： 單選題RDD數(shù)據(jù)只能存放在內(nèi)存中(正確答案)RDD在抽象上來說是一種元素數(shù)據(jù)的集合，它是被分區(qū)的RDD提供的有容錯性，可以自動從節(jié)點失敗中恢復(fù)過來RDD可以通過集合或者文件來創(chuàng)建下面哪個算子可以解決Spark RDD中數(shù)據(jù)傾斜的問題？ 單選題reduceByKeymapPartitionsgroupByKeyrepartition(正確答案)針對Hive的描述，錯誤的是： 單選題Hive的數(shù)據(jù)存儲在HDFS中Hiv

6、e不支持?jǐn)?shù)據(jù)更新Hive底層執(zhí)行引擎可以使用TezHive的數(shù)據(jù)格式是由操作系統(tǒng)決定的(正確答案)HDFS中的Federation機(jī)制無法解決哪個問題？ 單選題保證HDFS的高可用(正確答案)提高HDFS集群的讀寫吞吐率實現(xiàn)良好的隔離性提高HDFS集群的擴(kuò)展性Spark這種架構(gòu)不適合應(yīng)用在下面哪個場景中？ 單選題低延時的海量數(shù)據(jù)計算需求低延時SQL交互查詢需求準(zhǔn)實時(秒級)海量數(shù)據(jù)計算需求海量離線數(shù)的分布式存儲(正確答案)Spark中執(zhí)行下面哪個算法不會真正執(zhí)行任務(wù)？ 單選題reduceByKey(正確答案)countByKeyforeachreduceSpark中下面哪個算子在執(zhí)行的時候不會

7、產(chǎn)生Shuffle？ 單選題distinctreduceByKeymap(正確答案)repartition如何指定Hive表中的字段分隔符？ 單選題row format delimitedlines terminated bycolumn terminated byfields terminated by(正確答案)使用什么命令向Hive表中加載數(shù)據(jù)？ 單選題load data(正確答案)insert intoadd dataalter table如何查看Hive中表t1的詳細(xì)建表語句？ 單選題desc t1show create table t1(正確答案)describe t1show t

8、1在zookeeper中修改節(jié)點/abc上的值為1，寫法正確的是： 單選題set /abc 1(正確答案)create /abc 1modify /abc 1get /abc 1向HBase的表t1中添加數(shù)據(jù)，寫法正確的是： 單選題put t1,rowkey1,info,abcput t1,rowkey1,info,age:abcput t1,rowkey1,level:abc,age:xyzput t1,rowkey1,level:abc,xyz(正確答案)HBase中，如果一個列族中如果有3列，那么這3列會分到幾個文件中存儲？ 單選題1(正確答案)234針對HBase的應(yīng)用場景的介紹，錯誤

9、的是： 單選題適合半結(jié)構(gòu)和非結(jié)構(gòu)數(shù)據(jù)適合存儲記錄稀疏的數(shù)據(jù)適合存儲多版本數(shù)據(jù)適合海量數(shù)據(jù)分析(正確答案)HRegionServer包含了HLog和？ 單選題HRegion(正確答案)HMasterHDFSData下面Spark中哪個算子容易導(dǎo)致driver端內(nèi)存溢出？ 單選題mapcountcollect(正確答案)takeSpark中想要獲取RDD中的前N個元素，需要使用什么算子？ 單選題collecttake(正確答案)countforeachSpark中哪一種持久化策略表示只存儲到內(nèi)存，并且不序列化。 單選題MEMORY_ONLY(正確答案)persist()MEMORY_AND_DIS

10、KMEMORY_ONLY_SERFlume中的哪個組件表示是臨時存儲數(shù)據(jù)的管道？ 單選題SourceActionTransformationChannel(正確答案)Flume中的哪種組件可以實現(xiàn)文件的實時監(jiān)控采集？ 單選題Spooling Directory SourceExec Source(正確答案)NetCat TCP/UDP SourceKafka SourceFlume中的哪個攔截器可以實現(xiàn)正則抽取功能？ 單選題Timestamp InterceptorSearch and Replace InterceptorStatic InterceptorRegex Extractor I

11、nterceptor(正確答案)Flume中的哪種Channel選擇器會將Source采集過來的Event發(fā)往所有Channel？ 單選題Replicating Channel Selector(正確答案)More Channel SelectorMultiplexing Channel SelectorRandom Channel SelectorHive支持修改數(shù)據(jù)，但是不支持刪除數(shù)據(jù)。 判斷題對錯(正確答案)Hive中的分區(qū)表：表的定義和數(shù)據(jù)的生命周期互相不約束，數(shù)據(jù)只是表對hdfs上的某一個目錄的引用而已。 判斷題對錯(正確答案)HBase中，若MemStore中的數(shù)據(jù)有丟失，則可以從

12、HLog上恢復(fù)。 判斷題對(正確答案)錯HBase中，每一行數(shù)據(jù)中的Rowkey字段不是必須的，可以為null。 判斷題對錯(正確答案)HBase中，針對具有多個歷史版本數(shù)據(jù)的字段，會按照時間戳正序排序。 判斷題對錯(正確答案)HBase中minor合并時會忽略之前標(biāo)記為刪除狀態(tài)的數(shù)據(jù)。 判斷題對錯(正確答案)spark中的map和flatmap算子的區(qū)別是flatmap可以返回多條元素 判斷題對(正確答案)錯spark中的廣播變量可以保證每個Executor內(nèi)部只保存1份變量數(shù)據(jù)。 判斷題對錯(正確答案)spark中的持久化，只是將數(shù)據(jù)保存在內(nèi)存中或者本地磁盤文件中，RDD的lineage(血緣關(guān)