大數(shù)據(jù)平臺(tái)技術(shù)智慧樹知到期末考試答案章節(jié)答案2024年山東交通學(xué)院

大數(shù)據(jù)平臺(tái)技術(shù)智慧樹知到期末考試答案+章節(jié)答案2024年山東交通學(xué)院RDD表示只讀的分區(qū)的數(shù)據(jù)集，對(duì)RDD進(jìn)行改動(dòng)，只能通過(guò)RDD的轉(zhuǎn)換操作。（）

答案:對(duì)MapReduce編程較為靈活（）。

答案:對(duì)HDFS中的NameNode節(jié)點(diǎn)用于存放元數(shù)據(jù)，元數(shù)據(jù)內(nèi)容包含文件與數(shù)據(jù)塊的映射表和每個(gè)數(shù)據(jù)塊的內(nèi)容（）

答案:錯(cuò)非結(jié)構(gòu)化數(shù)據(jù)不易收集和管理，且難以直接進(jìn)行查詢和分析（）。

答案:對(duì)Sink是Flume中事件的源頭，負(fù)責(zé)接收數(shù)據(jù)到FlumeAgent，可以處理多種類型、多種格式的數(shù)據(jù)（）

答案:錯(cuò)Kafka的描述正確的是（）。

答案:分布式消息系統(tǒng);開源的;可以運(yùn)行在Linux上下面關(guān)于Flume中Sink的說(shuō)法正確的是（）。

答案:Sink可以將事件批量的寫入到存儲(chǔ)系統(tǒng);Sink是事件目的;Sink可以自動(dòng)不斷接收事件關(guān)于MapReduce使用說(shuō)法正確的是（）。

答案:可以將一個(gè)目錄作為輸入路徑;可以將一個(gè)目錄作為輸出路徑;可以將一個(gè)文件作為輸出路徑;可以將一個(gè)文件作為輸入路徑數(shù)據(jù)庫(kù)訪問(wèn)過(guò)大怎么解決（）。

答案:配置垂直分庫(kù);大表分片;配置主從分離SparkStreaming主要用于處理批處理的數(shù)據(jù)。（）

答案:錯(cuò)使用消息隊(duì)列的好處（）。

答案:解耦;緩沖;可恢復(fù)性具體來(lái)看，流式數(shù)據(jù)處理一般包含下面的流程（）。

答案:數(shù)據(jù)實(shí)時(shí)采集;實(shí)時(shí)查詢服務(wù);數(shù)據(jù)實(shí)時(shí)計(jì)算Kafka集群描述正確的是（）。

答案:集群中的每一個(gè)服務(wù)器都是一個(gè)代理下面關(guān)于Flume中Source的說(shuō)法正確的是（）。

答案:Source負(fù)責(zé)接收數(shù)據(jù)到FlumeAgent;Source可以處理多種類型、多種格式的數(shù)據(jù);Source是事件源頭下面關(guān)于Channel的類型包括（）。

答案:MemoryChannel;FileChannellinux系統(tǒng)中l(wèi)s命令的作用是（）。

答案:查看linux文件夾包含的文件2TB數(shù)據(jù)等于多少M(fèi)B（）。

答案:2097152在Spark的計(jì)算過(guò)程中初次讀取數(shù)據(jù)之后每次迭代的數(shù)據(jù)都是從哪里讀取的（）。

答案:內(nèi)存一個(gè)gzip文件大小75MB，集群設(shè)置Block大小為64MB，請(qǐng)問(wèn)其占用幾個(gè)Block？（）

答案:2下面哪項(xiàng)關(guān)于HBase的常用命令的描述是正確的（）。

答案:HBase使用scan命令時(shí)可以指定掃描區(qū)間在Spark操作中，textFile()的作用是（）。

答案:獲取文件集合在Spark的運(yùn)行架構(gòu)中，分布式數(shù)據(jù)集（RDD）的主要功能是（）。

答案:提供彈性分布式數(shù)據(jù)的操作關(guān)于MapReduce配置意義錯(cuò)誤的是（）。

答案:mapreduce.map.memory.mb配置所有MapTask使用的總內(nèi)存在Spark中，集群管理器的主要功能是（）。

答案:高效地在一個(gè)計(jì)算節(jié)點(diǎn)到數(shù)千個(gè)計(jì)算節(jié)點(diǎn)之間伸縮計(jì)算在大數(shù)據(jù)平臺(tái)的基本架構(gòu)中，服務(wù)封裝層主要負(fù)責(zé)（）。

答案:根據(jù)不同的用戶需求對(duì)各種大數(shù)據(jù)處理和分析功能進(jìn)行封裝并對(duì)外提供服務(wù)Kafka開發(fā)語(yǔ)言（）。

答案:Scala下列關(guān)于HDFS常用命令錯(cuò)誤的是（）。

答案:創(chuàng)建多級(jí)目錄bin/hdfsdfs-mkdir/test/a如果NameNode意外終止，SecondaryNameNode會(huì)接替它使集群繼續(xù)工作。（）

答案:錯(cuò)大數(shù)據(jù)的4V特征包括（）。

答案:種類繁多;變化頻繁;價(jià)值巨大但價(jià)值密度低;規(guī)模龐大RDD中可以對(duì)創(chuàng)建好的RDD進(jìn)行編輯改動(dòng)。（）

答案:錯(cuò)在SparkStreaming中，可以通過(guò)streamingContext.start()來(lái)開始接收數(shù)據(jù)和處理流程。（）

答案:對(duì)MapReduce主要用于流式計(jì)算（）。

答案:錯(cuò)發(fā)布到topic的消息會(huì)被所有訂閱者消費(fèi)（）。

答案:對(duì)一個(gè)RDD可以簡(jiǎn)單的理解為一個(gè)分布式的元素集合。（）

答案:對(duì)在SparkStreaming中，可以通過(guò)streamingContext.awaitTermination()方法來(lái)等待處理結(jié)束。（）

答案:對(duì)半結(jié)構(gòu)化數(shù)據(jù)一般為純文本數(shù)據(jù)，其中的每條記錄都會(huì)有預(yù)定義的規(guī)范，但其包含的信息也都具有相同的格式（）。

答案:錯(cuò)Channel是位于Source和Sink之間的緩沖區(qū)，可以同時(shí)處理多個(gè)Source和Sink（）

答案:對(duì)在SparkStreaming中，可以通過(guò)streamingContext.stop()來(lái)手動(dòng)結(jié)束流計(jì)算進(jìn)程。（）

答案:對(duì)電商個(gè)性化推薦系統(tǒng)主要流程包括（）。

答案:使用多種算法引擎進(jìn)行匯總、對(duì)比、計(jì)算等若干操作，最終形成對(duì)用戶購(gòu)買商品的個(gè)性化推薦信息;使用實(shí)時(shí)計(jì)算平臺(tái)或離線計(jì)算平臺(tái)通過(guò)多種算法進(jìn)行數(shù)據(jù)分析與挖掘，得到用戶畫像和所購(gòu)買商品的畫像;通過(guò)多種可視化平臺(tái)展示出去;從多方面收集用戶購(gòu)物信息數(shù)據(jù)，將各類數(shù)據(jù)進(jìn)行分布式存儲(chǔ)Hbase特點(diǎn)（）。

答案:列與列之間相互不影響;支持PB級(jí)別數(shù)據(jù)量Hbase基本架構(gòu)包含（）。

答案:RegionServer;HMaster下面關(guān)于Flume中Channel的說(shuō)法正確的是（）。

答案:Channel是位于Source和Sink之間的緩沖區(qū);Channel可以同時(shí)處理多個(gè)Source和Sink;Channel的類型包括MemoryChannel和FileChannel;Channel允許Source和Sink運(yùn)作在不同的速率上Hadoop2.x中HDFS默認(rèn)的block的大小為128M。（）

答案:對(duì)下面關(guān)于Flume中Event的說(shuō)法正確的是（）。

答案:Event由Header和Body兩部分組成;Event是Flume的基本數(shù)據(jù)傳輸單元;Event的Body用來(lái)存放該條數(shù)據(jù)，形式為字節(jié)數(shù)組;Event的Header用來(lái)存放該Event的一些屬性，為K-V結(jié)構(gòu)Kafka特點(diǎn)（）。

答案:支持KafkaServer間的消息分區(qū);高吞吐率;支持離線數(shù)據(jù)處理和實(shí)時(shí)數(shù)據(jù)處理下列對(duì)元數(shù)據(jù)解釋正確的是（）

答案:NameNode內(nèi)存中的數(shù)據(jù);DataNode啟動(dòng)時(shí)上報(bào)的block位置信息+fsimage+edits;只有當(dāng)NameNode正常停止時(shí)（非“意外情況下宕機(jī)”），才會(huì)將元數(shù)據(jù)寫入到fsimage（除位置信息）。關(guān)系型數(shù)據(jù)庫(kù)特點(diǎn)（）。

答案:嚴(yán)格定義列結(jié)構(gòu);遵循sql標(biāo)準(zhǔn);列之間可以具有關(guān)系;支持事務(wù)的ACID特性Spark的任務(wù)調(diào)度執(zhí)行機(jī)制是以什么為基礎(chǔ)的（）。

答案:DAGEB、TB、GB、MB之間的換算關(guān)系是（）。

答案:1024倍下面哪個(gè)程序負(fù)責(zé)HDFS數(shù)據(jù)的存儲(chǔ)（）

答案:Datanodekafka描述不正確的是（）。

答案:更多的consumer無(wú)法有效提升并發(fā)消費(fèi)能力在大數(shù)據(jù)平臺(tái)的基本架構(gòu)中，數(shù)據(jù)采集層主要負(fù)責(zé)（）。

答案:從各種不同的數(shù)據(jù)源采集數(shù)據(jù)Python編寫MapReduce代碼時(shí)，可能用到的方法有（）。

答案:reducer;yield;run;mapper下列HDFS常用配置意義正確的是（）

答案:＜!--NameNodeWebUI地址--＞＜property＞＜name＞node.http-address＜/name＞＜value＞hadoop1:50070＜/value＞＜/property＞;＜!--副本數(shù)量--＞＜property＞＜name＞dfs.replication＜/name＞＜value＞1＜/value＞＜/property＞;＜!--指定NameNode節(jié)點(diǎn)和通信端口--＞＜property＞＜name＞fs.defaultFS＜/name＞＜value＞hdfs://hadoop1:8020＜/value＞＜/property＞HDFS中block默認(rèn)會(huì)保存幾份？()

答案:3Message的描述正確的為（）。

答案:是通信的基本單位SparkStreaming對(duì)實(shí)時(shí)輸入數(shù)據(jù)流進(jìn)行拆分的單位是（）。

答案:時(shí)間下列關(guān)于MapReduce說(shuō)法不正確的是（）。

答案:MapReduce程序只能用java語(yǔ)言編寫下面不屬于Flume中Agent的組成部分（）。

答案:EventHBASE支持（）。

答案:簡(jiǎn)單的事務(wù)關(guān)于NameNode的功能下列說(shuō)法不正確的是（）

答案:具體文件存儲(chǔ)地點(diǎn)。在vi編輯器的命令模式下，要進(jìn)入取代模式并取代光標(biāo)所在的那一個(gè)字符一次，需要按下鍵盤上的（）。

答案:r鍵在vi編輯器的命令模式下，要向后刪除一個(gè)字符，需要按下鍵盤上的（）。

答案:x鍵大數(shù)據(jù)的特點(diǎn)不包括下面哪一項(xiàng)（）。

答案:價(jià)值密度高在Spark操作中，parallelize()的作用是（）。

答案:從內(nèi)存數(shù)據(jù)中創(chuàng)建RDD關(guān)于SecondaryNameNode哪項(xiàng)是正確的（）。

答案:它對(duì)內(nèi)存不是沒有要求消息隊(duì)列點(diǎn)對(duì)點(diǎn)中描述不正確的是（）。

答案:Queue只能支持單個(gè)消費(fèi)者下列屬于HDFS常用命令中上傳文件的是（）

答案:bin/hdfsdfs-put1.txt/2.txt在Hadoop的計(jì)算過(guò)程中每次迭代的數(shù)據(jù)都是從哪里讀取的（）。

答案:磁盤在大數(shù)據(jù)平臺(tái)的基本架構(gòu)中，數(shù)據(jù)處理層主要負(fù)責(zé)（）。

答案:大數(shù)據(jù)的處理和分析工作列出命名空間的命令為（）。

答案:list_namespace大數(shù)據(jù)至少為以下哪種存儲(chǔ)量級(jí)?（）

答案:PB下面對(duì)于Python實(shí)現(xiàn)MapReduce代碼說(shuō)法錯(cuò)誤的是（）。

答案:sum(list)用于獲取列表list的長(zhǎng)度MapReduce適用于（）。

答案:可以并行處理的應(yīng)用程序HBase的預(yù)寫日志可以降低數(shù)據(jù)丟失的風(fēng)險(xiǎn)。（）

答案:對(duì)下面哪項(xiàng)關(guān)于HBase的常用命令的描述是錯(cuò)誤的（）。

答案:HBase要查看表可以使用list_namespace;HBase全表掃描使用get命令;HBase一張正在使用的表可以直接使用drop命令刪除以下說(shuō)法有誤的是（）。

答案:HBase不需要考慮讀寫性能在SparkStreaming中，作為一個(gè)長(zhǎng)期運(yùn)行的task跑在一個(gè)Executor上，用于接收DStream的組件是（）。

答案:Receiver彈性分布式數(shù)據(jù)集RDD的特性包括（）。

答案:分區(qū);依賴;只讀;彈性在Spark操作中，collect()的作用是（）。

答案:以數(shù)組的形式返回?cái)?shù)據(jù)集中的所有元素下面關(guān)于Spark驅(qū)動(dòng)程序driverprogram的說(shuō)法，正確的是（）。

答案:每個(gè)Spark應(yīng)用程序都包含一個(gè)驅(qū)動(dòng)程序;驅(qū)動(dòng)程序定義了分布式數(shù)據(jù)集以應(yīng)用在集群中;驅(qū)動(dòng)程序包含Spark應(yīng)用程序中的主函數(shù);驅(qū)動(dòng)程序負(fù)責(zé)把并行操作發(fā)布到集群上Spark框架的特色包括（）。

答案:容易使用;運(yùn)行速度快;運(yùn)行模式多樣;通用性從概念上而言，流數(shù)據(jù)(或數(shù)據(jù)流)是指（）。

答案:數(shù)據(jù)記錄是流數(shù)據(jù)的最小組成單元;在時(shí)間分布和數(shù)量上無(wú)限的一系列動(dòng)態(tài)數(shù)據(jù)集合體在Spark操作中，map(func)的作用是（）。

答案:對(duì)RDD中的數(shù)據(jù)按照f(shuō)unc進(jìn)行計(jì)算得到新的RDDSpark支持的集群管理器包括（）。

答案:Standalone;HadoopYARN;ApacheMesosSparkStreaming最主要的抽象是離散化數(shù)據(jù)流，表示連續(xù)不斷的數(shù)據(jù)流。（）

答案:對(duì)在SparkStreaming中，可以通過(guò)streamingContext.awaitTermination()方法來(lái)手動(dòng)結(jié)束流計(jì)算進(jìn)程。（）

答案:錯(cuò)以下對(duì)消息模型的說(shuō)法正確的是（）。

答案:發(fā)布訂閱模型消息可以重復(fù)消費(fèi);發(fā)布訂閱模型以主題區(qū)分消息類別;點(diǎn)對(duì)點(diǎn)模型中同一消息只有一個(gè)消費(fèi)者可以消費(fèi);點(diǎn)對(duì)點(diǎn)模型中消息被消費(fèi)后即刪除以下對(duì)Kafka名詞解釋錯(cuò)誤的是（）。

答案:Partition指Kafka的數(shù)據(jù)副本對(duì)市面上的消息隊(duì)列產(chǎn)品描述正確的是（）。

答案:Kafka支持動(dòng)態(tài)擴(kuò)展下列關(guān)于MapReduce說(shuō)法正確的是（）。

答案:MapReduce隱藏了并行計(jì)算的細(xì)節(jié)，方便使用;MapReduce是一種計(jì)算框架;MapReduce來(lái)源于google的學(xué)術(shù)論文MapReduce中Map階段的輸出將作為下面哪個(gè)階段的輸入（）。

答案:Reduce下面哪項(xiàng)是錯(cuò)誤的（）。

答案:MapReduce的輸出目錄如果已經(jīng)存在了，任務(wù)的輸出結(jié)果將會(huì)覆蓋該路徑下的原有內(nèi)容HDFS中的NameNode節(jié)點(diǎn)用于存放元數(shù)據(jù)，元數(shù)據(jù)內(nèi)容包含（）。

答案:文件與數(shù)據(jù)塊的映射表;數(shù)據(jù)塊與數(shù)據(jù)節(jié)點(diǎn)的映射表讀取HDFS文件可以使用命令hdfsdfs-get。（）

答案:對(duì)因?yàn)镠DFS有多個(gè)數(shù)據(jù)副本，所以NameNode是不存在單點(diǎn)故障問(wèn)題的。（）

答案:錯(cuò)以下哪一項(xiàng)用于配置HDFS的block大小（）。

答案:dfs.blocksizeHadoop2.x中HDFS默認(rèn)的block的大小為（）。

答案:128MBNameNode負(fù)責(zé)管理元數(shù)據(jù)，客戶端每次讀寫請(qǐng)求，它都會(huì)從磁盤中讀取或者寫入元數(shù)據(jù)信息并反饋客戶端。（）

答案:錯(cuò)在Flume的配置文件中，對(duì)某個(gè)目錄下文件進(jìn)行監(jiān)控的命令是（）。

答案:tail-fChannel是位于Source和Sink之間的緩沖區(qū)，對(duì)Source和Sink進(jìn)行一對(duì)一處理（）

答案:錯(cuò)Source是Flume中事件的源頭，負(fù)責(zé)接收數(shù)據(jù)到FlumeAgent，可以處理多種類型、多種格式的數(shù)據(jù)（）

答案:對(duì)Flume的Agent包含這些組成部分（）。

答案:Channel;Sink;SourceEvent由這兩部分組