《大數(shù)據(jù)內(nèi)存框架》期末考試復習題庫（含答案）

PAGEPAGE1《大數(shù)據(jù)內(nèi)存框架》期末考試復習題庫（含答案）一、單選題1.RDD在Spark中代表什么？A、彈性分布式數(shù)據(jù)集B、隨機數(shù)據(jù)生成器C、數(shù)據(jù)緩存機制D、數(shù)據(jù)序列化工具答案：A2.在Spark中，使用哪個API可以實現(xiàn)數(shù)據(jù)的廣播以優(yōu)化性能？（）A、broadcastB、distributeC、scatterD、Replicate答案：A3.SparkSQL中，用于創(chuàng)建臨時視圖的命令是：（）A、CREATETABLEB、CREATEDATABASEC、REATEVIEWD、CREATETEMPVIEW答案：D4.下面哪個算子可以將rdd中的每個元素乘以2？A、rdd.reduce((x,y)=>x+y)B、rdd.flatMap(x=>Array(x*2))C、rdd.map(_*2)D、rdd.filter(_%2==0)答案：C5.Spark中哪個函數(shù)用于對RDD的元素進行去重操作？A、distinctB、removeDuplicatesC、uniqueD、ropDuplicates答案：A6.以下哪項不屬于DStream的輸出操作？（）A、print()B、foreachRDD()C、transform(func）D、saveAsTestFiles(prefix,[suffix])答案：C7.Spark中哪個函數(shù)用于對RDD的元素進行排序操作？A、sortB、sortByC、sortByKeyD、Order答案：B8.Spark與MapReduce相比，在處理速度上更快的主要原因是：A、Spark使用內(nèi)存計算B、Spark支持更多類型的操作C、Spark有更先進的DAG調(diào)度器D、所有上述選項都是正確的答案：D9.在SparkSQL中，用于注冊臨時視圖的函數(shù)是？A、createOrReplaceTempViewB、registerTempTableC、reateViewD、CreateGlobalTempView答案：A10.下列哪個選項不是Spark支持的部署模式？（）A、StandaloneB、YARNC、MesosD、Kubernetes答案：D11.在Spark中，如何將一個RDD轉(zhuǎn)換為DataFrame？A、使用toDF()方法B、使用map()方法C、使用flatMap()方法D、使用reduce()方法答案：A12.Spark中，DataFrame的列數(shù)據(jù)類型是（）。A、必須相同B、可以不同C、只能是數(shù)值型D、只能是字符串型答案：B13.在GraphX中，如何計算源頂點ID大于目標頂點ID的邊的數(shù)量？（）A、valcount=graph.edges.filter(e=>e.srcId>e.dstId).count()B、valcount=graph.edges.filter{caseEdge(src,dst,prop)=>src>dst}.count()C、valcount=graph.triplets.filter{caseTriplet(src,dst,attr)=>src>dst}.count()D、valcount=graph.vertices.filter{case(id,(name,age))=>id>age}.count()答案：A14.在Spark中，以下哪個操作用于篩選出滿足條件的元素并生成一個新的RDD？（）A、map()B、filter()C、reduceByKey()D、collect()答案：B15.在Kafka中，每條消息必須指定它的什么？（）A、SizeB、TypeC、TopicD、Partition答案：C16.如果新接收的數(shù)據(jù)事件時間小于水印，這些數(shù)據(jù)會如何處理？（）A、立即計算B、存儲在內(nèi)存中C、被忽略且不會維護其狀態(tài)D、標記為錯誤數(shù)據(jù)答案：C17.Spark的執(zhí)行模型是基于什么結(jié)構(gòu)的？A、樹形結(jié)構(gòu)B、環(huán)形結(jié)構(gòu)C、有向無環(huán)圖（DAGD、線性結(jié)構(gòu)答案：C18.Spark支持以下哪些編程語言？A、僅JavaB、僅PythonC、Java,Python、R和ScalaD、僅C++答案：C19.對于Spark的集群模式，以下哪個不是常見的部署模式？（）A、Local模式B、Standalone模式C、Docker模式D、YARN模式答案：C20.Spark3.x中，以下關于Spark應用程序的執(zhí)行流程，正確的順序是（）。A、構(gòu)建SparkContext、創(chuàng)建RDD、執(zhí)行操作、獲取結(jié)果B、創(chuàng)建RDD、構(gòu)建SparkContext、執(zhí)行操作、獲取結(jié)果C、構(gòu)建SparkContext、執(zhí)行操作、創(chuàng)建RDD、獲取結(jié)果D、創(chuàng)建RDD、執(zhí)行操作、構(gòu)建SparkContext、獲取結(jié)果答案：A21.SparkSQL中，DataFrame和Dataset的主要區(qū)別是什么？A、DataFrame是分布式的，Dataset不是B、DataFrame不是分布式的，Dataset是C、DataFrame沒有類型安全，Dataset有D、ataset沒有類型安全，DataFrame有答案：C22.Spark的結(jié)構(gòu)化流處理默認的微批處理間隔是（）。A、100毫秒B、500毫秒C、1秒D、5秒答案：B23.StructuredStreaming中的水印（watermark）是如何計算的？A、基于批次間隔時間B、基于最大事件時間減去容忍的延遲時間C、基于數(shù)據(jù)到達時間D、基于數(shù)據(jù)處理時間答案：B24.在Spark中，使用哪個函數(shù)可以實現(xiàn)類似于SQL中的GROUPBY操作？（）A、ggregateB、reduceC、groupByD、istinct答案：C25.Spark中哪個函數(shù)用于對RDD的元素進行連接操作？A、joinB、unionC、intersectD、Subtract答案：A26.以下哪個操作用于將兩個RDD根據(jù)鍵進行連接？（）A、rdd1.join(rdd2)B、rdd1.union(rdd2)C、ersection(rdd2)D、rdd1.cartesian(rdd2)答案：A27.在Scala中，以下哪個關鍵字用于定義一個值不可變的變量？A、varB、valC、letD、Const答案：B28.在Scala中，以下哪個類型是AnyVal的子類型?（）A、StringB、IntC、ListD、Map答案：B29.Spark中哪個函數(shù)用于將多個元素合并成一個元素？A、reduceB、aggregateC、ombineD、Fold答案：A30.Spark是基于什么進行計算的大數(shù)據(jù)并行計算框架？A、磁盤B、網(wǎng)絡C、內(nèi)存D、外存答案：C31.下列哪個操作可以用來找出圖中年齡是25的所有頂點數(shù)據(jù)？A、graph.vertices.filter{case(id,(name,age))=>age==25}B、graph.edges.filter{caseEdge(src,dst,prop)=>prop=="年齡:25"}C、graph.triplets.filter{caseTriplet(src,dst,attr)=>attr=="年齡:25"}D、graph.vertices.map{case(id,(name,age))=>if(age==25)idelsenull}答案：A32.對于DStream的窗口操作，窗口長度和滑動間隔需要滿足什么條件？（）A、窗口長度等于批次間隔B、滑動間隔小于批次間隔C、窗口長度是批次間隔的整數(shù)倍D、滑動間隔是批次間隔的任意倍數(shù)答案：C33.Spark的哪個組件主要用于處理實時數(shù)據(jù)流？A、SparkSQLB、SparkStreamingC、MLlibD、GraphX答案：B34.Spark的核心模塊是哪一個？A、SparkSQLB、SparkCoreC、MLlibD、GraphX答案：B35.在寫入數(shù)據(jù)的同時，可以使用mode()方法指定如何處理已經(jīng)存在的數(shù)據(jù)，該方法的參數(shù)是一個枚舉類SaveMode，其取值中表示如果數(shù)據(jù)已經(jīng)存在，則會拋出異常的值是下列哪項？A、SaveMode.AppendB、SaveMode.OverwriteC、SaveMode.ErrorIfExistsD、SaveMode.Ignore答案：C36.在Spark中，RDD的英文全稱是什么？A、ResilientDistributedDatabaseB、ReliableDistributedDatasetC、ResilientDistributedDatasetD、ReliableDistributedDatastore答案：C37.Spark支持哪種類型的數(shù)據(jù)源？A、HDFSB、CassandraC、BothAandBD、Noneoftheabove答案：C38.對于DStream的窗口操作，窗口長度和滑動間隔需要滿足什么條件？A、窗口長度等于批次間隔B、滑動間隔小于批次間隔C、窗口長度是批次間隔的整數(shù)倍D、滑動間隔是批次間隔的任意倍數(shù)答案：C39.在Scala中，Nothing類型可以用來表示什么?（）A、一個空集合B、一個不包含任何信息的值的類型，類似于Java中的voidC、一個包含所有可能值的類型D、一個表示沒有返回值的方法的結(jié)果類型答案：B40.在Spark中，哪個組件負責在集群中的工作節(jié)點上執(zhí)行任務？A、DriverB、ExecutorC、SparkSessionD、SparkContext答案：B41.在StructuredStreaming中，完全模式（CompleteMode）會如何處理結(jié)果表？A、只更新新行B、更新整個結(jié)果表C、刪除舊行D、不做任何處理答案：B42.在Spark中，以下哪個操作是行動操作（Action）？A、mapB、filterC、reduceByKeyD、Collect答案：D43.在Spark中，一個DataFrame所代表的是一個元素類型為Row的Dataset，即DataFrame只是Dataset[Row]的一個類型別名。以下說法正確的是？（）A、DataFrame和Dataset是同一個概念B、DataFrame是Dataset的一種特殊形式C、DataFrame和Dataset沒有任何關系D、ataFrame是Dataset的子類答案：B44.在Spark中，哪個組件負責任務的調(diào)度和資源的分配？（）A、DriverB、WorkerC、ExecutorD、ClusterManager答案：A45.SparkStreaming計算過程的特點是什么？A、實時計算B、離線計算C、分批次處理D、單次處理答案：C46.以下哪種操作屬于窗口操作？（）A、count()B、reduceByWindow()C、union()D、filter()答案：B47.DataFrame是SparkSQL提供的一個編程抽象，與RDD不同的是，DataFrame的數(shù)據(jù)被組織到有名字的列中，就像關系型數(shù)據(jù)庫中的表一樣。以下哪項不是DataFrame的特點？A、數(shù)據(jù)被組織到有名字的列中B、沒有Schema信息C、底層使用的是SparkRDDD、可以轉(zhuǎn)換為Dataset答案：B48.在Spark中，哪個函數(shù)可以用于將RDD中的元素轉(zhuǎn)換為鍵值對？A、mapToPairB、keyByC、pairD、Map答案：D49.SparkSQL中，用于執(zhí)行SQL查詢的接口是：A、SQLContextB、SparkSessionC、DataFrameReaderD、ataFrameWriter答案：B50.Spark中RDD的全稱是什么？A、ResilientDistributedDatasetB、RapidDataDevelopmentC、ResourceDescriptionFrameworkD、Real-timeDataDelivery答案：A51.以下哪個操作用于將RDD中的所有元素收集到一個數(shù)組中？A、collect()B、take(Int)C、toArray()D、array()答案：A52.以下關于DStream的說法不正確的是？A、DStream表示一個連續(xù)不斷的數(shù)據(jù)流。B、它可以從Kafka,Flume和Kinesis等數(shù)據(jù)源的輸入數(shù)據(jù)流創(chuàng)建。C、一個DStream由一個RDD組成。D、可以通過對其他DStream應用高級函數(shù)進行轉(zhuǎn)換創(chuàng)建。答案：C53.Spark中，用于將RDD轉(zhuǎn)換為DataFrame的函數(shù)是（）。A、toDF()B、fromRDD()C、rddToDF()D、convertRDD()答案：A54.在Spark中，哪個方法用于將一個集合轉(zhuǎn)化為RDD？A、parallelize()B、map()C、textFile()D、allOf()答案：A55.以下關于SparkSQL的描述，錯誤的是？A、SparkSQL允許將SQL語句無縫地嵌入到Spark程序中B、SparkSQL支持多種數(shù)據(jù)源，包括Hive,Avro、Parquet等C、SparkSQL不支持UDF（用戶自定義函數(shù)）D、SparkSQL可以在現(xiàn)有的數(shù)據(jù)倉庫上運行SQL或HiveQL查詢答案：C56.Kafka集群中的服務器節(jié)點被稱為什么？A、ServerB、NodeC、BrokerD、Cluster答案：C57.Spark中哪個組件提供了機器學習算法庫？A、SparkCoreB、SparkSQLC、MLlibD、GraphX答案：C58.在Spark中，以下哪個操作可以對RDD進行過濾？（）A、map()B、filter()C、reduce()D、groupBy()答案：B59.在Spark中，textFile()方法用于什么？（）A、創(chuàng)建一個新的RDDB、讀取文件系統(tǒng)中的數(shù)據(jù)并創(chuàng)建一個RDDC、寫入數(shù)據(jù)到文件系統(tǒng)D、刪除文件系統(tǒng)中的數(shù)據(jù)答案：B60.SparkStreaming是擴展自哪個SparkAPI？A、SparkSQLB、SparkCoreC、SparkMLlibD、SparkGraphX答案：B61.SparkSQL中，用于對DataFrame進行分組并計算聚合值的函數(shù)是：（）A、groupByB、aggregateC、reduceByKeyD、CombineByKey答案：A62.假設我們想要將rdd中的所有元素進行累加，下面哪個算子可以實現(xiàn)這一需求？A、rdd.map(_2)B、rdd.reduce((x,y)=>x+y)C、rdd.flatMap(x=>Array(x2))D、rdd.filter(_%2==0).reduce(_+_)答案：B63.在Scala中，Null類型可以賦值給以下哪種類型的變量?A、nyVal類型的變量B、AnyRef類型的變量C、Any類型的變量D、Int類型的變量答案：B64.在SparkOnYARN模式中，負責資源管理和調(diào)度的是：（）A、SparkDriverB、YARNResourceManagerC、SparkApplicationMasterD、NodeManager答案：B65.Spark中的寬依賴（WideDependency）通常發(fā)生在哪種情況下？A、Shuffle操作B、廣播變量C、緩存操作D、聚合操作答案：A66.在Spark中，哪個工具用于結(jié)構(gòu)化數(shù)據(jù)處理？（）A、SparkStreamingB、SparkSQLC、MLlibD、GraphX答案：B67.在Spark中，RDD的計算是（）。A、立即執(zhí)行B、延遲執(zhí)行C、手動觸發(fā)執(zhí)行D、按時間間隔執(zhí)行答案：B68.SparkStreaming中，用于處理實時數(shù)據(jù)流的主要抽象是：A、DStreamB、DataFrameC、RDDD、ataset答案：A69.在SparkSQL中加載和寫入Parquet文件時，除了可以使用load()方法和save()方法外，還可以直接使用SparkSQL內(nèi)置的什么方法？（）A、option()B、create()C、mode()D、parquet()答案：D70.在SparkDataFrameAPI中，用于過濾數(shù)據(jù)的函數(shù)是：（）A、selectB、filterC、showD、Count答案：B判斷題1.在GraphX中，mapTriplets函數(shù)可以在修改邊屬性的同時，獲取與該邊相鄰的兩個頂點屬性。A、正確B、錯誤答案：A2.在Spark中，RDD的寬依賴是指父RDD的一個分區(qū)被子RDD的多個分區(qū)所用。A、正確B、錯誤答案：A3.Spark的窄依賴需要進行數(shù)據(jù)的shuffle操作。A、正確B、錯誤答案：B4.在SparkStructuredStreaming中，可以將實時數(shù)據(jù)流視為一張不斷追加的表進行處理。A、正確B、錯誤答案：A5.在GraphX中，使用mapEdges函數(shù)可以對原圖的頂點進行修改。A、正確B、錯誤答案：B6.應用于DStream上的任何操作實際上都是對底層RDD的操作。A、正確B、錯誤答案：A7.DataFrame比RDD更高效是因為它使用了更多的內(nèi)存空間。A、正確B、錯誤答案：B8.在Kafka中，生產(chǎn)者默認會把消息均勻的分布到特定主題的所有分區(qū)上。A、正確B、錯誤答案：A9.在轉(zhuǎn)化算子中，collect()算子指的是將數(shù)據(jù)集中的元素序列化成對象，存儲到文件中。A、正確B、錯誤答案：B10.Spark的foreach操作可以用于更新外部數(shù)據(jù)庫。A、正確B、錯誤答案：B11.在GraphX中，mapEdges函數(shù)用于修改圖中的所有邊屬性，生成一個新的圖，但圖形結(jié)構(gòu)會受影響。A、正確B、錯誤答案：B12.Spark有多種運行模式，可以運行在一臺機器上，稱為本地（單機）模式。A、正確B、錯誤答案：A13.在SparkSQL中，可以將RDD直接轉(zhuǎn)換為DataFrame，無需添加任何數(shù)據(jù)描述信息。A、正確B、錯誤答案：B14.在Kafka集群中，為了提高數(shù)據(jù)的可靠性，同一個分區(qū)可以復制多個副本分配到不同的Broker。A、正確B、錯誤答案：A15.在SparkStreaming中，DStream實際上是一個RDD序列。A、正確B、錯誤答案：A16.sortByKey()算子將(key,value)形式的RDD按照key進行排序，默認降序。A、正確B、錯誤答案：B17.在轉(zhuǎn)化算子中，foreach(func)算子指的是向Driver以數(shù)組形式返回數(shù)據(jù)集的所有元素。A、正確B、錯誤答案：B18.在Scala中，定義變量時可以不指定數(shù)據(jù)類型，系統(tǒng)會根據(jù)初始化值推斷變量的類型。A、正確B、錯誤答案：A19.在Kafka中，消費者可以訂閱一個或多個主題，并按照消息生成的順序讀取它們。A、正確B、錯誤答案：A20.在SparkStreaming的窗口操作中，滑動時間間隔指的是窗口覆蓋的流數(shù)據(jù)的時間長度。必須是批處理時間間隔的倍數(shù)。A、正確B、錯誤答案：B21.在StructuredStreaming中，水印允許引擎自動跟蹤數(shù)據(jù)中的當前事件時間，但不會清理舊狀態(tài)。A、正確B、錯誤答案：B解析：嘗試清理舊狀態(tài)p28722.RDD被創(chuàng)建后是允許修改。A、正確B、錯誤答案：B23.Spark的GraphX模塊只能處理無向圖。A、正確B、錯誤答案：B24.在GraphX中，使用mapVertices函數(shù)可以對原圖的頂點進行修改。A、正確B、錯誤答案：A25.在Spark中，可以使用SparkSession讀取HDFS中的文件并加載為DataFrame。A、正確B、錯誤答案：A26.SparkStructureStreamin支持事件時間（eventtim處理和水印（watermarkin機制。A、正確B、錯誤答案：A27.DataFrame是SparkSQL提供的一個編程抽象，與RDD類似，也是一個分布式的數(shù)據(jù)集合。A、正確B、錯誤答案：A28.SparkStreaming的數(shù)據(jù)可以從KafkFlumKinesis或TCPSocket等多種來源獲取。A、正確B、錯誤答案：A29.在Spark中，DataFrame的性能優(yōu)于RDD。A、正確B、錯誤答案：A30.SparkStreaming是Spark用來處理實時數(shù)據(jù)流的組件。A、正確B、錯誤答案：A31.在Spark中，本地模式通過多線程模擬分布式計算，通常用于對應用程序的復雜測試。A、正確B、錯誤答案：A32.Spark的RDD是不可變的。A、正確B、錯誤答案：A33.在Spark中，所有的累加器都是線程安全的。A、正確B、錯誤答案：A34.Scala中一個最簡單的類定義是使用關鍵字class。A、正確B、錯誤答案：A35.在本地運行SparkStreaming應用程序時，可以使用“l(fā)ocal”或“l(fā)ocal[1]”作為主URL。A、正確B、錯誤答案：A36.SparkOnYARN模式與Standalone模式一樣，也分為client和cluster兩種提交方式。A、正確B、錯誤答案：A37.SparkStreaming可以處理實時數(shù)據(jù)流。A、正確B、錯誤答案：A38.在SparkSQL中，使用option()方法可以手動指定數(shù)據(jù)源。A、正確B、錯誤答案：B解析：format方法手動指定數(shù)據(jù)源，option方法向指定數(shù)據(jù)源傳遞所需參數(shù)p16939.Spark的sortByKey()方法可以對RDD進行全局排序。A、正確B、錯誤答案：B40.Spark中的DatasetAPI提供了類型安全的RDD操作。A、正確B、錯誤答案：A41.SparkSQL沒有提供訪問各種數(shù)據(jù)源的通用方法。A、正確B、錯誤答案：B42.在Scala中，類和它的伴生對象必須定義在同一個文件中，但兩者不可以互相訪問其私有成員。A、正確B、錯誤答案：B43.在Spark中，可以使用reduceByKey來減少shuffle操作產(chǎn)生的數(shù)據(jù)量。A、正確B、錯誤答案：A44.Spark的寬依賴不需要進行數(shù)據(jù)的shuffle操作。A、正確B、錯誤答案：B45.在Spark中，對RDD的每一次行動操作（action）都會觸發(fā)實際計算。A、正確B、錯誤答案：A46.SparkStandalone模式為經(jīng)典的Master/Slave架構(gòu)，資源調(diào)度是Spark自己實現(xiàn)的。A、正確B、錯誤答案：A47.在SparkStreaming的窗口操作中，窗口長度指的是前一個窗口滑動到后一個窗口所經(jīng)過的時間長度。A、正確B、錯誤答案：B48.一個RDD只能由一個分區(qū)。A、正確B、錯誤答案：B49.SparkStreaming接收實時輸入的數(shù)據(jù)流，并將數(shù)據(jù)流以時間片（秒級）為單位拆分成批次，然后將每個批次交給Spark引擎進行處理，最終生成以批次組成的結(jié)果數(shù)據(jù)流。A、正確B、錯誤答案：A50.Kafka每個分區(qū)的副本都被分為兩種類型：領導者副本和跟隨者副本。其中，領導者副本可以有多個。A、正確B、錯誤答案：B51.在Standalone模式中，根據(jù)應用程序提交的方式不同，Driver（主控進程）在集群中的位置也有所不同。A、正確B、錯誤答案：A52.在SparkSQL中，默認情況下，load()方法和save()方法只支持Parquet格式的文件。A、正確B、錯誤答案：A53.DataFrame在RDD的基礎上添加了數(shù)據(jù)描述信息（Schema，即元信息）。A、正確B、錯誤答案：A54.Spark可以在沒有Hadoop的情況下運行。A、正確B、錯誤答案：A55.Spark的GraphX庫提供了圖計算功能。A、正確B、錯誤答案：A填空題1.SparkSQL底層使用的是Spark_____。答案：Core2.調(diào)用Dataset的toDF()方法，將存有元數(shù)據(jù)的Dataset轉(zhuǎn)為______。答案：DataFrame3.Spark3的集群部署模式有本地模式、_____模式、YARN模式和Mesos模式。答案：SparkStandalone解析：p374.Spark的配置文件通常位于_____目錄下.答案：conf解析：p455.______是GraphX特有的數(shù)據(jù)結(jié)構(gòu)，包含源頂點I源頂點屬性、目標頂點I目標頂點屬性、邊屬性。答案：三元體解析：P2986.SparkSQL的DataFrameAPI提供了類似SQL的表達能力，但性能更高，因為它基于______的執(zhí)行引擎。答案：分布式7.Spark有多種運行模式，可以以YARN或Mesos作為底層資源調(diào)度系統(tǒng)以分布式的方式在集群中運行，稱為_____模式；答案：SparkOnYARN8.Spark的配置文件通常位于______目錄下。答案：conf解析：P459.Spark的容錯機制基于______。答案：RDD彈性分布式數(shù)據(jù)集10.在Spark3.x中，SparkSQL可以通過______來定義臨時表答案：CREATETEMPORARYTABLE11.SparkSQL是一個用于處理______的Spark組件。答案：結(jié)構(gòu)化數(shù)據(jù)12.寬依賴是指，父RDD的一個分區(qū)被子RDD的_____個分區(qū)所用。答案：多13.在SparkSQL中，DataFrame在RDD的基