應(yīng)聘大數(shù)據(jù)面試筆試重點(diǎn)全套

應(yīng)聘大數(shù)據(jù)面試筆試重點(diǎn)整體請比較MR、HBase、Hive、Presto、Storm、Spark主從架構(gòu)的異同。請比較Flume、MR、Pig、Storm、Spark在數(shù)據(jù)處理時(shí)做了對數(shù)據(jù)做了哪些處理？數(shù)據(jù)采集數(shù)據(jù)分析指標(biāo)為什么要和維度相結(jié)合？數(shù)據(jù)采集方式有哪幾種？每種采集方式的原理是什么？在做大數(shù)據(jù)分析時(shí)，有時(shí)候需要偽造一些數(shù)據(jù)，其原理是什么？用什么工具來實(shí)現(xiàn)？音視頻數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)，如何進(jìn)行大數(shù)據(jù)分析？在flume中一個agent如何連接到另外一個agent？請加以說明畫圖說明kafka如何與flume結(jié)合？請解釋說明數(shù)據(jù)預(yù)處理流程5個關(guān)鍵節(jié)點(diǎn)。打標(biāo)簽是什么樣的數(shù)據(jù)行為？有什么意義？kafka的數(shù)據(jù)存在內(nèi)存還是磁盤？為什么？數(shù)據(jù)存儲HDFS對小文件處理有哪些實(shí)現(xiàn)方法？請說明HDFS文件壓縮機(jī)制，什么叫分片？數(shù)據(jù)倉庫設(shè)計(jì)時(shí)為什么要建立貼源層？請舉例說明什么叫維度表，什么叫事實(shí)表？請說明數(shù)據(jù)庫ACID、CAP、BASE含義。HRegion是如何劃分的？有幾種方式訪問HRegion？請說明MemStore與storefile的區(qū)別？舉例畫表說明Hbase物理視圖、概念視圖。請說明Hbase和Hive異同點(diǎn)。數(shù)據(jù)處理請描述hadoop的shuffle過程。請描述在Windows下利用eclipse如何進(jìn)行MR開發(fā)并上傳到Linuxhadoop下的過程？請描述在Linuxhadoop下利用進(jìn)行MR開發(fā)的過程？請用pig寫出如何進(jìn)行單詞統(tǒng)計(jì)的程序。請說明pigLatin關(guān)鍵詞LOAD、STORE、DUMP、FILTER、DISTINCT、FOREACH、GENERATE、STREAM、JOIN、COGROUP、GROUP、CROSS、ORDER、LIMIT、UNION、SPLIT、DESCRIBE、EXPLAIN、ILLUSTRATE、REGISTER、DEFINE的含義。舉例說明pig特有的數(shù)據(jù)類型Tuple、Bag、Map的含義。MR核心組件有哪些？這些組件分別起到什么作用？Java中的數(shù)據(jù)類型boolean、byte、int、float、long、double、String在MR中分別對應(yīng)的數(shù)據(jù)類型是什么？數(shù)據(jù)挖掘與分析請畫出數(shù)據(jù)倉庫數(shù)據(jù)整合流程并加以解釋。舉例說明信息熵、信息增益率、最大熵的含義。如何結(jié)合數(shù)據(jù)分析業(yè)務(wù)場景理解信息增益率？請舉例說明innerjoin、leftjoin、rightjoin、fulljoin、隱式j(luò)oin的含義。請說明Hive文件格式有哪些。請從數(shù)據(jù)結(jié)構(gòu)角度說明行存儲和列存儲的區(qū)別。請舉例說明Hive復(fù)雜數(shù)據(jù)類型Array、Map、Struct、Union。請列出Hive創(chuàng)建表，分區(qū)，外部表，桶的HQL語句。結(jié)合例子說明如何在Hive中創(chuàng)建自定義函數(shù)？請舉例說明HQL中兩種分布式j(luò)oin算法的含義。舉例說明Hive自定義函數(shù)的開發(fā)，并如何注冊函數(shù)？列出storm安裝過程并描述安裝過程關(guān)鍵點(diǎn)。請畫出Storm集群拓?fù)鋱D并對拓?fù)鋱D每個構(gòu)件加以描述。列出ooize安裝過程并描述安裝過程關(guān)鍵點(diǎn)。列出presto安裝過程并描述安裝過程關(guān)鍵點(diǎn)。舉一個presto簡單業(yè)務(wù)場景查詢例子。列出presto安裝過程并描述安裝過程關(guān)鍵點(diǎn)。舉一個tez簡單業(yè)務(wù)場景查詢例子。列出tez安裝過程并描述安裝過程關(guān)鍵點(diǎn)。請畫圖示例說明spark中如何進(jìn)行cogroup。請舉例說明RDD依賴（寬依賴、窄依賴）。請對下表加以解釋：請對下表加以解釋：列出Spark安裝過程并描述安裝過程關(guān)鍵點(diǎn)。請畫圖并舉例說明Spark運(yùn)行和調(diào)度。請說明spark中物理/邏輯執(zhí)行計(jì)劃。機(jī)