大魚競技面試題

大魚競技面試題什么是邏輯數(shù)據(jù)映射？它對ETL項目組的作用是什么？答：邏輯數(shù)據(jù)映射(LogicalDataMap)用來描述源系統(tǒng)的數(shù)據(jù)定義、目標數(shù)據(jù)倉庫的模型以及將源系統(tǒng)的數(shù)據(jù)轉(zhuǎn)換到數(shù)據(jù)倉庫中需要做操作和處理方式的說明文檔，通常以表格或Excel的格式保存如下的信息：目標表名：目標列名：目標表類型：注明是事實表、維度表或支架維度表。SCD類型：對于維度表而言。源數(shù)據(jù)庫名：源數(shù)據(jù)庫的實例名，或者連接字符串。源表名：源列名：轉(zhuǎn)換方法：需要對源數(shù)據(jù)做的操作，如Sum(amount)等。邏輯數(shù)據(jù)映射應(yīng)該貫穿數(shù)據(jù)遷移項目的始終，在其中說明了數(shù)據(jù)遷移中的ETL策略。在進行物理數(shù)據(jù)映射前進行邏輯數(shù)據(jù)映射對ETL項目組是重要的，它起著元數(shù)據(jù)的作用。項目中最好選擇能生成邏輯數(shù)據(jù)映射的數(shù)據(jù)遷移工具。在數(shù)據(jù)倉庫項目中，數(shù)據(jù)探索階段的主要目的是什么？答：在邏輯數(shù)據(jù)映射進行之前，需要首先對所有的源系統(tǒng)進行分析。對源系統(tǒng)的分析通常包括兩個階段，一個是數(shù)據(jù)探索階段(DataDiscoveryPhase),另一個是異常數(shù)據(jù)檢測階段。數(shù)據(jù)探索階段包括以下內(nèi)容：收集所有的源系統(tǒng)的文檔、數(shù)據(jù)字典等內(nèi)容。收集源系統(tǒng)的使用情況，如誰在用、每天多少人用、占多少存儲空間等內(nèi)容。判斷出數(shù)據(jù)的起始來源(System-of-Record)。通過數(shù)據(jù)概況(DataProfiling)來對源系統(tǒng)的數(shù)據(jù)關(guān)系進行分析。數(shù)據(jù)探索階段的主要目的是理解源系統(tǒng)的情況，為后續(xù)的數(shù)據(jù)建模和邏輯數(shù)據(jù)映射打下堅實的基礎(chǔ)。如何確定起始來源數(shù)據(jù)？答：這個問題的關(guān)鍵是理解什么是System-of-Record。System-of-Record和數(shù)據(jù)倉庫領(lǐng)域內(nèi)的其他很多概念一樣，不同的人對它有不同的定義。在Kimball的體系中，System-of-Record是指最初產(chǎn)生數(shù)據(jù)的地方，即數(shù)據(jù)的起始來源。在較大的企業(yè)內(nèi)，數(shù)據(jù)會被冗余的保存在不同的地方，在數(shù)據(jù)的遷移過程中，會出現(xiàn)修改、清洗等操作，導致與數(shù)據(jù)的起始來源產(chǎn)生不同。起始來源數(shù)據(jù)對數(shù)據(jù)倉庫的建立有著非常重要的作用，尤其是對產(chǎn)生一致性維度來說。我們從起始來源數(shù)據(jù)的越下游開始建立數(shù)據(jù)倉庫，我們遇到垃圾數(shù)據(jù)的風險就會越大。在ETL過程中四個基本的過程分別是什么？答：Kimball數(shù)據(jù)倉庫構(gòu)建方法中，ETL的過程和傳統(tǒng)的實現(xiàn)方法有一些不同，主要分為四個階段，分別是抽?。╡xtract）、清洗（clean）、一致性處理（comform）和交付（delivery）,簡稱為ECCD。1）抽取階段的主要任務(wù)是：讀取源系統(tǒng)的數(shù)據(jù)模型。連接并訪問源系統(tǒng)的數(shù)據(jù)。變化數(shù)據(jù)捕獲。抽取數(shù)據(jù)到數(shù)據(jù)準備區(qū)。2）清洗階段的主要任務(wù)是：清洗并增補列的屬性。清洗并增補數(shù)據(jù)結(jié)構(gòu)。清洗并增補數(shù)據(jù)規(guī)則。增補復(fù)雜的業(yè)務(wù)規(guī)則。建立元數(shù)據(jù)庫描述數(shù)據(jù)質(zhì)量。將清洗后的數(shù)據(jù)保存到數(shù)據(jù)準備區(qū)。3）一致性處理階段的主要任務(wù)是：一致性處理業(yè)務(wù)標簽，即維度表中的描述屬性。一致性處理業(yè)務(wù)度量及性能指標，通常是事實表中的事實。去除重復(fù)數(shù)據(jù)。國際化處理。將一致性處理后的數(shù)據(jù)保存到數(shù)據(jù)準備區(qū)。4）交付階段的主要任務(wù)是：加載星型的和經(jīng)過雪花處理的維度表數(shù)據(jù)。產(chǎn)生日期維度。加載退化維度。加載子維度。加載1、2、3型的緩慢變化維度。處理遲到的維度和遲到的事實。加載多值維度。加載有復(fù)雜層級結(jié)構(gòu)的維度。加載文本事實到維度表。處理事實表的代理鍵。加載三個基本類型的事實表數(shù)據(jù)。加載和更新聚集。將處理好的數(shù)據(jù)加載到數(shù)據(jù)倉庫。從這個任務(wù)列表中可以看出，ETL的過程和數(shù)據(jù)倉庫建模的過程結(jié)合的非常緊密。換句話說，ETL系統(tǒng)的設(shè)計應(yīng)該和目標表的設(shè)計同時開始。通常來說，數(shù)據(jù)倉庫架構(gòu)師和ETL系統(tǒng)設(shè)計師是同一個人。在數(shù)據(jù)準備區(qū)中允許使用的數(shù)據(jù)結(jié)構(gòu)有哪些？各有什么優(yōu)缺點？答：1)固定格式的文本文件。(FlatFile)FlatFile指的是一種保存在系統(tǒng)上的一種文本文件格式，它

以類似數(shù)據(jù)庫的表的方式用行和列來保存數(shù)據(jù)。這種文件格式經(jīng)

常用來進行數(shù)據(jù)交換。用于保存數(shù)據(jù)不太合適。2）XML數(shù)據(jù)集。多用于數(shù)據(jù)交換，用戶保存數(shù)據(jù)不太合適。3）關(guān)系數(shù)據(jù)庫的表。保存數(shù)據(jù)的較理想選擇。4）獨立的數(shù)據(jù)庫表。獨立的數(shù)據(jù)庫表一般指建立的表和其他表沒有外鍵約束關(guān)系。這樣的表多用于數(shù)據(jù)處理。5）三范式或者關(guān)系型模型。6）非關(guān)系型數(shù)據(jù)源。非關(guān)系型數(shù)據(jù)源一般包括COBOLcopybooks、VSAM文件、Flat文件、Spreadsheets等。7）維度模型。8）原子事實表和聚集事實表。9）代理鍵查找表。簡述ETL過程中哪個步驟應(yīng)該出于安全的考慮將數(shù)據(jù)寫到磁盤上？答：Staging的意思就是將數(shù)據(jù)寫到磁盤上。出于安全及ETL能方便重新開始，在數(shù)據(jù)準備區(qū)（StagingArea）中的每個步驟中都應(yīng)該將數(shù)據(jù)寫到磁盤上，即生成文本文件或者將建立關(guān)系表保存數(shù)據(jù)，而不應(yīng)該以數(shù)據(jù)不落地方式直接進行ETL。例如，在數(shù)據(jù)抽取階段，我們需要連接到源系統(tǒng)，為了對源系統(tǒng)的影響盡量小，我們需要將抽取的數(shù)據(jù)保存成文本文件或者放入數(shù)據(jù)準備區(qū)的表中，這樣，當ETL過程出現(xiàn)錯誤而失敗時，我們就可以從這些文本文件開始ETL,而不需要再次影響源系統(tǒng)。簡述異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)抽取技術(shù)。答：在數(shù)據(jù)倉庫項目中,需要抽取的數(shù)據(jù)經(jīng)常來自不同的數(shù)據(jù)源,它們的邏輯結(jié)構(gòu)和物理結(jié)構(gòu)都可能不同,即稱之為異構(gòu)數(shù)據(jù)源。在對異構(gòu)數(shù)據(jù)源進行整合抽取時,我們需要做的事情依次是標識出所有的源系統(tǒng),對源系統(tǒng)進行概況分析,定義數(shù)據(jù)匹配邏輯,建立篩選規(guī)則,生成一致性維度。對于源數(shù)據(jù)的操作系統(tǒng)平臺和數(shù)據(jù)平臺各不相同的情況,我們需要根據(jù)實際情況來確定如何進行數(shù)據(jù)抽取,通常的方法有建立ODBC連接、定義接口文件、建立DBLINK等方法。從ERP源系統(tǒng)中抽取數(shù)據(jù)最好的方法是什么？答：ERP系統(tǒng)的產(chǎn)生是為了解決企業(yè)內(nèi)異構(gòu)數(shù)據(jù)的整合。這個問題也是數(shù)據(jù)倉庫系統(tǒng)面臨的主要問題。ERP的解決方案是將企業(yè)內(nèi)的各個應(yīng)用（包括銷售、會計、人力資源、庫存和產(chǎn)品等）建立在相