利用數據倉儲實現(xiàn)數據智能查詢

1、利用數據倉儲實現(xiàn)數據智能查詢地質大隊王瑞2010年9月利用數據倉儲實現(xiàn)數據智能查詢王瑞（大慶油田第八采油廠地質大隊）摘要：油田開發(fā)的數據來源多且不規(guī)范，在一些互不聯(lián)系的系統(tǒng)分析、設計人員在分散獨立的開發(fā)應用系統(tǒng)時，由于數據庫的不統(tǒng)一性，使得不同的應用部分之間的信息共享很難進行。這樣就影響了數據的共享應用。因此要對數據源進行整合，規(guī)范盡量向PCEDM模型靠近，使各系統(tǒng)之間能夠快速共享數據，方便查詢。主題詞：數據倉儲 信息域 數據泵出1 問題在提出隨著油田信息化的不斷深入，數據資源的累積越來越多，由于數據庫的分散和不統(tǒng)一，使得一些互不聯(lián)系的數據庫訪問查詢時，系統(tǒng)查詢速度非常緩慢，這樣就影響了數據的

2、共享應用，影響了信息化進程的開展。而數據倉儲概念在提出和應用，將油田各個專業(yè)的數據庫集中到一個平臺上共享應用。再結合油田正在應用在PCEDM數據模型和以前在用的數據庫邏輯結構的特點，進行數據查詢智能開發(fā)，使得油田各專業(yè)崗位業(yè)務人員可以根據不同的業(yè)務需要，在不了解數據庫結構的情況下通過簡單的鼠標拖動快速進行數據庫查詢、統(tǒng)計。2 什么是數據倉儲數據倉儲是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數據集合，數據倉儲技術定義了可以使該數據更容易訪問的策略。2.1 數據倉儲在特點1)數據倉儲是面向主題的；2)數據倉儲是集成的，數據倉儲的數據有來自于分散的操作型數據，將所需數據從原來的數據中抽取出

3、；3)數據倉儲是可更新的，數據倉儲主要是為決策分析提供數據，所涉及的操作主要是數據的查詢； 4)數據倉儲是隨時間而變化的，傳統(tǒng)的關系數據庫系統(tǒng)比較適合處理格式化的數據；2.2 數據倉儲實現(xiàn)方式數據倉儲是一個過程而不是一個項目。 數據倉儲系統(tǒng)是一個信息提供平臺，他從業(yè)務處理系統(tǒng)獲得數據，主要以星型模型和雪花模型進行數據組織，并為用戶提供各種手段從數據中獲取信息和知識。 從功能結構化分，數據倉儲系統(tǒng)至少應該包含數據獲?。―ata Acquisition）、數據存儲（Data Storage）、數據訪問（Data Access）三個關鍵部分。 企業(yè)數據倉儲的建設，是以現(xiàn)有業(yè)務系統(tǒng)和大量業(yè)務數據的積累

4、為基礎。數據倉儲不是靜態(tài)的概念，只有把信息及時交給需要這些信息的使用者，供他們做出改善其業(yè)務經營的決策，信息才能發(fā)揮作用，信息才有意義。而把信息加以整理歸納和重組，并及時提供給相應的管理決策人員，是數據倉儲的根本任務。因此，數據倉儲建設是一個工程，是一個過程。 2.3 數據倉儲與數據庫的區(qū)別數據倉儲的出現(xiàn)，并不是要取代數據庫。目前，大部分數據倉儲還是用關系數據庫管理系統(tǒng)來管理的。可以說，數據庫、數據倉儲相輔相成、各有千秋。 數據庫是面向事務的設計，數據倉儲是面向主題設計的。 數據庫一般存儲在線交易數據，數據倉儲存儲的一般是歷史數據。 數據庫設計是盡量避免冗余，一般采用符合范式的規(guī)則來設計，數據

5、倉儲在設計是有意引入冗余，采用反范式的方式來設計。 數據庫是為捕獲數據而設計，數據倉儲是為分析數據而設計，它的兩個基本的元素是維表和事實表。3 實現(xiàn)數據倉儲之間關聯(lián)3.1 石油信息共享數據源油田開發(fā)的數據來源多且不規(guī)范，并且各路的數據填寫標準也不近相同，要對數據源進行整合，規(guī)范盡量向PCEDM模型靠近。3.2 建立信息域1) 結合用戶專業(yè)需求創(chuàng)建用戶信息域，將表中的各數據項按用戶習慣進行數據組合和數據關聯(lián)。業(yè)務人員基于信息域構建查詢和報表就不需要懂得數據庫的結構和表關聯(lián)；2) 能按用戶習慣，對數據庫信息進行分類管理;3) 預建表關聯(lián)（以后做查詢、報表不必再建）根據PCEDM數據結構和油田開發(fā)業(yè)

6、務特點，建立了以well_id為主鍵的所有單井各類數據表之間的關聯(lián)關系，并通過實體與well_id之間的隸屬關，建立了各單井表與所有含礦、隊、站、油田、區(qū)塊等實體的表之間的關聯(lián)關系。為油田開發(fā)技術人員創(chuàng)建一個簡單直觀的數據應用界面，用戶只需要拖動數據項不需要關心數據數據庫內部結構；4) 將復雜統(tǒng)計表達式作為單個對象，象使用字段一樣方便查詢和做報表;5) 實現(xiàn)單點更新，修改一處，更新全部.6）代碼轉換PCEDM數據庫在創(chuàng)建過程中大量用到隨機碼做主鍵同時也用到了很多代碼項這些用戶很難看懂，對所有代碼進行轉換，在系統(tǒng)中為最終用戶展示的完全是轉換后的信息。4 利用數據倉儲實現(xiàn)智能查詢及實例4.1 定時

7、數據泵出根據源數據更新時間，定時將更新的數據泵到數據倉儲中。4.2 數據注釋按照油田的技術術語對對于200多個數據表中的幾千個英文數據項都轉譯為漢字名稱。創(chuàng)建油田開發(fā)語義層結合用戶專業(yè)需求創(chuàng)建用戶信息域，將表中的各數據項按用戶習慣進行數據組合和數據關聯(lián)。業(yè)務人員基于信息域構建查詢和報表就不需要懂得數據庫的結構和表關聯(lián)。4.3智能查詢智能查詢是指根據實際業(yè)務需要，定義查詢對象并從數據庫中檢索出需要的數據的過程同時在查詢過程中完成對數據的清洗過濾轉換等，得到用戶最終需要的數據1）可基于數據源、信息域、SQL語句、已生成的查詢、文件、Excel和數據庫存儲多種方式進行查詢，無需編程；2）一個查詢能同

8、時跨多個數據源如Oracle、SQL、DB2、Informix、Progress、Sybase等RDBMS；（此功能一般來說適合與IT或信息部有數據庫使用權限的人員使用，業(yè)務人員通常是基本信息域（或業(yè)務視圖）做查詢）3）在查詢內支持腳本編寫；4）可視化編輯查詢條件，條件編輯過程使用自然語言；5）查詢數據結果包括查找、過濾器、輸入參數、升降排序等；6）查詢結果的數據格式設置；7）查詢結果界面可靈活設計其界面美工，用戶可完全DIY8）設置查詢參數功能，不同參數刷新不同數據，同時參數界面可以自定義設計，能滿足所有查詢參數界面的設計；9）具有強大的示警功能，能基于預定條件發(fā)出預警e-mail、wind

9、ows message、啟動其它系統(tǒng)等示警功能，10）設有獨立打印機，查詢結果導出打印時不會變形；11）查詢結果可輸出為Microsoft Excel、Pdf、Html和Txt 等常用格式；12）能在Web界面中調用其它ActiveX 控件，例如WinFax、Windows Media Player等等，大大加強了展示和系統(tǒng)功能，已遠超于一般查詢的功能范圍。13）減少查詢交互，對于5000行數據的查詢，將一次從服務器返回全部數據，減少前后端交互，近一步提升性能。4.4構建智能查詢的方式基于智能查詢構造器建立查詢基于智能查詢構造器建立查詢是最常用的查詢方式，操作方法簡單，只要通過簡單的鼠標拖拉方式即可完成各種簡單或復雜的查詢。4 結論建立數據倉儲是為了填補現(xiàn)有數據存儲形式已經不能滿足信息分析的需要。數據倉儲給組織帶來了巨大的變化。數據倉儲的建立也給我們帶來了一些新的工作流程，通過構造一種體系化的數據存貯環(huán)境，將分析決策所需的大量數據從傳統(tǒng)的操作環(huán)境中分離出來，使分散的、不一致的操作數據轉換成集成的、統(tǒng)一的信息。通過數據倉儲建