bi之ods使用手冊(cè)天善智能一家之言

1、天善智能致全體 BI 同仁的各位 BI 同仁們：大家好！如果有一天，您有機(jī)會(huì)看到這封信，說明很有緣。天善智能是一個(gè)小團(tuán)隊(duì)，是由幾位 BI 技術(shù)實(shí)戰(zhàn)者組織建立的草根組織，或者某一天會(huì)變得很強(qiáng)大，如果您支持和同意的話。天善智能專注于商業(yè)智能和數(shù)據(jù)庫性能優(yōu)化，2011 年 9 月由（Robay）組織成立，前期以接外包項(xiàng)目和顧問培訓(xùn)服務(wù)為主，以及一些小范圍的獨(dú)家知識(shí)。在 2012 年 9 月，天善開始通過網(wǎng)絡(luò)來天善多年來在商業(yè)智能和數(shù)據(jù)庫方面的實(shí)戰(zhàn)經(jīng)驗(yàn)。目前天善智能總共已經(jīng)制作了 23 份技術(shù)文檔，錄制了 25 部（陸續(xù)增加中.），開展了六期 BI 技術(shù)公開課，并且把這資料放在天善智能的博客，優(yōu)酷，各

2、種網(wǎng)絡(luò)媒介上免費(fèi)讓大家，和學(xué)習(xí)。最難得的是，這些資料是網(wǎng)絡(luò)上最獨(dú)有，最全，最有含金量的，并整理的井井有序，免費(fèi)開放了給大家。這樣做的目的，完全是因?yàn)樘焐企w諒一些大學(xué)生、初學(xué)者想學(xué)習(xí) BI 技術(shù)，但是又苦于學(xué)習(xí)無門的心情，因?yàn)樘焐频乃谐蓡T也經(jīng)歷過一段這樣痛苦的時(shí)間，因此想通過這些小小的行為幫助到那些 BI 的初學(xué)者。俗話說：“授之以魚不如授之以漁”，天善智能雖然提供了這么多的資料供大家免費(fèi)學(xué)習(xí)，但是天善認(rèn)為僅僅做到這一點(diǎn)是不夠的，更好的方式應(yīng)該是讓大家掌握一種無形的本領(lǐng)。這種本領(lǐng)可以描述成“如何思考、如何學(xué)習(xí)、如何解決問題、如果沉淀、如何成長(zhǎng)”等。也許您會(huì)覺得有點(diǎn)虛無縹緲，但是請(qǐng)相信天善智能，

3、和天善一起前行成長(zhǎng)，終有一天會(huì)實(shí)現(xiàn)各位心中的理想。最后，天善智能成立時(shí)間短，也還年輕，更急需成長(zhǎng)，因此天善智能誠(chéng)懇的希望您能提出具有建設(shè)性的建議，助天善團(tuán)隊(duì)壯大，天善團(tuán)隊(duì)，使天善邁向成階段。寫于 2012 年 12 月 22 日重生后的第一天如何找到天善？博客：(訂閱本博客隨時(shí)掌握天善動(dòng)態(tài)，文檔工具。目前已經(jīng) 600 人訂閱，還不訂閱更待何時(shí)？)QA： HYPERLINK http:/q/ http:/q(任何技術(shù)問題，只要您認(rèn)真提，天善一定認(rèn)真答。)5 群：236899666 群：237979203前 4 群基本滿員，多達(dá) 2000 人，加入也是必須的。（加入時(shí)請(qǐng)注明：天善智能）天善優(yōu)酷：/

4、tianshansoft天善智能博客：第 1 頁 共 10 頁且ODS 探析1ODS 概述ODS 概念和特點(diǎn)ODS 概念ODS(Operational Data Store,操作型數(shù)據(jù))是數(shù)據(jù)倉庫體系結(jié)構(gòu)中的可選部分，ODS 具備數(shù)據(jù)倉庫的部分特征和的、集成的、可變的、反映當(dāng)前數(shù)據(jù)值和詳細(xì)數(shù)據(jù)的數(shù)據(jù)集合，用OLTP 系統(tǒng)的部分特征。Billon 定義 ODS 為面向來滿足企業(yè)綜合的、集成的以及操作型的處理需求。與 Billon 給出的數(shù)據(jù)倉庫的定義類似，ODS 的定義同樣也給出了 ODS 的幾個(gè)特點(diǎn)，分別是：1.1.2面向的 （與數(shù)據(jù)倉庫類似）集成的 （與數(shù)據(jù)倉庫類似）易變的

5、（數(shù)據(jù)可以聯(lián)機(jī)改變，包括增、刪以及更新等操作）數(shù)據(jù)是當(dāng)前或接近當(dāng)前的（數(shù)據(jù)在存取時(shí)刻是ODS 的由來及基本特征的、數(shù)據(jù)是最近一段時(shí)間之前得到的）在數(shù)據(jù)庫環(huán)境中的是面向應(yīng)用和聯(lián)機(jī)事務(wù)處理、當(dāng)前的、細(xì)節(jié)的、分散的數(shù)據(jù)，數(shù)據(jù)庫系統(tǒng)并不能提供集成的的數(shù)據(jù)環(huán)境，使各個(gè)業(yè)務(wù)子系統(tǒng)之間實(shí)現(xiàn)較高程度的共享，使得數(shù)據(jù)庫系統(tǒng)不能提供決策支持的功能；而在數(shù)據(jù)倉庫系統(tǒng)可以提供集成、基礎(chǔ)。的數(shù)據(jù)環(huán)境，能夠?qū)崿F(xiàn)數(shù)據(jù)的共享，但是數(shù)據(jù)倉庫并不實(shí)時(shí)的數(shù)據(jù)而是需要大量歷史數(shù)據(jù)作為分析的ODS 是由于數(shù)據(jù)庫數(shù)據(jù)環(huán)境與數(shù)據(jù)倉庫數(shù)據(jù)環(huán)境不能滿足實(shí)時(shí)決策的需求而產(chǎn)生的。根據(jù)其概念，ODS的是面向主題的集成的并且同時(shí)是明細(xì)的反應(yīng)當(dāng)前或接近

6、當(dāng)前的數(shù)據(jù)值的數(shù)據(jù)，這些特點(diǎn)可以彌補(bǔ)數(shù)據(jù)庫環(huán)境和數(shù)據(jù)倉庫環(huán)境的缺陷，為實(shí)時(shí)決策的需求提供數(shù)據(jù)支持。ODS 在數(shù)據(jù)倉庫系統(tǒng)中是一個(gè)可選組件，是介于 DB 和 DW 之間的一種技術(shù)。ODS 只是存放當(dāng)前或接近當(dāng)前的數(shù)據(jù)，如果需要的話，可以對(duì) ODS 中的數(shù)據(jù)進(jìn)行增刪或更新操作。雖然 DW 中的數(shù)據(jù)也同樣是面向常是不能進(jìn)行修改的，所有 ODS 和 DW 的區(qū)別主要體現(xiàn)在數(shù)據(jù)的可變性和當(dāng)前性上。和集成的，但是這些數(shù)據(jù)通DB 數(shù)據(jù)環(huán)境：面向應(yīng)用和聯(lián)機(jī)事務(wù)處理，當(dāng)前的、細(xì)節(jié)的、分散的數(shù)據(jù)，不能提供集成的程度低，不能提供決策支持。的數(shù)據(jù)環(huán)境，共享DW 數(shù)據(jù)環(huán)境：面向、面向分析，可以提供集成、的數(shù)據(jù)環(huán)境，但是

7、一定量的數(shù)據(jù)是建立 DW 的前提，需要使用歷史數(shù)據(jù)，數(shù)據(jù)要體現(xiàn)集和歷史性實(shí)際中往往會(huì)有實(shí)時(shí)決策的需求，上述兩者都不能滿足要求，因此產(chǎn)生了 ODSODS 數(shù)據(jù)環(huán)境：一方面提供全局一致的、細(xì)節(jié)的、當(dāng)前的數(shù)據(jù)，可進(jìn)行聯(lián)機(jī)事務(wù)操作型處理。另一方面是一種面向的集成的數(shù)據(jù)環(huán)境。數(shù)據(jù)量小，可輔助完成日常決策的數(shù)據(jù)分析處理，同時(shí)可以保護(hù)投資，保留現(xiàn)有的應(yīng)用系統(tǒng)。DB-ODS-DW 體系結(jié)構(gòu)簡(jiǎn)單結(jié)構(gòu):1.1.3天善智能博客：第 2 頁 共 10 頁特點(diǎn)：1)ODS 的2)DW 的復(fù)雜結(jié)構(gòu):在 DB 中；在 ODS 中。1.2ODS 與 DB、DW 的區(qū)別ODS 是介于 DB 和 DW 之間的一種數(shù)據(jù)技術(shù)，與面向

8、應(yīng)用的分散的 DB 相比，ODS 中的數(shù)據(jù)組織方式與 DW 一樣也是面向的、集成的。雖然 ODS 也是一種操作型數(shù)據(jù)，但是 ODS 與面向應(yīng)用的分散 DB 系統(tǒng)在設(shè)計(jì)目標(biāo)、內(nèi)容、數(shù)據(jù)來源、數(shù)據(jù)組織方式等方面存在較大的差異；ODS 和 DW 在結(jié)構(gòu)和內(nèi)容方面非常相似。它們都是面向的、集成的，每種環(huán)境都要求數(shù)據(jù)經(jīng)過集成和轉(zhuǎn)換之后再被載入到 ODS 或 DW。但 ODS 有許多與數(shù)據(jù)倉庫非常不同的特性，例如 ODS 中的數(shù)據(jù)可以被前端應(yīng)用更新，而數(shù)據(jù)倉庫中的數(shù)據(jù)則不可以；ODS 保存當(dāng)前或者接近當(dāng)前的細(xì)節(jié)數(shù)據(jù)，而數(shù)據(jù)倉庫保存各粒度級(jí)別的匯總的歷史數(shù)據(jù)。具體區(qū)別如下下表所示：天善智能博客：第 3 頁

9、共 10 頁指標(biāo)DBODSDW系統(tǒng)目標(biāo)事務(wù)處理中層輔助決策輔助決策處理類型面向應(yīng)用、聯(lián)機(jī)事務(wù)處理日常管理和控制決策，事物處理與決策分析并存面向分析，決策支1.3ODS 的分類ODS 按照與應(yīng)用系統(tǒng)的數(shù)據(jù)延遲時(shí)間分為四類，分別為：類 ODS,與應(yīng)用系統(tǒng)的數(shù)據(jù)延遲為 12 秒，實(shí)時(shí)或近似實(shí)時(shí)。對(duì)于用戶來說，ODS 是個(gè)透明的，操作型系統(tǒng)業(yè)務(wù)發(fā)生之后，數(shù)據(jù)立刻在 ODS 中看到。這類 ODS 事實(shí)上是很難實(shí)現(xiàn)的。秒級(jí)的數(shù)據(jù)遷移間隔，使得沒有時(shí)間進(jìn)行數(shù)據(jù)的整合。對(duì)于此類 ODS，從技術(shù)和成本上來說，都是不合算的。類 ODS，與應(yīng)用系統(tǒng)的數(shù)據(jù)延遲為 24 小時(shí)。在操作型系統(tǒng)業(yè)務(wù)發(fā)生后，數(shù)據(jù)要經(jīng)過幾個(gè)小時(shí)

10、才能出現(xiàn)在 ODS 部件中。類 ODS，與應(yīng)用系統(tǒng)的數(shù)據(jù)延遲為 1224 小時(shí)。常見的數(shù)據(jù)倉庫的遷移頻率。類 ODS，與應(yīng)用系統(tǒng)的數(shù)據(jù)延遲為月級(jí)甚至年級(jí)，該類 ODS 的數(shù)據(jù)源經(jīng)常是數(shù)據(jù)倉庫，即數(shù)據(jù)倉庫中部分決策分析數(shù)據(jù)回流至 ODS 中。不同 ODS 類別的特點(diǎn)：數(shù)據(jù)延遲時(shí)間越短，ODS 建設(shè)難度越高；類 ODS 的建設(shè)難度最高，建設(shè)成本也是最高。由于類 ODS 得實(shí)時(shí)性，對(duì)于技術(shù)的要求與其他類型 ODS 也有所不同，一般來講需要用到 EAI 技術(shù)，但隨著當(dāng)前企業(yè)對(duì)數(shù)據(jù)倉庫的實(shí)時(shí)性要求越來越高，類 ODS 變得越來越重要；在企業(yè)應(yīng)用架構(gòu)中，ODS 是一個(gè)可選件，但一旦需要用到 ODS 的功能

11、，那么 ODS 本身就變得極為重要。應(yīng)用比較多的是類 ODS，因?yàn)橐坏Q策分析結(jié)果加載到 ODS 中，重要決策信息的高性能聯(lián)機(jī)支持將成為可能。ODS 的作用1.4ODS 是一個(gè)可選的組件，但是在包含 ODS 組件的系統(tǒng)中，ODS 主要是作為 DB 與 DW 的中間層而存在的。它在系統(tǒng)中的主要作用有：1） 在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫之間形成一個(gè)層。一般的數(shù)據(jù)倉庫應(yīng)用系統(tǒng)都具有非常復(fù)雜的數(shù)據(jù)來源，這些數(shù)據(jù)存放在不同的地理位置、不同的數(shù)據(jù)庫、不同的應(yīng)用之中，從這些業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行抽取并不容易。因此，ODS 用于存放從業(yè)務(wù)系統(tǒng)直接抽取出來的數(shù)據(jù)，這些數(shù)據(jù)從數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)之間的邏輯關(guān)系上都與業(yè)務(wù)系統(tǒng)基本保

12、持一致，因此在抽取過程中極大降低了數(shù)據(jù)轉(zhuǎn)化的復(fù)雜性，而主要關(guān)注數(shù)據(jù)抽取的接口、數(shù)據(jù)量大小、抽取方式等方面2） 轉(zhuǎn)移一部分業(yè)務(wù)系統(tǒng)細(xì)節(jié)查詢的功能。在數(shù)據(jù)倉庫建立之前，大量的報(bào)表、分析是由業(yè)務(wù)系統(tǒng)直接支持的，在一些比較復(fù)雜的報(bào)表生成過程中，對(duì)業(yè)務(wù)系統(tǒng)的運(yùn)行產(chǎn)生相當(dāng)大的壓力。ODS 的數(shù)據(jù)從粒度、組織方式等各個(gè)方面都保持了與業(yè)務(wù)系統(tǒng)的一致，那么原來由業(yè)務(wù)系統(tǒng)產(chǎn)生的報(bào)表、細(xì)節(jié)數(shù)據(jù)的查詢自然能夠從 ODS 中進(jìn)行，從而降低業(yè)務(wù)系統(tǒng)的查詢壓力。3） 完成數(shù)據(jù)倉庫中不能完成的一些功能在帶有 ODS 的數(shù)據(jù)倉庫體系結(jié)構(gòu)中，DW 層所的數(shù)據(jù)都是進(jìn)行匯總過的數(shù)據(jù)和運(yùn)營(yíng)指標(biāo)，并不每筆交易產(chǎn)生的細(xì)節(jié)數(shù)據(jù)，但是在某些特

13、殊的應(yīng)用中，可能需要對(duì)交易細(xì)節(jié)數(shù)據(jù)進(jìn)行查詢，這時(shí)就需要把細(xì)節(jié)數(shù)據(jù)查詢的功能轉(zhuǎn)移到 ODS來完成，而且 ODS 的數(shù)據(jù)模型按照面向的方式進(jìn)行，可以方便地支持分析等查詢功能。即數(shù)據(jù)倉庫從宏觀角度滿足企業(yè)的決策支持要求，而 ODS 層則從微觀角度反映細(xì)節(jié)交易數(shù)據(jù)或者低粒度的數(shù)據(jù)查詢要求。在一個(gè)沒有 ODS 層的數(shù)據(jù)倉庫應(yīng)用系統(tǒng)體系結(jié)構(gòu)中，數(shù)據(jù)倉庫中的數(shù)據(jù)粒度是根據(jù)需要而確定的，但一般來說，最為細(xì)節(jié)的業(yè)務(wù)數(shù)據(jù)也是需要保留的，實(shí)際上也就相當(dāng)于 ODS，但與 ODS 所不同的是，這時(shí)的細(xì)節(jié)數(shù)據(jù)不是“當(dāng)前、不斷變化的”數(shù)據(jù)，而是“歷史的，不再變化的”數(shù)據(jù)。這樣的數(shù)據(jù)倉庫的理設(shè)計(jì)和邏輯設(shè)計(jì)提出了更高的要求。壓

14、力和性能壓力都是比較大的，因此對(duì)數(shù)據(jù)倉庫的物天善智能博客：第 4 頁 共 10 頁功能持分析功能的 OLTP企業(yè)級(jí)的 OLTP 和及時(shí) OLAPOLAP(長(zhǎng)期趨勢(shì)分析)特征確定的應(yīng)用需求基于全局應(yīng)用和中層決策的基于決策分析和數(shù)據(jù)特征內(nèi)容當(dāng)前數(shù)據(jù)當(dāng)前或接近當(dāng)前數(shù)據(jù)歷史數(shù)據(jù)來源組織外部以系統(tǒng)為主系統(tǒng)組織按業(yè)務(wù)按按穩(wěn)定性更新頻繁較穩(wěn)定，允許更新穩(wěn)定，不進(jìn)行更新綜合性細(xì)節(jié)數(shù)據(jù)細(xì)節(jié)數(shù)據(jù)細(xì)節(jié)數(shù)據(jù)和綜合數(shù)據(jù)特征分散的數(shù)據(jù)庫全局一致的數(shù)據(jù)環(huán)境全局一致的數(shù)據(jù)環(huán)境1.5ODS 的功能ODS 支持全局（企業(yè)級(jí)）的聯(lián)機(jī)事務(wù)處理，并且支持日常管理和控制的操作，稱為“即時(shí) OLAP”處理。全局的 OLTP 應(yīng)用在數(shù)據(jù)倉庫

15、環(huán)境中是無法實(shí)施的，在數(shù)據(jù)庫環(huán)境中，則必須依靠個(gè)業(yè)務(wù)子系統(tǒng)之間的協(xié)調(diào)才能夠進(jìn)行；即時(shí)的 OLAP 應(yīng)用在數(shù)據(jù)庫環(huán)境中無法實(shí)施。而在數(shù)據(jù)倉庫環(huán)境中，由于必須提供即時(shí)的分析，因此必須提高數(shù)據(jù)刷新頻率，導(dǎo)致數(shù)據(jù)倉庫環(huán)境中的數(shù)據(jù)時(shí)間粒度過小，數(shù)據(jù)量增加過快，并不符合數(shù)據(jù)倉庫歷史數(shù)據(jù)的刷新周期。1.5.1全局的 OLTP 應(yīng)用對(duì)于全局的 OLTP 應(yīng)用，一個(gè)事務(wù)涉及多個(gè)子系統(tǒng)中的數(shù)據(jù)。通常的數(shù)據(jù)庫環(huán)境中，各個(gè)子系統(tǒng)的數(shù)據(jù)缺乏一致性，數(shù)據(jù)庫組織過于分散，無法實(shí)施全局的應(yīng)用，而 ODS 則克服數(shù)據(jù)庫系統(tǒng)的缺陷。一個(gè)全局的 OLTP 應(yīng)用示例：一位教員調(diào)離學(xué)校。如果是在數(shù)據(jù)庫系統(tǒng)中，子系統(tǒng)相對(duì)獨(dú)立，可能導(dǎo)致子

16、系統(tǒng)中的信息不一致；即使是在信息一致的情況下，也會(huì)造成調(diào)離手續(xù)繁瑣。而在 ODS 中則不會(huì)出現(xiàn)這種問題。數(shù)據(jù)庫環(huán)境ODS 環(huán)境1.5.2即時(shí)的 OLAP 應(yīng)用即時(shí)的 OLAP 應(yīng)用，進(jìn)行非型的中層決策來實(shí)現(xiàn)對(duì)企業(yè)的日常管理和控制。這種應(yīng)用只關(guān)心當(dāng)前或接近當(dāng)前的數(shù)據(jù)；因?yàn)樯婕暗臄?shù)據(jù)量較少，要求有較快的相應(yīng)速度。在數(shù)據(jù)倉庫環(huán)境中數(shù)據(jù)。的數(shù)據(jù)為歷史數(shù)據(jù)，并不能提供當(dāng)前或接近當(dāng)前的即時(shí) OLAP 示例：商場(chǎng) ODS 系統(tǒng)。該商場(chǎng)的基本情況是已經(jīng)有部門的應(yīng)用系統(tǒng)：庫存、采購(gòu)、銷售、財(cái)務(wù)等，并且有數(shù)據(jù)倉庫系統(tǒng)。商場(chǎng) ODS 系統(tǒng)的要求與目標(biāo)是支持日常管理和控制，具有即時(shí) OLAP 能力。對(duì)于回答“某某商品

17、是否要進(jìn)貨？”這一類，首先在 ODS 系統(tǒng)的商品中進(jìn)行商品近期銷售情況，得出商天善智能博客：第 5 頁 共 10 頁品的周轉(zhuǎn)情況、率、庫存量，比較以后作出是否進(jìn)貨的決定；如果需要進(jìn)貨，則可分析供應(yīng)商中的相關(guān)信息，再依據(jù)情況，確定采購(gòu)數(shù)量和采購(gòu)?fù)緩健?ODS 在 RDC 系統(tǒng)中應(yīng)用可行性與優(yōu)劣ODS 是一個(gè)可選件，是否需要構(gòu)建 ODS 組件，需要根據(jù)客戶需求確定，分析用戶需求中關(guān)于全局的 OLTP 應(yīng)用與即時(shí)的OLAP 應(yīng)用是否重要的、必須的，并且這些需求是目前的業(yè)務(wù)系統(tǒng)以及 DW 系統(tǒng)中無法實(shí)現(xiàn)的。一旦確定需要為客戶構(gòu)建ODS 組件，則必須從實(shí)際需求出發(fā)考慮選擇何種類型的 ODS，并且確定 O

18、DS 需要實(shí)現(xiàn)的功能。由于目前 RDC 系統(tǒng)中的分析數(shù)據(jù)全部來自于 BS業(yè)務(wù)系統(tǒng)中，是針對(duì)物流資源管理、人力資源管務(wù)資源管理、信息資源管理集成如果 ODS 層僅僅能夠?qū)崿F(xiàn)從的企業(yè)管理，使得 BS業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)已經(jīng)進(jìn)行了企業(yè)中信息的整合和集成。系統(tǒng)中集成與整合數(shù)據(jù)的功能，那么它的存在也許是沒有意義的。RDC 系統(tǒng)的建設(shè)的短期目標(biāo)是實(shí)現(xiàn)中層管理者的決策分析之用，但是用于 RDC 中的數(shù)據(jù)全部是歷史的數(shù)據(jù)，并不能真正的滿足中層決策實(shí)現(xiàn)企業(yè)日常管理和控制的功能。如果在 RDC 系統(tǒng)中引入 ODS 層，可以提供給中層管理者接近實(shí)時(shí)的細(xì)粒度的數(shù)據(jù)，則 ODS 層的存在則是意義的。以下從幾個(gè)方面對(duì)比在 R

19、DC 中存在 ODS 或不存在ODS 的優(yōu)劣：（1）首先從使用角色對(duì)比：ODS 面向營(yíng)業(yè)、等一線生產(chǎn)和一線管理，為了實(shí)現(xiàn)接近實(shí)時(shí)、跨系統(tǒng)的運(yùn)營(yíng)細(xì)節(jié)數(shù)據(jù)的查詢，提供細(xì)粒度的運(yùn)營(yíng)數(shù)據(jù)展現(xiàn)。DW 系統(tǒng)是面向企業(yè)的分析或者決策支持的，實(shí)現(xiàn)的是基于歷史數(shù)據(jù)的統(tǒng)計(jì)分析與 OLAP 分析。從使用角色角度分析，ODS 可以作為 BS數(shù)據(jù)查詢功能。的有益補(bǔ)充，實(shí)現(xiàn)系統(tǒng)未能實(shí)現(xiàn)的數(shù)據(jù)展現(xiàn)和數(shù)據(jù)來源的對(duì)比：DW 中的完全來自于業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫，ODS 的數(shù)據(jù)既可以來源于業(yè)務(wù)系統(tǒng)，也可以從 DW 中獲取部分分析數(shù)據(jù)。數(shù)據(jù)粒度：目前 RDC 系統(tǒng)中時(shí)間粒度精確到日，對(duì)于更細(xì)粒度級(jí)的數(shù)據(jù)分析目前尚無法提供，可以使用 ODS

20、 作為補(bǔ)充。數(shù)據(jù)獲取的性能與及時(shí)性：ODS 支持OLTP 數(shù)據(jù)更新，數(shù)據(jù)更新時(shí)間短，數(shù)據(jù)可實(shí)現(xiàn)接近實(shí)時(shí)的更新，性能和及時(shí)性要高于 RDC。系統(tǒng)功能:數(shù)據(jù)查詢。ODS 提供生產(chǎn)環(huán)境下的數(shù)據(jù)查詢，查詢的交易量較小不耗費(fèi)太多資源，有確定的完成速度。而 DW 提供分析環(huán)境下的查詢，查詢單元量交大，消耗的資源很多，完成的速度也不確定。固定報(bào)表。ODS 提供生產(chǎn)環(huán)境下實(shí)時(shí)性較高的生產(chǎn)經(jīng)營(yíng)報(bào)表，而 DW 提供分析環(huán)境下的主圖分析與挖掘報(bào)表。動(dòng)態(tài)報(bào)表。ODS 提供面向少量維度的細(xì)粒度的數(shù)據(jù)統(tǒng)計(jì)，而 DW 提供面向次挖掘。度的多層粗粒度數(shù)據(jù)的統(tǒng)計(jì)、分析及ODS 提供績(jī)效管理和統(tǒng)計(jì)、數(shù)據(jù)質(zhì)量審計(jì)和管理等功能。RD

21、C 提供趨勢(shì)分析、客戶消費(fèi)行為分析和評(píng)估等功能。分析對(duì)比圖表如下：從對(duì)比分析中可以得出，由于 ODS 和 DW 完全是不同的實(shí)體，能夠?qū)崿F(xiàn)不同的需求應(yīng)用，而目前 RDC 實(shí)現(xiàn)的是DW 的功能，因此，在 RDC 中加入ODS 是可行的并且有很大優(yōu)勢(shì)的。但是 ODS 的選型以及ODS 在RDC 中實(shí)現(xiàn)的作用仍需要分析詳細(xì)的客戶需求才能決定。天善智能博客：第 6 頁 共 10 頁對(duì)比角度存在 ODS僅存在 DW 系統(tǒng)（RDC 系統(tǒng)）使用者面向營(yíng)業(yè)、等一線生產(chǎn)和管理面向企業(yè)分析或決策支持?jǐn)?shù)據(jù)來源業(yè)務(wù)數(shù)據(jù)可與數(shù)據(jù)倉庫業(yè)務(wù)數(shù)據(jù)庫數(shù)據(jù)粒度更細(xì)粒度級(jí)精確到日數(shù)據(jù)獲取性能與及時(shí)性實(shí)時(shí)或接近實(shí)時(shí)更新數(shù)據(jù)系統(tǒng)功能數(shù)

22、據(jù)查詢生產(chǎn)環(huán)境下的數(shù)據(jù)查詢分析環(huán)境下的數(shù)據(jù)查詢固定報(bào)表實(shí)時(shí)性較高的生產(chǎn)經(jīng)營(yíng)報(bào)表圖表分析與挖掘報(bào)表動(dòng)態(tài)報(bào)表面向少量維度的細(xì)粒度數(shù)據(jù)統(tǒng)計(jì)面向度的多層粗粒度統(tǒng)計(jì)、分析及次挖掘?qū)崿F(xiàn)功能提供績(jī)效管理和統(tǒng)計(jì)、數(shù)據(jù)質(zhì)量審計(jì)和管理等趨勢(shì)分析、客戶消費(fèi)行為分析和評(píng)估3基于 ODS 構(gòu)建商業(yè)系統(tǒng)的即時(shí) OLAP 應(yīng)用ODS 技術(shù)和即時(shí) OLAP問題提出面向的數(shù)據(jù)倉庫（DW）概念的提出，不但為有效地支持企業(yè)經(jīng)營(yíng)管理決策提供了一個(gè)全局一致的數(shù)據(jù)環(huán)境，也為歷史數(shù)據(jù)，綜合數(shù)據(jù)的處理提出了一種行之有效的解決方法。數(shù)據(jù)倉庫概念的提出也清楚的把數(shù)據(jù)處理劃分為了操作型處理和分析型處理兩種不同類型，從而建立起了 D

23、B-DW 的兩層體系結(jié)構(gòu)。但是有很多情況，DB-DW 的兩層體系結(jié)構(gòu)并不能涵蓋企業(yè)所有的數(shù)據(jù)處理要求，因?yàn)槠髽I(yè)的數(shù)據(jù)處理雖然可以較為粗略的劃分成操作型和分析型兩部分，但這兩種類型也不是涇渭分明的，它們之間也有交叉的情況，譬不適合在 DW 中進(jìn)行。些是操作型的，但不適合在操作型 DB 中進(jìn)行，而又有一些是分析型處理，但比如開發(fā)的一個(gè)銷售公司的決策系統(tǒng)，按要求公司經(jīng)理要解決什么商品該進(jìn)貨了，各種商品近來的贏利情況，客戶的信任情況等等。要回答這些問題，他必須首先要弄清楚藥品的存貨是否充裕，還要了解該藥品近期的銷售情況，另外還要和別的藥品的庫存和銷售情況進(jìn)行比較等。如果把這個(gè)決策分析過程放在原有的面向

24、應(yīng)用的分散 DB 系統(tǒng)中去完成的話，不一定得到每個(gè)部門的準(zhǔn)確一致的信息，而要進(jìn)行間的協(xié)調(diào)配合，工作量勢(shì)必會(huì)很大，但如果把其放在 DW 中去進(jìn)行分析的話，不但費(fèi)時(shí)，而且會(huì)有很多的不必要的數(shù)據(jù)檢索存在。對(duì)于上述問題可以借助于 DB-DW 的中間層 ODS（操作數(shù)據(jù)）來解決。它像 DW 一樣是一種面向，集成的數(shù)據(jù)環(huán)境，又像操作型 DB 一樣包含著全局一致的，細(xì)節(jié)的當(dāng)前的數(shù)據(jù)。建立基于 ODS 的即時(shí) OLAP 應(yīng)用是應(yīng)中層決策分析之需要的一種解決方案，它能很好的適應(yīng)企業(yè)日常頻繁的中低層次的決策分析應(yīng)用。3.1.2操作數(shù)據(jù)（ODS）是用于支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合，ODS 的數(shù)據(jù)具有面向、集成的

25、、可變的和數(shù)據(jù)是當(dāng)前的或是接近當(dāng)前的 4 個(gè)基本特征。ODS 是介于 DB 和 DW 之間的一種數(shù)據(jù)技術(shù)，和原來面向應(yīng)用的分散的 DB 相比，ODS 中的數(shù)據(jù)組織方式和數(shù)據(jù)倉庫（DW）一樣也是面向的和集成的，所以對(duì)進(jìn)入 ODS 的數(shù)據(jù)也象進(jìn)入數(shù)據(jù)倉庫的數(shù)據(jù)一樣進(jìn)行轉(zhuǎn)化和集成處理。另外 ODS 只是存放當(dāng)前或接近當(dāng)前的數(shù)據(jù)，如果需要的話還可以對(duì) ODS 中的數(shù)據(jù)進(jìn)行增、刪和更新等操作，雖然 DW 中的數(shù)據(jù)也是面向和集成的，但這些數(shù)據(jù)一般不進(jìn)行修改，所以 ODS 和DW 的區(qū)別主要體現(xiàn)數(shù)據(jù)的可變性和當(dāng)前性上。3.1.3即時(shí) OLAPODS 主要是適應(yīng)企業(yè)級(jí)的全局應(yīng)用的需要而產(chǎn)生的，對(duì)它的應(yīng)用主要是

26、在即時(shí)OLAP的數(shù)據(jù)處理上。在 DW 上實(shí)現(xiàn) OLAP 主要是為了進(jìn)行長(zhǎng)期趨勢(shì)分析，DW 中是數(shù)據(jù)量很大，所以 OLAP 應(yīng)用的運(yùn)行時(shí)間都比較長(zhǎng)。在企業(yè)日常經(jīng)營(yíng)中，常常要進(jìn)行一些非的中層決策以實(shí)現(xiàn)企業(yè)的日常管理和控制，譬如，銷售公司經(jīng)理要每周查看藥品的銷售情況，各地區(qū)的藥品銷售情況，業(yè)務(wù)員的業(yè)績(jī)情況等等，并且這種決策過程并不需要參考太多的歷史數(shù)據(jù)，主要是參考當(dāng)前的或比較當(dāng)前的數(shù)據(jù)，還需要比較快的執(zhí)行速度，可以把這種分析決策稱為即時(shí) OLAP。顯然利用 DW 不但運(yùn)行的效率是無法受而且也很難準(zhǔn)確的反映近期的真實(shí)情況，ODS 的建立克服了 DW 系統(tǒng)過于臃腫，處理時(shí)間過長(zhǎng)和不適應(yīng)即時(shí) OLAP 的

27、情況，提供給中層決策者以快捷準(zhǔn)確的分析信息。3.1.4從 DB 向 ODS 轉(zhuǎn)化的實(shí)現(xiàn)機(jī)制在 DB-ODS 的體系結(jié)構(gòu)中，ODS 的實(shí)現(xiàn)機(jī)制表現(xiàn)在其系統(tǒng)定義的數(shù)據(jù)傳送關(guān)系上，如圖 1 所示。操作型環(huán)境中各分散的 DB經(jīng)過過濾后形成了 ODS 系統(tǒng)的系統(tǒng)，向 ODS 系統(tǒng)中提供數(shù)據(jù)。系統(tǒng)定義了原有分散 DB 中那些數(shù)據(jù)送往ODS，并指明與 ODS 數(shù)據(jù)相應(yīng)的數(shù)據(jù)表。通過 ODS 的定義可以把分散于應(yīng)用的 DB 中的數(shù)據(jù)到 ODS 中去，這樣原來的分散DB 中的就形成了ODS 中的面向很少。的。ODS著一個(gè)分析型的環(huán)境，數(shù)據(jù)處理簡(jiǎn)單得多，實(shí)際需要的支持技術(shù)也天善智能博客：第 7 頁 共 10 頁上

28、圖沒有給出從 ODS 向 DB 轉(zhuǎn)化的實(shí)現(xiàn)機(jī)制，這種情況主要用在有關(guān)企業(yè)全局操作應(yīng)用的情況，可以通過在 ODS 系統(tǒng)中存放一些參數(shù)表，它所反應(yīng)的關(guān)系是 ODS 全局更新時(shí)必須要反應(yīng)到所有 DB 中的相關(guān)。此時(shí)，ODS 是一個(gè)操作型環(huán)境，管理、數(shù)據(jù)恢復(fù)等等技術(shù)。實(shí)現(xiàn) ODS 所要求的技術(shù)跟原來的面向應(yīng)用的分散的數(shù)據(jù)庫系樣，包括事務(wù)管理、ODS 設(shè)計(jì)指南問題提出在 ODS 的概念定義中，已經(jīng)描述了 ODS 的功能和特點(diǎn)，實(shí)際上 ODS 設(shè)計(jì)的目標(biāo)就是以這些特點(diǎn)作為依據(jù)的。ODS 設(shè)計(jì)與DW 設(shè)計(jì)在著眼點(diǎn)上有所不同，ODS 重點(diǎn)考慮業(yè)務(wù)系統(tǒng)數(shù)據(jù)是什么樣子的，關(guān)系如何，在業(yè)務(wù)流程處理的

29、哪個(gè)環(huán)節(jié)，以及數(shù)據(jù)抽取接口等問題。3.2.2第一步驟:確定數(shù)據(jù)范圍確定數(shù)據(jù)范圍實(shí)際上是對(duì) ODS 進(jìn)行劃分的過程，這種劃分是基于對(duì)業(yè)務(wù)系統(tǒng)的調(diào)研的基礎(chǔ)上而進(jìn)行的，并不十分關(guān)心整個(gè)數(shù)據(jù)倉庫系統(tǒng)上端應(yīng)用需求，但是需要把上端應(yīng)用需求與 ODS 數(shù)據(jù)范圍進(jìn)行驗(yàn)證，以確保應(yīng)用所需的數(shù)據(jù)都已經(jīng)從業(yè)務(wù)系統(tǒng)中抽取出來，并且得到了很好的組織。一般來講，的劃分是以業(yè)務(wù)系統(tǒng)的信息模型為依據(jù)的，設(shè)計(jì)者需要綜合各種業(yè)務(wù)系統(tǒng)的信息模型，并進(jìn)行宏觀的歸并，得到企業(yè)范圍內(nèi)的數(shù)據(jù)視圖，并加以抽象，劃定幾個(gè)邏輯的數(shù)據(jù)范圍。在這個(gè)階段，以 ER 模型表示數(shù)據(jù)關(guān)系。第二步：根據(jù)數(shù)據(jù)范圍進(jìn)行數(shù)據(jù)分析和定義 在第一步中定義出來了企業(yè)范圍

30、內(nèi)的數(shù)據(jù)視圖，以及所收集到的各種業(yè)務(wù)系統(tǒng)的資料，在這一步中，需要對(duì)大的數(shù)據(jù)進(jìn)行分解，并進(jìn)行定義，直到每個(gè)能夠直接對(duì)應(yīng)一個(gè)數(shù)據(jù)模型為止。在這個(gè)階段，將把第一步生成的每個(gè) ER 圖中的實(shí)體進(jìn)行分解，分解的結(jié)果仍以 ER 表示為佳。3.2.3第二步驟:定義元素、粒度、定義維、度量、定義維的概念特性：期限維名稱，名稱應(yīng)該能夠清晰表示出這個(gè)維的業(yè)務(wù)含義。維成員，也就是這個(gè)維所代表的具體的數(shù)據(jù)，維層次，維成員之間的隸屬與包含的層次關(guān)系，每個(gè)層次需要定義名稱定義度量的概念特性：度量名稱，名稱應(yīng)該能夠清晰表述這個(gè)度量的業(yè)務(wù)含義定義的概念特性：名稱和含義，說明該主要包含哪些數(shù)據(jù)，用于什么分析；所包含的維和度量；

31、的事實(shí)表，以及事實(shí)表的數(shù)據(jù)。天善智能博客：第 8 頁 共 10 頁定義粒度：中事實(shí)表的數(shù)據(jù)粒度說明，這種粒度可以通過對(duì)維的層次限制加以說明，也可以通過對(duì)事實(shí)表數(shù)據(jù)的業(yè)務(wù)細(xì)節(jié)程度進(jìn)行說明。定義期限：中事實(shí)表中的數(shù)據(jù)周期。3.2.4迭代，歸并維、度量的定義在 ODS 中，因數(shù)據(jù)來自于多個(gè)系統(tǒng)，數(shù)據(jù)劃分時(shí)雖然對(duì)數(shù)據(jù)概念進(jìn)行了一定程度上的歸并，但具體的業(yè)務(wù)代碼所形成的各個(gè)維、以及維成員等還需要進(jìn)一步進(jìn)行歸并，把概念（像不同的業(yè)務(wù)系統(tǒng)中一樣）。的維定義成一個(gè)維，不允許同一個(gè)維存在不同的實(shí)體表示3.2.5物理實(shí)現(xiàn)定義每個(gè)的數(shù)據(jù)抽取周期、抽取時(shí)間、抽取方式、數(shù)據(jù)接口，抽取流程和規(guī)則。物理設(shè)計(jì)不僅僅是 ODS 部分的數(shù)據(jù)庫物理實(shí)現(xiàn)，設(shè)計(jì)數(shù)據(jù)庫參數(shù)、操作系統(tǒng)參數(shù)、數(shù)據(jù)設(shè)計(jì)之外，有關(guān)數(shù)據(jù)抽取接口等問題必須清晰定義。ODS 數(shù)據(jù)模型的設(shè)計(jì)數(shù)據(jù)調(diào)研對(duì)與業(yè)務(wù)系統(tǒng)關(guān)聯(lián)的數(shù)據(jù)進(jìn)行調(diào)研，弄清楚現(xiàn)有業(yè)務(wù)系統(tǒng)對(duì)應(yīng)的數(shù)據(jù)邏輯模型和物理模型3.3.2確定數(shù)據(jù)范圍確定數(shù)據(jù)范圍實(shí)際上是對(duì) ODS 進(jìn)行劃分的過程，這種劃分是基于對(duì)業(yè)務(wù)系統(tǒng)的調(diào)研的基礎(chǔ)上而進(jìn)行的，并不十分關(guān)心整個(gè)數(shù)據(jù)倉庫系統(tǒng)上端應(yīng)用需求，但是需要把上端應(yīng)用需求與 ODS 數(shù)據(jù)范圍進(jìn)行驗(yàn)證，以確保應(yīng)用所需的數(shù)據(jù)都已經(jīng)從