數(shù)據(jù)架構(gòu)設(shè)計(jì)指導(dǎo)書

1、精選優(yōu)質(zhì)文檔-傾情為你奉上數(shù)據(jù)架構(gòu)設(shè)計(jì)指導(dǎo)書（版本號(hào) V1.0）朗新科技（中國）有限公司2013年06月更改履歷版本號(hào)修改編號(hào)更改時(shí)間更改的圖表和章節(jié)號(hào)更改簡要描述更改人批準(zhǔn)人V1.02013-6-15王全義鄭德炳注：更改人除形成初稿，以后每次修改在未批準(zhǔn)確認(rèn)前均需采用修訂的方式進(jìn)行修改。專心-專注-專業(yè)目錄1 編寫目的為了提高數(shù)據(jù)架構(gòu)設(shè)計(jì)能力、規(guī)范軟件設(shè)計(jì)流程、加強(qiáng)架構(gòu)管控力度，提高軟件安全特制定本規(guī)范。此文檔描述了數(shù)據(jù)架構(gòu)設(shè)計(jì)等。2 適用范圍適用于數(shù)據(jù)架構(gòu)設(shè)計(jì)人員。3 數(shù)據(jù)架構(gòu)設(shè)計(jì)原則數(shù)據(jù)資產(chǎn)化原則：將數(shù)據(jù)作為公司具有價(jià)值的無形資產(chǎn)來管理，統(tǒng)一認(rèn)識(shí)，加強(qiáng)數(shù)據(jù)資產(chǎn)認(rèn)責(zé)管理，保障數(shù)據(jù)資產(chǎn)的價(jià)值

2、發(fā)揮。數(shù)據(jù)共享性原則：避免數(shù)據(jù)孤島的建設(shè)和數(shù)據(jù)私有化，加強(qiáng)數(shù)據(jù)在公司各級單位、各個(gè)業(yè)務(wù)領(lǐng)域間的共享。營造及時(shí)、準(zhǔn)確的共享數(shù)據(jù)環(huán)境，完善數(shù)據(jù)管控機(jī)制，確保數(shù)據(jù)共享符合信息安全要求。數(shù)據(jù)可用性原則：建立標(biāo)準(zhǔn)化、多樣化的數(shù)據(jù)資產(chǎn)獲取渠道和訪問方式。加強(qiáng)數(shù)據(jù)質(zhì)量管理，增強(qiáng)用戶使用數(shù)據(jù)的信心，有效支撐各類分析應(yīng)用建設(shè)。數(shù)據(jù)認(rèn)責(zé)原則：針對不同的數(shù)據(jù)資產(chǎn)指定權(quán)威的數(shù)據(jù)擁有者、質(zhì)量責(zé)任者、日常管理維護(hù)者等角色，建立配套的數(shù)據(jù)管控機(jī)制和評價(jià)考核體系，確保數(shù)據(jù)認(rèn)責(zé)工作的有效開展。數(shù)據(jù)標(biāo)準(zhǔn)化原則：在公司全局范圍內(nèi)建立通用的數(shù)據(jù)標(biāo)準(zhǔn)，包括業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)，主數(shù)據(jù)標(biāo)準(zhǔn)，元數(shù)據(jù)標(biāo)準(zhǔn)等，避免數(shù)據(jù)的二義性，促進(jìn)數(shù)據(jù)共享和利用。數(shù)

3、據(jù)安全性原則：定義數(shù)據(jù)安全級別，建立數(shù)據(jù)安全控制過程，保證數(shù)據(jù)被合理的訪問、共享和發(fā)布，避免未經(jīng)授權(quán)的數(shù)據(jù)操作，滿足監(jiān)管單位和公司業(yè)務(wù)經(jīng)營對數(shù)據(jù)安全的要求。4 數(shù)據(jù)架構(gòu)設(shè)計(jì)數(shù)據(jù)架構(gòu)設(shè)計(jì)主要解決：存在哪些數(shù)據(jù)資源、如何管理數(shù)據(jù)資源、解析業(yè)務(wù)信息的數(shù)據(jù)模型是什么、面向交易、交換和分析的數(shù)據(jù)模型是什么、信息在流程間、數(shù)據(jù)在功能間如何流轉(zhuǎn)等問題。數(shù)據(jù)架構(gòu)設(shè)計(jì)主要內(nèi)容：數(shù)據(jù)主題域設(shè)計(jì)、概念數(shù)據(jù)模型設(shè)計(jì)、邏輯數(shù)據(jù)模型設(shè)計(jì)、物理數(shù)據(jù)模型設(shè)計(jì)等。4.1 企業(yè)業(yè)務(wù)數(shù)據(jù)分類4.1.1 按數(shù)據(jù)格式劃分結(jié)構(gòu)化數(shù)據(jù)：方便用數(shù)據(jù)庫的二維表結(jié)構(gòu)來邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)字段含義確定，清晰。例如：客戶信息、用電記錄等。是

4、挖掘數(shù)據(jù)價(jià)值的主要對象。非結(jié)構(gòu)化數(shù)據(jù)：很難按照一個(gè)概念去處理的無結(jié)構(gòu)性的數(shù)據(jù)。例如文本、多媒體數(shù)據(jù)等。其數(shù)據(jù)利用技術(shù)相對于結(jié)構(gòu)化數(shù)據(jù)起步晚，是未來數(shù)據(jù)應(yīng)用的一個(gè)發(fā)展方向。4.1.2 按數(shù)據(jù)參照程度劃分主數(shù)據(jù)：用于描述企業(yè)核心業(yè)務(wù)實(shí)體/對象的基本業(yè)務(wù)數(shù)據(jù)，它在企業(yè)內(nèi)長期存在并且被重復(fù)應(yīng)用于多個(gè)業(yè)務(wù)部門和信息系統(tǒng)，是最容易產(chǎn)生數(shù)據(jù)一致性問題的一類數(shù)據(jù)，需要單獨(dú)的管控機(jī)制對其進(jìn)行管理。非主數(shù)據(jù)：相對于主數(shù)據(jù)，其它的參照度低的、存在周期短的非核心實(shí)體/對象數(shù)據(jù)可認(rèn)為是非主數(shù)據(jù)。4.1.3 按數(shù)據(jù)采集頻道劃分非實(shí)時(shí)數(shù)據(jù)：相對于實(shí)時(shí)數(shù)據(jù)，其它的企業(yè)經(jīng)營過程中產(chǎn)生的，由業(yè)務(wù)人員通過應(yīng)用系統(tǒng)輸入的數(shù)據(jù)都可認(rèn)為

5、是非實(shí)時(shí)數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)：主要是由一些傳感器設(shè)備以自動(dòng)化的方式采集的秒級、毫秒級的數(shù)據(jù)，例如電網(wǎng)運(yùn)行數(shù)據(jù)、設(shè)備狀態(tài)數(shù)據(jù)等。這些數(shù)據(jù)的特點(diǎn)是數(shù)據(jù)內(nèi)容簡單，但數(shù)據(jù)量很大。4.1.4 按使用性質(zhì)劃分分析性數(shù)據(jù)：用于支持日常報(bào)表、查詢、分析等決策需求的數(shù)據(jù)。共享數(shù)據(jù)：來自某個(gè)業(yè)務(wù)系統(tǒng)，在業(yè)務(wù)部門之間、業(yè)務(wù)系統(tǒng)之間重復(fù)使用的數(shù)據(jù)4.2 數(shù)據(jù)主題域數(shù)據(jù)主題域由業(yè)務(wù)信息按照其業(yè)務(wù)耦合程度聚合而成的高階數(shù)據(jù)主題群，一般與業(yè)務(wù)域有著緊密的對應(yīng)關(guān)系。例如：財(cái)務(wù)、物資、生產(chǎn)等。數(shù)據(jù)主題域通過數(shù)據(jù)主題域視圖和數(shù)據(jù)主題域關(guān)系視圖來體現(xiàn)。4.2.1 數(shù)據(jù)主題域視圖展現(xiàn)數(shù)據(jù)域和數(shù)據(jù)主題，并定義數(shù)據(jù)主題對業(yè)務(wù)域的支撐關(guān)系。例圖如

6、下：4.2.2 數(shù)據(jù)主題域關(guān)系視圖展現(xiàn)數(shù)據(jù)主題域之間的邏輯關(guān)系。一般分為一級數(shù)據(jù)主題域關(guān)系視圖和二級數(shù)據(jù)主題域關(guān)系視圖，二級是一級的細(xì)化。一級數(shù)據(jù)主題域關(guān)系視圖如下：二級數(shù)據(jù)主題域關(guān)系視圖如下：4.3 概念數(shù)據(jù)模型 概念數(shù)據(jù)模型主要由最佳實(shí)踐和業(yè)務(wù)需求作為驅(qū)動(dòng)因素高階的數(shù)據(jù)模型，定義了重要的業(yè)務(wù)領(lǐng)域概念（即數(shù)據(jù)主題域）和彼此的關(guān)系，由核心的數(shù)據(jù)實(shí)體或其集合，以及實(shí)體間的關(guān)聯(lián)關(guān)系組成。概念數(shù)據(jù)模型獨(dú)立于信息系統(tǒng)存在，不涉及信息在系統(tǒng)中的表示。概念模型應(yīng)該抓住一個(gè)重點(diǎn)，即表達(dá)重要業(yè)務(wù)概念及業(yè)務(wù)概念之間的關(guān)系；解決并只解決需要在全國范圍內(nèi)統(tǒng)一規(guī)范的核心的業(yè)務(wù)問題；只是反映了業(yè)務(wù)對數(shù)據(jù)的需求，包容多種

7、物理實(shí)現(xiàn)方式，除非該種物理實(shí)現(xiàn)方式不滿足業(yè)務(wù)的需求。概念數(shù)據(jù)模型一般由概念數(shù)據(jù)模型視圖和數(shù)據(jù)流轉(zhuǎn)視圖組成。4.3.1 概念模型視圖展現(xiàn)數(shù)據(jù)主題域之下的數(shù)據(jù)實(shí)體，并展現(xiàn)數(shù)據(jù)實(shí)體之間的關(guān)聯(lián)關(guān)系。4.3.2 數(shù)據(jù)流轉(zhuǎn)視圖展現(xiàn)數(shù)據(jù)實(shí)體所分布到的應(yīng)用，并展示數(shù)據(jù)在應(yīng)用間的流轉(zhuǎn)。例圖如下：4.4 邏輯數(shù)據(jù)模型邏輯數(shù)據(jù)模型對概念數(shù)據(jù)模型的進(jìn)一步分解和細(xì)化，描述實(shí)體、屬性以及實(shí)體關(guān)系，通用的字段類型、長度和主外鍵關(guān)系等做了定義，設(shè)計(jì)時(shí)一般遵從“第三范式”以達(dá)到最小的數(shù)據(jù)冗余。邏輯模型的設(shè)計(jì)由最佳實(shí)踐和業(yè)務(wù)需求、數(shù)據(jù)資源規(guī)劃、現(xiàn)有業(yè)務(wù)應(yīng)用數(shù)據(jù)模型等作為驅(qū)動(dòng)因素邏輯數(shù)據(jù)模型由邏輯數(shù)據(jù)模型視圖和數(shù)據(jù)分布視圖組成4.

8、4.1 邏輯數(shù)據(jù)模型視圖對數(shù)據(jù)實(shí)體的分解細(xì)化，對數(shù)據(jù)實(shí)體的屬性、屬性類型、長度和主外鍵關(guān)系等做了定義，遵從“第三范式”以達(dá)到最小的數(shù)據(jù)冗余。 4.4.2 數(shù)據(jù)分布視圖展現(xiàn)數(shù)據(jù)實(shí)體所分布到的功能，并定義在功能中的操作（CRUD） 數(shù)據(jù)分布視圖如下：CRUD如下：4.5 物理數(shù)據(jù)模型物理數(shù)據(jù)模型描述數(shù)據(jù)模型的細(xì)節(jié)，需要考慮所使用的數(shù)據(jù)庫產(chǎn)品、對應(yīng)的字段類型、長度、索引等因素，并對數(shù)據(jù)冗余與性能進(jìn)行平衡，必須確定數(shù)據(jù)庫平臺(tái)和應(yīng)用程序的架構(gòu)。物理數(shù)據(jù)模型的設(shè)計(jì)由數(shù)據(jù)庫/數(shù)據(jù)倉庫系統(tǒng)平臺(tái)和性能調(diào)整優(yōu)化要求作為驅(qū)動(dòng)因素。4.5.1 物理模型視圖描述數(shù)據(jù)模型的細(xì)節(jié)，需要考慮所使用的數(shù)據(jù)庫產(chǎn)品、對應(yīng)的字段類型

9、、長度、索引等因素，并對數(shù)據(jù)冗余與性能進(jìn)行平衡。 物理模型視圖例圖如下：4.6 數(shù)據(jù)庫詳細(xì)設(shè)計(jì)4.6.1 數(shù)據(jù)基礎(chǔ)設(shè)計(jì)數(shù)據(jù)庫類型：Oracle數(shù)據(jù)庫SID：sqadb1、sqadb2數(shù)據(jù)庫名： sqldb語言：AMERICAN_AMERICA數(shù)據(jù)庫字符集(NLS_CHARACTERSET)：UTF8國家區(qū)域字符集(NLS_NCHAR_CHARACTERSET)：UTF84.6.2 常用參數(shù)NLS_LENGTH_SEMANTICS = CHAR說明：此參數(shù)需要設(shè)置后重啟方可生效。4.6.3 主要模式設(shè)計(jì)規(guī)劃數(shù)據(jù)庫schemas，主要用于客戶端或外部系統(tǒng)訪問數(shù)據(jù)庫。具體設(shè)計(jì)例子如下： 模式名英文內(nèi)

10、容描述權(quán)限需求對象類型默認(rèn)空間默認(rèn)索引表空間工作流用戶sotower用于保存工作流數(shù)據(jù)由普華提供由普華提供DATA_SOTOWERIDX_SOTOWER權(quán)限、組織bpm用于保存權(quán)限組織由普華提供由普華提供DATA_BMPIDX_BPM4.6.4 表空間規(guī)劃及存儲(chǔ)容量估算根據(jù)業(yè)務(wù)情況與各物理表設(shè)計(jì)字段長度，評估運(yùn)行周期1年內(nèi)產(chǎn)生的數(shù)據(jù)量。數(shù)據(jù)域數(shù)據(jù)表空間容量估算(GB)索引表空間容量估算(GB)客戶檔案DATA_CUS70280IDX_CUS105-420服務(wù)體系/用能分析/營銷市場/系統(tǒng)支持DATA_EESMP40IDX_ EESMP60用能采集DATA_EIC7300IDX_EIC14600

11、工作流DATA_SOTOWER0.5IDX_SOTOWER0.5組織、權(quán)限D(zhuǎn)ATA_BPM0.5IDX_BPM0.5接口用戶DATA_API0.5IDX_API0.54.6.5 歷史表所有非檔案數(shù)據(jù)表在系統(tǒng)設(shè)計(jì)之初就需要考濾歷史數(shù)據(jù)的使用。歷史表設(shè)計(jì)必須在需求分析階段確定下來，并在數(shù)據(jù)模型設(shè)計(jì)得以體現(xiàn)。在線數(shù)據(jù)保留在在線系統(tǒng)中的當(dāng)前表中，保留業(yè)務(wù)經(jīng)常使用的數(shù)據(jù)。歷史數(shù)據(jù)保留在歷史系統(tǒng)中的歷史表中，保留當(dāng)前業(yè)務(wù)不被使用的數(shù)據(jù)，將這部數(shù)據(jù)從在線系統(tǒng)中遷出可以在線系統(tǒng)庫維持在穩(wěn)定的大小，提高在線庫的性能和可靠性，提高當(dāng)前表中的查詢速度。對于有時(shí)間特征的流水業(yè)務(wù)數(shù)據(jù)必須進(jìn)行歸檔，歸檔周期由具體業(yè)務(wù)需求

12、決定。如果數(shù)據(jù)量巨大，可根據(jù)業(yè)務(wù)需求縮短歸檔時(shí)間周期。對于沒有明顯時(shí)間特征的舊數(shù)據(jù)，可按業(yè)務(wù)需要標(biāo)準(zhǔn)進(jìn)行判斷之后加以歸檔，如果數(shù)據(jù)狀態(tài)、標(biāo)識(shí)等，歸檔實(shí)體表中盡可能增加時(shí)間屬性。本系統(tǒng)中對于流程已走完的工單數(shù)據(jù)，在呼叫接入平臺(tái)、呼叫服務(wù)業(yè)務(wù)支持系統(tǒng)數(shù)據(jù)庫中，咨詢、報(bào)修類數(shù)據(jù)保留3個(gè)月，其它數(shù)據(jù)保留6個(gè)月，咨詢、報(bào)修類數(shù)據(jù)保留3個(gè)月以前的數(shù)據(jù)和其它個(gè)月以前的數(shù)據(jù)將遷移歷史庫中。呼叫接入平臺(tái)與呼叫服務(wù)業(yè)務(wù)支持系統(tǒng)共用同一個(gè)歷史庫。歷史表結(jié)構(gòu)必須為時(shí)間分區(qū)結(jié)構(gòu)（特殊情況除外），字段結(jié)構(gòu)與在線表相同，歷史表名與在線表名保持一致。序號(hào)主題域歷史表實(shí)體名稱歷史表表名（與基表表名相同）歷史表分區(qū)方案歷史表數(shù)模

13、變更需求4.6.6 表分區(qū)盡可能不采用二級分區(qū)；每個(gè)分區(qū)的記錄數(shù)應(yīng)對于數(shù)據(jù)量較大的表，為提高系統(tǒng)性能，方便業(yè)務(wù)數(shù)據(jù)管理必須進(jìn)行相應(yīng)的分區(qū)處理，分區(qū)策略可選擇一級、二級分區(qū)，分區(qū)字段由相應(yīng)的數(shù)據(jù)分布特征或業(yè)務(wù)需求來定。1.分區(qū)的依據(jù)記錄數(shù)超過2000萬的表需要考濾為該表做分區(qū)；2.分區(qū)字段的選擇分區(qū)字段優(yōu)先考濾最有可能作為查詢條件的字段； 盡可能不要使用TIMESTAMP類型的字段，這在我們當(dāng)前的營銷業(yè)務(wù)的其它系統(tǒng)中最常出現(xiàn)，并且已經(jīng)被證明，非常影響性能，如果需要這類字段作為分區(qū)條件，那么需要在表中添加一個(gè)新的字段，作為前面的TIMESTAMP類型的字段的冗余，字段類型為varchar2型，并以

14、這個(gè)新的字段作為分區(qū)字段；3.分區(qū)數(shù)量的考濾表的分區(qū)數(shù)據(jù)不宜太多，以住在營銷系統(tǒng)中我們常采用二級分區(qū)的方法，導(dǎo)致表的分區(qū)數(shù)據(jù)太多，一保持在100-500萬之間；4.禁止使用pmax分區(qū)在創(chuàng)建分區(qū)表時(shí)不可以創(chuàng)建pmax分區(qū)，創(chuàng)建pmax分區(qū)將導(dǎo)致后續(xù)分區(qū)擴(kuò)展變得非常困難，在營銷系統(tǒng)中我們吃盡了這方面的苦頭，不能再犯這類的錯(cuò)；5.數(shù)據(jù)歸檔或遷移的考濾表分區(qū)的創(chuàng)建還要充份考濾便于后續(xù)數(shù)據(jù)的歸檔和遷移，如某張表在線數(shù)據(jù)只保留6個(gè)月，歸檔表只保留6個(gè)月前至1年前之間的數(shù)據(jù)，歷史表保留1年以前的數(shù)據(jù)。那么在表分區(qū)規(guī)劃時(shí)就要考濾這張表的數(shù)據(jù)歸檔遷移方式，要能以最快速度，最小代價(jià)，最低影響在線系統(tǒng)的方式將數(shù)據(jù)

15、歸當(dāng)、遷移出去。6.對于數(shù)據(jù)量巨大且無明顯數(shù)據(jù)分布特征可采用HASH分區(qū)。7.制定分區(qū)表需要開發(fā)設(shè)計(jì)與開發(fā)DBA共同討論，分區(qū)命名遵循P+分區(qū)值的原則。子分區(qū)遵循P+主分區(qū)值+_+P+子分區(qū)值的原則。如：單位分區(qū) P、 年月分區(qū)P、 單位年月組合分區(qū)P _ P注意：范圍分區(qū)時(shí)分區(qū)名應(yīng)大于分區(qū)值上界。 在總部系統(tǒng)中由于數(shù)據(jù)較小暫不考慮分區(qū)。4.6.7 DBLINK由于目標(biāo)客戶使用的硬件資源各不相同，要求我們在設(shè)計(jì)之時(shí)，不得不考慮未來多種部署模式，多種部署模式中，有存在跨數(shù)據(jù)庫訪問的情況，因此規(guī)劃數(shù)據(jù)鏈。注意：盡量不要使用DBLINK來訪問外部數(shù)據(jù)庫。主庫目標(biāo)庫數(shù)據(jù)庫鏈名用途屬主連接帳號(hào)權(quán)限說明9

16、5598服務(wù)業(yè)務(wù)系統(tǒng)庫95598服務(wù)業(yè)務(wù)系統(tǒng)歷史庫DL_TO_EESMPH_API歷史數(shù)據(jù)遷移EESMPAPI待定4.6.8 同義詞引入同義詞是為了解決程序部署靈活性的要求。 將開發(fā)人員程序調(diào)整工作量降到最低的情況下，來滿足程序的靈活部署。同意義與表同名同義詞類型同義詞命名規(guī)則源端(for)目標(biāo)端展現(xiàn)類同義詞SY_ED_XXXXERMDERMA、SGPM、SGPM_OUT、KMAC營銷管理類同義詞SY_AD_XXXXSGPMSGPM_OUTAMBERWF_AMBERERMA、ERMD風(fēng)險(xiǎn)流程類同義詞SY_WF_XXXX最小化平臺(tái)、稽查流程ERMD4.6.9 主鍵1.盡可能采用具有實(shí)際意義的列去

17、創(chuàng)建主鍵；2.如果需要采用多列來創(chuàng)建主鍵，那么列應(yīng)控制在2個(gè)以內(nèi)；3.盡可能不采用序列去生成主鍵列值的方法，通過序列生成的列值，在我們應(yīng)用中很少有實(shí)際用途，而且實(shí)踐證明這種方法在極端情況下很容易引發(fā)性能問題；4.6.10 索引對于表中常用于作為查詢關(guān)鍵字、關(guān)聯(lián)條件，且數(shù)據(jù)離散度較高的字段，必須創(chuàng)建索引。原則上一張表的索引:1、選擇性較高的字段2、作為數(shù)據(jù)訪問條件與關(guān)聯(lián)條件4.6.11 約束本文所提及的約束通常只主鍵約束，系統(tǒng)中禁止利用數(shù)據(jù)庫底層約束機(jī)制來處理或代替業(yè)務(wù)層面的業(yè)務(wù)數(shù)據(jù)一致性、完整性、規(guī)范性約束，包括使用觸發(fā)器進(jìn)行處理。禁止ID字段及作為主鍵約束。4.6.12 修改標(biāo)志時(shí)間戳除業(yè)務(wù)中間表和過程表之外，每個(gè)表都須設(shè)計(jì)數(shù)據(jù)更新記錄字段(DML_STAT)，比如“U”表示本條記錄做過UPDATE操作。4.6.13 LOB字段盡量棄用LOB字段定義，LOB字段在后續(xù)使用中非常不便，并且性能不佳