一文讀懂企業(yè)究竟需要什么樣的數(shù)據(jù)架構

在大數(shù)據(jù)和數(shù)據(jù)科學的新時代，企業(yè)擁有與業(yè)務流程一致的集中式數(shù)據(jù)架構至關重要，該架構隨著業(yè)務增長而擴展，并隨著技術進步而發(fā)展。成功的數(shù)據(jù)架構可以清楚地了解數(shù)據(jù)的各個方面，從而使數(shù)據(jù)科學家能夠有效地處理可信賴的數(shù)據(jù)并解決復雜的業(yè)務問題。它還使組織準備好通過利用新興技術快速利用新的業(yè)務機會，并通過管理整個企業(yè)的復雜數(shù)據(jù)和信息交付來提高運營效率。與信息架構、系統(tǒng)架構和軟件架構相比，數(shù)據(jù)架構相對較新。數(shù)據(jù)架構師的角色也很模糊，落在了高級業(yè)務分析師、ETL開發(fā)人員和數(shù)據(jù)科學家的肩上。盡管如此，我們認為數(shù)據(jù)架構師是指那些為組織設計數(shù)據(jù)架構的數(shù)據(jù)管理專業(yè)人員。在談論架構時，我們經(jīng)常會想到與建筑架構的類比。傳統(tǒng)的建筑架構師計劃、設計和審查建筑物的建造。設計過程涉及與客戶合作以充分收集要求，了解該地點的法律和環(huán)境限制，并與工程師、測量師和其他專家合作，以確保設計符合實際并在預算范圍內(nèi)。這項工作的復雜性確實與數(shù)據(jù)架構師的角色非常相似。但是，這兩個架構師角色之間存在一些根本區(qū)別：■建筑架構是自上而下設計的，而數(shù)據(jù)架構通常是可能已經(jīng)存在的組件或系統(tǒng)的集成過程?！鼋ㄖ軜嫀熢诮ㄔ旖ㄖ镏氨仨毩私馊恳蟛⒍x整個范圍。數(shù)據(jù)架構的范圍可以很廣泛并且很容易改變。因此，一個成功的數(shù)據(jù)架構應該被設計成靈活的并且能夠預測未來的變化?！鼋ㄖ軜嫀熅哂忻鞔_的教育和專業(yè)要求，應具備商業(yè)、藝術、結構物理和建筑材料方面的深入知識。大多數(shù)數(shù)據(jù)架構師來自IT背景，在少數(shù)公司或行業(yè)擁有專業(yè)經(jīng)驗，并且對業(yè)務的了解有限。因此，他們應該意識到他們的設計可能存在偏差，并且他們需要根據(jù)組織中業(yè)務和技術專家的反饋進行調(diào)整。建筑設計幾乎總是針對從零開始建造的新建筑。因此，建筑架構師可以完全根據(jù)新要求和新材料進行規(guī)劃和設計。數(shù)據(jù)架構師沒有這種奢侈的環(huán)境，他們很少能從頭開始，但在為未來設計時需要了解現(xiàn)有的平臺和數(shù)據(jù)庫。鑒于所有這些差異，數(shù)據(jù)架構師仍然可以向建筑架構師學習，特別是采用自上而下的方法來改進數(shù)據(jù)架構設計。在許多組織中，缺乏系統(tǒng)的、集中的、端到端的數(shù)據(jù)架構設計。下面列出了一些主要原因：■大型集團有多個IT部門，他們各自獨立地使用自己的數(shù)據(jù)標準和架構?！鰬贸绦蚝土鞒淌歉鶕?jù)個人業(yè)務需求構建的，沒有可遵循的數(shù)據(jù)架構標準?！鰯?shù)據(jù)架構師的角色只關注有限數(shù)量的技術領域，并且對數(shù)據(jù)擁有有限的業(yè)務知識?！鯥T項目的管理不考慮數(shù)據(jù)架構作為設計階段的一部分；數(shù)據(jù)科學家和工程師在沒有一致的數(shù)據(jù)管理流程的情況下自行編寫代碼。由于這些不足，我們經(jīng)?？吹揭患夜镜臄?shù)據(jù)系統(tǒng)脫節(jié)，團隊和部門之間存在差距。這些差異導致系統(tǒng)性能不佳，出現(xiàn)生產(chǎn)數(shù)據(jù)問題時需要很長時間才能進行故障排除，缺乏跨系統(tǒng)達成正確解決方案的責任感，以及缺乏評估影響的能力改變。最后，當遷移或重新設計到下一代平臺時，脫節(jié)的系統(tǒng)可能會導致分析和研究工作量巨大。鑒于所有這些，成功的企業(yè)需要有一個基于業(yè)務流程和運營設計的自上而下的連貫數(shù)據(jù)架構。特別是，就像建筑架構師所做的那樣，企業(yè)數(shù)據(jù)架構師需要首先在概念和邏輯級別構建藍圖，然后再將技術應用于詳細的應用程序設計和實現(xiàn)。1.基于業(yè)務流程和運營的概念級數(shù)據(jù)架構設計在現(xiàn)代IT中，業(yè)務流程由數(shù)據(jù)實體、數(shù)據(jù)流和應用于數(shù)據(jù)的業(yè)務規(guī)則支持和驅(qū)動。因此，數(shù)據(jù)架構師需要具備深入的業(yè)務知識，包括財務、營銷、產(chǎn)品以及業(yè)務流程的行業(yè)特定專業(yè)知識，例如電信、金融、制造和零售等。然后，可以通過設計代表每個業(yè)務領域的數(shù)據(jù)實體和分類以及業(yè)務流程下的數(shù)據(jù)流，在企業(yè)級別正確構建數(shù)據(jù)藍圖。特別是，在這個概念階段需要考慮和規(guī)劃以下領域：■核心數(shù)據(jù)實體和數(shù)據(jù)元素，例如關于客戶、產(chǎn)品、銷售的數(shù)據(jù)?！鲇脩艉涂蛻粜枰妮敵鰯?shù)據(jù)?！鲆占娃D換或引用以生成輸出數(shù)據(jù)的源數(shù)據(jù)?！雒總€數(shù)據(jù)實體的所有權以及應如何根據(jù)業(yè)務用例使用和分發(fā)數(shù)據(jù)實體?！鰬糜诿總€數(shù)據(jù)實體的安全策略?！鰯?shù)據(jù)實體之間的關系，例如引用完整性、業(yè)務規(guī)則、執(zhí)行順序?！鰳藴蕯?shù)據(jù)分類和分類?！鰯?shù)據(jù)質(zhì)量、操作和服務水平協(xié)議(SLA)的標準。此概念設計級別由支持每個業(yè)務功能的底層數(shù)據(jù)實體組成。藍圖對于成功設計和實施企業(yè)和系統(tǒng)架構及其未來的擴展或升級至關重要。在許多組織中，這種概念設計通常嵌入到由單個項目驅(qū)動的業(yè)務分析中，而沒有從企業(yè)端到端解決方案和標準的角度進行指導。2.邏輯級數(shù)據(jù)架構設計通過考慮使用哪種類型的數(shù)據(jù)庫或數(shù)據(jù)格式，這種設計水平有時被稱為數(shù)據(jù)建模。它將業(yè)務需求連接到底層技術平臺和系統(tǒng)。但是，鑒于數(shù)據(jù)建模者的角色，大多數(shù)組織僅在特定數(shù)據(jù)庫或系統(tǒng)中設計數(shù)據(jù)建模。通過考慮適用于每個數(shù)據(jù)庫或系統(tǒng)的標準以及這些數(shù)據(jù)系統(tǒng)之間的數(shù)據(jù)流，應使用集成方法開發(fā)成功的數(shù)據(jù)架構。特別是需要以協(xié)同方式設計以下5個領域：■命名約定和數(shù)據(jù)完整性數(shù)據(jù)實體和元素的命名約定應該一致地應用于每個數(shù)據(jù)庫。此外，如果相同的數(shù)據(jù)必須駐留在多個數(shù)據(jù)庫中，則應強制執(zhí)行數(shù)據(jù)源及其引用之間的完整性。最終，這些數(shù)據(jù)元素應該屬于數(shù)據(jù)架構中概念設計中的一個數(shù)據(jù)實體，然后可以根據(jù)業(yè)務需求進行協(xié)同準確的更新或修改?！鰯?shù)據(jù)歸檔/保留政策數(shù)據(jù)歸檔和保留策略通常直到數(shù)據(jù)生產(chǎn)的每個后期才考慮或建立，這導致資源浪費、不同數(shù)據(jù)庫之間的數(shù)據(jù)狀態(tài)不一致以及數(shù)據(jù)查詢和更新的性能不佳。為了加強數(shù)據(jù)完整性，數(shù)據(jù)架構師應根據(jù)運營標準在數(shù)據(jù)架構中定義數(shù)據(jù)歸檔和保留策略?！鲭[私和安全信息隱私和安全成為邏輯數(shù)據(jù)庫設計的重要方面。雖然概念設計已經(jīng)定義了哪些數(shù)據(jù)組件是敏感信息，但邏輯設計應該在數(shù)據(jù)庫中保護機密信息，訪問受限、數(shù)據(jù)復制受限、特定數(shù)據(jù)類型和安全數(shù)據(jù)流以保護信息?！鰯?shù)據(jù)復制數(shù)據(jù)復制是三個目標需要考慮的一個關鍵方面：1）高可用性；2)避免通過網(wǎng)絡傳輸數(shù)據(jù)的性能；3)解耦以最小化下游影響。但是，過多的數(shù)據(jù)復制會導致混亂、數(shù)據(jù)質(zhì)量差和性能低下。任何數(shù)據(jù)復制都應由數(shù)據(jù)架構師檢查，并按照原則和規(guī)則加以應用?！鰯?shù)據(jù)流和管道應該在這個級別明確定義不同數(shù)據(jù)庫系統(tǒng)和應用程序之間的數(shù)據(jù)流動方式。同樣，此流程與業(yè)務流程和數(shù)據(jù)架構師概念級別中說明的流程一致。此外，數(shù)據(jù)攝取的頻率、管道中的數(shù)據(jù)轉換以及針對輸出數(shù)據(jù)的數(shù)據(jù)訪問模式應在邏輯設計的集成視圖中考慮。例如，如果上游數(shù)據(jù)源是實時的，而下游系統(tǒng)主要用于索引繁重的聚合信息的數(shù)據(jù)訪問（例如，頻繁更新和插入的成本很高），則需要在兩者之間設計數(shù)據(jù)管道以優(yōu)化性能。3.數(shù)據(jù)治理是數(shù)據(jù)架構持續(xù)成功的關鍵由于數(shù)據(jù)架構反映并支持業(yè)務流程和流程，因此無論何時更改業(yè)務流程，它都會發(fā)生變化。隨著底層數(shù)據(jù)庫系統(tǒng)的變化，數(shù)據(jù)架構也需要調(diào)整。因此，數(shù)據(jù)架構不是靜態(tài)的，而是需要持續(xù)管理、增強和審計。因此，應采用數(shù)據(jù)治理來確保在啟動每個新項目時正確設計和實施企業(yè)數(shù)據(jù)架構。小結在成功的數(shù)據(jù)架構中，基于業(yè)務流程的概念設計是最關鍵的要素，其次是強調(diào)所有數(shù)據(jù)庫和數(shù)據(jù)管道的一致性、