《工業(yè)互聯(lián)網(wǎng)微證書-大數(shù)據(jù)能力 》 課件-08工業(yè)大數(shù)據(jù)技術(shù)-數(shù)據(jù)倉庫

08數(shù)據(jù)倉庫工業(yè)互聯(lián)網(wǎng)微證書-大數(shù)據(jù)能力

數(shù)據(jù)倉庫是企業(yè)數(shù)據(jù)戰(zhàn)略的核心，它幫助企業(yè)從海量數(shù)據(jù)中提煉出有價值的業(yè)務(wù)洞察，支持戰(zhàn)略規(guī)劃和運(yùn)營決策。通過將數(shù)據(jù)倉庫與數(shù)據(jù)湖、數(shù)據(jù)集市等其他數(shù)據(jù)存儲技術(shù)結(jié)合，企業(yè)可以構(gòu)建一個全面的數(shù)據(jù)管理平臺，滿足不同業(yè)務(wù)場景的需求。內(nèi)容導(dǎo)入8.1數(shù)據(jù)倉庫產(chǎn)生的背景8.2數(shù)據(jù)倉庫的定義8.3數(shù)據(jù)倉庫存儲的內(nèi)容8.4數(shù)據(jù)倉庫的關(guān)鍵術(shù)語8.5數(shù)據(jù)倉庫的核心組件8.6數(shù)據(jù)倉庫架構(gòu)8.7數(shù)據(jù)倉庫的發(fā)展8.8數(shù)據(jù)倉庫的原理目錄了解數(shù)據(jù)倉庫產(chǎn)生的背景掌握數(shù)據(jù)倉庫的定義熟悉數(shù)據(jù)倉庫存儲的內(nèi)容、關(guān)鍵術(shù)語、核心組件掌握數(shù)據(jù)倉庫架構(gòu)了解數(shù)據(jù)倉庫的發(fā)展熟悉數(shù)據(jù)倉庫的原理8.1數(shù)據(jù)倉庫產(chǎn)生的背景

歷史數(shù)據(jù)積存。隨著時間的推移，歷史數(shù)據(jù)積壓對業(yè)務(wù)數(shù)據(jù)庫產(chǎn)生的影響，從而影響業(yè)務(wù)的正常運(yùn)行，企業(yè)需要定期將積壓的歷史數(shù)據(jù)從業(yè)務(wù)數(shù)據(jù)庫中轉(zhuǎn)移出去，存儲到一個專門存放歷史數(shù)據(jù)的倉庫中。這就是數(shù)據(jù)倉庫。

企業(yè)數(shù)據(jù)分析的需要。企業(yè)將歷史數(shù)據(jù)存儲到數(shù)據(jù)倉庫中后，這些數(shù)據(jù)不僅可以改善業(yè)務(wù)數(shù)據(jù)庫的性能；還可以用來進(jìn)行數(shù)據(jù)分析，從而輔助管理層進(jìn)行決策。8.2數(shù)據(jù)倉庫的定義（1）數(shù)據(jù)倉庫的定義

數(shù)據(jù)倉庫，英文名稱為DataWarehouse，可簡寫為DW或DWH。數(shù)據(jù)倉庫，是為企業(yè)所有級別的決策制定過程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合。它是單個數(shù)據(jù)存儲，出于分析性報告和決策支持目的而創(chuàng)建。為需要業(yè)務(wù)智能的企業(yè)，提供指導(dǎo)業(yè)務(wù)流程改進(jìn)、監(jiān)視時間、成本、質(zhì)量以及控制。---百度百科8.2數(shù)據(jù)倉庫的定義（2）如何理解數(shù)據(jù)倉庫

?

數(shù)據(jù)倉庫是一個面向商務(wù)智能分析的數(shù)據(jù)管理系統(tǒng)，主要用于集中、整合來自多個來源的大量數(shù)據(jù)，以支持企業(yè)的決策制定和分析需求。數(shù)據(jù)倉庫的設(shè)計僅適用于查詢和分析操作，通常涉及大量的歷史數(shù)據(jù)。這些數(shù)據(jù)來自各種應(yīng)用日志文件和事務(wù)應(yīng)用等廣泛來源，經(jīng)過抽取、清洗、加工和匯總的過程，以確保數(shù)據(jù)的準(zhǔn)確性和一致性。數(shù)據(jù)倉庫中的數(shù)據(jù)通常不再進(jìn)行修改或刪除操作，而是以只讀格式保存，確保數(shù)據(jù)的穩(wěn)定性和安全性。此外，數(shù)據(jù)倉庫中的數(shù)據(jù)是按特定主題組織的，如客戶、產(chǎn)品或銷售等，這些主題反映了企業(yè)關(guān)心的領(lǐng)域或問題。通過這些組織良好的數(shù)據(jù)，企業(yè)可以獲得業(yè)務(wù)洞察，改善決策過程，并對市場趨勢和客戶需求進(jìn)行定量分析和預(yù)測。?8.3數(shù)據(jù)倉庫存儲的內(nèi)容20世紀(jì)80年代末，數(shù)據(jù)倉庫開始流行，主要用于存儲有關(guān)人員、產(chǎn)品和交易的信息。這些數(shù)據(jù)稱為結(jié)構(gòu)化數(shù)據(jù)，具有整潔的結(jié)構(gòu)和格式，便于訪問。但是，企業(yè)很快又想存儲、檢索并分析非結(jié)構(gòu)化數(shù)據(jù)，如文檔、圖像、視頻、電子郵件、社交媒體帖子以及來自機(jī)器傳感器的原始數(shù)據(jù)。現(xiàn)代數(shù)據(jù)倉庫能夠同時兼容結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)8.4數(shù)據(jù)倉庫的關(guān)鍵術(shù)語數(shù)據(jù)倉庫數(shù)據(jù)湖數(shù)據(jù)倉庫和數(shù)據(jù)湖都能夠存儲大數(shù)據(jù)，但卻是截然不同的存儲系統(tǒng)。數(shù)據(jù)倉庫主要存儲根據(jù)特定用途進(jìn)行格式化的數(shù)據(jù)，而數(shù)據(jù)湖則存儲未經(jīng)處理的原始數(shù)據(jù)，其數(shù)據(jù)用途尚不明確。8.4數(shù)據(jù)倉庫的關(guān)鍵術(shù)語數(shù)據(jù)集市數(shù)據(jù)集市是數(shù)據(jù)倉庫的一個子部分，是專門針對某一部門或業(yè)務(wù)線（如銷售、營銷或財務(wù)）劃分出來的。有些數(shù)據(jù)集市也可能是為了單獨的運(yùn)營目的而創(chuàng)建。數(shù)據(jù)倉庫是整個企業(yè)的數(shù)據(jù)存儲中心，而數(shù)據(jù)集市則為特定用戶群體提供相關(guān)數(shù)據(jù)。8.5數(shù)據(jù)倉庫的核心組件數(shù)據(jù)集市典型的數(shù)據(jù)倉庫包含4個核心組件：中央數(shù)據(jù)庫、ETL（提取、轉(zhuǎn)換、加載）工具、元數(shù)據(jù)和訪問工具。8.5數(shù)據(jù)倉庫的核心組件數(shù)據(jù)集市中央數(shù)據(jù)庫數(shù)據(jù)集成元數(shù)據(jù)213數(shù)據(jù)庫是數(shù)據(jù)倉庫的基礎(chǔ)。這些數(shù)據(jù)庫都是在本地或云端運(yùn)行的標(biāo)準(zhǔn)關(guān)系數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫。企業(yè)可以通過數(shù)據(jù)集成方法從源系統(tǒng)中提取數(shù)據(jù)。數(shù)據(jù)集成方法包括ETL（提取、轉(zhuǎn)換和加載）和ELT、實時數(shù)據(jù)復(fù)制、批量加載處理、數(shù)據(jù)轉(zhuǎn)換以及數(shù)據(jù)質(zhì)量和豐富服務(wù)。元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，規(guī)定了數(shù)據(jù)倉庫中數(shù)據(jù)集的來源、使用、價值和其他特性。業(yè)務(wù)元數(shù)據(jù)描述的是數(shù)據(jù)情境信息，技術(shù)元數(shù)據(jù)描述的是如何訪問數(shù)據(jù)，包括數(shù)據(jù)的位置和結(jié)構(gòu)。數(shù)據(jù)倉庫訪問工具4訪問工具包括查詢和報告工具、應(yīng)用開發(fā)工具、數(shù)據(jù)挖掘工具、聯(lián)機(jī)分析處理(OLAP)工具等。8.6數(shù)據(jù)倉庫架構(gòu)8.6數(shù)據(jù)倉庫架構(gòu)數(shù)據(jù)層語義層分析層通過ETL工具從數(shù)據(jù)源中提取數(shù)據(jù)，然后進(jìn)行轉(zhuǎn)換并加載到底層。底層包括數(shù)據(jù)庫服務(wù)器、數(shù)據(jù)集市和數(shù)據(jù)湖。元數(shù)據(jù)就是在這一層創(chuàng)建，數(shù)據(jù)集成工具（比如數(shù)據(jù)虛擬化工具）用于對數(shù)據(jù)進(jìn)行無縫整合和匯總。在中間層，聯(lián)機(jī)分析處理(OLAP)和聯(lián)機(jī)事務(wù)處理(OLTP)服務(wù)器會重組數(shù)據(jù)，支持快速、復(fù)雜的查詢和分析。這一層部署了數(shù)據(jù)倉庫訪問工具，支持用戶與數(shù)據(jù)交互、創(chuàng)建儀表盤和報表、監(jiān)控KPI、挖掘和分析數(shù)據(jù)、構(gòu)建應(yīng)用等。分析層通常包含工作臺或沙箱區(qū)域，用于支持?jǐn)?shù)據(jù)挖掘和新數(shù)據(jù)模型開發(fā)。8.7數(shù)據(jù)倉庫的發(fā)展1.云數(shù)據(jù)倉庫的崛起2.實時數(shù)據(jù)分析的需求增長3.大數(shù)據(jù)和人工智能的整合4.數(shù)據(jù)隱私和安全的重視5.數(shù)據(jù)湖的興起8.8數(shù)據(jù)倉庫的原理數(shù)據(jù)倉庫的原理主要是通過數(shù)據(jù)集成、轉(zhuǎn)換、存儲和查詢等過程，將來自多個異構(gòu)數(shù)據(jù)源的數(shù)據(jù)整合到一個統(tǒng)一的數(shù)據(jù)集合中，以支持管理決策制定。通過數(shù)據(jù)清洗和轉(zhuǎn)換等處理，將源數(shù)據(jù)轉(zhuǎn)換成適合數(shù)據(jù)倉庫模型的數(shù)據(jù)格式，并存儲在專門的存儲系統(tǒng)中，以便進(jìn)行復(fù)雜的數(shù)據(jù)分析和查詢。這些分析和查詢可以通過SQL語言進(jìn)行，還可以支持高級的OLAP和數(shù)據(jù)挖掘功能，為決策者提供多維度的數(shù)據(jù)分析支持。數(shù)據(jù)倉庫的原理是將分散的、異構(gòu)的源數(shù)據(jù)整合