日志審計與分析系統(tǒng)課件QAX-第4章-日志存儲

1、第4章 日志存儲第4章 日志存儲目錄4.1 概述4.2 日志存儲策略4.3 存儲方式目錄4.1 概述本章學習目標1.了解日志存儲的必要性；2.了解日志存儲策略；3.了解日志存儲格式的種類；4.理解關系數據庫存儲、鍵值數據庫和分布式存儲的優(yōu)缺點；5.理解存儲方式的優(yōu)缺點；6.掌握存儲方式；7.掌握日志存儲的實際應用；本章學習目標1.了解日志存儲的必要性；概述4.1概述4.1（1）日志存儲是進行日志審計分析的基礎，目前一些中小型企業(yè)留存的日志記錄已經增長到TB甚至是PB級別。（2）面對大數量級的日志數據，日志的存儲策略和存儲方式對后續(xù)日志的分析有著重要的影響。日志存儲的必要性（1）日志存儲是進行日

2、志審計分析的基礎，目前一些中小型企業(yè)留日志存儲策略4.2日志存儲策略4.2（1）基于文本日志目前最為豐富的日志類型。（2）基于文本日志記錄的豐富主要歸功于生成該類型日志時較低的成本，以及現有的許多計算機語言中包含了可以輕松生成基于文本日志的框架?；谖谋镜娜罩居涗浱攸c7（1）基于文本日志目前最為豐富的日志類型?；谖谋镜娜罩居涗洠?）應用程序寫入基于文本的日志文件，從CPU以及I/O資源來說代價很低。（2）文本格式是典型的便于人們理解、可讀的格式，可用常規(guī)文本工具（如grep和awk，都是各種Unix/Linux操作系統(tǒng)變種的固有工具）處理和查閱。（3）許多常見的基于文本的日志格式已經存在，例

3、如syslog。使得運營和安全團隊易于使用一種通用方法來解析日志，構造一個更完善的日志管理系統(tǒng)?；谖谋镜娜罩居涗浀膬?yōu)點（1）應用程序寫入基于文本的日志文件，從CPU以及I/O資源 (1)定義：基于二進制日志文件是應用程序生成的機器可讀的日志文件，需要專有的工具或者程序去閱讀處理它們。(2)應用案例：Windows事件日志和Microsoft Internet信息服務日志等?；诙M制文件定義 (1)定義：基于二進制日志文件是應用程序生成的機器可讀的日（1）未來5年甚至10年后閱讀二進制日志所使用工具的可用性。保留一臺專用讀取二進制日志的服務器很多年，并進行取證分析，幾乎是不可能的。（2）二進

4、制日志文件在磁盤空間利用上非常高效，但是無法進行很大的壓縮。與文本文件日志記錄相比，二進制文件所需的存儲空間會比較大。存二進制日志文件原生格式的問題（1）未來5年甚至10年后閱讀二進制日志所使用工具的可用性。 （1）含義：基于壓縮文件的日志存儲主要將每個周期的日志文件進行壓縮，壓縮成一個新的日志文件。（2）作用：這樣可以使得日志所占的磁盤空間越來越小，從而節(jié)約寶貴的存儲空間?；趬嚎s文件的存儲含義和作用 （1）含義：基于壓縮文件的日志存儲主要將每個周期的日志文件（1）定義：由網絡系統(tǒng)內部的運行程序產生的，記錄著系統(tǒng)運行的狀況是否正常。（2）作用：日志數據可以用來檢查系統(tǒng)發(fā)生錯誤的原因；查找受到

5、入侵留下的線索。日志數據定義和作用（1）定義：由網絡系統(tǒng)內部的運行程序產生的，記錄著系統(tǒng)運行的（1）定義：關系數據庫建立在關系數據庫模型基礎上的數據庫，借助于集合代數等概念和方法來處理數據庫中的數據。（2）主要內容：關系數據庫內容主要包含關系的數據結構、關系操作集合和關系完整性約束。關系數據庫定義及其主要內容（1）定義：關系數據庫建立在關系數據庫模型基礎上的數據庫，借 （1）單一的數據結構關系，也就是說現實世界的實體以及實體間的各種聯系均用關系來表示。（2）數據的邏輯結構二維表，從用戶的角度關系模型數據邏輯結構為一張二維表。關系的數據結構 （1）單一的數據結構關系，也就是說現實世界的實體以及實

6、（1）關系操作集合是關系數據庫的主要內容之一。（2）查詢包括選擇，投影，除，并，交，差和連接。（3）數據的更新包括插入，刪除和修改。而其中的查詢是最主要的部分。關系操作集合主要內容（1）關系操作集合是關系數據庫的主要內容之一。關系操作集合主 （1）實體完整性：由關系系統(tǒng)自動支持，參照完整性，早期的系統(tǒng)不支持，目前大型的系統(tǒng)都能自動支持。（2） 用戶定義的完整性：反應應用領域要遵守的約束條件，體現了具體領域中的語義約束，用戶定義后由系統(tǒng)支持。關系完整性約束 （1）實體完整性：由關系系統(tǒng)自動支持，參照完整性，早期的系（1）頭信息：通常包括某事件發(fā)生的時間戳以及事件涉及的IP地址。（2）消息體：通常

7、就是事件的消息，在數據庫中存儲這些消息主要是用來構建實時報警系統(tǒng)。（3）分析和總結。通常被存入關系數據庫信息（1）頭信息：通常包括某事件發(fā)生的時間戳以及事件涉及的IP地（1）優(yōu)先級消息的重要性或相對重要性。（2）日期和時間表明事件什么時候發(fā)生。（3）主機生成這個事件的系統(tǒng)。（4）消息事件發(fā)生的詳細信息。被用到的數據項（1）優(yōu)先級消息的重要性或相對重要性。被用到的數據項（1）數據庫的易用性和較低的成本，企業(yè)可以使用標準的SQL 語句快速搜索和檢索日志記錄。（2）數據庫系統(tǒng)具有健全的用戶訪問和權限系統(tǒng)，這些工具可以使用編程語言作為查詢日志數據的工具，并不需要使用需要特定的知識和權限的平臺。（3）許

8、多編程語言內建立了數據庫處理的支持，可以開發(fā)用于日志數據實時查看與分析。關系數據庫日志存儲的特點（1）數據庫的易用性和較低的成本，企業(yè)可以使用標準的SQL （1）數據量太龐大、臃腫。（2）從數據庫讀取或者寫入日志消息都會有顯著的開銷，向數據庫中寫數據在速度上明顯比寫入本地磁盤文本文件慢，主要是因為網絡延遲、SQL解析、索引更新以及向磁盤提交信息時造成網絡的擁堵。（3）使用數據庫存儲日志對磁盤空間需求也較高，主要是因為實現快速搜索和檢索需要大量索引文件，壓縮數據的選項也較為有限。關系數據庫日志存儲的缺點（1）數據量太龐大、臃腫。關系數據庫日志存儲的缺點（1）定義：鍵值數據庫 是一種輕量級的數據庫

9、，引領下一代數據庫的發(fā)展方向即非關系、分布式、開源和易擴展。鍵值數據庫鍵值數據庫定義（1）定義：鍵值數據庫 是一種輕量級的數據庫，引領下一代數據（1）無數據模式，鍵值數據庫沒有關系數據庫中的內模式、邏輯模式、外模式等的概念，其只由Key、Value決定，是在程序內實現。（2）復制相對簡單，由于其容易支持分布式所以在網絡上的數據庫間能輕松地實現復制備份。（3）接口簡單，鍵值數據庫提供簡單的接口，包括基本的讀、寫等接口函數用戶只需要調用讀寫接口就可以操縱數據庫。（4）數據最終一致性，鍵值數據庫并不一定遵循ACID特性，但能保證數據庫最終是一致的。鍵值數據庫的特點（1）無數據模式，鍵值數據庫沒有關系

10、數據庫中的內模式、邏輯模（1）網絡連接層：網絡連接（2）公共服務層：提供服務（3）虛擬存儲層：負責存儲（4）存儲引擎層：存儲檢索鍵值數據庫系統(tǒng)總體架構鍵值數據庫系統(tǒng)總體架構（1）網絡連接層：網絡連接鍵值數據庫系統(tǒng)總體架構鍵值數據庫系數據庫定義關系數據庫Key-value數據庫數據庫由表組成，表里面包含行和列，列是由行里的元素組成，表格里的所有行有相同的組成形式既每行包含列數和列的名稱都一樣。可以將任意的數據放入該數據庫中，對放入的數據格式要求很低。數據的組成形式是提前定義好的，它要求輸入的數據數據的索引由key值來決定，數據中具體的value可以是任意形式。數據的組成形式只是建立在它所包含的內

11、容的自然表現上，而不是面向應用。Key-value是面向項目的，這意味著所有與項目有關的數據都被存儲進該項目中，一個域可以包含大量不同的項目。規(guī)范化是關系數據庫使用到的一種數據結構模型，能保證數據一致性并消除數據冗余。關系使數據和表聯系在一起。域和域之間，還有域內的各元素沒有強制的關系。數據的存取數據的創(chuàng)建、更新，和刪除都是由SQL來完成API方法調用SQL可以通過表單或者連接連接來獲取數據不支持復雜的數據庫操縱SQL提供了聚合和復雜的過濾函數只提供些簡單的過濾 像= ！= 方法和具體的實現是分離的所有的應用和數據的邏輯都定義在應用的代碼里關系數據庫與鍵值數據庫對比數據庫定義關系數據庫Key-

12、value數據庫數據庫由表組成，（1）能夠高效地進行海量數據的存儲和訪問。（2）能夠滿足高并發(fā)地讀寫請求。（3）具有高擴展性和高可用性。NoSQL數據庫應該滿足的特點（1）能夠高效地進行海量數據的存儲和訪問。NoSQL數據庫應（1）定義：分布式存儲系統(tǒng)利用系統(tǒng)的可拓展性將將數據分散存儲在多臺獨立的設備上。（2）優(yōu)勢：提供可靠性和安全性。滿足大規(guī)模存儲應用且可拓展。分布式存儲的系統(tǒng)定義以及優(yōu)勢（1）定義：分布式存儲系統(tǒng)利用系統(tǒng)的可拓展性將將數據分散存儲（1）基于Hadoop生態(tài)圈的日志存儲是分布式存儲策略系統(tǒng)的代表。（2）與傳統(tǒng)數據庫系統(tǒng)相比，分布式存儲策略利用分布式技術將較大日志文件存儲到多個

13、非本地節(jié)點中。基于Hadoop生態(tài)圈的日志存儲（1）基于Hadoop生態(tài)圈的日志存儲是分布式存儲策略系統(tǒng)的（1）定義：HDFS為海量數據提供存儲模型。HDFS（Hadoop Distributed File System）全稱為分布式文件系統(tǒng)。（2）作用：專門負責對存儲在Hadoop集群上的數據的存儲、管理、冗余備份以及出錯恢復處理。HDFS定義及作用（1）定義：HDFS為海量數據提供存儲模型。HDFS（Had（1）滿足超大規(guī)模的數據集需求。（2）支持流式的數據訪問。（3）可容忍節(jié)點失效的發(fā)生。（4）有很強的擴展性。（5）存儲文件時會將文件分割為多個數據塊。HDFS文件系統(tǒng)特點（1）滿足超大規(guī)

14、模的數據集需求。HDFS文件系統(tǒng)特點（1）Namenode是管理節(jié)點，主要存儲和管理整個文件系統(tǒng)的namespace和元數據。（2）Namenode還負責文件的讀取寫入過程。（3）一個文件被分割為一個或多個數據塊，這些數據塊分別存儲在不同Datanode上。HDFS中Namenode的作用（1）Namenode是管理節(jié)點，主要存儲和管理整個文件系統(tǒng) 集群開始正常運行后（1）Datanode和Namenode會建立連接并不斷地保持心跳，心跳信息中包含Datanode的狀態(tài)和Namenode對Datanode的命令等。（2）Datanode接受對數據的訪問，響應數據的讀寫請求。（3）Datanod

15、e之間也會通過心跳保持聯系以達到相互協(xié)調地工作。HDFS中Datanode的作用 集群開始正常運行后HDFS中Datanode的存儲方式4.3存儲方式4.3（1）在線存儲：在線存儲又稱線上存儲，典型應用為云存儲。（2）近線存儲：近線存儲介于在線存儲和離線存儲之間的選擇。（3）離線存儲：離線存儲又稱為線下存儲。數據存儲的方式概述（1）在線存儲：在線存儲又稱線上存儲，典型應用為云存儲。數據 （1）在線存儲是指將信息實時存儲，存儲設備和所存儲的數據時刻保持“在線”狀態(tài)。（2）在線存儲可以使得在線日志信息可以立即訪問和檢索并且可供用戶隨時讀取。在線存儲定義34 （1）在線存儲是指將信息實時存儲，存儲設

16、備和所存儲的數據時（1）一次存儲（或備份）、隨時隨地訪問。（2）數據共享。（3）在線同步。（4）存儲空間大、容易擴展。在線存儲的特點（1）一次存儲（或備份）、隨時隨地訪問。在線存儲的特點（1）云存儲是一種新興的在線存儲方式，它是在云計算概念上延伸和發(fā)展出來的一個新的概念。（2）云存儲通過集群應用、網絡技術或分布式文件系統(tǒng)等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數據存儲和業(yè)務訪問功能的一個系統(tǒng)。云存儲（1）云存儲是一種新興的在線存儲方式，它是在云計算概念上延伸（1）數據存儲層：數據存儲（2）基礎管理層：設備協(xié)同（3）應用接口層：提供接口（4）用戶訪問層

17、：提供接口云存儲平臺整體結構劃分（1）數據存儲層：數據存儲云存儲平臺整體結構劃分（1）成本低。（2）便捷訪問。（3）具備海量擴展能力。（4）實現負載均衡。（5）可實現量身定制。云存儲優(yōu)勢（1）成本低。云存儲優(yōu)勢（1）數據安全與可用性之間的權衡。（2）性能和數據傳輸速率的限制。（3）可管理性的缺乏。（4）互操作性與協(xié)議轉換的困境。云存儲服務面臨的挑戰(zhàn)39（1）數據安全與可用性之間的權衡。云存儲服務面臨的挑戰(zhàn)39（1）定義：近線存儲是介于在線存儲和離線存儲之間的存儲選擇，即所謂的分級存儲。（2）作用：經常應用于數字電視中的播出控制系統(tǒng)和存儲一些客戶長期保存但是不常用的文檔。近線存儲定義和應用（1）

18、定義：近線存儲是介于在線存儲和離線存儲之間的存儲選擇， （1）存儲數據分類：用戶經常需要訪問的數據與不需要訪問的數據。 （2）主要特征：近線存儲將那些不是經常用到，或者說數據的訪問量并不大的數據存放在性能較低的存儲設備上。近線存儲特點 （1）存儲數據分類：用戶經常需要訪問的數據與不需要訪問的數（1）近線存儲采用硬盤、磁帶或光盤作為存儲介質，并使用相應的近線存儲管理軟件對存儲文件進行管理。（2）近線存儲大容量的數據時，硬盤相比于磁帶和光盤更具有優(yōu)勢。近線存儲介質概述（1）近線存儲采用硬盤、磁帶或光盤作為存儲介質，并使用相應的（1）近線系統(tǒng)的數據檢索部分位于硬盤，其讀寫速度。（2）近線系統(tǒng)將大量使

19、用頻率較低的數據遷移到磁帶庫或光盤庫中，既有離線存儲系統(tǒng)數據容量近于無限的優(yōu)點，又節(jié)省在線部分的硬盤空間。近線存儲系統(tǒng)的優(yōu)點（1）近線系統(tǒng)的數據檢索部分位于硬盤，其讀寫速度。近線存儲系（1）響應速度快。（2）節(jié)省空間。（3）可為網絡中心存儲設備提供安全備份。近線存儲的主要優(yōu)勢（1）響應速度快。近線存儲的主要優(yōu)勢近線存儲的缺點（1）要求近線存儲設備所需的容量相對較大。（2）需要采用數據吞吐能力較大的介質存取設備，介質成本較高。近線存儲的缺點近線存儲的缺點（1）要求近線存儲設備所需的容量相對較大。近線（1）存儲再利用：存儲時間長達幾個月，滿足素材的大容量存儲和再利用。（2）上載速度：遷移的速度要遠

20、遠大于1:1的上載速度。（3）資源的利用：遷移過程在系統(tǒng)空閑時執(zhí)行，不會占用播出系統(tǒng)的網絡資源，以保證網絡的安全和穩(wěn)定。（4）系統(tǒng)安全性：將服務器和其他網絡分離，不會對硬盤播出造成任何威脅。（5）設備位置要求：可以在任何地方進行節(jié)目素材的上載和傳送。（6）成本因素：降低了成本，相對服務器的本地存儲有較低的成本。近線存儲再播出系統(tǒng)中的優(yōu)勢（1）存儲再利用：存儲時間長達幾個月，滿足素材的大容量存儲和 近線存儲可以提供冗余存儲從而保證數據的完整性和災難保護，但是在大多數情況下由于不常用的數據要占總數量的比較大的比重，這也就要求近線存儲設備所需的容量相對較大。近線存儲的硬件架構近線存儲的硬件架構 近線

21、存儲可以提供冗余存儲從而保證數據的完整性和災難保護，但（1）存儲介質： 目前主要使用的是光盤或磁帶存儲。（2）用途：大多數情況下用于對在線存儲的數據進行備份，以防范可能發(fā)生的數據災難，因此又稱備份級的存儲。離線存儲概述（1）存儲介質： 目前主要使用的是光盤或磁帶存儲。離線存儲概（1）磁帶：磁帶屬于傳統(tǒng)的離線存儲介質，具有存儲量大，保存時間長的優(yōu)點；但是讀取數據流程較繁瑣。（2）光盤：主要以光盤塔和光盤庫兩種存儲方式進行存儲，具有較高抗震、抗沖擊性，但是重復讀寫次數較少，速度較低。（3）硬盤：以磁盤為存儲介質，具有存儲容量大、數據傳輸率高等特點，是目前離線存儲中非常流行的存儲介質。離線存儲的介質（1）磁帶：磁帶屬于傳統(tǒng)的離線存儲介質，具有存儲量大，保存時介質磁帶光盤硬盤物理優(yōu)點易生產使用廣泛數據不可修改存儲容量大可以長期保存物理缺點數據易受外界環(huán)境影響保存時磁塑介質易粘連片基易老化盤片易劃損抗沖擊力較弱使用管理優(yōu)點系統(tǒng)成熟存儲容量大通用性較高信息易定位且定期備份使用管理缺點速度