《大數(shù)據(jù)導(dǎo)論》課件-6.1.4日志格式介紹

——教學(xué)設(shè)計l教育培訓(xùn)l信息化l微課——日志格式介紹01日志簡介02日志要求03日志舉例04json格式日志CONTENTS目錄日志簡介01

日志（Log）是系統(tǒng)在運行過程中變化的一種抽象，其內(nèi)容為指定對象的某些操作和其操作結(jié)果按時間的有序集合。文件日志（LogFile）、事件（Event）、數(shù)據(jù)庫日志（BinLog）、度量（Metric）數(shù)據(jù)都是日志的不同載體。在文件日志中，每個日志文件由一條或多條日志組成，每條日志描述了一次單獨的系統(tǒng)事件，是日志服務(wù)中處理的最小數(shù)據(jù)單元。

日志（Log）日志簡介日志要求02

日志服務(wù)采用半結(jié)構(gòu)數(shù)據(jù)模式定義一條日志。該模式中包含主題（Topic）、時間（Time）、內(nèi)容（Content）、來源（Source）和標(biāo)簽（Tags）五個數(shù)據(jù)域。日志要求日志要求數(shù)據(jù)域含義格式主題（Topic）用戶自定義字段，用以標(biāo)記一批日志。例如訪問日志可根據(jù)不同站點進行標(biāo)記。包括空字符串在內(nèi)的任意字符串，長度不超過128字節(jié)。默認(rèn)情況下，該字段為空字符串。時間（Time）日志中的保留字段，用以表示日志產(chǎn)生的時間，一般由日志中的時間信息直接提取生成。整型，Unix標(biāo)準(zhǔn)時間格式。單位為秒，表示從1970-1-100:00:00UTC計算起的秒數(shù)。內(nèi)容（Content）用以記錄日志的具體內(nèi)容。內(nèi)容部分由一個或多個內(nèi)容項組成，每一個內(nèi)容項為一個Key-Value對。Key為UTF-8編碼字符串，包含字母、下劃線和數(shù)字，且不以數(shù)字開頭。長度不超過128字節(jié)。不可以使用如下關(guān)鍵字：__time____source____topic____partition_time___extract_others___extract_others__Value為任意字符串，長度不超過1024*1024字節(jié)。來源（Source）日志的來源地，例如產(chǎn)生該日志機器的IP地址。任意字符串，長度不超過128字節(jié)。默認(rèn)情況下該字段為空。標(biāo)簽（Tags）日志的標(biāo)簽，包括：用戶自定義標(biāo)簽：您通過APIPutLogs寫入數(shù)據(jù)時添加的標(biāo)簽。字典格式，Key和Value均為字符串類型。在控制臺查詢?nèi)罩緯r，以__tag__:為前綴展示。

日志服務(wù)對日志各字段的格式有不同要求，具體如下表所示：日志舉例03

實際使用場景中，日志的格式多樣。為了幫助理解，以下以一條nginx原始訪問日志如何映射到日志服務(wù)日志數(shù)據(jù)模型為例說明。假設(shè)用戶nginx服務(wù)器的IP地址為17，以下為該服務(wù)器的一條原始日志：

93--[01/Mar/2012:16:12:07+0800]"GET/Send?AccessKeyId=8225105404HTTP/1.1"2005"-""Mozilla/5.0(X11;Linuxi686onx86_64;rv:10.0.2)Gecko/20100101Firefox/10.0.2"日志舉例日志舉例數(shù)據(jù)域內(nèi)容說明Topic“”沿用默認(rèn)值，即空字符串。Time1330589527日志產(chǎn)生的精確時間，表示從1970-1-100:00:00UTC計算起的秒數(shù)。從原始日志中的時間轉(zhuǎn)換為時間戳。ContentKey-Value對日志具體內(nèi)容。Source“17”使用服務(wù)器IP地址作為日志源。Tags無由用戶添加或者服務(wù)端添加。

把該條原始日志映射到日志服務(wù)日志數(shù)據(jù)模型，如下：日志舉例keyvalueip93methodGETstatus200length5ref_url-browserMozilla/5.0(X11;Linuxi686onx86_64;rv:10.0.2)Gecko/20100101Firefox/10.0.2

用戶可以自己決定如何提取日志原始內(nèi)容并組合成Key-Value對，例如下表：json格式日志04

JSON(JavaScriptObjectNotation,JS對象簡譜)是一種輕量級的數(shù)據(jù)交換格式。它基于ECMAScript(歐洲計算機協(xié)會制定的js規(guī)范)的一個子集，采用完全獨立于編程語言的文本格式來存儲和表示數(shù)據(jù)。簡潔和清晰的層次結(jié)構(gòu)使得JSON成為理想的數(shù)據(jù)交換語言。易于人閱讀和編寫，同時也易于機器解析和生成，并有效地提升網(wǎng)絡(luò)傳輸效率。一段json格式的日志:{"name":