航旅大數(shù)據(jù)項目詳細設計說明書

航旅大數(shù)據(jù)項目詳細設計說明書XX科技股份有限公司編制

目錄一、航旅大數(shù)據(jù)系統(tǒng)軟件模塊設計 4二、航旅大數(shù)據(jù)項目系統(tǒng)接口及函數(shù) 42.1數(shù)據(jù)生產(chǎn) 42.1.1數(shù)據(jù)生產(chǎn)函數(shù) 42.2數(shù)據(jù)采集 52.2.1數(shù)據(jù)采集接口 52.2.2數(shù)據(jù)存儲函數(shù) 62.3數(shù)據(jù)分析 72.3.1數(shù)據(jù)分析函數(shù) 72.4可視化展示 82.4.1用戶接口 82.4.2菜單接口 92.4.3角色接口 102.4.4航班異常分析接口 102.4.5航班分析接口 112.4.6酒店選擇分析接口 122.4.7酒店居住時長分析接口 122.4.8游客性別分析接口 13三、航旅大數(shù)據(jù)系統(tǒng)數(shù)據(jù)格式 141.數(shù)值類型 142.日期和時間類型 163.字符串類型 17四、航旅大數(shù)據(jù)系統(tǒng)數(shù)據(jù)庫表結構 181.表結構設計圖 18

航旅大數(shù)據(jù)系統(tǒng)軟件模塊設計表1航旅大數(shù)據(jù)模塊設計表序號一級模塊二級模塊三級模塊說明1數(shù)據(jù)生產(chǎn)航旅大數(shù)據(jù)數(shù)據(jù)生產(chǎn)2數(shù)據(jù)采集/存儲使用Flume、Kafka組件將數(shù)據(jù)存儲到HBASE中3數(shù)據(jù)分析使用MapReduce將HBASE中的數(shù)據(jù)經(jīng)過分析處理之后導入到MySQL中4可視化展示系統(tǒng)管理系統(tǒng)狀態(tài)監(jiān)控、系統(tǒng)信息查看5權限管理資源管理系統(tǒng)菜單管理、路徑管理6角色管理系統(tǒng)使用角色管理、權限管理7用戶管理系統(tǒng)登錄用戶管理8航旅數(shù)據(jù)分析航班異常分析使用圖形展示各種航班異常原因占比情況。9航班分析用圖形展示各種類型航班狀態(tài)情況。10酒店選擇分析使用圖形展示各類型合作酒店狀態(tài)情況。11酒店居住時長分析使用圖形展示各類型合作酒店居住時長情況。12航旅游客性別分析使用圖形展示航旅游客性別人群占比情況。13航旅游客年齡分析使用圖形展示航旅游客年齡人群占比情況。14歷年航旅人數(shù)分析使用圖形展示歷年航旅人數(shù)趨勢情況。航旅大數(shù)據(jù)項目系統(tǒng)接口及函數(shù)數(shù)據(jù)生產(chǎn)數(shù)據(jù)生產(chǎn)函數(shù)函數(shù)類duct.test.MockRecords生產(chǎn)類TestMockRecords需求優(yōu)先級高系統(tǒng)輸入或系統(tǒng)外激勵系統(tǒng)響應系統(tǒng)調(diào)用生產(chǎn)函數(shù),設定相應的輸出文件及輸出路徑根據(jù)設定路徑，生產(chǎn)相應的數(shù)據(jù)文件功能需求數(shù)據(jù)生產(chǎn)例外以及相應處理調(diào)用的功能數(shù)據(jù)生產(chǎn)注釋和說明數(shù)據(jù)采集數(shù)據(jù)采集接口接口地址/hhrzkg/system/dataCollection用戶類系統(tǒng)需求優(yōu)先級高系統(tǒng)輸入或系統(tǒng)外激勵系統(tǒng)響應設定flume采集的源文件和數(shù)據(jù)下沉的位置，將數(shù)據(jù)采集到kafka集群中Kafka集群出現(xiàn)相應的數(shù)據(jù)功能需求數(shù)據(jù)采集例外以及相應處理調(diào)用的功能數(shù)據(jù)采集注釋和說明數(shù)據(jù)存儲函數(shù)函數(shù)類com.hbase.consumer用戶類HbaseConsumer需求優(yōu)先級高系統(tǒng)輸入或系統(tǒng)外激勵系統(tǒng)響應設置kafka消費主題，使用HBASE消費數(shù)據(jù)將kafka集群中的待數(shù)據(jù)存儲到HBASE中功能需求數(shù)據(jù)存儲例外以及相應處理調(diào)用的功能數(shù)據(jù)存儲注釋和說明數(shù)據(jù)分析數(shù)據(jù)分析函數(shù)函數(shù)類com.bigdata.analysis.runner用戶類CountDurationRunner需求優(yōu)先級高系統(tǒng)輸入或系統(tǒng)外激勵系統(tǒng)響應配置源HBASE、目標MYSQL數(shù)據(jù)格式，配置清洗策略將HBASE數(shù)據(jù)經(jīng)過分析后存儲MySQL功能需求數(shù)據(jù)分析例外以及相應處理調(diào)用的功能數(shù)據(jù)分析注釋和說明可視化展示用戶接口接口地址/hhrzkg/system/admin用戶類系統(tǒng)管理員需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應1.用戶輸入用戶名、密碼1.比對輸入用戶是否存在，并返回相應結果。2.新增用戶；3.刪除用戶；4.修改用戶。功能需求用戶登錄系統(tǒng)、用戶修改信息、管理員新增和刪除用戶例外以及相應處理調(diào)用的功能系統(tǒng)登錄、用戶信息修改、新增和刪除用戶注釋和說明菜單接口接口地址/hhrzkg/system/res用戶類系統(tǒng)管理員需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應1.用戶輸入菜單名稱、菜單地址、上級目錄。1.比對輸入菜單是否存在，并返回相應結果。2.新增菜單；3.刪除菜單；4.比對輸入菜單是否存在，不存在即修改菜單。功能需求系統(tǒng)管理員查詢、新增、修改、刪除菜單例外以及相應處理調(diào)用的功能菜單查詢、新增、修改、刪除注釋和說明角色接口接口地址/hhrzkg/system/role用戶類系統(tǒng)管理員需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應1.用戶輸入角色名稱、角色權限1.顯示角色名稱、權限等信息2.新增角色；3.刪除角色；4.比對輸入角色是否存在，不存在即修改角色。功能需求用戶授權，系統(tǒng)管理員對角色新增、刪除、修改、查詢例外以及相應處理調(diào)用的功能角色查詢、新增、修改、刪除注釋和說明航班異常分析接口接口地址/hhrzkg/system/newAbnormal用戶類系統(tǒng)用戶需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應1.1.展示各種航班異常原因占比情況。功能需求圖形化展示各種航班異常原因占比情況。例外以及相應處理調(diào)用的功能航班異常分析注釋和說明航班分析接口接口地址/hhrzkg/system/newFlight用戶類系統(tǒng)用戶需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應展示各種類型航班狀態(tài)情況。功能需求圖形化展示各種類型航班狀態(tài)情況。例外以及相應處理調(diào)用的功能健康險分析注釋和說明酒店選擇分析接口接口地址/hhrzkg/system/newHotel用戶類系統(tǒng)用戶需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應展示各類型合作酒店狀態(tài)情況。功能需求圖形化展示展示各類型合作酒店狀態(tài)情況。例外以及相應處理調(diào)用的功能酒店選擇分析注釋和說明酒店居住時長分析接口接口地址/hhrzkg/system/newTime用戶類系統(tǒng)用戶需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應展示各類型合作酒店居住時長情況。功能需求圖形化展示各類型合作酒店居住時長情況。例外以及相應處理調(diào)用的功能酒店居住時長分析注釋和說明游客性別分析接口接口地址/hhrzkg/system/newSex用戶類系統(tǒng)用戶需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應展示航旅游客性別人群占比情況。功能需求圖形化展示航旅游客性別人群占比情況。例外以及相應處理調(diào)用的功能航旅游客性別分析注釋和說明航旅大數(shù)據(jù)系統(tǒng)數(shù)據(jù)格式1.數(shù)值類型這些類型包括嚴格數(shù)值數(shù)據(jù)類型(INTEGER、SMALLINT、DECIMAL和NUMERIC)，以及近似數(shù)值數(shù)據(jù)類型(FLOAT、REAL和DOUBLEPRECISION)。關鍵字INT是INTEGER的同義詞，關鍵字DEC是DECIMAL的同義詞。BIT數(shù)據(jù)類型保存位字段值，并且支持MyISAM、MEMORY、InnoDB和BDB表。作為SQL標準的擴展，MySQL也支持整數(shù)類型TINYINT、MEDIUMINT和BIGINT。下面的表顯示了需要的每個整數(shù)類型的存儲和范圍。表2數(shù)值類型表類型大小范圍（有符號）范圍（無符號）用途TINYINT1byte(-128，127)(0，255)小整數(shù)值SMALLINT2bytes(-32768，32767)(0，65535)大整數(shù)值MEDIUMINT3bytes(-8388608，8388607)(0，16777215)大整數(shù)值INT或INTEGER4bytes(-2147483648，2147483647)(0，4294967295)大整數(shù)值BIGINT8bytes(-9,223,372,036,854,775,808，9223372036854775807)(0，18446744073709551615)極大整數(shù)值FLOAT4bytes(-3.402823466E+38，-1.175494351E-38)，0，(1.175494351E-38，3.402823466351E+38)0，(1.175494351E-38，3.402823466E+38)單精度

浮點數(shù)值DOUBLE8bytes(-1.7976931348623157E+308，-2.2250738585072014E-308)，0，(2.2250738585072014E-308，1.7976931348623157E+308)0，(2.2250738585072014E-308，1.7976931348623157E+308)雙精度

浮點數(shù)值DECIMAL對DECIMAL(M,D)，如果M>D，為M+2否則為D+2依賴于M和D的值依賴于M和D的值小數(shù)值2.日期和時間類型表示時間值的日期和時間類型為DATETIME、DATE、TIMESTAMP、TIME和YEAR。每個時間類型有一個有效值范圍和一個"零"值，當指定不合法的MySQL不能表示的值時使用"零"值。TIMESTAMP類型有專有的自動更新特性，將在后面描述。表3日期和時間類型表類型大小

(bytes)范圍格式用途DATE31000-01-01/9999-12-31YYYY-MM-DD日期值TIME3'-838:59:59'/'838:59:59'HH:MM:SS時間值或持續(xù)時間YEAR11901/2155YYYY年份值DATETIME81000-01-0100:00:00/9999-12-3123:59:59YYYY-MM-DDHH:MM:SS混合日期和時間值TIMESTAMP41970-01-0100:00:00/2038結束時間是第

2147483647

秒，北京時間

2038-1-1911:14:07，格林尼治時間2038年1月19日凌晨03:14:07YYYYMMDDHHMMSS混合日期和時間值，時間戳3.字符串類型字符串類型指CHAR、VARCHAR、BINARY、VARBINARY、BLOB、TEXT、ENUM和SET。該節(jié)描述了這些類型如何工作以及如何在查詢中使用這些類型。表4日期和時間類型表類型大小用途CHAR0-255bytes定長字符串VARCHAR0-65535bytes變長字符串TINYBLOB0-255bytes不超過255個字符的二進制字符串TINYTEXT0-255bytes短文本字符串BLOB0-6