數(shù)據(jù)處理平臺技術(shù)方案

1、數(shù)據(jù)處理平臺技術(shù)方案2016年06月目錄1. 項目說明 11.1 背景 11.2 術(shù)語定義及說明 12. 建設(shè)目標(biāo)和原則 12.1 建設(shè)目標(biāo) 12.1.1 建設(shè)和完善數(shù)據(jù)處理流程 1建設(shè)和完善管理平臺 1建立良好的容錯機(jī)制 12.2 設(shè)計原則 22.2.1 可靠性 22.2.2 易用性 2擴(kuò)展性 23. 功能需求 23.1 需求概述 23.2 功能模塊 33.2.1 數(shù)據(jù)收集 3數(shù)據(jù)清洗 3數(shù)據(jù)存儲 3對外輸出 3流程監(jiān)控 3管理平臺 33.3 其他需求 43.3.1 性能需求 43.3.2 可靠性要求 4進(jìn)度計劃 4故障處理要求 44. 方案總體設(shè)計 44.1 技術(shù)路線選擇 44.2 總體架

2、構(gòu) 4架構(gòu)介紹 44.2.2 數(shù)據(jù)處理流程 45. 安全設(shè)計 55.1 數(shù)據(jù)的備份和恢復(fù)系統(tǒng) 55.2 管理層安全 51. 項目說明1.1 背景因項目數(shù)據(jù)拆分，*將要創(chuàng)建一套完備的數(shù)據(jù)管理體系，替換原有的數(shù)據(jù)處理方式。為用戶提供更高效、便捷的服務(wù)。1.2 術(shù)語定義及說明名稱解釋數(shù)據(jù)格式對原始數(shù)據(jù)文件中數(shù)據(jù)格式的定義，比如json、數(shù)組等數(shù)據(jù)類型原始數(shù)據(jù)的類型，比如實況、指數(shù)等文件類型原始數(shù)據(jù)的文件類型，比如.dat、.txt文件2. 建設(shè)目標(biāo)和原則2.1 建設(shè)目標(biāo)建設(shè)和完善數(shù)據(jù)處理流程基于原有的處理流程，采用新技術(shù)架構(gòu)，重構(gòu)現(xiàn)有處理平臺，徹底解決現(xiàn)有平臺的問題。建設(shè)和完善管理平臺建設(shè)和完善管理

3、平臺，可以為運維人員提供更好的維護(hù)管理的工具，并且能夠讓管理員可以根 據(jù)多種數(shù)據(jù)的不同要求設(shè)置出適應(yīng)數(shù)據(jù)的處理規(guī)則。建立良好的容錯機(jī)制建立良好的容錯機(jī)制，設(shè)置更優(yōu)的數(shù)據(jù)處理規(guī)則，為數(shù)據(jù)處理提供優(yōu)質(zhì)服務(wù)。2.2 設(shè)計原則2.2.1 可靠性隨著系統(tǒng)的建成，必然各平臺之間的信息傳遞對系統(tǒng)的依賴程度將變得很高，系統(tǒng)失效所造成 的影響也就越大。因此，系統(tǒng)的設(shè)計必須，從系統(tǒng)結(jié)構(gòu)、技術(shù)措施、設(shè)備選型以及廠商的技術(shù)服務(wù) 和維修響應(yīng)能力等方面綜合考慮，以確保系統(tǒng)運行的可靠性和穩(wěn)定性。2.2.2 易用性我們系統(tǒng)設(shè)計必須考慮到使用者和以后的維護(hù)的方便容易。所以，在系統(tǒng)的設(shè)計中要求系統(tǒng)架 構(gòu)易于理解，系統(tǒng)管理方便簡潔

4、，系統(tǒng)維護(hù)自動容易。2.2.3 擴(kuò)展性平臺的建設(shè)是一項長期的工程，要充分考慮其將來潛在的需求?？茖W(xué)的設(shè)計思想應(yīng)著眼于目前 的應(yīng)用系統(tǒng)及現(xiàn)有的技術(shù)，并考慮以最小的代價來適應(yīng)網(wǎng)絡(luò)技術(shù)不斷的發(fā)展，使現(xiàn)有系統(tǒng)能夠與需 求同步增長，使系統(tǒng)在元數(shù)據(jù)不斷增加的基礎(chǔ)上，維護(hù)者能夠很方便的擴(kuò)充平臺功能。3. 功能需求3.1 需求概述實現(xiàn)對不同來源的多種數(shù)據(jù)類型文件進(jìn)行收集、 存儲、到最終業(yè)務(wù)的統(tǒng)一處理， 實 現(xiàn)數(shù)據(jù)實時對接，并具有擴(kuò)展性。1) 數(shù)據(jù)收集：2) 數(shù)據(jù)整理：3) 數(shù)據(jù)存儲：4) 業(yè)務(wù)接口：5) 監(jiān)控：3.2 功能模塊3.2.1 數(shù)據(jù)收集*># *>#3.2.2 數(shù)據(jù)清洗3.2.3 數(shù)據(jù)存

5、儲經(jīng)估算，每天的數(shù)據(jù)約有 9-10G ，在如此數(shù)據(jù)量的情況下，要對數(shù)據(jù)進(jìn)行存儲，同時應(yīng)用緩存， 提高輸出效率。3.2.4 對外輸出為保證原有外部用戶正常使用，數(shù)據(jù)輸出與原有輸出保持一致。3.2.5 流程監(jiān)控針對整個流程進(jìn)行數(shù)據(jù)監(jiān)控 監(jiān)控原始數(shù)據(jù)站點缺失、監(jiān)控非法數(shù)據(jù)。以便反饋給原始數(shù)據(jù)提 供方，后期優(yōu)化。3.2.6 管理平臺管理平臺需要有如下功能：3.3 其他需求3.3.1性能需求3.3.2可靠性要求3.3.3進(jìn)度計劃待定3.3.4故障處理要求軟件故障：如操作系統(tǒng)死機(jī)、崩潰、數(shù)據(jù)庫管理系統(tǒng)過載或其他原因崩潰，通 過自動或手動重新啟動系統(tǒng)解決，如重新啟動不能解決問題，可以切換至備用服務(wù) 器；硬件

6、故障：如硬盤故障， 采取措施是定期進(jìn)行數(shù)據(jù)庫備份， 一旦出現(xiàn)硬件故障， 可以使用備份文件恢復(fù)數(shù)據(jù)庫。4. 方案總體設(shè)計4.1技術(shù)路線選擇4.2總體架構(gòu)4.2.1架構(gòu)介紹4.2.2數(shù)據(jù)處理流程5. 安全設(shè)計5.1 數(shù)據(jù)的備份和恢復(fù)系統(tǒng)在安全建設(shè)中必不可少的一個環(huán)節(jié)就是數(shù)據(jù)的常規(guī)備份和歷史保存。一般在生產(chǎn)本地的備份目 的主要有兩個：一是生產(chǎn)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)由于系統(tǒng)或人為誤操作造成損壞或丟失后，可及時在生產(chǎn) 本地實現(xiàn)數(shù)據(jù)的恢復(fù)；另一個目的是在發(fā)生地域性災(zāi)難（地震、火災(zāi)、機(jī)器毀壞等）時，可及時在 本地或異地實現(xiàn)數(shù)據(jù)及整個系統(tǒng)的災(zāi)難恢復(fù)。5.2 管理層安全網(wǎng)絡(luò)安全架構(gòu)的最高層就是管理平臺內(nèi)部網(wǎng)進(jìn)行操作、維護(hù)和到使用的內(nèi)部人員進(jìn)行管理。對 人員的管理和安全制度的制訂