安徽資源庫技術(shù)方案

北京泛在時(shí)代教育技術(shù)有限責(zé)任公司安徽資源庫技術(shù)方案安徽資源庫技術(shù)方案版本歷史編號日期版本變更說明作者審批16月19日V1.0創(chuàng)建文檔楊榮峰目錄1. 系統(tǒng)技術(shù)方案 51.1. 設(shè)計(jì)約束 51.2. 總體技術(shù)構(gòu)架設(shè)計(jì) 71.2.1. 系統(tǒng)架構(gòu) 71.2.2. 技術(shù)架構(gòu) 81.2.3. 應(yīng)用架構(gòu) 91.3. 關(guān)鍵技術(shù)實(shí)現(xiàn) 101.3.1. 流媒體服務(wù)設(shè)計(jì) 101.3.2. 搜索引擎設(shè)計(jì) 111.3.3. 資源導(dǎo)入設(shè)計(jì) 111.3.4. 消息系統(tǒng)設(shè)計(jì) 151.3.5. 緩存應(yīng)用設(shè)計(jì) 161.3.6. 數(shù)據(jù)交換(接口)設(shè)計(jì) 161.3.7. 數(shù)據(jù)抽取設(shè)計(jì) 171.3.8. 數(shù)據(jù)歸檔設(shè)計(jì) 171.3.9. 數(shù)據(jù)分析設(shè)計(jì) 181.3.10. 數(shù)據(jù)備份和容災(zāi) 181.3.11. 監(jiān)控服務(wù)設(shè)計(jì) 191.4. 基礎(chǔ)架構(gòu)需求 191.4.1. 硬件選型建議 191.5. 系統(tǒng)安全保障方案 221.5.1. 代碼安全性 221.5.2. 系統(tǒng)管理安全性 241.5.3. 傳輸安全性 251.5.4. 數(shù)據(jù)安全性 251.5.5. 日志監(jiān)控 251.5.6. 用戶訪問控制 271.5.7. 權(quán)限控制 29系統(tǒng)技術(shù)方案設(shè)計(jì)約束技術(shù)方案系統(tǒng)技術(shù)方案適應(yīng)安徽電大私有云能提供的部署環(huán)境，實(shí)施過程中系統(tǒng)架構(gòu)嚴(yán)格按實(shí)施方案執(zhí)行。技術(shù)標(biāo)準(zhǔn)系統(tǒng)基于WindowsServer2012R2(企業(yè)版)＋SQLServer2014R2(企業(yè)版)進(jìn)行設(shè)計(jì)和開發(fā)。系統(tǒng)后端應(yīng)用支撐體系（消息、緩存等）基于跨平臺進(jìn)行設(shè)計(jì)和開發(fā)。系統(tǒng)采用C#.Net，前端應(yīng)用基于.NetFramework4.6進(jìn)行設(shè)計(jì)和開發(fā)。分析設(shè)計(jì)策略采用面向?qū)ο蟮姆椒ㄟM(jìn)行分析和設(shè)計(jì)。使用統(tǒng)一建模語言UML來完成系統(tǒng)結(jié)構(gòu)的面向?qū)ο蠓绞降姆治鲈O(shè)計(jì)工作，即通過可視化建模完成系統(tǒng)模型的構(gòu)建過程。UML建模過程使用Visio建模工具完成。數(shù)據(jù)庫建模過程使用PowerDesigner建模工具完成。開發(fā)環(huán)境使用SVN進(jìn)行配置管理；使用Project2013編制項(xiàng)目開發(fā)計(jì)劃；使用Visio2013進(jìn)行需求分析、系統(tǒng)分析和設(shè)計(jì)；使用Office2013編寫項(xiàng)目文檔與相關(guān)過程支撐文檔；使用PowerDesigner16.5進(jìn)行數(shù)據(jù)庫模型設(shè)計(jì)；使用VisualStudio2017編寫頁面與后端程序；使用MSSQLSERVER2014R2作為數(shù)據(jù)庫系統(tǒng)；使用IIS8作為應(yīng)用服務(wù)器。運(yùn)行環(huán)境服務(wù)器系統(tǒng)：WindowsServer2014R2、CentOS7應(yīng)用服務(wù)器軟件：IIS8數(shù)據(jù)庫：SQLServer2014R2網(wǎng)絡(luò)：安徽電大現(xiàn)有網(wǎng)絡(luò)部署方式系統(tǒng)采用分布式部署方式，統(tǒng)一部署在安徽電大私有云平臺上，服務(wù)器擴(kuò)充時(shí)不會影響軟件整體架構(gòu)，將基于系統(tǒng)整體架構(gòu)進(jìn)行有益地?cái)U(kuò)展。響應(yīng)時(shí)間和用戶數(shù)所有的目標(biāo)響應(yīng)時(shí)間需求都是基于用戶瀏覽器提交請求開始到接收到全部輸出信息的端到端的響應(yīng)時(shí)間：聯(lián)機(jī)錄入：<=3s簡單聯(lián)機(jī)查詢：<=5s復(fù)雜聯(lián)機(jī)查詢：<=30s觸發(fā)事務(wù)執(zhí)行時(shí)間：<=30s定時(shí)執(zhí)行作業(yè)單個(gè)時(shí)間：<=5min批量作業(yè)單個(gè)時(shí)間：<=30min客戶端條件本系統(tǒng)主要業(yè)務(wù)構(gòu)架于B/S結(jié)構(gòu)?？蛻舳藶槲④浀腎E9及以上版本、360瀏覽器10及以上、谷歌瀏覽器74及以上。同時(shí)，依托B/S結(jié)構(gòu)的資源庫系統(tǒng)，還有一系列構(gòu)架于C/S結(jié)構(gòu)的輔助工具軟件，可運(yùn)行于安裝.NetFramework4運(yùn)行環(huán)境的Windows操作系統(tǒng)上?？傮w技術(shù)構(gòu)架設(shè)計(jì)系統(tǒng)架構(gòu)根據(jù)系統(tǒng)需求的分析及總體架構(gòu)的規(guī)劃，對本系統(tǒng)最終的邏輯架構(gòu)設(shè)計(jì)如下圖所示。邏輯架構(gòu)圖從整體上劃分，主要包括表現(xiàn)層、應(yīng)用層、應(yīng)用支撐層、數(shù)據(jù)層、系統(tǒng)層和基礎(chǔ)設(shè)施層幾個(gè)部分：邏輯架構(gòu)圖技術(shù)架構(gòu)基于.NET分布式計(jì)算體系與分層架構(gòu)構(gòu)建技術(shù)體系，系統(tǒng)拆分為多個(gè)應(yīng)用服務(wù)，每個(gè)應(yīng)用服務(wù)實(shí)現(xiàn)單一、具體的業(yè)務(wù)應(yīng)用功能，支持獨(dú)立部署維護(hù)，多個(gè)應(yīng)用服務(wù)構(gòu)建成系統(tǒng)。應(yīng)用服務(wù)之間通過輕量級通信框架進(jìn)行，并且支持應(yīng)用服務(wù)用不同技術(shù)或者平臺實(shí)現(xiàn)。本系統(tǒng)的技術(shù)架構(gòu)設(shè)計(jì)如下圖所示：技術(shù)架構(gòu)圖應(yīng)用架構(gòu)本系統(tǒng)的服務(wù)器各層次均采用虛擬化技術(shù)，虛擬化后的主機(jī)與物理主機(jī)共同構(gòu)建整個(gè)資源庫系統(tǒng)的服務(wù)器架構(gòu)，通過網(wǎng)絡(luò)負(fù)載均衡和數(shù)據(jù)庫復(fù)制技術(shù)保障系統(tǒng)的高可用及高性能，并且支持進(jìn)行服務(wù)器擴(kuò)充時(shí)不會影響軟件結(jié)構(gòu)。本系統(tǒng)的應(yīng)用架構(gòu)如下圖所示：應(yīng)用架構(gòu)圖網(wǎng)絡(luò)拓?fù)鋱D系統(tǒng)網(wǎng)絡(luò)出口通道由兩條線路組成，在一條出現(xiàn)問題時(shí)，另一條可以服務(wù)，以提高網(wǎng)絡(luò)的可靠性。不僅可以獲得更大的網(wǎng)絡(luò)帶寬，而且可以互為熱備，為網(wǎng)絡(luò)出口通道提供更高的可靠性。前端應(yīng)用部署基于負(fù)載均衡的應(yīng)用服務(wù)器群。緩存、消息、調(diào)度等系統(tǒng)應(yīng)用支撐服務(wù)因其職責(zé)單一，從應(yīng)用服務(wù)器分離出來獨(dú)立部署。未來視系統(tǒng)負(fù)載狀況，可以將它們擴(kuò)展為分布式集群，給整體應(yīng)用系統(tǒng)提供更大地性能支撐與能力保障，從而使系統(tǒng)具有更高的可用性與持續(xù)、快速的響應(yīng)能力。前端應(yīng)用采用二級緩存支撐機(jī)制，確保從用戶發(fā)出請求到系統(tǒng)響應(yīng)請求，系統(tǒng)具備快速的響應(yīng)支撐能力。數(shù)據(jù)庫服務(wù)器基于數(shù)據(jù)庫鏡像加復(fù)制的設(shè)計(jì)，提高數(shù)據(jù)庫的更大支撐能力，并且數(shù)據(jù)庫讀寫均具備高可用性。關(guān)鍵技術(shù)實(shí)現(xiàn)流媒體服務(wù)設(shè)計(jì)流媒體是指以流方式在網(wǎng)絡(luò)中傳送音頻、視頻和多媒體文件的媒體形式。相對于下載后觀看的網(wǎng)絡(luò)播放形式而言，流媒體的典型特性是把連續(xù)的音頻和視頻信息壓縮后放到網(wǎng)絡(luò)服務(wù)器上，用戶邊下載邊觀看，而不必等待整個(gè)文件下載完畢。由于流媒體技術(shù)的優(yōu)越性，該技術(shù)廣泛應(yīng)用到視頻點(diǎn)播、視頻會議、遠(yuǎn)程教育、遠(yuǎn)程醫(yī)療和在線直播系統(tǒng)中。流媒體服務(wù)器是流媒體應(yīng)用的核心系統(tǒng)，是運(yùn)營商向用戶提供的視頻服務(wù)的關(guān)鍵平臺。流媒體服務(wù)器的主要功能是對流媒體內(nèi)容進(jìn)行采集、緩存、調(diào)度和傳輸播放。流媒體應(yīng)用系統(tǒng)的主要性能體現(xiàn)都取決于流媒體服務(wù)器的性能和服務(wù)質(zhì)量。因此流媒體服務(wù)器是流媒體應(yīng)用系統(tǒng)的基礎(chǔ)，也是最主要的組成部分。本系統(tǒng)采用NTVMediaServerG3流媒體服務(wù)器系統(tǒng)。系統(tǒng)支持HTTP、HLS、RTMP等播出協(xié)議，面向Windows、Android、iOS、Mac等終端提供穩(wěn)定流暢的直播、點(diǎn)播、時(shí)移、回看服務(wù)，廣泛應(yīng)用到互聯(lián)網(wǎng)教學(xué)、互聯(lián)網(wǎng)電視、IPTV、VOD、視頻聊天和各種互聯(lián)網(wǎng)直播點(diǎn)播應(yīng)用中。搜索引擎設(shè)計(jì)由于本系統(tǒng)屬于典型的聯(lián)機(jī)事務(wù)處理（OLTP）系統(tǒng)，其特點(diǎn)是操作人員多，存取規(guī)模大，操作頻度高。因此系統(tǒng)數(shù)據(jù)庫記錄數(shù)會隨時(shí)間快速增長，日積月累形成海量數(shù)據(jù)?；诖?，站內(nèi)搜索如何從海量的歷史、實(shí)時(shí)數(shù)據(jù)中快速獲取信息也成為一個(gè)問題凸顯出來。為了滿足海量數(shù)據(jù)下的信息檢索，并且具備高可靠的性能要求，本系統(tǒng)的搜索引擎將構(gòu)架在基于Lucene構(gòu)建的搜索引擎技術(shù)之上。資源導(dǎo)入設(shè)計(jì)安徽電大數(shù)字化學(xué)習(xí)資源中心的資源導(dǎo)入，在實(shí)現(xiàn)上分為資源數(shù)據(jù)導(dǎo)入與資源實(shí)體文件導(dǎo)入，必須前者先完成，后者才能基于它使用導(dǎo)入導(dǎo)出工具將資源導(dǎo)入到本系統(tǒng)。本系統(tǒng)的資源數(shù)據(jù)導(dǎo)入，實(shí)際屬于數(shù)據(jù)遷移，即從一個(gè)數(shù)據(jù)庫平臺遷移到另外一個(gè)數(shù)據(jù)庫平臺，用ETL工具或SQL均可實(shí)現(xiàn)，遷移過程中需要關(guān)注前后業(yè)務(wù)系統(tǒng)業(yè)務(wù)邏輯的遷移和轉(zhuǎn)換。數(shù)據(jù)遷移中，數(shù)據(jù)質(zhì)量是ETL的重中之重，整個(gè)設(shè)計(jì)過程將圍繞該主題開展。目前業(yè)界主流的ETL設(shè)計(jì)思想是以元數(shù)據(jù)驅(qū)動(dòng)整個(gè)抽取過程，在每個(gè)關(guān)鍵步驟之前先檢查元數(shù)據(jù)狀態(tài)，而在關(guān)鍵步驟運(yùn)行完成后根據(jù)運(yùn)行狀態(tài)和數(shù)據(jù)比對結(jié)果更新元數(shù)據(jù)以作為后續(xù)步驟的支撐。這樣使得ETL整個(gè)過程完全可控，在出錯(cuò)時(shí)能快速定位到錯(cuò)誤點(diǎn)，極大的減少數(shù)據(jù)出錯(cuò)的可能。本系統(tǒng)的數(shù)據(jù)遷移解決方案分為三大階段與十一道工序，從調(diào)研分析，到規(guī)劃設(shè)計(jì)，再到實(shí)施服務(wù)，需求分析師和工程師都將嚴(yán)格地遵循這樣的服務(wù)流程與方法論，為客戶提供規(guī)范的、標(biāo)準(zhǔn)的、無差別的高質(zhì)量服務(wù)體驗(yàn)。三道階段調(diào)研分析規(guī)劃設(shè)計(jì)實(shí)施服務(wù)十一道工序環(huán)境采集風(fēng)險(xiǎn)評估解決方案規(guī)劃兼容性評估解決方案設(shè)計(jì)模擬驗(yàn)證業(yè)務(wù)數(shù)據(jù)備份軟硬件聯(lián)調(diào)初始化配置遷移實(shí)施業(yè)務(wù)切換測試在方案設(shè)計(jì)階段，提供深入、細(xì)致的三次業(yè)務(wù)分析用于建模；搭建環(huán)境測試分析，將有助于工程師全面、細(xì)致的掌握客戶狀況，以應(yīng)對后續(xù)的兼容性等多方面風(fēng)險(xiǎn)；方案可實(shí)施性分析，為用戶后續(xù)遷移工作的有序開展提供必要的數(shù)據(jù)支撐；風(fēng)險(xiǎn)分析將作為最關(guān)鍵的一道保護(hù)措施，在數(shù)據(jù)遷移出現(xiàn)不可接受的偏差時(shí)，及時(shí)、安全、有序的恢復(fù)用戶業(yè)務(wù)。以下是針對本系統(tǒng)實(shí)施數(shù)據(jù)遷移的過程：調(diào)研分析分析原有的業(yè)務(wù)系統(tǒng)精確到系統(tǒng)功能模塊、處理流程。分析現(xiàn)有的業(yè)務(wù)系統(tǒng)精確到系統(tǒng)功能模塊、處理流程。分析兩者自己的區(qū)別和差異分析兩個(gè)業(yè)務(wù)系統(tǒng)之間的區(qū)別，確定工作量和工作進(jìn)度分析用戶對舊有數(shù)據(jù)的需求分析對舊有數(shù)據(jù)的需求，不至于盲目的全部性的進(jìn)行遷移分析用戶對舊有數(shù)據(jù)的處理規(guī)則舊有數(shù)據(jù)的處理規(guī)則，一般分為以下幾類：基礎(chǔ)數(shù)據(jù)。此類數(shù)據(jù)較容易遷移，數(shù)據(jù)格式簡單，但是會影響所有的相關(guān)業(yè)務(wù)數(shù)據(jù)。純粹歷史數(shù)據(jù)的導(dǎo)入，此類數(shù)據(jù)僅供參考用的，導(dǎo)入較容易。純粹歷史數(shù)據(jù)此類數(shù)據(jù)處理起來會比較容易，一次性導(dǎo)入即可，后續(xù)采用增量數(shù)據(jù)導(dǎo)入。流程性數(shù)據(jù)此類數(shù)據(jù)只有在記錄完全關(guān)閉后才能結(jié)束，需要進(jìn)行增量導(dǎo)入和數(shù)據(jù)更新，同時(shí)還要進(jìn)行相關(guān)查詢界面的開發(fā)，以保證舊有數(shù)據(jù)能夠在新系統(tǒng)中查詢的到。新老系統(tǒng)表結(jié)構(gòu)變化較大的歷史數(shù)據(jù)此類數(shù)據(jù)的工作量是最重的，需要研究新老業(yè)務(wù)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)。盡量通過安徽電大來收集齊全相關(guān)原系統(tǒng)的相關(guān)設(shè)計(jì)文檔。在原系統(tǒng)上進(jìn)行相關(guān)數(shù)據(jù)的觀察，了解數(shù)據(jù)的變化和數(shù)據(jù)表數(shù)據(jù)的關(guān)系（對于比較難以理解的相關(guān)字段）比較新老系統(tǒng)數(shù)據(jù)的差異，如果實(shí)在很不靠譜的話，建議按流程性數(shù)據(jù)處理。規(guī)劃設(shè)計(jì)在調(diào)研分析基礎(chǔ)之上，對相關(guān)數(shù)據(jù)進(jìn)行歸類。編制系統(tǒng)數(shù)據(jù)流圖，包括頂層數(shù)據(jù)流圖直至分解數(shù)據(jù)流圖。編制前后業(yè)務(wù)系統(tǒng)對應(yīng)表，進(jìn)行相關(guān)表的數(shù)據(jù)字典對照，勾畫出對應(yīng)字段、轉(zhuǎn)換邏輯、依賴關(guān)系、必要時(shí)在新系統(tǒng)表上做相應(yīng)的冗余，等數(shù)據(jù)遷移完畢后再清除。實(shí)施服務(wù)使用PL/SQL或T-SQL，DTS、SSIS的管道等作為數(shù)據(jù)遷移的方式。相關(guān)業(yè)務(wù)邏輯的遷移，與數(shù)據(jù)完整性和業(yè)務(wù)相關(guān)的存儲過程、觸發(fā)器、函數(shù)的改寫，甚至SQL的改寫。業(yè)務(wù)查詢頁面的編寫。消息系統(tǒng)設(shè)計(jì)本系統(tǒng)要求支持的大用戶量用戶訪問，對系統(tǒng)內(nèi)部而言，分布式的處理支撐就變得很重要。與此同時(shí)，系統(tǒng)中一般會有很多對實(shí)時(shí)性要求不高的但是執(zhí)行起來比較耗時(shí)的地方，如果實(shí)時(shí)處理的話，在用戶訪問量比較大的情況下，對系統(tǒng)壓力比較大。對此，設(shè)計(jì)上會將這些請求，放在消息隊(duì)列中處理；異構(gòu)系統(tǒng)之間使用消息進(jìn)行通訊。消息傳遞相較文件傳遞與遠(yuǎn)程過程調(diào)用（RPC）而言更勝一籌，因?yàn)樗哂懈玫钠脚_無關(guān)性，并能夠很好地支持并發(fā)與異步調(diào)用。本系統(tǒng)使用RabbitMQ作為消息隊(duì)列中間件。為避免消息系統(tǒng)出現(xiàn)單點(diǎn)問題，可通過擴(kuò)展服務(wù)器，采用鏡像模式實(shí)現(xiàn)MQ的高可用集群。緩存應(yīng)用設(shè)計(jì)本系統(tǒng)作為省級資源庫，未來涉及人數(shù)與操作人員多、存取規(guī)模大、操作頻度高，由此可能造成的網(wǎng)絡(luò)擁塞、服務(wù)器超載，從而導(dǎo)致客戶訪問延遲增大問題。緩存（Cache）技術(shù)是減輕服務(wù)器負(fù)載、降低網(wǎng)絡(luò)擁塞、增強(qiáng)本系統(tǒng)可擴(kuò)展性的有效途徑之一，在本系統(tǒng)的架構(gòu)中將廣泛使用。本系統(tǒng)使用Redis作為分布式緩存數(shù)據(jù)庫。為避免緩存系統(tǒng)出現(xiàn)單點(diǎn)問題，可通過擴(kuò)展服務(wù)器，采用Redis集群方案實(shí)現(xiàn)Redis的高可用集群。數(shù)據(jù)交換(接口)設(shè)計(jì)由于本系統(tǒng)下各子系統(tǒng)較多，各子系統(tǒng)之間數(shù)據(jù)流轉(zhuǎn)較為頻繁，同時(shí)還要實(shí)現(xiàn)與高等學(xué)歷繼續(xù)教育網(wǎng)絡(luò)園區(qū)、國開學(xué)習(xí)網(wǎng)、中小學(xué)教師教育、專業(yè)技術(shù)人員培訓(xùn)、社區(qū)教育、老年教育等學(xué)歷與非學(xué)歷教育平臺的系統(tǒng)對接與數(shù)據(jù)交換，復(fù)雜度較高，且系統(tǒng)之間接口調(diào)用、數(shù)據(jù)流轉(zhuǎn)的實(shí)時(shí)性要求較高的特點(diǎn)，要求在進(jìn)行數(shù)據(jù)接口集成時(shí)應(yīng)建立一套相對完善的開放接口數(shù)據(jù)交換平臺，并建立完善的接口規(guī)范與接口交互規(guī)則，確保各系統(tǒng)接口邏輯清晰，可維護(hù)，可監(jiān)控，可配置。數(shù)據(jù)接口采用微服務(wù)的設(shè)計(jì)理念，提供單一訪問點(diǎn)，充當(dāng)多項(xiàng)服務(wù)接口的代理，并實(shí)現(xiàn)跨所有服務(wù)的變換、路由和公共處理。服務(wù)接口采用REST風(fēng)格，適用于由服務(wù)器端發(fā)起調(diào)用請求、POST提交數(shù)據(jù)以及GET請求文本數(shù)據(jù)結(jié)果的服務(wù)接口。數(shù)據(jù)接口的設(shè)計(jì)遵循統(tǒng)一規(guī)范和普遍適用性：統(tǒng)一的數(shù)據(jù)格式、多樣的輸出類型、完整的接口的文檔，簡單的接口測試。接口子系統(tǒng)采用應(yīng)用授權(quán)認(rèn)證接口方式，子系統(tǒng)為第三方系統(tǒng)的服務(wù)接口生成應(yīng)用分配SecretId和密鑰SecretKey。數(shù)據(jù)抽取設(shè)計(jì)數(shù)據(jù)分析的目的是帶給企業(yè)管理層和各級業(yè)務(wù)主管部門更多的決策支持價(jià)值。而作為數(shù)據(jù)分析來源的數(shù)據(jù)集市，在其數(shù)據(jù)整合過程中，ETL是其中主要的一個(gè)技術(shù)手段，是關(guān)鍵的一環(huán)。本系統(tǒng)使用SQLServerIntegrationServices（SSIS）創(chuàng)建SSIS解決方案來使用ETL解決復(fù)雜的業(yè)務(wù)問題。數(shù)據(jù)歸檔設(shè)計(jì)由于系統(tǒng)數(shù)據(jù)庫記錄數(shù)會隨時(shí)間線性快速增長，長年累月的數(shù)據(jù)積累，會導(dǎo)致數(shù)量龐大到影響正常的數(shù)據(jù)讀寫，從而導(dǎo)致系統(tǒng)運(yùn)行緩慢。為解決由此帶來的性能下降問題，需要對數(shù)據(jù)歸檔進(jìn)行詳細(xì)設(shè)計(jì)。數(shù)據(jù)歸檔子系統(tǒng)設(shè)計(jì)應(yīng)滿足以下設(shè)計(jì)原則：分級存儲歷史數(shù)據(jù)可查詢滿足數(shù)據(jù)全生命周期管理歸檔過程對正常業(yè)務(wù)無影響歸檔策略采用3年+1年（活動(dòng)的數(shù)據(jù)是3年，超過3年前的數(shù)據(jù)將從生產(chǎn)數(shù)據(jù)表中轉(zhuǎn)移以進(jìn)行歸檔，歸檔數(shù)據(jù)部分保存1年，4年前的數(shù)據(jù)在進(jìn)行備份后，將被刪除）。該策略可以保障生產(chǎn)數(shù)據(jù)庫包含的數(shù)據(jù)量，以確保系統(tǒng)的高效運(yùn)轉(zhuǎn)。歸檔將采用SQLServer2012的分區(qū)功能（Partition），歸檔部分的數(shù)據(jù)物理上和生產(chǎn)數(shù)據(jù)保存于不同的文件，但是屬于同一個(gè)數(shù)據(jù)庫。針對生產(chǎn)數(shù)據(jù)和歸檔數(shù)據(jù)，將采用不同的管理和備份機(jī)制。數(shù)據(jù)分析設(shè)計(jì)在本系統(tǒng)中，通過對用戶行為跟蹤、資源訪問記錄，產(chǎn)生相應(yīng)的數(shù)據(jù)統(tǒng)計(jì)、分析和挖掘需求，必然要求對應(yīng)的數(shù)據(jù)分析子系統(tǒng)支撐。與此同時(shí)，數(shù)據(jù)分析子系統(tǒng)通過發(fā)掘系統(tǒng)運(yùn)行過程中的數(shù)據(jù)，發(fā)現(xiàn)系統(tǒng)運(yùn)行過程中的潛在風(fēng)險(xiǎn)、為管理層與各級主管部門的各項(xiàng)決策提供數(shù)據(jù)支撐。本系統(tǒng)數(shù)據(jù)可視化基于ECharts實(shí)現(xiàn)。數(shù)據(jù)備份和容災(zāi)系統(tǒng)的設(shè)計(jì)是采用B/S架構(gòu)，“肥”服務(wù)器、“瘦”客戶端模式，將所有的信息，程序運(yùn)行和數(shù)據(jù)的計(jì)算都由服務(wù)器完成，所以服務(wù)器的負(fù)荷比較重，一旦服務(wù)器崩潰，后果不堪設(shè)想。所以數(shù)據(jù)備份和容災(zāi)工作非常重要。本方案的數(shù)據(jù)備份和容災(zāi)具有以下特點(diǎn)：簡單的備份手段、可靠地備份結(jié)果、低廉的投資成本、快速的恢復(fù)時(shí)間。（1）異地備份本方案中建議采取本地+異地備份，為防止系統(tǒng)出現(xiàn)操作失誤或系統(tǒng)故障導(dǎo)致數(shù)據(jù)丟失，而將本地服務(wù)器的全部數(shù)據(jù)保存到異地的備份服務(wù)器中；當(dāng)本地服務(wù)器發(fā)生故障時(shí)，可以馬上將服務(wù)轉(zhuǎn)接到備份服務(wù)器中，保證數(shù)據(jù)部丟失，系統(tǒng)部中斷。（2）全自動(dòng)的熱備份在數(shù)據(jù)庫管理器里面，管理員事先建立好恢復(fù)或者備份數(shù)據(jù)庫的作業(yè)，然后定制一個(gè)執(zhí)行計(jì)劃，讓計(jì)算機(jī)自己執(zhí)行備份和恢復(fù)操作。熱備份通過故障點(diǎn)的轉(zhuǎn)移實(shí)現(xiàn)故障切換，發(fā)生故障時(shí)自動(dòng)實(shí)現(xiàn)主備服務(wù)器切換，保障業(yè)務(wù)的連續(xù)性。（3）主從復(fù)制在兩臺服務(wù)器上建立分別建立兩個(gè)數(shù)據(jù)庫，一主，一從（副本）。兩者之間建立數(shù)據(jù)同步機(jī)制。在平時(shí)主庫處理寫操作，備庫處理讀操作。在其中一臺漿機(jī)時(shí)，自動(dòng)切換到可用的庫做讀寫操作。等到數(shù)據(jù)庫恢復(fù)后再將數(shù)據(jù)庫切回去。監(jiān)控服務(wù)設(shè)計(jì)本系統(tǒng)使用Nagios+Cacti監(jiān)控系統(tǒng)實(shí)現(xiàn)操作系統(tǒng)與流量監(jiān)測，在系統(tǒng)運(yùn)行過程中，能隨時(shí)查看本系統(tǒng)硬件與網(wǎng)絡(luò)運(yùn)行狀況、系統(tǒng)運(yùn)行健康狀況等信息數(shù)據(jù)，以便根據(jù)運(yùn)行狀況有針對性地提前擴(kuò)充硬件與擴(kuò)展部署應(yīng)用，使系統(tǒng)穩(wěn)定、良好地運(yùn)行。基礎(chǔ)架構(gòu)設(shè)計(jì)基礎(chǔ)架構(gòu)是指基礎(chǔ)設(shè)施層包括基礎(chǔ)網(wǎng)絡(luò)系統(tǒng)、服務(wù)器、存儲備份設(shè)備、安全設(shè)備、操作系統(tǒng)、應(yīng)用中間件、數(shù)據(jù)庫系統(tǒng)等基礎(chǔ)支持軟硬件設(shè)施。硬件選型參考應(yīng)用架構(gòu)，核心硬件配置建議如下，可根據(jù)此核心硬件配置選擇：設(shè)備類別設(shè)備單位數(shù)量虛擬機(jī)推薦配置高可用說明1．服務(wù)器負(fù)載均衡調(diào)度臺22vCPU*2.5GHz,4GB內(nèi)存負(fù)載均衡調(diào)度服務(wù)器雙機(jī)熱備應(yīng)用服務(wù)器臺24vCPU*3.1GHz,16GB內(nèi)存,可用空間200GSSD磁盤網(wǎng)站系統(tǒng)雙機(jī)負(fù)載均衡文件服務(wù)器臺34vCPU*3.1GHz,8GB內(nèi)存,SSD磁盤萬兆網(wǎng)卡1個(gè)跟蹤服務(wù)器2個(gè)存儲服務(wù)器數(shù)據(jù)庫服務(wù)器臺54vCPU*3.5GHz,32GB內(nèi)存,可用空間200GSSD磁盤萬兆網(wǎng)卡寫服務(wù)器雙機(jī)熱備，讀服務(wù)器雙機(jī)，分發(fā)服務(wù)器一臺流媒體服務(wù)器臺48vCPU*3.5GHz,16GB內(nèi)存,SSD磁盤萬兆網(wǎng)卡一套負(fù)載+兩套視頻轉(zhuǎn)碼消息服務(wù)器臺34vCPU*2.5GHz,32GB內(nèi)存,SSD磁盤萬兆網(wǎng)卡MQ集群環(huán)境緩存服務(wù)器臺32vCPU*2.5GHz,64GB內(nèi)存萬兆網(wǎng)卡緩存集群環(huán)境報(bào)表服務(wù)器臺12vCPU*3.1GHz,8GB內(nèi)存作業(yè)調(diào)度服務(wù)器臺14vCPU*3.1GHz,16GB內(nèi)存,SSD磁盤搜索服務(wù)器臺34vCPU*3.1GHz,16GB內(nèi)存,SSD磁盤萬兆網(wǎng)卡搜索集群環(huán)境備份服務(wù)器臺32vCPU*3.1GHz,16GB內(nèi)存,SSD磁盤數(shù)據(jù)庫災(zāi)備服務(wù)器臺34vCPU*3.5GHz,32GB內(nèi)存,SSD磁盤軟件選型軟件類別軟件名稱版本數(shù)量1操作系統(tǒng)WindowsServer2012R2Datacenter64位商業(yè)13CentOS7.5免費(fèi)222數(shù)據(jù)庫系統(tǒng)SQLServer2014中文企業(yè)版64位商業(yè)5系統(tǒng)安全保障方案代碼安全性泛在時(shí)代教育建立了一套相應(yīng)的規(guī)范，來保證項(xiàng)目的實(shí)施質(zhì)量。其中，針對代碼安全性我們通過在項(xiàng)目中《C#編程規(guī)范》、《數(shù)據(jù)庫設(shè)計(jì)文檔規(guī)范》、《Script及HTML編程規(guī)范》、《API接口規(guī)范》、《應(yīng)用程序安全代碼審查》等來保證代碼開發(fā)的安全性，避免不安全的編碼技術(shù)和缺陷，并按照《應(yīng)用程序?qū)彶轫?xiàng)列表》結(jié)合代碼測試工具定期對架構(gòu)和代碼等進(jìn)行檢查。最后按照《軟件測試計(jì)劃書》在設(shè)計(jì)階段編寫測試用例和測試計(jì)劃書，在代碼開發(fā)結(jié)束后對系統(tǒng)進(jìn)行測試。與此同時(shí)，因代碼安全性涉及范圍較廣，在應(yīng)用程序體系結(jié)構(gòu)和設(shè)計(jì)范圍內(nèi)，應(yīng)重點(diǎn)關(guān)注以下方面并實(shí)現(xiàn)安全編碼：輸入驗(yàn)證如何驗(yàn)證輸入？應(yīng)用程序應(yīng)對收到的所有輸入進(jìn)行約束、拒絕和凈化。約束輸入是最佳的方法，因?yàn)獒槍σ阎行ь愋?、模式和范圍對?shù)據(jù)進(jìn)行驗(yàn)證要比通過查找已知壞字符來驗(yàn)證數(shù)據(jù)簡單得多。如果使用深層防御策略，還要拒絕已知的壞輸入并對輸入進(jìn)行凈化。如何處理輸入？檢查應(yīng)用程序處理輸入的方式，不同類型的處理可能導(dǎo)致不同類型的漏洞。例如，如果在SQL查詢中使用輸入，應(yīng)用程序可能易受SQL注入攻擊。身份驗(yàn)證檢查應(yīng)用程序驗(yàn)證調(diào)用者身份的方法、在何處使用身份驗(yàn)證，如何確保憑據(jù)在存儲中或通過網(wǎng)絡(luò)傳遞的安全。身份驗(yàn)證中的漏洞可能導(dǎo)致應(yīng)用程序易受哄騙攻擊、詞典攻擊、會話劫持等。授權(quán)檢查應(yīng)用程序是如何向用戶授權(quán)的。還要檢驗(yàn)應(yīng)用程序在數(shù)據(jù)庫中是如何被授權(quán)的，以及如何控制系統(tǒng)級資源的訪問。授權(quán)中的漏洞可能導(dǎo)致信息泄漏、數(shù)據(jù)篡改及特權(quán)提升。使用深層防御策略是一種重要的方法，它可應(yīng)用于應(yīng)用程序的授權(quán)策略中。配置管理如果應(yīng)用程序提供了可配置的管理界面，需要檢查確保管理界面安全的方法。此外，還要檢查如何確保敏感配置數(shù)據(jù)的安全（一般加密處理）。敏感數(shù)據(jù)檢查應(yīng)用程序?qū)Υ鎯χ小?yīng)用程序內(nèi)存中以及網(wǎng)絡(luò)中的敏感數(shù)據(jù)的處理方法。會話管理由于Web應(yīng)用程序基于無狀態(tài)的HTTP協(xié)議生成，因此會話管理是應(yīng)用程序級任務(wù)。需要檢查應(yīng)用程序的會話管理方法，因?yàn)樗鼘⒅苯佑绊憫?yīng)用程序的整體安全。加密如果應(yīng)用程序使用加密來提供安全性，需要檢查加密的內(nèi)容以及加密的使用方法。參數(shù)操作檢查應(yīng)用程序使用參數(shù)的方法。這些參數(shù)包括了在客戶端和服務(wù)器間傳遞的表單字段、查詢字符串、cookie、HTTP頭。如果使用像查詢字符串這樣的參數(shù)傳遞敏感數(shù)據(jù)（如會話標(biāo)識符），惡意客戶端可輕松使用簡單的參數(shù)操作逃避服務(wù)器端檢查。異常管理檢查應(yīng)用程序處理錯(cuò)誤的方法。保持前后一致地使用結(jié)構(gòu)化的異常處理。同樣，應(yīng)確保應(yīng)用程序在發(fā)生異常時(shí)，不公開代碼信息，而公開較友善信息。審核和記錄檢查應(yīng)用程序的審核和日志記錄方法。除了防止抵賴之外，定期分析日志文件有助于識別入侵跡象。系統(tǒng)管理安全性系統(tǒng)管理的安全性涉及網(wǎng)絡(luò)物理設(shè)備安全性的考慮，防火墻通常在網(wǎng)絡(luò)協(xié)議層發(fā)揮功能，并將許可的源/目的IP地址和端口（協(xié)議，如HTTP或SMTP）之外的所有網(wǎng)絡(luò)通信排除在外。在本系統(tǒng)中，應(yīng)使用兩個(gè)層次的防火墻配置：訪問控制列表它們能過濾不想要的通信（根據(jù)協(xié)議類型和源及目的地址），并保護(hù)DMZ不受部分（而非全部）服務(wù)拒絕的攻擊。狀態(tài)通訊屏蔽通過維護(hù)通訊狀態(tài)，數(shù)據(jù)包屏蔽或帶狀態(tài)的防火墻設(shè)置提供完全的網(wǎng)絡(luò)層隔離。這能夠檢測已知的服務(wù)拒絕的攻擊，并提供附加的安全功能，如網(wǎng)絡(luò)地址轉(zhuǎn)換（NAT，它完全隱藏內(nèi)部設(shè)備）以及FTP（動(dòng)態(tài)選擇數(shù)據(jù)傳輸端口）。傳輸安全性數(shù)據(jù)在客戶端與服務(wù)器（或服務(wù)器與服務(wù)器）之間傳輸時(shí)最易受到攻擊。應(yīng)用程序負(fù)責(zé)在傳輸數(shù)據(jù)前處理并轉(zhuǎn)換數(shù)據(jù)，網(wǎng)絡(luò)負(fù)責(zé)數(shù)據(jù)傳輸?shù)耐暾院退矫苄浴Ｒ虼?，?biāo)準(zhǔn)的安全通信通道對于通過公共網(wǎng)絡(luò)傳遞敏感用戶信息的平臺的訪問非常重要。這里，可以對敏感的核心功能采用SecureSocketsLayer(SSL)與HTTPS協(xié)議加密安全傳輸通道。數(shù)據(jù)安全性業(yè)務(wù)數(shù)據(jù)、用戶信息包括口令或其他身份驗(yàn)證/授權(quán)是本系統(tǒng)中最重要的數(shù)據(jù)，應(yīng)該給予最高的安全考慮。將這些數(shù)據(jù)放置私有網(wǎng)絡(luò)中，只授權(quán)給特定服務(wù)器中的特別程序訪問。同時(shí)，對訪問數(shù)據(jù)的帳號僅授予管理用戶所需的最小權(quán)限。日志監(jiān)控本系統(tǒng)啟動(dòng)后，即可對管理系統(tǒng)的操作人、操作時(shí)間、執(zhí)行操作等進(jìn)行記錄，記錄文檔會保存到安全性較好的數(shù)據(jù)庫或文本文件中，便于搜尋或二次開發(fā)。同時(shí)，日志監(jiān)控也可用于跟蹤調(diào)試。由于日志記錄了所有的運(yùn)行錯(cuò)誤，因此經(jīng)常查看日志可以避免和及早發(fā)現(xiàn)很多的錯(cuò)誤隱患，并及時(shí)進(jìn)行修復(fù)。為了滿足系統(tǒng)對于穩(wěn)定性和高性能的需求，本系統(tǒng)采用異步消息來處理日志信息的輸出。日志記錄切入點(diǎn)，為了減少業(yè)務(wù)編碼過程中過度關(guān)注日志記錄過程，采用攔截器處理大部分的系統(tǒng)運(yùn)行日志。日志組件盡可能提供簡單的接口，以方便業(yè)務(wù)方法中調(diào)用。同時(shí)為了避免業(yè)務(wù)方法記錄日志時(shí)每次手工編碼獲取當(dāng)前操作人，當(dāng)前類名，方法名等信息，應(yīng)設(shè)計(jì)某種機(jī)制自動(dòng)獲取類似信息?？紤]到日志檢索和效率和日志的膨脹速度，應(yīng)建立日志清理機(jī)制。日志功能具備的功能如下：記錄功能記錄日志時(shí)分為兩類信息，一種為運(yùn)行時(shí)系統(tǒng)日志，一種為用戶操作日志。檢索功能提供按照日志對象中所有字段信息的多維度組合日志查詢。此功能為普通單表查詢無需復(fù)雜設(shè)計(jì)。清理機(jī)制由于日志記錄是非常頻繁的事情，所以系統(tǒng)日志表的膨脹速度一定很快，甚至比業(yè)數(shù)據(jù)表要快得多。如果數(shù)據(jù)量過大，會造成系統(tǒng)資源的過度占用，也會影響檢索效率。而且，保留過多過期的系統(tǒng)運(yùn)行或者調(diào)試日志基本上是