XX市旅游大數(shù)據(jù)平臺(tái)解決方案(智慧旅游)

11XX 市旅游大數(shù)據(jù)平臺(tái)解決方案XX 有限責(zé)任公司XX市旅游大數(shù)據(jù)平臺(tái)解決方案目錄旅游大數(shù)據(jù)平臺(tái)項(xiàng)目概述 6建設(shè)背景 6旅游大數(shù)據(jù)帶了的新的挑戰(zhàn) 61.2.1數(shù)據(jù)挖掘搜集復(fù)雜61.2.2經(jīng)驗(yàn)與數(shù)據(jù)的結(jié)合61.2.3分析與優(yōu)化的結(jié)合71.2.4數(shù)據(jù)開(kāi)放與隱私的權(quán)衡 7建設(shè)目標(biāo) 7建設(shè)原則 7旅游大數(shù)據(jù)平臺(tái)優(yōu)勢(shì) 9旅游大數(shù)據(jù)平臺(tái)需求分析 11大數(shù)據(jù)在業(yè)務(wù)需求分析 11省旅游局和5a景區(qū)的應(yīng)用 11旅行社和OTA的應(yīng)用 11大數(shù)據(jù)有助于精確旅游行業(yè)市場(chǎng)定位 11大數(shù)據(jù)成為旅游行業(yè)市場(chǎng)營(yíng)銷(xiāo)的利器 12大數(shù)據(jù)支撐旅游行業(yè)收益管理 12大數(shù)據(jù)創(chuàng)新旅游行業(yè)需求開(kāi)發(fā) 13旅游輿情監(jiān)測(cè)服務(wù)： 132.2總體建設(shè)需求 14旅游大數(shù)據(jù)平臺(tái)總體規(guī)劃設(shè)計(jì) 15第1頁(yè)市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE7第頁(yè)P(yáng)AGE7整體建設(shè)思想 15整體系統(tǒng)結(jié)構(gòu) 15計(jì)算資源和存儲(chǔ)資源配置估算 18旅游大數(shù)據(jù)平臺(tái)資源層規(guī)劃設(shè)計(jì) 19旅游大數(shù)據(jù)平臺(tái)基礎(chǔ)架構(gòu)體系 19設(shè)計(jì)原則 19系統(tǒng)總體架構(gòu) 20虛擬化拓?fù)涞慕Y(jié)構(gòu) 23旅游大數(shù)據(jù)平臺(tái)虛擬化組件 244.2.1遷移 244.2.2高可靠性（HA） 244.2.3容錯(cuò) 25動(dòng)態(tài)資源分配 25分布式電源管理 26分布式集群存儲(chǔ)平臺(tái) 27方案拓?fù)鋱D 27方案描述 27系統(tǒng)軟件 28旅游大數(shù)據(jù)平臺(tái)系統(tǒng)管理支撐系統(tǒng) 28產(chǎn)品定位 29云應(yīng)用 29產(chǎn)品架構(gòu) 30產(chǎn)品體系31產(chǎn)品功能32集群存儲(chǔ)系統(tǒng) 33集群存儲(chǔ)系統(tǒng)的特點(diǎn) 33系統(tǒng)功能及特點(diǎn) 36海量數(shù)據(jù)高效管理 36數(shù)據(jù)讀寫(xiě)性能 36數(shù)據(jù)全局共享 37數(shù)據(jù)安全性38系統(tǒng)可擴(kuò)展性 38與現(xiàn)有環(huán)境無(wú)縫兼容 39系統(tǒng)的整體擁有成本 39使用分布式提高投資回報(bào)率 40降低管理及運(yùn)行成本——簡(jiǎn)易存儲(chǔ) 40提高用戶應(yīng)用的生產(chǎn)力 41基于大數(shù)據(jù)的旅游數(shù)據(jù)管理與分析系統(tǒng) 42大數(shù)據(jù)平臺(tái)介紹 43平臺(tái)功能框架 43分布式存儲(chǔ)功能 43分布式計(jì)算功能 44NoSQL功能 44數(shù)據(jù)倉(cāng)庫(kù)功能 4.1.6分式協(xié)調(diào)功能 4.1.7旅工作數(shù)據(jù)流管理功能 4.1.8維管理功能 46旅游中心分析系統(tǒng)架構(gòu) 4.2.1非式數(shù)據(jù)的分類存儲(chǔ) 4.2.2對(duì)格式化數(shù)據(jù)的全文檢索合多線索加權(quán)檢索 4.2.3完的旅游中心分析報(bào)表系統(tǒng) 4.2.3.1國(guó)內(nèi)旅游形勢(shì)分析 48按照全國(guó)地域分析各地方旅游 48按照全國(guó)人文風(fēng)情數(shù)據(jù)技術(shù)分析民俗旅游的趨向； 48用戶可以定制所關(guān)心的數(shù)據(jù)統(tǒng)計(jì)圖 4.2.3.2數(shù)據(jù)分類存儲(chǔ)與自動(dòng)化數(shù)據(jù)引擎 4.2.4旅數(shù)據(jù)存儲(chǔ)管理分析系統(tǒng)架構(gòu) 4.2.4.1數(shù)據(jù)按照旅游分類存儲(chǔ) 50.2.4.2數(shù)據(jù)按照信息分類趨勢(shì)分析 50大數(shù)據(jù)統(tǒng)一平臺(tái) 50.3.1采集 5.3.2數(shù)據(jù)接入 5.3.3規(guī)則過(guò)濾 5.3.4數(shù)據(jù)存儲(chǔ) 5.3.5計(jì)算引擎 5.3.5.1 功能 5.3.5.2組成 5.3.5.3 基本算子集5.3.6 業(yè)務(wù)處理5.3.7業(yè)務(wù)管理 5.3.8用權(quán)限管理 5.3.9 業(yè)務(wù)管理58旅游大數(shù)據(jù)平臺(tái)安全層規(guī)劃設(shè)計(jì) 6.1大數(shù)據(jù)平臺(tái)安全建設(shè)需求 6.2旅游大數(shù)據(jù)平臺(tái)安全建設(shè)思路 6.3旅游大數(shù)據(jù)平臺(tái)安全系統(tǒng)總體設(shè)計(jì) 6.4旅游大數(shù)據(jù)平臺(tái)安全防護(hù)詳細(xì)設(shè)計(jì) 6.4.1平終端接入安全設(shè)計(jì) 6.4.2主機(jī)層安全 6.4.3 服務(wù)器負(fù)載均衡6.4.4虛機(jī)VM之間訪問(wèn)安全 6.5旅游大數(shù)據(jù)平臺(tái)層安全 6.6數(shù)據(jù)層安全 74旅游大數(shù)據(jù)平臺(tái)備份設(shè)計(jì) 75邏輯架構(gòu)75方案實(shí)現(xiàn)設(shè)計(jì) 75旅游大數(shù)據(jù)平臺(tái)項(xiàng)目概述建設(shè)背景隨著大數(shù)據(jù)的應(yīng)用熱潮，在旅游行業(yè)也得到了業(yè)界的高度重視，大數(shù)據(jù)更加貼近消費(fèi)者、深刻理解需求、高效分析信息并作出預(yù)判。如今的數(shù)據(jù)已經(jīng)成為一種重要的戰(zhàn)略資產(chǎn)，極富開(kāi)采價(jià)值。并在未來(lái)的商業(yè)競(jìng)爭(zhēng)中占據(jù)會(huì)占得先機(jī)。1、提高服務(wù)質(zhì)量利用旅游行業(yè)數(shù)據(jù)庫(kù)進(jìn)行分析，建立縱向和橫向的緯度進(jìn)行分析建模，依托行業(yè)數(shù)據(jù)分析推演，可以有效的知道旅游政府部門(mén)和景區(qū)的公共服務(wù)體系建設(shè)，真正提高旅游公共服務(wù)滿意度2、改善經(jīng)營(yíng)管理通過(guò)對(duì)大量數(shù)據(jù)的挖掘和分析，有效指導(dǎo)旅游局和景區(qū)企業(yè)的管理工作。根據(jù)游客的特征和偏好，提供有力的旅游產(chǎn)品和服務(wù)，利用大數(shù)據(jù)進(jìn)行產(chǎn)業(yè)運(yùn)行狀況分析，有效的運(yùn)行監(jiān)測(cè)，對(duì)產(chǎn)業(yè)實(shí)施有效的管理，是推動(dòng)旅游產(chǎn)業(yè)建設(shè)的必要手段3、改變營(yíng)銷(xiāo)策略通過(guò)大數(shù)據(jù)可以了解用戶畫(huà)像數(shù)據(jù)、掌握游客的行為和偏好，真正的實(shí)現(xiàn)"投其所好"，以實(shí)現(xiàn)推廣資源效率和效果最大化。旅游大數(shù)據(jù)帶了的新的挑戰(zhàn)數(shù)據(jù)挖掘搜集復(fù)雜大數(shù)據(jù)收集必須要明確業(yè)務(wù)所需，再對(duì)自已有價(jià)值的數(shù)據(jù)進(jìn)行收集整合，才能合理收集運(yùn)用大數(shù)據(jù)。市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE9第頁(yè)P(yáng)AGE9經(jīng)驗(yàn)與數(shù)據(jù)的結(jié)合有了數(shù)據(jù)還要做判斷，把這種雜亂無(wú)章整理成我們能實(shí)際能應(yīng)用的。通過(guò)我們以往的經(jīng)驗(yàn)，再與數(shù)據(jù)結(jié)合，從而分析確定目標(biāo)客戶。分析與優(yōu)化的結(jié)合分析的目的是優(yōu)化，還要做決策上的改變和調(diào)整。優(yōu)化則是會(huì)玩數(shù)據(jù)，科學(xué)的做好統(tǒng)計(jì)并加以分析，。數(shù)據(jù)開(kāi)放與隱私的權(quán)衡隨著公眾對(duì)于隱私泄露擔(dān)憂的加劇，政府也必將出臺(tái)相應(yīng)的管理法案，對(duì)企業(yè)的數(shù)據(jù)挖據(jù)和分享行為進(jìn)行規(guī)范，這也將是必然的。建設(shè)目標(biāo)依托大數(shù)據(jù)云計(jì)算技術(shù)，為旅游轉(zhuǎn)型升級(jí)提供了絕好的契機(jī)。對(duì)旅游平臺(tái)業(yè)務(wù)數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)采集、數(shù)據(jù)分類、產(chǎn)業(yè)規(guī)范，實(shí)行統(tǒng)一規(guī)劃和建設(shè)。所有資源整合后在邏輯上以單一整體的形式呈現(xiàn)，并可按需進(jìn)行動(dòng)態(tài)擴(kuò)展和配置。按照分階段可升級(jí)的標(biāo)準(zhǔn)要求，為多級(jí)單位提供應(yīng)用支撐基礎(chǔ)平臺(tái)服務(wù)和數(shù)據(jù)存儲(chǔ)、備份、交換等服務(wù)，實(shí)現(xiàn)基礎(chǔ)軟硬件資源的統(tǒng)一管理、按需分配、綜合利用，增強(qiáng)數(shù)據(jù)中心的可管理性，提高應(yīng)用的兼容性和可用性，加速業(yè)務(wù)系統(tǒng)的部署，提升硬件資源的利用率；建設(shè)原則結(jié)合本項(xiàng)目的實(shí)際應(yīng)用和發(fā)展要求，在進(jìn)行旅游大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)過(guò)程中，應(yīng)始終堅(jiān)持以下原則：可擴(kuò)展性原則為了保證不斷增長(zhǎng)的旅游市場(chǎng)需求，系統(tǒng)必須具有靈活的結(jié)構(gòu)并留有合理的擴(kuò)充余地，以便根據(jù)需要進(jìn)行適當(dāng)?shù)淖儎?dòng)和擴(kuò)充；主要平臺(tái)系統(tǒng)應(yīng)采用開(kāi)放的結(jié)構(gòu)，符合旅游標(biāo)準(zhǔn)，適應(yīng)技術(shù)的發(fā)展和變化。我們把主要精力放在滿足現(xiàn)有旅游需求和對(duì)未來(lái)的系統(tǒng)擴(kuò)展的支持性上，展。合理性原則在一定的資金條件下，以適當(dāng)?shù)耐度?，建立性能價(jià)格比高的、先進(jìn)的、完善的旅游系統(tǒng)。所有軟硬件的選型和配置要堅(jiān)持性能價(jià)格比最優(yōu)原則。在滿足系統(tǒng)性能、功能以及考慮到在可預(yù)見(jiàn)的未來(lái)不失去先進(jìn)性的條件下，盡量取得整個(gè)系統(tǒng)的投入合理性，以構(gòu)成一個(gè)性能價(jià)格比優(yōu)化的應(yīng)用系統(tǒng)。系統(tǒng)架構(gòu)的設(shè)計(jì)應(yīng)盡可能地運(yùn)用虛擬化、云計(jì)算等新技術(shù)，以符合未來(lái)的技術(shù)發(fā)展方向。這種設(shè)計(jì)方法可以最大化地利用投資，并在利用率、管理、能源等各方面提高用戶投資的效率，降低總體擁有成本，減少浪費(fèi)的發(fā)生。結(jié)合新技術(shù)的運(yùn)用，也可以讓各應(yīng)用系統(tǒng)更好地融入未來(lái)整體IT建設(shè)規(guī)劃中，避免發(fā)生推到重建的現(xiàn)象，從而減少旅游信息建設(shè)上的投入?？煽啃栽瓌t系統(tǒng)要具有高可靠性及強(qiáng)大的容錯(cuò)能力。該系統(tǒng)必須保證7×24全天候不間斷地工作，核心設(shè)備比如數(shù)據(jù)庫(kù)服務(wù)器和存儲(chǔ)設(shè)備具有全容錯(cuò)結(jié)構(gòu)，并具有熱插拔功能，可帶電修復(fù)有關(guān)故障而不影響整個(gè)系統(tǒng)的工作，設(shè)計(jì)應(yīng)保持一定數(shù)量的冗余以保證整體系統(tǒng)的高可靠性和高可用性。即便是在系統(tǒng)建設(shè)初期也要著重考慮系統(tǒng)可用性、可靠性問(wèn)題，防止出現(xiàn)系統(tǒng)停頓等問(wèn)題造成信息系統(tǒng)的中斷服務(wù)。通過(guò)結(jié)合云計(jì)算等新技術(shù)，可以更好地提高系統(tǒng)的可靠性和可用性?？晒芾硇栽瓌t選擇基于開(kāi)放的技術(shù)，采用標(biāo)準(zhǔn)化、規(guī)范化設(shè)計(jì)；同時(shí)采用先進(jìn)的設(shè)備，易于日后擴(kuò)展，便于向更新技術(shù)的升級(jí)與銜接，實(shí)現(xiàn)系統(tǒng)較長(zhǎng)的生命力；保證后期在系統(tǒng)上進(jìn)行有效的開(kāi)發(fā)和使用，并為今后的發(fā)展提供一個(gè)良好的環(huán)境；在設(shè)計(jì)、組建中心機(jī)房系統(tǒng)時(shí)，采用先進(jìn)的、標(biāo)準(zhǔn)的設(shè)備；在選購(gòu)服務(wù)器、存儲(chǔ)和連接設(shè)市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第PAGE11第PAGE11備時(shí)，確保系統(tǒng)部件間的嚴(yán)密配合和無(wú)縫聯(lián)接，并獲得良好的售后服務(wù)和技術(shù)支持；整個(gè)系統(tǒng)建成后按照整理一套完整的文檔資料，以便提高整個(gè)系統(tǒng)的可管理性與可維護(hù)性。安全性原則嚴(yán)格按照關(guān)于信息安全的規(guī)定和要求，規(guī)劃和部署中心機(jī)房的業(yè)務(wù)系統(tǒng)和備份系統(tǒng)；采用安全服務(wù)器、備份還原系統(tǒng)、來(lái)防止內(nèi)外部的網(wǎng)絡(luò)安全威協(xié)和數(shù)據(jù)丟失竊取威脅等；所有軟硬件采用國(guó)產(chǎn)、自主研發(fā)的產(chǎn)品，從根本上保障系統(tǒng)的安全性。旅游大數(shù)據(jù)平臺(tái)優(yōu)勢(shì)通過(guò)建立旅游大數(shù)據(jù)平臺(tái)，通過(guò)服務(wù)的方式交付對(duì)物理硬件的需求，代替?zhèn)鹘y(tǒng)硬件設(shè)備跟隨著應(yīng)有系統(tǒng)的增加而增加的模式，對(duì)現(xiàn)有應(yīng)用系統(tǒng)進(jìn)行整合，實(shí)現(xiàn)IT服務(wù)的快速交付，節(jié)能響應(yīng)國(guó)家號(hào)召，提升業(yè)務(wù)系統(tǒng)安全。海量數(shù)據(jù)高效管理隨著地理信息處理業(yè)務(wù)的增多，數(shù)據(jù)中心存儲(chǔ)大量的數(shù)據(jù)，這就需要存儲(chǔ)系統(tǒng)能夠容納海量的數(shù)據(jù)。同時(shí)，存儲(chǔ)系統(tǒng)里面的文件數(shù)量也會(huì)快速增長(zhǎng)，當(dāng)文件數(shù)量增長(zhǎng)到數(shù)千萬(wàn)以上時(shí)，文件的檢索查找等操作將會(huì)給文件系統(tǒng)帶來(lái)巨大的壓力，特別是一個(gè)目錄下面存放的文件超過(guò)一定數(shù)量甚至?xí)斐晌募檎倚始眲∠陆?。采用的分布式存?chǔ)系統(tǒng)單卷可支持300PB以上的存儲(chǔ)空間，高效的管理上千億個(gè)文件，單目錄可以高效支持千萬(wàn)級(jí)的文件數(shù)量。分布式存儲(chǔ)系統(tǒng)擁有高效的多元數(shù)據(jù)服務(wù)器集群技術(shù)和高效的海量文件檢索技術(shù)，在存放上千億文件的同時(shí)保持極高的文件檢索效率。統(tǒng)能夠在單個(gè)目錄下高效管理上千萬(wàn)個(gè)文件的存儲(chǔ)系統(tǒng)，在單目錄下存放上千萬(wàn)數(shù)量文件時(shí)，仍然能夠提供每秒數(shù)萬(wàn)的文件檢索效率。合理利用硬件資源，減少運(yùn)行消耗旅游大數(shù)據(jù)平臺(tái)可將服務(wù)器物理資源轉(zhuǎn)換成池化的可動(dòng)態(tài)分配的計(jì)算單元，從旅游大數(shù)據(jù)平臺(tái)具體需求出發(fā)，在資源池中劃分出適合具體業(yè)務(wù)需要的服務(wù)計(jì)算單元，不再受限于物理上的界限，從而提高資源的利用率，簡(jiǎn)化系統(tǒng)管理，讓信息化建設(shè)對(duì)旅游的變化更具適應(yīng)力，從而構(gòu)建出信息系統(tǒng)平臺(tái)的基礎(chǔ)。旅游大數(shù)據(jù)平臺(tái)建成后，可減少物理服務(wù)器數(shù)量至原有數(shù)量的一半以上，機(jī)房空間占用面積大大減少，機(jī)房相應(yīng)配套設(shè)施建設(shè)也可能夠相應(yīng)減少，在實(shí)際工作中預(yù)計(jì)可節(jié)省能源達(dá)到70%以上，響應(yīng)國(guó)家節(jié)能減排的要求。完善應(yīng)急安全機(jī)制旅游大數(shù)據(jù)平臺(tái)可以自動(dòng)監(jiān)控資源池中計(jì)算單元和應(yīng)用單元的可用性，檢測(cè)物理服務(wù)器故障，如果檢測(cè)到故障，可重新在資源池中其他物理服務(wù)器上重新啟動(dòng)相關(guān)業(yè)務(wù)，整個(gè)過(guò)程無(wú)需人工干預(yù)。通過(guò)云安全平臺(tái)，可快速部署網(wǎng)絡(luò)安全應(yīng)用防火墻、IPS、WEB應(yīng)用防火墻等。提供便捷的管理運(yùn)維方式?？梢酝ㄟ^(guò)一個(gè)統(tǒng)一的管理平臺(tái)，來(lái)進(jìn)行對(duì)平臺(tái)中運(yùn)行的各項(xiàng)功能設(shè)立不同權(quán)限的管理賬號(hào)，根據(jù)工作需要設(shè)置不同的管理權(quán)限，并可通過(guò)其管理日志追溯操作過(guò)程。市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE16第頁(yè)P(yáng)AGE16旅游大數(shù)據(jù)平臺(tái)需求分析2.1.1 大數(shù)據(jù)在業(yè)務(wù)需求分析省旅游局和5a景區(qū)的應(yīng)用旅游大數(shù)據(jù)發(fā)展帶動(dòng)了旅游產(chǎn)業(yè)的全面升級(jí)，通過(guò)大數(shù)據(jù)深挖游客的心理研究分析和旅游產(chǎn)品體驗(yàn)，一切以游客的需求為關(guān)注點(diǎn)，通過(guò)數(shù)據(jù)分析反映旅游客源地域、哪些產(chǎn)品是消費(fèi)者關(guān)注的，關(guān)注些什么，從中提取新的深刻見(jiàn)解，為旅游目的地品牌的提升、營(yíng)銷(xiāo)推廣和輿情監(jiān)測(cè)等提供可視化的數(shù)據(jù)服務(wù)旅行社和OTA的應(yīng)用通過(guò)大數(shù)據(jù)的分析，準(zhǔn)確的掌握到旅游客源來(lái)自哪些地區(qū)，可以了解游客喜歡什么樣的產(chǎn)品，從而開(kāi)發(fā)迎合市場(chǎng)需求的產(chǎn)品線路，大數(shù)據(jù)有助于精確旅游行業(yè)市場(chǎng)定位大數(shù)據(jù)應(yīng)用，其真正的核心在于挖掘數(shù)據(jù)中蘊(yùn)藏的情報(bào)價(jià)值，那么，對(duì)于旅游行業(yè)來(lái)說(shuō)，如何來(lái)借助大數(shù)據(jù)為旅游行業(yè)中的創(chuàng)新性應(yīng)用，以下幾個(gè)方面來(lái)概述：旅游品牌市場(chǎng)定位個(gè)性化：一個(gè)成功的品牌離不開(kāi)精準(zhǔn)的市場(chǎng)定位，能夠使品牌快速成長(zhǎng)，而基于市場(chǎng)數(shù)據(jù)分析和調(diào)研是進(jìn)行品牌定位的第一步。在旅游行業(yè)中充分挖局品牌價(jià)值，需要架構(gòu)大數(shù)據(jù)戰(zhàn)略，拓寬旅游行業(yè)調(diào)研數(shù)據(jù)的廣度和深度，從數(shù)據(jù)中了解旅游行業(yè)市場(chǎng)構(gòu)成、細(xì)分市場(chǎng)特征、消費(fèi)者需求和競(jìng)爭(zhēng)者狀況等眾多因素，在科學(xué)系統(tǒng)的信息數(shù)據(jù)收集、管理、分析的基礎(chǔ)上，提出更好的解決問(wèn)題的方案和建議，保證旅游品牌市場(chǎng)定位獨(dú)具個(gè)性化。項(xiàng)目評(píng)估和可行性分析：旅游局和企業(yè)想開(kāi)拓某一區(qū)域旅游行業(yè)市場(chǎng)，首先要進(jìn)行項(xiàng)目評(píng)估和可行性分析，才能最終決定開(kāi)拓這塊市場(chǎng)的必要性。如果適合，那么這個(gè)區(qū)域人口是多少？游客水平怎么樣？客戶的消費(fèi)習(xí)慣是什么？市場(chǎng)對(duì)旅游品牌和旅游產(chǎn)品的認(rèn)知度怎么樣？當(dāng)前的市場(chǎng)情況是怎么樣的？游客的消費(fèi)喜好是什么等等。構(gòu)建滿足市場(chǎng)需求的旅游產(chǎn)品：通過(guò)項(xiàng)目評(píng)估報(bào)告，收集海量信息構(gòu)成了旅游行業(yè)市場(chǎng)調(diào)研的大數(shù)據(jù)，對(duì)這些大數(shù)據(jù)的分析就是市場(chǎng)定位過(guò)程。只有定位準(zhǔn)確才能構(gòu)建出滿足市場(chǎng)需求的旅游產(chǎn)品，使旅游品牌在競(jìng)爭(zhēng)中立于不敗之地。大數(shù)據(jù)成為旅游行業(yè)市場(chǎng)營(yíng)銷(xiāo)的利器信息總量暴漲，隱藏的是旅游行業(yè)的市場(chǎng)需求、競(jìng)爭(zhēng)情報(bào)每天在Facebook、Twitter、微博、微信、論壇、新聞評(píng)論、電商平臺(tái)等等上分享各種文本、照片、視頻、音頻、數(shù)據(jù)等信息高達(dá)的幾百億甚至幾千億條，這些信息涵蓋著、商家信息、個(gè)人信息、行業(yè)資訊、產(chǎn)品使用體驗(yàn)、瀏覽記錄、成交記錄等海量的動(dòng)態(tài)信息。這些數(shù)據(jù)通過(guò)聚類，可以形成行業(yè)大數(shù)據(jù)，其背后隱藏的是行業(yè)的市場(chǎng)需求、競(jìng)爭(zhēng)情報(bào)，閃現(xiàn)著巨大的財(cái)富價(jià)值。從兩個(gè)方面來(lái)闡述旅游行業(yè)市場(chǎng)營(yíng)銷(xiāo)工作中的重中之重。一是數(shù)據(jù)獲取及分析：通過(guò)獲取數(shù)據(jù)統(tǒng)計(jì)和分析，來(lái)充分了解市場(chǎng)信息，掌握競(jìng)爭(zhēng)者的動(dòng)態(tài)，知曉產(chǎn)品在競(jìng)爭(zhēng)群中所處的市場(chǎng)地位，來(lái)達(dá)到“知彼知己，百戰(zhàn)不殆”的目的；二是數(shù)據(jù)積累及挖掘：企業(yè)通過(guò)積累和挖掘旅游行業(yè)消費(fèi)者檔案數(shù)據(jù)，有助于分析游客的消費(fèi)行為和價(jià)值趣向，便于更好地引導(dǎo)潛在目標(biāo)游客，以及讓游客得到更好的旅游體驗(yàn)。以旅游行業(yè)在對(duì)顧客的消費(fèi)行為和趣向分析方面為例，收集和整理游客的消費(fèi)行為方面的信息數(shù)據(jù)，如：游客的以往購(gòu)買(mǎi)旅游產(chǎn)品的花費(fèi)、選擇的產(chǎn)品渠道、旅游產(chǎn)品的類型和偏好、游客對(duì)旅游目的地的品牌印象等。收集到了這些數(shù)據(jù)，建立游客大數(shù)據(jù)庫(kù)，便可通過(guò)統(tǒng)計(jì)和分析來(lái)掌握消費(fèi)者的消費(fèi)行為、興趣偏好和產(chǎn)品的市場(chǎng)口碑現(xiàn)狀，再根據(jù)這些總結(jié)出來(lái)的行為、興趣愛(ài)好和產(chǎn)品口碑現(xiàn)狀，制定有針對(duì)性的營(yíng)銷(xiāo)方案和營(yíng)銷(xiāo)戰(zhàn)略，投消費(fèi)者所好，那么其帶來(lái)的營(yíng)銷(xiāo)效應(yīng)是可想而知的。大數(shù)據(jù)支撐旅游行業(yè)收益管理要達(dá)到收益管理的目標(biāo)，需求預(yù)測(cè)、細(xì)分市場(chǎng)和敏感度分析是此項(xiàng)工作的三個(gè)重要環(huán)節(jié)，而這三個(gè)的環(huán)節(jié)推進(jìn)的基礎(chǔ)就是大數(shù)據(jù)。需求預(yù)測(cè)：是通過(guò)對(duì)建構(gòu)的大數(shù)據(jù)統(tǒng)計(jì)與分析，采取科學(xué)的預(yù)測(cè)推演方法，通過(guò)建立數(shù)學(xué)模型，了解旅游行業(yè)潛在的市場(chǎng)需求，未來(lái)一段時(shí)間每個(gè)細(xì)分市場(chǎng)的產(chǎn)品銷(xiāo)售量和產(chǎn)品價(jià)格走勢(shì)等，在不同的市場(chǎng)波動(dòng)周期以合適的產(chǎn)品和價(jià)格投放市場(chǎng)，獲得潛在的收益。細(xì)分市場(chǎng)：為企業(yè)預(yù)測(cè)銷(xiāo)售量和實(shí)行差別定價(jià)提供了條件，其科學(xué)性體現(xiàn)在通過(guò)旅游行業(yè)市場(chǎng)需求預(yù)測(cè)來(lái)制定和更新價(jià)格，最大化各個(gè)細(xì)分市場(chǎng)的收益。敏感度分析：是通過(guò)需求價(jià)格彈性分析技術(shù)，對(duì)不同細(xì)分市場(chǎng)的價(jià)格進(jìn)行優(yōu)化，最大限度地挖掘市場(chǎng)潛在的收入。大數(shù)據(jù)創(chuàng)新旅游行業(yè)需求開(kāi)發(fā)互聯(lián)網(wǎng)交互性大數(shù)據(jù)蘊(yùn)藏巨大的價(jià)值：隨著論壇、博客、微博、微信、電商平臺(tái)、點(diǎn)評(píng)網(wǎng)等媒介在PC 端和移動(dòng)端的創(chuàng)新和發(fā)展，公眾分享信息變得更加便捷自由，而公眾分享信息的主動(dòng)性促使了“網(wǎng)絡(luò)評(píng)論”這一新型輿論形式的發(fā)展。成千上億的網(wǎng)絡(luò)評(píng)論形成了交互大數(shù)據(jù)，其中蘊(yùn)藏了巨大的旅游行業(yè)需求開(kāi)發(fā)價(jià)值。對(duì)互聯(lián)網(wǎng)評(píng)論數(shù)據(jù)的搜集和分析，能有效提高市場(chǎng)競(jìng)爭(zhēng)力和收益能力，也是大數(shù)據(jù)價(jià)值所在：消費(fèi)者對(duì)旅游服務(wù)及產(chǎn)品簡(jiǎn)單表?yè)P(yáng)與評(píng)批演變得更加的客觀真實(shí)，游客的評(píng)價(jià)內(nèi)容也更趨于專業(yè)化和理性化，發(fā)布的渠道也更加廣泛。作為旅游局和企業(yè)，如果能對(duì)網(wǎng)上旅游行業(yè)的評(píng)論數(shù)據(jù)進(jìn)行收集，建立網(wǎng)評(píng)大數(shù)據(jù)庫(kù)，然后再利用分詞、聚類、情感分析了解消費(fèi)者的消費(fèi)行為、價(jià)值趣向、評(píng)論中體現(xiàn)的新消費(fèi)需求和旅游品質(zhì)中存在問(wèn)題，以此來(lái)改進(jìn)和創(chuàng)新產(chǎn)品，制訂合理的價(jià)格及提高服務(wù)質(zhì)量，都會(huì)有效地提高市場(chǎng)競(jìng)爭(zhēng)力和收益能力。旅游輿情監(jiān)測(cè)服務(wù)：輿情監(jiān)測(cè)：基于全球領(lǐng)先的互聯(lián)網(wǎng)采集監(jiān)控技術(shù)而研發(fā)，具有發(fā)現(xiàn)快，信息全，分析準(zhǔn)的優(yōu)勢(shì)?？勺層脩粞塾^六路耳聽(tīng)八方，在第一時(shí)間發(fā)現(xiàn)負(fù)面輿情，第一時(shí)間全面了解民意民情動(dòng)態(tài)，平臺(tái)及時(shí)反映最新輿情信息自動(dòng)收集呈現(xiàn)口碑監(jiān)測(cè)：論壇、微博、博客、新聞評(píng)論作是目前網(wǎng)民在網(wǎng)絡(luò)上發(fā)表個(gè)人意見(jiàn)，由于網(wǎng)民的數(shù)量龐大，發(fā)表信息沒(méi)有門(mén)檻，相關(guān)信息傳播速度極快，其形成的輿論力量正深刻改變著網(wǎng)民的思想形態(tài)和社會(huì)面貌。2.2總體建設(shè)需求建立一個(gè)統(tǒng)一的超過(guò)300TB大數(shù)據(jù)平臺(tái)；建立統(tǒng)一的旅游大數(shù)據(jù)平臺(tái)系統(tǒng)，可以快速管理、擴(kuò)展、配置期貨公司內(nèi)部的各種業(yè)務(wù)服務(wù)和數(shù)據(jù)存儲(chǔ)服務(wù)，并能夠提供相應(yīng)服務(wù)冗余性；建立基于云平臺(tái)的大數(shù)據(jù)存儲(chǔ)管理與分析系統(tǒng)，可以管理旅游平臺(tái)時(shí)實(shí)數(shù)據(jù)，并能根據(jù)數(shù)據(jù)情況和IP數(shù)據(jù)報(bào)文情況進(jìn)行綜合分析；建立基于云平臺(tái)的大數(shù)據(jù)旅游管理與分析系統(tǒng)，可以方便的把市的旅游信息數(shù)據(jù)分析匯總，進(jìn)行問(wèn)題篩選評(píng)估，制定規(guī)范的旅游制度；通過(guò)建立統(tǒng)一的旅游大數(shù)據(jù)平臺(tái)運(yùn)維管理系統(tǒng)，可以快速提高技術(shù)人員對(duì)所有IT資源的管理應(yīng)用能力，保障公司實(shí)際的設(shè)備資源、網(wǎng)絡(luò)資源能夠得到充分的使用，同時(shí)也能夠提高公司能效節(jié)約的能力。旅游大數(shù)據(jù)平臺(tái)總體規(guī)劃設(shè)計(jì)整體建設(shè)思想旅游大數(shù)據(jù)平臺(tái)將利用云計(jì)算相關(guān)技術(shù)，結(jié)合綠色數(shù)據(jù)中心建設(shè)的目標(biāo)和需求，以戰(zhàn)略支持型信息化建設(shè)為導(dǎo)向，以支持保障信息化業(yè)務(wù)發(fā)展為建設(shè)思路，構(gòu)造一個(gè)功能齊全、設(shè)備先進(jìn)、運(yùn)行高效、使用靈活、維護(hù)方便、易于擴(kuò)展、投資省、高安全可靠的全局性基于旅游大數(shù)據(jù)資源中心。整體系統(tǒng)結(jié)構(gòu)本次旅游大數(shù)據(jù)平臺(tái)解決方案將針對(duì)計(jì)算服務(wù)整體架構(gòu)中的云計(jì)算服務(wù)區(qū)，通過(guò)對(duì)底層服務(wù)器硬件及存儲(chǔ)資源實(shí)現(xiàn)虛擬化聚合部署，配合以云計(jì)算管理平臺(tái)，實(shí)現(xiàn)云計(jì)算中基礎(chǔ)架構(gòu)即服務(wù)（IaaS）部分，同時(shí)該IaaS平臺(tái)也為旅游信息發(fā)布平臺(tái)、大數(shù)據(jù)分析平臺(tái)、web發(fā)布平臺(tái)等（Paas）層提供更高層次的云計(jì)算服務(wù)，通過(guò)Paas層平臺(tái)提供數(shù)據(jù)匯集管理、數(shù)據(jù)處理、數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用功能（Saas層），戶提供服務(wù)，總體邏輯架構(gòu)如下：市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE第頁(yè)P(yáng)AGE18旅游管理部門(mén)旅游景點(diǎn)旅行社其他用戶旅游管理部門(mén)旅游景點(diǎn)旅行社其他用戶統(tǒng)一管理統(tǒng)一門(mén)戶系統(tǒng)門(mén)戶統(tǒng)一管理門(mén)戶應(yīng)用功能區(qū)數(shù)據(jù)匯集管理數(shù)據(jù)處理數(shù)據(jù)服務(wù)數(shù)據(jù)應(yīng)用業(yè)務(wù)運(yùn)營(yíng)資源發(fā)放日志管理運(yùn)維管理監(jiān)控管理資源池存儲(chǔ)資源池（含容災(zāi)備份）虛擬機(jī)資源池虛擬機(jī)管理集群存儲(chǔ)管理旅游大數(shù)據(jù)平臺(tái)基礎(chǔ)架構(gòu)：提供了一個(gè)功能完整的、標(biāo)準(zhǔn)開(kāi)放的方便集成的IaaS服務(wù)層。這層提供的動(dòng)態(tài)基礎(chǔ)架構(gòu)是整個(gè)旅游大數(shù)據(jù)平臺(tái)的核心支撐層，其最核心的部分包括采用了國(guó)產(chǎn)服務(wù)器、國(guó)產(chǎn)存儲(chǔ)存儲(chǔ)系統(tǒng)和虛擬化軟件構(gòu)建的云計(jì)算服務(wù)基礎(chǔ)架構(gòu)。該基礎(chǔ)架構(gòu)具備良好的性能、可用性和可靠性。通過(guò)部署虛擬化軟件、服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備，內(nèi)部搭建虛擬化環(huán)境，通過(guò)虛擬化技術(shù)構(gòu)建新一代的數(shù)據(jù)中心，形成統(tǒng)一的云計(jì)算旅游信息系統(tǒng)平臺(tái)。在數(shù)據(jù)中心，這些資源根據(jù)需要進(jìn)行動(dòng)態(tài)擴(kuò)展和配置，各單位最終信息系統(tǒng)業(yè)務(wù)按需使用資源。通過(guò)虛擬化技術(shù)，增強(qiáng)數(shù)據(jù)中心的可管理性，提高應(yīng)用的兼容性和可用性，加速應(yīng)用的部署，提升硬件資源的利用率，降低能源消耗。旅游大數(shù)據(jù)平臺(tái)層：通過(guò)大數(shù)據(jù)分析平臺(tái)、辦公OA系統(tǒng)、財(cái)務(wù)管理系統(tǒng)、svn管理系統(tǒng)、web等功能。旅游大數(shù)據(jù)平臺(tái)服務(wù)門(mén)戶：為用戶提供統(tǒng)一的服務(wù)門(mén)戶，用以支撐整個(gè)旅游大數(shù)據(jù)平臺(tái)的日常運(yùn)營(yíng)。包括用戶登錄、服務(wù)加載、下載、審批、疊加顯示、拼接請(qǐng)市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE22第頁(yè)P(yáng)AGE22求等功能。旅游大數(shù)據(jù)平臺(tái)服務(wù)數(shù)據(jù)安全保護(hù)：通過(guò)部署云安全平臺(tái)，可以幫助用戶建立起一個(gè)既能充分利用云計(jì)算優(yōu)勢(shì)，同時(shí)又不犧牲安全性、控制力和遵從性的環(huán)境，其為虛擬數(shù)據(jù)中心和云計(jì)算環(huán)境提供了支持虛擬化的保護(hù)，使用戶可以加強(qiáng)應(yīng)用程序和數(shù)據(jù)安全，提高可見(jiàn)性和控制力，以及加快整個(gè)旅游大數(shù)據(jù)平臺(tái)的遵從性舉措。旅游大數(shù)據(jù)平臺(tái)服務(wù)運(yùn)維管理體系：為整個(gè)旅游大數(shù)據(jù)平臺(tái)搭建一套長(zhǎng)期運(yùn)維管理的體系，為旅游大數(shù)據(jù)平臺(tái)的長(zhǎng)期有效運(yùn)行提供保障。云計(jì)算運(yùn)維管理體系包括組織管理模式、制度規(guī)范體系、技術(shù)支撐體系等多個(gè)層面的內(nèi)容，采用云計(jì)算技術(shù)手段和云計(jì)算管理制度結(jié)合的方式保障整個(gè)政務(wù)云平臺(tái)的平穩(wěn)運(yùn)行。圖3-3 數(shù)據(jù)中心組件邏輯架構(gòu)3.3計(jì)算資源和存儲(chǔ)資源配置估算3.3計(jì)算資源和存儲(chǔ)資源是云中心的兩大類核心資源。對(duì)計(jì)算資源和存儲(chǔ)資源的合理估算和配置，是建設(shè)先進(jìn)、高效云平臺(tái)的必要條件。以下給出我們根據(jù)旅游大數(shù)據(jù)平臺(tái)現(xiàn)有業(yè)務(wù)應(yīng)用和數(shù)據(jù)資源所作出的云中心計(jì)算資源、存儲(chǔ)資源、基礎(chǔ)網(wǎng)絡(luò)和安全設(shè)施的初步估算。經(jīng)詳細(xì)調(diào)研計(jì)算資源需要cpu計(jì)算單元320核內(nèi)存5120G存儲(chǔ)空間300TB。擬新增10臺(tái)高性能服務(wù)器，供云計(jì)算、云存儲(chǔ)使用，新增2臺(tái)高性能服務(wù)器器供云安全平臺(tái)使用。旅游大數(shù)據(jù)平臺(tái)資源層規(guī)劃設(shè)計(jì)旅游大數(shù)據(jù)平臺(tái)基礎(chǔ)架構(gòu)體系設(shè)計(jì)原則方案設(shè)計(jì)遵循以下幾個(gè)原則：先進(jìn)性、標(biāo)準(zhǔn)性、實(shí)用性、可擴(kuò)展性、兼容性、易用性、安全性、可靠性和前瞻性：據(jù)存儲(chǔ)等技術(shù)。符合最新的技術(shù)發(fā)展潮流，且各系統(tǒng)設(shè)計(jì)切實(shí)可行、并容易實(shí)現(xiàn)。具體包括：遵循標(biāo)準(zhǔn)的整體協(xié)議框架、提供標(biāo)準(zhǔn)接口、使用標(biāo)準(zhǔn)的數(shù)據(jù)傳輸協(xié)議等。的實(shí)際需要。方便地實(shí)現(xiàn)系統(tǒng)的平滑擴(kuò)展和升級(jí)。便，操作簡(jiǎn)單，管理方便。應(yīng)用以及管理上全面的保障系統(tǒng)的安全。可靠性系統(tǒng)設(shè)計(jì)注重可靠性，能夠長(zhǎng)期穩(wěn)定工作，保證7*24小時(shí)不間斷地穩(wěn)定可靠運(yùn)行，適應(yīng)工作環(huán)境能力強(qiáng)，故障率低，維護(hù)維修方便。前瞻性系統(tǒng)設(shè)計(jì)具有前瞻性，整個(gè)系統(tǒng)的硬件配置，應(yīng)符合長(zhǎng)遠(yuǎn)的規(guī)劃和設(shè)計(jì)，保證3年內(nèi)系統(tǒng)的需要。通過(guò)需求分析我們可以得知，本次項(xiàng)目建設(shè)項(xiàng)目的設(shè)計(jì)目標(biāo)是構(gòu)造一個(gè)功能齊全、設(shè)備先進(jìn)、運(yùn)行高效、使用靈活、維護(hù)方便、易于擴(kuò)展、投資省、高安全可靠的信息系統(tǒng)。云計(jì)算技術(shù)的出現(xiàn)卻給我們一最佳的選擇，隨著數(shù)據(jù)信息的增長(zhǎng)，技術(shù)也需要隨之變化。這些變化常常實(shí)施在運(yùn)行關(guān)鍵業(yè)務(wù)應(yīng)用的復(fù)雜系統(tǒng)內(nèi)。通常會(huì)對(duì)共享硬件和軟件資源有越來(lái)越多的需求，虛擬環(huán)境下有效的管理和控制了這種需求。虛擬化是通過(guò)對(duì)IT硬件資源整合、優(yōu)化、共享的成熟高新技術(shù)，是實(shí)現(xiàn)云計(jì)算最基礎(chǔ)的支撐技術(shù)。它可以有效增加組織的靈活性和效率，同時(shí)又可以降低其成本。虛擬化技術(shù)以其系統(tǒng)的先進(jìn)性、高可用性、系統(tǒng)的靈活擴(kuò)展能力、開(kāi)放性以及高可管理性等可完全滿足當(dāng)前和未來(lái)幾年內(nèi)云數(shù)據(jù)平臺(tái)信息系統(tǒng)的發(fā)展需求。4.1.2 系統(tǒng)總體架構(gòu)通過(guò)部署虛擬化軟件、服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備，內(nèi)部搭建虛擬化環(huán)境，通過(guò)虛擬化技術(shù)構(gòu)建新一代的數(shù)據(jù)中心，形成統(tǒng)一的旅游大數(shù)據(jù)信息系統(tǒng)平臺(tái)。在數(shù)據(jù)中心，所有資源整合后在邏輯上以單一整體的形式呈現(xiàn)，這些資源根據(jù)需要進(jìn)行動(dòng)態(tài)擴(kuò)展和配置，各單位最終信息系統(tǒng)業(yè)務(wù)按需使用資源。通過(guò)虛擬化技術(shù)，增強(qiáng)數(shù)據(jù)中心的可管理性，提高應(yīng)用的兼容性和可用性，加速應(yīng)用的部署，提升硬件資源的利用率，降低能源消耗。虛擬化是云計(jì)算的基礎(chǔ)，在數(shù)據(jù)中心，通過(guò)虛擬化技術(shù)將物理服務(wù)器進(jìn)行虛擬化，具體為CPU虛擬化、內(nèi)存虛擬化、設(shè)備I/O虛擬化等，實(shí)現(xiàn)在單一物理服務(wù)器上運(yùn)行多個(gè)虛擬服務(wù)器（虛擬機(jī)），把應(yīng)用程序?qū)Φ讓拥南到y(tǒng)和硬件的依賴抽象出來(lái)，從而解除應(yīng)用與市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE24第頁(yè)P(yáng)AGE24操作系統(tǒng)和硬件的耦合關(guān)系，使得物理設(shè)備的差異性與兼容性與上層應(yīng)用透明，不同的虛擬機(jī)之間相互隔離、互不影響，可以運(yùn)行不同的操作系統(tǒng)，并提供不同的應(yīng)用服務(wù)。什么是服務(wù)器虛擬化服務(wù)器虛擬化將硬件、操作系統(tǒng)和應(yīng)用程序一同裝入一個(gè)可遷移的虛擬機(jī)檔案文件中如圖所示：圖3-4服務(wù)器虛擬化在單臺(tái)服務(wù)器虛擬化基礎(chǔ)上，通過(guò)虛擬化管理中心(vCenter)將多臺(tái)服務(wù)器、存儲(chǔ)硬件基礎(chǔ)資源進(jìn)行整合，構(gòu)建硬件(CPU、內(nèi)存、I/O)資源池，實(shí)現(xiàn)數(shù)據(jù)中心整體硬件資源的按需分配。虛擬化結(jié)構(gòu)如圖所示：圖3-5服務(wù)器虛擬化結(jié)構(gòu)將服務(wù)器物理資源抽象成邏輯資源，讓一臺(tái)服務(wù)器變成幾臺(tái)甚至上百臺(tái)相互隔離的虛擬服務(wù)器，或者讓幾臺(tái)服務(wù)器變成一臺(tái)服務(wù)器來(lái)用，我們不再受限于物理上的界限，而是讓CPU、內(nèi)存、磁盤(pán)、I/O簡(jiǎn)化系統(tǒng)管理，實(shí)現(xiàn)服務(wù)器整合，讓IT對(duì)業(yè)務(wù)的變化更具適應(yīng)力，從而構(gòu)建出數(shù)據(jù)中心系統(tǒng)平臺(tái)的基礎(chǔ)。市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE26第頁(yè)P(yáng)AGE264.1.3虛擬化拓?fù)涞慕Y(jié)構(gòu)圖3-6 虛擬化拓?fù)浣Y(jié)針對(duì)上面的拓?fù)鋱D，詳細(xì)說(shuō)明如下：整體架構(gòu)可以分為三層，最底層為存儲(chǔ)網(wǎng)絡(luò)層，中間層為虛擬化系統(tǒng)，最上層為虛擬服務(wù)器層；其中，下面的兩層為資源提供方，最上層為資源用戶；而中間層的虛擬化系統(tǒng)又起到了資源分配調(diào)度的作用。部署虛擬化系統(tǒng)之后的整體架構(gòu)和傳統(tǒng)架構(gòu)下是沒(méi)很大區(qū)別的，利用共享存儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)集中和共享，結(jié)合管理中心實(shí)現(xiàn)應(yīng)用系統(tǒng)的統(tǒng)一管理；虛擬化集群的形成，直接為應(yīng)用系統(tǒng)提供了高可用和負(fù)載均衡的功能。旅游大數(shù)據(jù)平臺(tái)虛擬化組件遷移使運(yùn)行中的虛擬機(jī)從一臺(tái)物理服務(wù)器實(shí)時(shí)遷移到另一臺(tái)物理服務(wù)器，同時(shí)保持業(yè)務(wù)的連續(xù)運(yùn)行。實(shí)現(xiàn)了零停機(jī)時(shí)間和連續(xù)可用的服務(wù)，并能全面保證事務(wù)的完整性。是用于創(chuàng)建動(dòng)態(tài)、自動(dòng)化、自我優(yōu)化的數(shù)據(jù)中心的關(guān)鍵促成技術(shù)。圖3-7擬機(jī)遷移高可靠性（HA）自動(dòng)監(jiān)控物理服務(wù)器的可用性。可檢測(cè)物理服務(wù)器故障，如果檢測(cè)到故障，可重新在資源池中其他物理服務(wù)器上啟動(dòng)虛擬機(jī)，整個(gè)過(guò)程無(wú)需人工干預(yù)。該功能組件比傳統(tǒng)的雙機(jī)冷備更具有自動(dòng)啟動(dòng)的優(yōu)勢(shì)。圖3-8高可靠性（HA）市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE第頁(yè)P(yáng)AGE36容錯(cuò)功能相當(dāng)于雙機(jī)熱備，但是比傳統(tǒng)的雙機(jī)熱備更具有優(yōu)勢(shì)，它可以時(shí)刻在兩個(gè)不同的物理服務(wù)器上保持兩個(gè)相同的鏡像，其中一臺(tái)出現(xiàn)故障時(shí)，不影響業(yè)務(wù)的運(yùn)行，同時(shí)自動(dòng)在另一臺(tái)物理服務(wù)器上建立以特相同的鏡像，物理服務(wù)器不受硬件型號(hào)配置的限制。

圖3-9容錯(cuò)跨資源池不間斷地監(jiān)控利用率，并在多臺(tái)虛擬機(jī)之間智能地分配可用資源，使資源優(yōu)先用于最重要的應(yīng)用程序，以便讓資源與業(yè)務(wù)目標(biāo)相協(xié)調(diào)。自動(dòng)、不間斷地優(yōu)化硬件利用率，以響應(yīng)不斷變化的情況。為業(yè)務(wù)部門(mén)提供專用的虛擬基礎(chǔ)結(jié)構(gòu)，同時(shí)讓IT部門(mén)能夠集中、全面地控制硬件。圖4-1動(dòng)態(tài)資源分配（DRS）4.2.5 分布式電源管理可用管理系統(tǒng)中,為了在虛擬化環(huán)境中能達(dá)到節(jié)能減排放的作用,設(shè)置了DPM的功能。這是一個(gè)高級(jí)電源管理功能它可以提供當(dāng)虛擬化環(huán)境中不需要那么大的運(yùn)算資源的的時(shí)候同過(guò)統(tǒng)一管理平臺(tái)功能管理模塊相結(jié)合?？梢允菍?shí)現(xiàn)當(dāng)我們的業(yè)務(wù)系統(tǒng)在不需要云平臺(tái)提供那么大的計(jì)算能力的時(shí)候,為了節(jié)能減排放.通過(guò)自動(dòng)調(diào)度將某些服務(wù)器上的虛擬機(jī)通過(guò)在線遷移的方式自動(dòng)遷移到平臺(tái)中的其它物理服務(wù)器中運(yùn)行,將空閑服務(wù)器進(jìn)行下電。當(dāng)業(yè)務(wù)重新增長(zhǎng)后,需要平臺(tái)提供大規(guī)模計(jì)算的時(shí)候,會(huì)重新啟動(dòng)該服務(wù)器加入到平臺(tái)中,為虛擬服務(wù)器提供運(yùn)算支持。圖4-2 分布式電源管理分布式集群存儲(chǔ)平臺(tái)方案拓?fù)鋱D

圖4-3分布式集群存儲(chǔ)架構(gòu)圖分布式存儲(chǔ)系統(tǒng)主要由云平臺(tái)下的應(yīng)用服務(wù)器集群、智能存儲(chǔ)服務(wù)器集群、元數(shù)據(jù)服務(wù)器集群三大部分組成，配置存儲(chǔ)服務(wù)器10臺(tái)，元數(shù)據(jù)服務(wù)器2臺(tái)。等。應(yīng)用服務(wù)器上需要安裝分布式的應(yīng)用服務(wù)器模塊高效的訪問(wèn)存儲(chǔ)。智能存儲(chǔ)服務(wù)器集群：由萬(wàn)兆存儲(chǔ)服務(wù)器組成。存儲(chǔ)用戶的實(shí)際數(shù)據(jù)，是整個(gè)分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)資源提供者。當(dāng)應(yīng)用服務(wù)器進(jìn)行數(shù)據(jù)訪問(wèn)時(shí)，存儲(chǔ)服務(wù)器集群提供實(shí)際的數(shù)據(jù)IO服務(wù)。數(shù)據(jù)IO壓力能夠非常均衡的分布在存儲(chǔ)服務(wù)器集群之間。元數(shù)據(jù)服務(wù)器集群：由萬(wàn)兆元數(shù)據(jù)存儲(chǔ)服務(wù)器組成。管理文件系統(tǒng)的元數(shù)據(jù)（包括文件目錄樹(shù)組織、屬性維護(hù)、文件操作日志記錄、授權(quán)訪問(wèn)等），管理整個(gè)存儲(chǔ)系統(tǒng)的命名空間，對(duì)外提供單一的系統(tǒng)映像，并負(fù)責(zé)整個(gè)存儲(chǔ)集群的管理監(jiān)控。元數(shù)據(jù)服務(wù)器協(xié)調(diào)指揮應(yīng)用服務(wù)器和存儲(chǔ)服務(wù)器之間的活動(dòng)，并且元數(shù)據(jù)服務(wù)器集群能夠均衡的負(fù)擔(dān)整個(gè)分布式集群存儲(chǔ)系統(tǒng)的相關(guān)元數(shù)據(jù)訪問(wèn)負(fù)載。市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE38第頁(yè)P(yáng)AGE38本期項(xiàng)目配置10臺(tái)存儲(chǔ)服務(wù)器2提供高性能共享存儲(chǔ)系統(tǒng)；計(jì)算節(jié)點(diǎn)均通過(guò)以太網(wǎng)交換機(jī)與存儲(chǔ)系統(tǒng)能共享存儲(chǔ)系統(tǒng)連接。工作機(jī)通過(guò)以太網(wǎng)與存儲(chǔ)系統(tǒng)相連。計(jì)算節(jié)點(diǎn)均安裝集群系統(tǒng)客戶端，可根據(jù)權(quán)限以本地盤(pán)符的方式訪問(wèn)文件級(jí)統(tǒng)一命名空間，對(duì)存儲(chǔ)系統(tǒng)進(jìn)行并發(fā)訪問(wèn)，而且所有計(jì)算節(jié)點(diǎn)均通過(guò)光纖直接共享存儲(chǔ)系統(tǒng)中數(shù)據(jù)，充分發(fā)揮光纖高帶寬，低延遲的特點(diǎn)，提高了效率。系統(tǒng)具有良好的可靠性和冗余措施，元數(shù)據(jù)服務(wù)器成對(duì)配置，當(dāng)其中1臺(tái)發(fā)生故障后，另1臺(tái)會(huì)自動(dòng)接替系統(tǒng)服務(wù)，最大程度保證業(yè)務(wù)時(shí)效性。隨著規(guī)模、容量的不斷增加可以通過(guò)在線添加擴(kuò)展柜的方式，擴(kuò)展系統(tǒng)的容量、 IO寬和負(fù)載能力。4.3.3 系統(tǒng)軟件旅游大數(shù)據(jù)平臺(tái)系統(tǒng)管理支撐系統(tǒng)旅游大數(shù)據(jù)平臺(tái)系統(tǒng)支撐系統(tǒng)是數(shù)據(jù)中心的核心系統(tǒng)，在此系統(tǒng)上可以快速配置和部署各種營(yíng)運(yùn)支持系統(tǒng)（OA辦公系統(tǒng)、財(cái)務(wù)系統(tǒng)、CRM客戶關(guān)系系統(tǒng)、交易支撐系統(tǒng)、大數(shù)據(jù)交易數(shù)據(jù)管理系統(tǒng)與分析系統(tǒng)、大數(shù)據(jù)情報(bào)數(shù)據(jù)管理系統(tǒng)與分析系統(tǒng)）等；云系統(tǒng)面向旅游大數(shù)據(jù)平臺(tái)，如大型企業(yè)私有數(shù)據(jù)中心、公有云平臺(tái)、行業(yè)云服務(wù)平臺(tái)等，提供從底層資源，到上層應(yīng)用和數(shù)據(jù)管理的一體化管理平臺(tái)，支持云基礎(chǔ)架構(gòu)以及各類物理資源、虛擬資源的管理，為網(wǎng)絡(luò)應(yīng)用提供安全、可靠的運(yùn)行支撐環(huán)境，并面向大數(shù)據(jù)應(yīng)用提供多源異構(gòu)大數(shù)據(jù)的存儲(chǔ)與處理。產(chǎn)品定位管資源：快速地構(gòu)建起跨地域的云平臺(tái)基礎(chǔ)架構(gòu)，對(duì)其中的物理資源和虛擬資源進(jìn)行靈活的管理，對(duì)用戶的IT需求實(shí)現(xiàn)快速的交付，并且支持資源彈性動(dòng)態(tài)擴(kuò)展。管應(yīng)用：支撐業(yè)務(wù)應(yīng)用的開(kāi)發(fā)、測(cè)試、部署和維護(hù)等整個(gè)生命周期過(guò)程，并全方位監(jiān)控應(yīng)用的運(yùn)行情況，及時(shí)對(duì)應(yīng)用資源進(jìn)行彈性伸縮，確保最大的應(yīng)用穩(wěn)定性和可靠性。管數(shù)據(jù)：對(duì)結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)提供統(tǒng)一存儲(chǔ)，并且為應(yīng)用提供相應(yīng)的接口，并可以進(jìn)行大數(shù)據(jù)分析和可視化展現(xiàn)。支撐大數(shù)據(jù)應(yīng)用開(kāi)發(fā)。用軟件：支持軟件服務(wù)化接入，實(shí)現(xiàn)軟件服務(wù)的上線、訂購(gòu)、開(kāi)通、使用、下線等全生命周期管理。云應(yīng)用希望以云計(jì)算的模式對(duì)本單位的信息化平臺(tái)進(jìn)行管理和運(yùn)營(yíng)的金融、期貨等行業(yè)望對(duì)數(shù)據(jù)中心進(jìn)行云化并提供彈性云主機(jī)服務(wù)的服務(wù)商需要快速完成開(kāi)發(fā)、測(cè)試和部署運(yùn)行，簡(jiǎn)化應(yīng)用開(kāi)發(fā)和發(fā)布流程的軟件企業(yè)致力于行業(yè)軟件開(kāi)發(fā)，并希望搭建行業(yè) SaaS云服務(wù)平臺(tái)的軟件服務(wù)提供商需要采集、存儲(chǔ)、處理來(lái)自物聯(lián)網(wǎng)、互聯(lián)網(wǎng)的大數(shù)據(jù)并進(jìn)行分析的企事業(yè)單位市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE第頁(yè)P(yáng)AGE40產(chǎn)品架構(gòu)物理資源層。物理資源層包括支撐云系統(tǒng)自身運(yùn)行和提供服務(wù)所需的物理基礎(chǔ)設(shè)施，云系統(tǒng)可對(duì)分布在旅游大數(shù)據(jù)平臺(tái)的各類物理資源進(jìn)行統(tǒng)一集中管理與運(yùn)維，提供數(shù)據(jù)中心、物理資源兩級(jí)資源管理，支持多數(shù)據(jù)中心管理?；A(chǔ)架構(gòu)層?；A(chǔ)架構(gòu)層是云系統(tǒng)的核心技術(shù)支撐層，由一個(gè)虛擬化管理平臺(tái)、三大管理組件和四大核心引擎組成。該層的核心支撐是虛擬化管理平臺(tái)，基于虛擬化管理平臺(tái)，將支撐資源、數(shù)據(jù)和應(yīng)用管理的核心技術(shù)封裝為資源管理、大數(shù)據(jù)管理和運(yùn)行平臺(tái)管理三大管理組件，并將云管理平臺(tái)的共性支撐技術(shù)封裝為調(diào)度、服務(wù)、數(shù)據(jù)、監(jiān)控四大引擎服務(wù)，為上層服務(wù)和應(yīng)用提供基礎(chǔ)支撐。服務(wù)層。服務(wù)層是云系統(tǒng)提供服務(wù)的核心支撐層，除資源、數(shù)據(jù)、應(yīng)用三大核心服務(wù)組件外，服務(wù)層還兼容第三方服務(wù)。服務(wù)層還為支撐服務(wù)開(kāi)發(fā)與管理提供了服務(wù)目錄、服務(wù)封裝、服務(wù)集成和服務(wù)質(zhì)量組件，通過(guò)通用接口規(guī)范對(duì)外提供服務(wù)。應(yīng)用層。應(yīng)用層主要為應(yīng)用開(kāi)發(fā)與自動(dòng)化部署提供技術(shù)支撐，包括開(kāi)發(fā)、測(cè)試、生產(chǎn)環(huán)境的流程化定制與自動(dòng)化部署，對(duì)應(yīng)用運(yùn)行環(huán)境的監(jiān)控，對(duì)應(yīng)用所需資源的彈性伸縮調(diào)度。通過(guò)應(yīng)用層的技術(shù)支撐，用戶可基于云系統(tǒng)平臺(tái)快速開(kāi)發(fā)并部署應(yīng)用，同時(shí)可直接發(fā)布到云系統(tǒng)云平臺(tái)提供云應(yīng)用。門(mén)戶層。門(mén)戶層包括兩部分：用戶自服務(wù)門(mén)戶和運(yùn)營(yíng)管理門(mén)戶，用戶自服務(wù)門(mén)戶集成了用戶所需的虛擬數(shù)據(jù)中心管理運(yùn)維以及應(yīng)用部署等功能；運(yùn)營(yíng)管理門(mén)戶則集成了云平臺(tái)運(yùn)營(yíng)所需的資源管理、服務(wù)管理以及計(jì)量計(jì)費(fèi)等功能。平臺(tái)管理體系。平臺(tái)管理體系包括三部分：運(yùn)維管理體系、安全體系和標(biāo)準(zhǔn)規(guī)范體系。運(yùn)維管理體系針對(duì)云系統(tǒng)的資源管理架構(gòu)規(guī)范了各種監(jiān)控、報(bào)警、日志等日常運(yùn)維管理機(jī)制；安全體系針對(duì)云系統(tǒng)提供的資源、數(shù)據(jù)和應(yīng)用服務(wù)提供了一系列安全管理機(jī)制；標(biāo)準(zhǔn)規(guī)范體系則對(duì)云系統(tǒng)的資源管理、數(shù)據(jù)管理、服務(wù)管理提供了一系列開(kāi)發(fā)與管理的技術(shù)規(guī)范和操作規(guī)程。市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE44第頁(yè)P(yáng)AGE44產(chǎn)品體系云系統(tǒng)是一套由多個(gè)軟件構(gòu)成的軟件套裝，有多個(gè)軟件或者模塊組成。云系統(tǒng)采用分布式部署方式，各個(gè)軟件或模塊之間采用松耦合的架構(gòu)進(jìn)行交互，易于擴(kuò)展，易于根據(jù)用戶需求進(jìn)行定制和實(shí)施。產(chǎn)品架構(gòu)圖如下圖所示。核心架構(gòu)平臺(tái)。采用業(yè)內(nèi)先進(jìn)的云計(jì)算技術(shù)構(gòu)建的自主可控的虛擬化、資源調(diào)度以及服務(wù)管理平臺(tái)，支持KVM、Xen、VMware等主流虛擬化技術(shù)。運(yùn)維管理系統(tǒng)。平臺(tái)運(yùn)維管理員使用該系統(tǒng)，對(duì)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等各類云資源以及整個(gè)平臺(tái)的基礎(chǔ)架構(gòu)進(jìn)行管理，支持資源的全方位監(jiān)控和應(yīng)用集群的彈性伸縮。運(yùn)營(yíng)管理系統(tǒng)。平臺(tái)運(yùn)營(yíng)管理員使用該系統(tǒng)，對(duì)平臺(tái)服務(wù)進(jìn)行發(fā)布、計(jì)費(fèi)、受理等運(yùn)營(yíng)管理，對(duì)所有平臺(tái)租戶及其訂單進(jìn)行管理。服務(wù)管理系統(tǒng)?；谄脚_(tái)基礎(chǔ)服務(wù)，形成整個(gè)平臺(tái)的服務(wù)目錄，并可按照一定的策略對(duì)服務(wù)進(jìn)行組裝和編排。另外對(duì)服務(wù)的使用情況進(jìn)行計(jì)量；提供開(kāi)放接口，支持服務(wù)集成。自服務(wù)系統(tǒng)。云平臺(tái)租戶使用該系統(tǒng)，申請(qǐng)?jiān)浦鳈C(jī)、云硬盤(pán)等各類虛擬資源，部署、運(yùn)行并監(jiān)控業(yè)務(wù)系統(tǒng)。云安全保障。身份認(rèn)證、訪問(wèn)控制、容災(zāi)等，另外還包括從物理層、虛擬層到服務(wù)層、應(yīng)用層的安全保障體系。產(chǎn)品功能融合管理的云基礎(chǔ)架構(gòu)將多地傳統(tǒng)數(shù)據(jù)中心快速整合并虛擬化，兼容各種異構(gòu)的x86服務(wù)器、各種品牌的存儲(chǔ)設(shè)備及網(wǎng)絡(luò)設(shè)備。按需交付、彈性擴(kuò)展的IaaS服務(wù)云主機(jī)：Windows、Linux全系列虛擬機(jī)，并可根據(jù)用戶需求進(jìn)行定制。云硬盤(pán)：各種規(guī)格的云硬盤(pán)的快速掛載和使用。私有網(wǎng)絡(luò)：構(gòu)建獨(dú)立的虛擬路由器、虛擬交換機(jī)和子網(wǎng)，良好的網(wǎng)絡(luò)隔離。負(fù)載均衡：構(gòu)建負(fù)載均衡集群，某節(jié)點(diǎn)宕機(jī)不影響業(yè)務(wù)系統(tǒng)運(yùn)行。云集群：彈性應(yīng)用集群，自定義彈性策略，根據(jù)集群負(fù)載自動(dòng)伸縮。數(shù)據(jù)備份：支持主機(jī)備份、硬盤(pán)備份、異地災(zāi)備等多種備份方式。無(wú)需配置、一鍵即用的PaaS服務(wù)云數(shù)據(jù)庫(kù)：快速創(chuàng)建MySQL、SQLServer、MangoDB數(shù)據(jù)庫(kù)URL并訪問(wèn)使用，無(wú)需安裝配置。運(yùn)行時(shí)：快速創(chuàng)建Tomcat、IIS、Apache等主流運(yùn)行時(shí)服務(wù)?；ヂ?lián)互通、數(shù)據(jù)的大數(shù)據(jù)服務(wù)大數(shù)據(jù)存儲(chǔ)：對(duì)象存儲(chǔ)，企業(yè)級(jí)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)服務(wù)，打造專屬私有“云盤(pán)”；物聯(lián)數(shù)據(jù)存儲(chǔ)，來(lái)自傳感器的海量半結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)服務(wù)。大數(shù)據(jù)分析：定制數(shù)據(jù)挖掘算法和模型，支持海量數(shù)據(jù)的分析、挖掘和可視化展現(xiàn)。數(shù)據(jù)整合共享：無(wú)障礙獲取業(yè)務(wù)系統(tǒng)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)共享和交換，打通“信息孤島”。信息資源中心：抽取、清洗、轉(zhuǎn)換業(yè)務(wù)系統(tǒng)數(shù)據(jù)，建立企業(yè)級(jí)信息資源中心，形成信息資源目錄，開(kāi)放數(shù)據(jù)規(guī)范接口，支持新應(yīng)用開(kāi)發(fā)。一處安裝、多租戶共用的SaaS服務(wù)SaaS管理服務(wù)平臺(tái)：構(gòu)建SaaS用，打造一站式辦公門(mén)戶。SaaS服務(wù)化改造和標(biāo)準(zhǔn)化接入：將傳統(tǒng)BS應(yīng)用進(jìn)行服務(wù)化改造為多租戶模式，按照統(tǒng)一接口規(guī)范集成至SaaS服務(wù)平臺(tái)，全面支持SaaS服務(wù)運(yùn)營(yíng)。全方位、多方式的監(jiān)控預(yù)警服務(wù)監(jiān)控預(yù)警：對(duì)物理資源、虛擬資源以及應(yīng)用的全方位監(jiān)控和多方式預(yù)警，可自定義資源監(jiān)控指標(biāo)，100多種指標(biāo)任意組合集群存儲(chǔ)系統(tǒng)集群存儲(chǔ)系統(tǒng)的特點(diǎn)（1）數(shù)據(jù)負(fù)載能力現(xiàn)有的諸多存儲(chǔ)方案一般都不具備存儲(chǔ)容量動(dòng)態(tài)擴(kuò)展的能力，而且經(jīng)過(guò)動(dòng)態(tài)擴(kuò)展之后如果沒(méi)有數(shù)據(jù)動(dòng)態(tài)負(fù)載均衡的功能，即使存儲(chǔ)系統(tǒng)的容量增長(zhǎng)，性能不會(huì)隨之增長(zhǎng)。負(fù)載均衡模塊是專門(mén)針對(duì)存儲(chǔ)擴(kuò)展性需求較高的應(yīng)用環(huán)境而提供。當(dāng)存儲(chǔ)系統(tǒng)按需在線動(dòng)態(tài)擴(kuò)展容量之后，管理員可以選擇在合適的時(shí)間啟動(dòng)或者停止負(fù)載均衡軟件，該功能將數(shù)據(jù)在存儲(chǔ)服務(wù)器之間遷移，直到數(shù)據(jù)分布較為均衡停止。通過(guò)負(fù)載均衡模塊的數(shù)據(jù)遷移工作，分布式集群存儲(chǔ)系統(tǒng)的性能能夠隨著容量的增長(zhǎng)而線性增長(zhǎng)。圖3-2圖4-4自動(dòng)均衡數(shù)據(jù)分布示意圖（2）靈活冗余能力靈活冗余模塊是一種高效的數(shù)據(jù)保護(hù)方式，通過(guò)將冗余數(shù)據(jù)同時(shí)存放到不同的存儲(chǔ)服務(wù)器上來(lái)對(duì)數(shù)據(jù)進(jìn)行保護(hù)，不但消除了單點(diǎn)故障，還能夠提高數(shù)據(jù)并發(fā)訪問(wèn)性能。冗余數(shù)據(jù)存放在不同的服務(wù)器上防止數(shù)據(jù)丟失和存儲(chǔ)服務(wù)中斷。而且用戶可以將不同的數(shù)據(jù)設(shè)置不同的冗余數(shù)據(jù)等級(jí)，當(dāng)冗余等級(jí)越高，數(shù)據(jù)就能夠在極端惡劣的情況保證數(shù)據(jù)的完整性和服務(wù)的連續(xù)性。（3）故障自動(dòng)恢復(fù)能力故障自動(dòng)恢復(fù)模塊內(nèi)置有一整套完整的故障恢復(fù)流程，能夠自動(dòng)探測(cè)集群存儲(chǔ)系統(tǒng)內(nèi)各類可能出現(xiàn)的故障，如磁盤(pán)損壞、系統(tǒng)宕機(jī)、網(wǎng)絡(luò)中斷等。該軟件一旦發(fā)現(xiàn)了軟硬件故障就會(huì)立刻啟動(dòng)相應(yīng)的故障處理恢復(fù)流程對(duì)數(shù)據(jù)進(jìn)行相應(yīng)的恢復(fù)保護(hù)，確保數(shù)據(jù)的完整性，并且整個(gè)恢復(fù)過(guò)程完全不影響業(yè)務(wù)連續(xù)運(yùn)行。而且由于故障自動(dòng)恢復(fù)軟件能夠提供的是整個(gè)集群全局的數(shù)據(jù)恢復(fù)，充分的利用了集群內(nèi)的空閑資源進(jìn)行相應(yīng)的處理，能夠高出RAID據(jù)恢復(fù)速度確保數(shù)據(jù)完整性，為業(yè)務(wù)長(zhǎng)期穩(wěn)定運(yùn)行打下基礎(chǔ)。市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE第頁(yè)P(yáng)AGE45圖圖4-5硬件故障恢復(fù)示意圖（4）大目錄支持能力傳統(tǒng)的存儲(chǔ)方案都存在著文件數(shù)量、單目錄下文件數(shù)量等諸多限制，并且當(dāng)存儲(chǔ)系統(tǒng)內(nèi)文件數(shù)量到達(dá)一定數(shù)量時(shí)，文件的檢索效率就會(huì)急劇下降，從而影響了業(yè)務(wù)的運(yùn)行效率。圖4-6集群存數(shù)文件市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE48第頁(yè)P(yáng)AGE48集群系統(tǒng)大目錄支持軟件打破了存儲(chǔ)系統(tǒng)在面向海量小文件時(shí)的種種限制，提供了幾乎無(wú)限的單目錄文件數(shù)量支持、高效的文件檢索效率支持，幫助企業(yè)解決海量小文件存儲(chǔ)帶來(lái)的煩惱。系統(tǒng)功能及特點(diǎn)海量數(shù)據(jù)高效管理隨著資料處理業(yè)務(wù)的增多，存儲(chǔ)系統(tǒng)中將積累大量的數(shù)據(jù)，這就需要存儲(chǔ)系統(tǒng)能夠容納海量的數(shù)據(jù)。同時(shí)，存儲(chǔ)系統(tǒng)里面的文件數(shù)量也會(huì)快速增長(zhǎng)，當(dāng)文件數(shù)量增長(zhǎng)到數(shù)千萬(wàn)以上時(shí)，文件的檢索查找等操作將會(huì)給文件系統(tǒng)帶來(lái)巨大的壓力，特別是一個(gè)目錄下面存放的文件超過(guò)一定數(shù)量甚至?xí)斐晌募檎倚始眲∠陆?。分布式集群存?chǔ)系統(tǒng)單卷可支持300PB以上的存儲(chǔ)空間，高效的管理上千億個(gè)文件，單目錄可以高效支持千萬(wàn)級(jí)的文件數(shù)量。分布式集群存儲(chǔ)系統(tǒng)擁有高效的多元數(shù)據(jù)服務(wù)器集群技術(shù)和高效的海量文件檢索技術(shù)，在存放上千億文件的同時(shí)保持極高的文件檢索效率。分布式集群存儲(chǔ)系統(tǒng)能夠在單個(gè)目錄下高效管理上千萬(wàn)個(gè)文件的存儲(chǔ)系統(tǒng)，在單目錄下存放上千萬(wàn)數(shù)量文件時(shí)，仍然能夠提供每秒數(shù)萬(wàn)的文件檢索效率。單目錄下高達(dá)千萬(wàn)級(jí)的文件，單一文件系統(tǒng)文件數(shù)量支持超過(guò)千億（實(shí)際案例：260文件）；單個(gè)共享文件系統(tǒng)支持上百PB級(jí)（4500TB、1024應(yīng)用節(jié)點(diǎn)支持實(shí)際案例）；不停機(jī)在線擴(kuò)展系統(tǒng)容量；數(shù)據(jù)讀寫(xiě)性能分布式集群存儲(chǔ)系統(tǒng)通過(guò)多臺(tái)存儲(chǔ)服務(wù)器提供同時(shí)數(shù)據(jù)存取服務(wù)的方法以滿足大量應(yīng)用服務(wù)器的并發(fā)訪問(wèn)需求。在應(yīng)用服務(wù)器端，當(dāng)應(yīng)用程序往存儲(chǔ)系統(tǒng)上寫(xiě)文件時(shí)，文件將會(huì)被根據(jù)一定大小進(jìn)行分片存放到多臺(tái)存儲(chǔ)服務(wù)器上；在應(yīng)用程序讀文件時(shí)，則并發(fā)的從多個(gè)服務(wù)器上讀取數(shù)據(jù)。由于大量的數(shù)據(jù)IO請(qǐng)求都被分散到多臺(tái)存儲(chǔ)服務(wù)器上，使得所有的存儲(chǔ)服務(wù)器上的磁盤(pán)性能和網(wǎng)絡(luò)帶寬都可以同時(shí)得到充分的利用，這樣分布式集群存儲(chǔ)系統(tǒng)的聚合帶寬由多臺(tái)的存儲(chǔ)服務(wù)器上的IO帶寬相加而成，從而克服了NAS的單一出口點(diǎn)所造成性能瓶頸，可以滿足多臺(tái)應(yīng)用節(jié)點(diǎn)并發(fā)訪問(wèn)的帶寬需求。通過(guò)實(shí)現(xiàn)多存儲(chǔ)服務(wù)器的并發(fā)數(shù)據(jù)訪問(wèn)支持，消除了傳統(tǒng)存儲(chǔ)方案中常見(jiàn)的負(fù)載不均導(dǎo)致的熱點(diǎn)數(shù)據(jù)問(wèn)題。分布式通過(guò)數(shù)據(jù)在存儲(chǔ)服務(wù)器集群中的條帶化分布實(shí)現(xiàn)高效、全面的負(fù)載均衡功能，充分利用硬件和網(wǎng)絡(luò)的性能，發(fā)揮出最高IO吞吐量。提供高達(dá)數(shù)百GB/s的IO帶寬和上百萬(wàn)的單套存儲(chǔ)系統(tǒng)支撐數(shù)千個(gè)應(yīng)用節(jié)點(diǎn)并發(fā)訪問(wèn)數(shù)據(jù)；不停機(jī)在線擴(kuò)展IO帶寬；系統(tǒng)故障自動(dòng)恢復(fù)和負(fù)載均衡，保證性能隨規(guī)模線性增長(zhǎng)；數(shù)據(jù)全局共享分布式大規(guī)模集群存儲(chǔ)系統(tǒng)采用文件系統(tǒng)全局命名空間，所有計(jì)算節(jié)點(diǎn)都可看到一致文件系統(tǒng)視圖。數(shù)據(jù)的全局共享可以加強(qiáng)各計(jì)算節(jié)點(diǎn)之間的協(xié)作，提高了作業(yè)的運(yùn)行效率。而且數(shù)據(jù)的統(tǒng)一管理也方便用戶數(shù)據(jù)的統(tǒng)一管理，并簡(jiǎn)化應(yīng)用系統(tǒng)的開(kāi)發(fā)。

圖4-7多用戶訪問(wèn)示意圖基于數(shù)據(jù)安全性方面的考慮，用戶可以通過(guò)分布式配置工具設(shè)置數(shù)據(jù)相應(yīng)的安全等級(jí)，選擇將數(shù)據(jù)和校驗(yàn)數(shù)據(jù)分別存放在不同的存儲(chǔ)服務(wù)器上。分布式存儲(chǔ)系統(tǒng)可以同時(shí)使用多條高速數(shù)據(jù)通道，可消除網(wǎng)絡(luò)層的單點(diǎn)故障，進(jìn)一步提高系統(tǒng)的高可用性。在這樣的情況下，即使出現(xiàn)存儲(chǔ)服務(wù)器宕機(jī)、網(wǎng)絡(luò)中斷、磁盤(pán)損壞時(shí)，仍然能夠保障數(shù)據(jù)完整性和數(shù)據(jù)服務(wù)的持續(xù)運(yùn)系統(tǒng)將會(huì)立刻發(fā)現(xiàn)該異常并自發(fā)的啟動(dòng)數(shù)據(jù)恢復(fù)流程，利用存放于其它存儲(chǔ)服務(wù)器中該部分?jǐn)?shù)據(jù)的校驗(yàn)數(shù)據(jù)重新生成一份以保證數(shù)據(jù)仍有一定的冗余度。由于分布式的數(shù)據(jù)恢復(fù)是基于真實(shí)丟失的數(shù)據(jù)，并且數(shù)據(jù)恢復(fù)是通過(guò)整個(gè)存儲(chǔ)集群同時(shí)并發(fā)進(jìn)行，所以相對(duì)于傳統(tǒng)的RAID具備更快的數(shù)據(jù)重建速度，這也能夠有效提升數(shù)據(jù)的安全性。通過(guò)將數(shù)據(jù)和校驗(yàn)數(shù)據(jù)存放在不同存儲(chǔ)服務(wù)器的方法可以對(duì)一系列的軟硬件故障（網(wǎng)絡(luò)、主機(jī)、磁盤(pán)等）進(jìn)行自動(dòng)的隔離，消除了存儲(chǔ)系統(tǒng)的任何單點(diǎn)故障，而且也無(wú)需配置任何復(fù)雜的配置。用數(shù)據(jù)全局冗余技術(shù)取代Raid，提供了史無(wú)前例的可靠性；可根據(jù)不同數(shù)據(jù)定制的數(shù)據(jù)安全性保證；系統(tǒng)自動(dòng)探測(cè)故障并恢復(fù)，實(shí)現(xiàn)最高的業(yè)務(wù)連續(xù)性保證；系統(tǒng)可擴(kuò)展性需中斷應(yīng)用的運(yùn)行。用戶可以通過(guò)分布式的配置工具動(dòng)態(tài)添加存儲(chǔ)服務(wù)器以擴(kuò)大系統(tǒng)的容量和規(guī)模，而且隨著存儲(chǔ)服務(wù)器數(shù)據(jù)的增多，整套系統(tǒng)的聚合帶寬也會(huì)線性的增長(zhǎng)，完全可以滿足業(yè)務(wù)不斷發(fā)展所產(chǎn)生的容量和性能需求。而工業(yè)標(biāo)準(zhǔn)的通用硬件良好的兼容性和可獲得性方便了整套存儲(chǔ)系統(tǒng)將來(lái)的使用和擴(kuò)展，分布式支持在1小時(shí)內(nèi)部署上百TB的存儲(chǔ)系統(tǒng)，無(wú)縫的在線增加存儲(chǔ)容量。市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE第頁(yè)P(yáng)AGE54圖4-8傳統(tǒng)與分布式擴(kuò)展對(duì)比與現(xiàn)有環(huán)境無(wú)縫兼容環(huán)境，如使用通用的以太網(wǎng)絡(luò)作為數(shù)據(jù)傳輸通道可以確保充分利用現(xiàn)有的環(huán)境，并且可以無(wú)需對(duì)環(huán)境做出任何修改。另外分布式能夠直接支持Linux、Windows、Mac等常用的操作系統(tǒng)之間進(jìn)行數(shù)據(jù)共享，無(wú)需對(duì)操作系統(tǒng)做任何修改，所以能夠無(wú)縫的接入到企業(yè)現(xiàn)有的軟硬件環(huán)境。系統(tǒng)的整體擁有成本分布式大規(guī)模集群存儲(chǔ)系統(tǒng)能夠極大的降低構(gòu)建和運(yùn)維成本，主要有以下幾點(diǎn)：極大地提高了數(shù)據(jù)可用性：通過(guò)分布式內(nèi)置的高可用和故障自動(dòng)恢復(fù)功能等卓越的功能，無(wú)需任何第三方軟件，極大減少了系統(tǒng)由于維護(hù)或備份恢復(fù)所需的大量時(shí)間，從而徹底提高了企業(yè)的生產(chǎn)效率。數(shù)據(jù)的充分共享：數(shù)據(jù)可以被前端的各種類型的主機(jī)共享，無(wú)需在Linux和Windows、Mac系統(tǒng)之間進(jìn)行數(shù)據(jù)遷移。這允許一個(gè)數(shù)據(jù)拷貝被所有人員與進(jìn)程共享，大大減少了對(duì)不同環(huán)境下相同的數(shù)據(jù)的多種形式的管理費(fèi)用。存儲(chǔ)的運(yùn)維成本：由于分布式采用了通用、企業(yè)級(jí)的硬件構(gòu)建，具有極高的性價(jià)比和兼容性。管理員可以輕易的掌握分布式的運(yùn)維管理，使得培訓(xùn)支出上的費(fèi)用大大減少。使用分布式提高投資回報(bào)率真正的按需購(gòu)買(mǎi)分布式存儲(chǔ)系統(tǒng)的動(dòng)態(tài)可擴(kuò)展技術(shù)，使得用戶可以按需擴(kuò)展存儲(chǔ)容量，無(wú)需一次性投入大量成本來(lái)構(gòu)建存儲(chǔ)系統(tǒng)，有效降低了用戶投資的風(fēng)險(xiǎn)。內(nèi)置的高可用架構(gòu)在傳統(tǒng)的NAS和SAN系統(tǒng)中，高可用意味著價(jià)格高昂的軟件和冗余硬件。高存儲(chǔ)空間利用率分布式存儲(chǔ)系統(tǒng)將所有的存儲(chǔ)設(shè)備聚合成單一的存儲(chǔ)池，提供給所有的前端應(yīng)用服務(wù)器集群共享訪問(wèn)，克服了使用傳統(tǒng)的DAS和SAN時(shí)所出現(xiàn)的存儲(chǔ)設(shè)備利用率不均衡的情況。安全應(yīng)用隔離分布式存儲(chǔ)系統(tǒng)可以將不同的應(yīng)用在邏輯上進(jìn)行隔離，不同應(yīng)用之間的存儲(chǔ)內(nèi)容相互獨(dú)立，有效降低人為因素造成的數(shù)據(jù)損壞，大幅度提升了存儲(chǔ)內(nèi)容的安全性和數(shù)據(jù)的完整性。降低管理及運(yùn)行成本——簡(jiǎn)易存儲(chǔ)更低的存儲(chǔ)架構(gòu)規(guī)劃成本分布式存儲(chǔ)系統(tǒng)可與用戶的現(xiàn)有應(yīng)用環(huán)境無(wú)縫連接，便捷地加入到用戶的應(yīng)用環(huán)境中，并即時(shí)對(duì)外提供存儲(chǔ)服務(wù)。無(wú)需像傳統(tǒng)存儲(chǔ)系統(tǒng)一樣對(duì)大量復(fù)雜的硬件設(shè)備進(jìn)行長(zhǎng)期的分析、規(guī)劃和配置，大大節(jié)約了前期的規(guī)劃成本，極大提高了存儲(chǔ)系統(tǒng)部署的效率?？焖俚陌惭b及配置用戶可在極短時(shí)間內(nèi)為分布式存儲(chǔ)系統(tǒng)部署上百TB存儲(chǔ)空間和上千臺(tái)應(yīng)用服務(wù)器。無(wú)需像SAN那樣對(duì)光纖交換機(jī)、光纖適配器等大量的專用硬件進(jìn)行配置，極大簡(jiǎn)化了配置流程。簡(jiǎn)易管理分布式存儲(chǔ)系統(tǒng)簡(jiǎn)單靈活的管理模塊極大降低了管理員對(duì)系統(tǒng)管理的參與程度，減化了管理員操作出錯(cuò)風(fēng)險(xiǎn)，有效降低了系統(tǒng)的管理成本。減少培訓(xùn)費(fèi)用分布式存儲(chǔ)系統(tǒng)采用圖形化管理工具，極大簡(jiǎn)化了對(duì)系統(tǒng)使用的復(fù)雜度，減短了對(duì)管理員的培訓(xùn)時(shí)間。提高用戶應(yīng)用的生產(chǎn)力提高應(yīng)用服務(wù)器之間的協(xié)作效率分布式存儲(chǔ)系統(tǒng)對(duì)外提供單一的系統(tǒng)映像，所有的應(yīng)用服務(wù)器都看到相同的文件視圖。集中的數(shù)據(jù)共享存儲(chǔ)，方便用戶各業(yè)務(wù)部門(mén)之間進(jìn)行數(shù)據(jù)協(xié)同處理，極大提高了用戶的整體生產(chǎn)效率。圖4-9應(yīng)用協(xié)作對(duì)比圖快速的數(shù)據(jù)交付市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE58第頁(yè)P(yáng)AGE58分布式存儲(chǔ)系統(tǒng)提供的數(shù)據(jù)讀寫(xiě)加速技術(shù)極大縮短了對(duì)應(yīng)用程序的響應(yīng)時(shí)間，每秒高達(dá)幾十萬(wàn)個(gè)的文件檢索速度輕易的滿足互聯(lián)網(wǎng)等文件密集型應(yīng)用的需求?？焖俚墓收匣謴?fù)分布式存儲(chǔ)系統(tǒng)高效的自動(dòng)數(shù)據(jù)恢復(fù)技術(shù)，使得故障恢復(fù)時(shí)間是通用RAID之一，恢復(fù)過(guò)程不影響相應(yīng)業(yè)務(wù)的運(yùn)行，保證業(yè)務(wù)的連續(xù)性?；诖髷?shù)據(jù)的旅游數(shù)據(jù)管理與分析系統(tǒng)大數(shù)據(jù)經(jīng)濟(jì)情報(bào)綜合分析平臺(tái)和大數(shù)據(jù)交易數(shù)據(jù)管理與分析系統(tǒng)分別是兩款大數(shù)據(jù)平臺(tái)軟件產(chǎn)品，都是集成海量數(shù)據(jù)的采集、過(guò)濾、轉(zhuǎn)換、存儲(chǔ)、檢索、查詢、統(tǒng)計(jì)、分析、可視化與安全管理等全生命周期管理的綜合系統(tǒng)，但對(duì)數(shù)的關(guān)注點(diǎn)和管理方式有很大的不同。系統(tǒng)不僅提供了常用的數(shù)據(jù)采集，檢索，分析功能，而且還提供了基本的檢索，分析功能單元，可以根據(jù)各種行業(yè)應(yīng)用和最終用戶的需求，進(jìn)行不同的組合，適應(yīng)用戶的不同業(yè)務(wù)場(chǎng)景，完成大規(guī)模行業(yè)數(shù)據(jù)的挖掘分析和應(yīng)用對(duì)接。作為大數(shù)據(jù)分析平臺(tái)，系統(tǒng)具有如下特點(diǎn)：軟硬件國(guó)產(chǎn)自主可控多源異構(gòu)數(shù)據(jù)接入數(shù)據(jù)關(guān)聯(lián)融合、統(tǒng)一訪問(wèn)大規(guī)模、高性能、可擴(kuò)展高可靠、高可用大數(shù)據(jù)平臺(tái)介紹平臺(tái)功能框架大數(shù)據(jù)平臺(tái)必須是一個(gè)開(kāi)放的體系，相關(guān)軟件系統(tǒng)和硬件設(shè)備應(yīng)是業(yè)界主流產(chǎn)品，遵循國(guó)家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)，保證平臺(tái)、設(shè)備、管理系統(tǒng)能夠隨時(shí)無(wú)障礙地進(jìn)行更新和移植。大數(shù)據(jù)管理平臺(tái)還應(yīng)遵循統(tǒng)一的標(biāo)準(zhǔn)規(guī)范，充分考慮與外部系統(tǒng)（務(wù)系統(tǒng)等）的接口。

4A及其它網(wǎng)管系統(tǒng)、業(yè)支撐數(shù)據(jù)挖掘、數(shù)據(jù)實(shí)時(shí)存儲(chǔ)和訪問(wèn)、ETL計(jì)算平臺(tái)這三類業(yè)務(wù)應(yīng)用。分布式存儲(chǔ)功能基于XX布式KV存數(shù)據(jù)庫(kù)，以及面向用戶業(yè)務(wù)的各類工具軟件和庫(kù)支持?；诜植际酱鎯?chǔ)平臺(tái)，用戶可以以非常低的時(shí)間代價(jià)構(gòu)建大規(guī)模企業(yè)大數(shù)據(jù)一體化解決方案。文檔數(shù)據(jù)庫(kù)圖片音視頻郵件消息關(guān)系型數(shù)據(jù)關(guān)系型數(shù)據(jù)非關(guān)系型數(shù)據(jù)流式數(shù)據(jù)多維數(shù)據(jù)Hbase

HDFS

DB DSQLGraphDB龍威集群存儲(chǔ)（申威國(guó)產(chǎn)平臺(tái)）圖4-1存儲(chǔ)組件的結(jié)構(gòu)圖圖是存儲(chǔ)組件的結(jié)構(gòu)圖，主要包括如下功能組件：分布式集群存儲(chǔ)：基于對(duì)象的高性能分布式文件存儲(chǔ)系統(tǒng)。DFS:分布式文件系統(tǒng)。HBase：分布式Key-Value數(shù)據(jù)庫(kù)。DSQL：分布式關(guān)系數(shù)據(jù)庫(kù)。GraphDB：并行圖數(shù)據(jù)庫(kù)。DB:傳統(tǒng)數(shù)據(jù)庫(kù)。集群存儲(chǔ)系統(tǒng)基于自主可控的XX硬件平臺(tái)，采用帶外分布式架構(gòu)，隔離元數(shù)據(jù)信息與數(shù)據(jù)信息，降低二者之間的性能干擾，采用對(duì)象存儲(chǔ)技術(shù)將文件切片分布式存儲(chǔ)在存儲(chǔ)服務(wù)器集群上，充分利用所有存儲(chǔ)服務(wù)器硬件性能，并且同時(shí)對(duì)客戶端提供訪問(wèn)服務(wù)，形成高效聚合帶寬，增加業(yè)務(wù)讀寫(xiě)效率。Hadoop分布式文件系統(tǒng)HDFS(HadoopDistributedFileSystem)能提供高吞吐量的數(shù)據(jù)訪問(wèn)，適合大規(guī)模數(shù)據(jù)集方面的應(yīng)用。通過(guò)聚合數(shù)十上百臺(tái)，甚至數(shù)千臺(tái)服務(wù)器本地文件系統(tǒng)的吞吐能力，HDFS提供同時(shí)對(duì)超大數(shù)據(jù)文件的訪問(wèn)能力。分布式計(jì)算功能MapReduce是一種簡(jiǎn)化并行計(jì)算的編程模型，名字源于該模型中的兩項(xiàng)核心操作：Map和Reduce。Map將一個(gè)任務(wù)分解成為多個(gè)任務(wù)，Reduce來(lái)，得出最終的分析結(jié)果。MapReduce適合于半結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析。NoSQL功能HBase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，其設(shè)計(jì)目標(biāo)是用來(lái)解決關(guān)系型數(shù)據(jù)庫(kù)在處理海量數(shù)據(jù)時(shí)的局限性。HBase使用場(chǎng)景有如下幾個(gè)特點(diǎn)：海量數(shù)據(jù)(TB或PB級(jí)別以上)；需要很高的吞吐量；需要在海量數(shù)據(jù)中實(shí)現(xiàn)高效的隨機(jī)讀取；需要很好的伸縮能力；能夠同時(shí)處理結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)；不需要完全擁有傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)所具備的ACID特性。UnitedHadoopHBase支持地理容災(zāi)、二級(jí)索引等高級(jí)特性，滿足極高可靠性和開(kāi)發(fā)易用性要求。HBase詢、詳單查詢等業(yè)務(wù)。數(shù)據(jù)倉(cāng)庫(kù)功能Hive是一個(gè)建立在Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)框架，提供類似SQL的HQL語(yǔ)言操作結(jié)構(gòu)化數(shù)據(jù)，其基本原理是將HQL語(yǔ)言自動(dòng)轉(zhuǎn)換成MapReduce任務(wù)，從而完成對(duì)Hadoop儲(chǔ)的海量數(shù)據(jù)進(jìn)行查詢和分析。Hive主要特點(diǎn)如下：通過(guò)HQL語(yǔ)言非常容易的完成數(shù)據(jù)提取、轉(zhuǎn)換和加載（通過(guò)HQL完成海量結(jié)構(gòu)化數(shù)據(jù)分析；靈活的數(shù)據(jù)存儲(chǔ)格式，支持 JSON，CSV，TEXTFILE，RCFILE，SEQUENCEFIL等E存儲(chǔ)格式，并支持自定義擴(kuò)展；Hive的主要應(yīng)用于海量數(shù)據(jù)的離線分析（如日志分析，集群狀態(tài)分析）、大規(guī)模的數(shù)據(jù)挖掘（區(qū)域展示）等場(chǎng)景下。為保證Hive服務(wù)的高可用性、用戶數(shù)據(jù)的安全及訪問(wèn)服務(wù)的可控制，UnitedHadoop的Hive具有如下特性：基于kerberos技術(shù)的安全認(rèn)證機(jī)制；數(shù)據(jù)文件加密機(jī)制；雙機(jī)熱備；完善的權(quán)限管理。Hive適合于結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析。分布式協(xié)調(diào)功能ZooKeeper是一個(gè)分布式、高可用性的協(xié)調(diào)服務(wù)。在Hadoop系統(tǒng)中主要提供兩個(gè)功能：一個(gè)功能是幫助系統(tǒng)避免單點(diǎn)故障，建立可靠的應(yīng)用程序，另一個(gè)功能是提供分布式協(xié)作服務(wù)和維護(hù)配置信息。ZooKeeper主要特點(diǎn)：順序一致性：按照客戶端發(fā)送請(qǐng)求的順序更新數(shù)據(jù)。原子性：更新要么成功，要么失敗，不會(huì)出現(xiàn)部分更新。單一性：無(wú)論客戶端連接哪個(gè)server，都會(huì)看到同一個(gè)視圖?？煽啃裕阂坏?shù)據(jù)更新成功，將一直保持，直到新的更新。及時(shí)性：客戶端會(huì)在一個(gè)確定的時(shí)間內(nèi)得到最新的數(shù)據(jù)。旅游工作數(shù)據(jù)流管理功能Oozie是一個(gè)用來(lái)管理Hadoopjob任務(wù)的工作流引擎，Oozie流程基于有向無(wú)環(huán)圖（DirectedAcyclicalGraph）來(lái)定義和描述，支持多種工作流模式及流程定時(shí)觸發(fā)機(jī)制。易擴(kuò)展、易維護(hù)、可靠性高，與Hadoop生態(tài)系統(tǒng)各組件緊密結(jié)合。Oozie主要特點(diǎn)：支持分發(fā)、聚合、選擇等工作流流程模式；與Hadoop生態(tài)系統(tǒng)各組第頁(yè)P(yáng)AGE59第頁(yè)P(yáng)AGE59XX市旅游大數(shù)據(jù)平臺(tái)解決方案件緊密結(jié)合；流程變量支持參數(shù)化；支持流程定時(shí)觸發(fā)；提供了HA機(jī)制；自帶一個(gè)WebConsole，提供了流程查看、流程監(jiān)控、日志查看等功能。維護(hù)管理功能提供的維護(hù)管理功能是Hadoop平臺(tái)的維護(hù)管理系統(tǒng)，是Hadoop系統(tǒng)操作和維護(hù)的統(tǒng)一入口，提供操作的定義和流程引導(dǎo)，并對(duì)于系統(tǒng)中的各項(xiàng)資源運(yùn)行情況和操作進(jìn)行監(jiān)控記錄，為系統(tǒng)的日常維護(hù)提供依據(jù)；運(yùn)維管理包括升級(jí)向?qū)?、日常向?qū)?、日志收集與分析、告警、監(jiān)控、安裝向?qū)?、配置管理、審?jì)管理、用戶管理等。備份和容災(zāi)、用戶和應(yīng)用接入安全、集群組件HA和數(shù)據(jù)私密性。集群管理系統(tǒng)負(fù)責(zé)整個(gè)系統(tǒng)的管理，包括北向接口、南向接口和本地管理GUI北向接口包括OM類的Syslog、SNMP，以及安全管理對(duì)接接口LDAP。本地管理GUI界面提供系統(tǒng)中各類軟硬件的圖形化維護(hù)入口，包括日常維護(hù)，以及安裝、升級(jí)和擴(kuò)容向?qū)У?。旅游中心分析系統(tǒng)架構(gòu)系統(tǒng)管理設(shè)備管理軟件管理報(bào)表統(tǒng)計(jì)設(shè)備管理軟件管理報(bào)表統(tǒng)計(jì)自定義業(yè)務(wù)模型授權(quán)流程業(yè)務(wù)定義授權(quán)流程業(yè)務(wù)定義日志審計(jì)報(bào)表統(tǒng)計(jì)檢索消息中心用戶權(quán)限業(yè)務(wù)管理數(shù)據(jù)庫(kù)WEB服務(wù)器基本算子分類聚類圖形算子文件提取信令提取內(nèi)容分析信令提取內(nèi)容分析數(shù)據(jù)匯聚協(xié)議還原重點(diǎn)業(yè)務(wù)數(shù)據(jù)海量普通數(shù)據(jù)基礎(chǔ)數(shù)據(jù)分布式文件分布式數(shù)據(jù)庫(kù)采集 存儲(chǔ)、分析圖4-2旅游中心分析系統(tǒng)架構(gòu)圖

業(yè)務(wù)管理如上圖所示，作為一款綜合分析平臺(tái)，平臺(tái)可以分為四個(gè)大的子系統(tǒng)。包括：采集子系統(tǒng)、存儲(chǔ)分析子系統(tǒng)、業(yè)務(wù)管理子系統(tǒng)、系統(tǒng)管理子系統(tǒng)。市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE62第頁(yè)P(yáng)AGE62存儲(chǔ)分析子系統(tǒng)又自下而上可以分三層，情報(bào)來(lái)源方式、數(shù)據(jù)類型存儲(chǔ)方式、關(guān)聯(lián)分析模型算法以及業(yè)務(wù)跟蹤與各種類型報(bào)表。非格式數(shù)據(jù)的分類存儲(chǔ)系統(tǒng)采用分布式文件、分布式數(shù)據(jù)庫(kù)、分布式集群計(jì)算等多種分布式技術(shù)作為構(gòu)建系統(tǒng)的基礎(chǔ)平臺(tái)，使得整個(gè)系統(tǒng)平臺(tái)具有了高擴(kuò)展、高容錯(cuò)、高性能、高可用的能力。采集子系統(tǒng)提供多種接口，支持對(duì)不同數(shù)據(jù)源的采集，支持對(duì)多種數(shù)據(jù)類型的提取信息，同時(shí)對(duì)采集的數(shù)據(jù)進(jìn)行分析提取，對(duì)數(shù)據(jù)內(nèi)容進(jìn)行匹配過(guò)濾，將各種類型的數(shù)據(jù)分門(mén)別類的存儲(chǔ)到存儲(chǔ)分析子系統(tǒng)中，供后者分析使用。子系統(tǒng)提供對(duì)多種文檔類型的導(dǎo)入功能，包括word，ppt，execl，pdf，rtf，txt等多種文件類型；以及各種視頻、圖片格式的支持。對(duì)格式化數(shù)據(jù)的全文檢索合多線索加權(quán)檢索業(yè)務(wù)管理子系統(tǒng)管理客戶的大數(shù)據(jù)分析業(yè)務(wù)，系統(tǒng)提供用戶權(quán)限、業(yè)務(wù)管理、數(shù)據(jù)全文檢索、業(yè)務(wù)定義等功能模塊，滿足客戶業(yè)務(wù)分析的管理需求，通過(guò)全文檢索和加權(quán)檢索，可以把不同的旅游內(nèi)容針對(duì)一個(gè)時(shí)間、事件進(jìn)行關(guān)聯(lián)起來(lái)，并形成事件發(fā)展趨勢(shì)的分析圖表，用來(lái)提供領(lǐng)導(dǎo)層對(duì)旅游項(xiàng)目的決策和分析。4-3旅游中心數(shù)據(jù)分析統(tǒng)計(jì)圖完善的旅游中心分析報(bào)表系統(tǒng)系統(tǒng)運(yùn)維子系統(tǒng)管理整個(gè)系統(tǒng)的設(shè)定運(yùn)行，實(shí)現(xiàn)系統(tǒng)的高可用性，高擴(kuò)展性。存儲(chǔ)分析子系統(tǒng)是整個(gè)系統(tǒng)的核心部分。實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)、檢索、分析等功能。實(shí)現(xiàn)對(duì)目標(biāo)數(shù)據(jù)、圖像信息、聲音信息、視頻等各種文件類型的海量存儲(chǔ)，實(shí)現(xiàn)對(duì)這些類型的文件的關(guān)鍵字快速檢索結(jié)果，并形成各種形式的業(yè)務(wù)報(bào)表系統(tǒng)。國(guó)內(nèi)旅游形勢(shì)分析事件、非物質(zhì)旅游、民俗旅游數(shù)據(jù)，分析每個(gè)地區(qū)的旅游發(fā)展趨勢(shì)；按照全國(guó)地域分析各地方旅游根據(jù)旅游名稱可以方便把各個(gè)地方旅游趨勢(shì)圖、經(jīng)濟(jì)熱點(diǎn)分布圖分析出來(lái)；按照全國(guó)人文風(fēng)情數(shù)據(jù)技術(shù)分析民俗旅游的趨向；根據(jù)各個(gè)旅游部門(mén)每天的公開(kāi)的信息數(shù)據(jù)，可以分析各種活動(dòng)的趨勢(shì)圖（技術(shù)分析）用戶可以定制所關(guān)心的數(shù)據(jù)統(tǒng)計(jì)圖根據(jù)存在的數(shù)據(jù)和定義的算法，用戶可以定義自己關(guān)心的數(shù)據(jù)統(tǒng)計(jì)圖；數(shù)據(jù)分類存儲(chǔ)與自動(dòng)化數(shù)據(jù)引擎據(jù)的統(tǒng)一可靠的存儲(chǔ)管理，對(duì)外提供統(tǒng)一的分布式調(diào)用接口，提供文件、數(shù)據(jù)庫(kù)、索引等多種存儲(chǔ)形式?；舅惴K層：提供大數(shù)據(jù)分析的各種基本算法模塊，支持多種計(jì)算模型的分布式計(jì)算框架，為上層業(yè)務(wù)系統(tǒng)提供專業(yè)的計(jì)算處理庫(kù)。業(yè)務(wù)處理層：基于底層提供的算法模塊和基礎(chǔ)數(shù)據(jù)，完成各種業(yè)務(wù)分析處理，同時(shí)支持對(duì)基本算法的組合定義，實(shí)現(xiàn)客戶自定義的業(yè)務(wù)處理任務(wù)。數(shù)據(jù)總線是系統(tǒng)運(yùn)行的一個(gè)重要基礎(chǔ)架構(gòu)，整個(gè)系統(tǒng)中，包括子系統(tǒng)之間，子系統(tǒng)內(nèi)部均采用數(shù)據(jù)總線技術(shù)，實(shí)現(xiàn)子系統(tǒng)之間和子系統(tǒng)內(nèi)部的數(shù)據(jù)和消息傳遞。數(shù)據(jù)總線支持?jǐn)?shù)據(jù)和消息的緩存、中轉(zhuǎn)、分發(fā)、調(diào)度等。數(shù)據(jù)總線是計(jì)算與存儲(chǔ)的樞紐，同時(shí)是內(nèi)外數(shù)據(jù)交換的通道，完成數(shù)據(jù)在組件間及層次間中轉(zhuǎn)、緩沖及調(diào)度。產(chǎn)品特點(diǎn)：各種異構(gòu)數(shù)據(jù)接入海量數(shù)據(jù)存儲(chǔ)，高可用，高擴(kuò)展提供各種基本算法，可以組合業(yè)務(wù)模型基于權(quán)限管理業(yè)務(wù)，控制用戶訪問(wèn)業(yè)務(wù)和數(shù)據(jù).2.4 旅游數(shù)據(jù)存儲(chǔ)管理分析系統(tǒng)架構(gòu)旅游大數(shù)據(jù)平臺(tái)通過(guò)運(yùn)行在單獨(dú)的服務(wù)器上的云操作系統(tǒng)對(duì)服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等資源進(jìn)行虛擬化管理，提供可以自定義的虛擬機(jī)，在虛擬機(jī)上安裝 Hadoop、hbase等分布式數(shù)據(jù)庫(kù)集群，對(duì)現(xiàn)有的數(shù)據(jù)ETL采集、清洗、轉(zhuǎn)換、匯總進(jìn)來(lái)，使用海量數(shù)據(jù)分布存儲(chǔ)技術(shù)，用spark、storm等大數(shù)據(jù)處理軟件對(duì)hbase中的數(shù)據(jù)進(jìn)行分析處理，挖掘數(shù)據(jù)價(jià)值。還可以在虛擬機(jī)上運(yùn)行業(yè)務(wù)應(yīng)用系統(tǒng)，提供負(fù)載均衡和冗余備份，達(dá)到系統(tǒng)的穩(wěn)定、高可用和方便的擴(kuò)展性。主要用來(lái)儲(chǔ)存旅游數(shù)據(jù)的格式化數(shù)據(jù)系統(tǒng)，通過(guò)把大量的格式化旅游數(shù)據(jù)，通過(guò)數(shù)據(jù)采集量、采集時(shí)間段、采集算法、采集方式、采集內(nèi)容、采集性質(zhì)、采集IP址等關(guān)注的內(nèi)容，用來(lái)分析中國(guó)民俗旅游、非物質(zhì)旅游等他們的趨勢(shì)；市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE第頁(yè)P(yáng)AGE64圖4-4旅游中心數(shù)據(jù)交互傳輸圖如上圖所示；從用戶訪問(wèn)到數(shù)據(jù)信息交互、應(yīng)用、傳輸、分析、存儲(chǔ)、身份驗(yàn)證；這些機(jī)制大大的提高了數(shù)據(jù)的應(yīng)用和安全；用戶層到應(yīng)用層再?gòu)臄?shù)據(jù)庫(kù)中調(diào)取查詢信息，大數(shù)據(jù)分析并進(jìn)行統(tǒng)計(jì)再反饋給查詢者，統(tǒng)一的身份認(rèn)證層以及分析決策層面分布規(guī)律多節(jié)點(diǎn)集成方便用戶訪問(wèn)。

（移動(dòng)端pc端）、應(yīng)用層和數(shù)據(jù)數(shù)據(jù)按照旅游分類存儲(chǔ)系統(tǒng)根據(jù)各種民俗、人文領(lǐng)域的特性，分類存儲(chǔ)各種數(shù)據(jù)和其關(guān)聯(lián)的其他信息數(shù)據(jù)；數(shù)據(jù)按照信息分類趨勢(shì)分析根據(jù)活動(dòng)數(shù)據(jù)的大數(shù)據(jù)分析，系統(tǒng)能夠快速的分析出每種旅游領(lǐng)域的走勢(shì)圖，并根據(jù)技術(shù)分析，可以預(yù)測(cè)未來(lái)的發(fā)展趨向。.3大數(shù)據(jù)統(tǒng)一平臺(tái)分布式數(shù)據(jù)總線是分析系統(tǒng)的數(shù)據(jù)通路，其基于分布式內(nèi)存實(shí)現(xiàn)，可實(shí)現(xiàn)高速的數(shù)據(jù)交換、緩沖及轉(zhuǎn)換、遷移等。各子系統(tǒng)之間和子系統(tǒng)內(nèi)部的各個(gè)組件之間通過(guò)分布式數(shù)據(jù)總線互聯(lián)，實(shí)現(xiàn)數(shù)據(jù)在組件間的交換及同步；外部數(shù)據(jù)源接入內(nèi)部存儲(chǔ)組件前也要先經(jīng)過(guò)數(shù)據(jù)總線進(jìn)行緩沖、交換等預(yù)處理操作；此外為支持一體機(jī)對(duì)異構(gòu)數(shù)據(jù)的關(guān)聯(lián)融合，提供對(duì)異構(gòu)數(shù)據(jù)的關(guān)聯(lián)加載，并可利用數(shù)據(jù)總線的高速緩沖區(qū)進(jìn)行多集合數(shù)據(jù)的join統(tǒng)一格式轉(zhuǎn)換等處市旅游大數(shù)據(jù)平臺(tái)解決方案XX市旅游大數(shù)據(jù)平臺(tái)解決方案XX第頁(yè)P(yáng)AGE72第頁(yè)P(yáng)AGE72理；此外數(shù)據(jù)總線還可完成對(duì)異構(gòu)存儲(chǔ)組件內(nèi)數(shù)據(jù)聯(lián)合的功能，可支持上層一次操作對(duì)異構(gòu)數(shù)據(jù)集的聯(lián)合查詢。數(shù)據(jù)總線處于數(shù)據(jù)傳輸?shù)年P(guān)鍵路徑上，因而對(duì)數(shù)據(jù)傳輸流起到控制作用，可完成對(duì)數(shù)據(jù)的分發(fā)和調(diào)度。同時(shí)還可根據(jù)上層存儲(chǔ)訪問(wèn)的不同需求自動(dòng)將數(shù)據(jù)分發(fā)到相應(yīng)的存儲(chǔ)組件，同時(shí)做到對(duì)上層透明。提供如下關(guān)鍵特性：各組件間數(shù)據(jù)融合、緩存、交換提供異構(gòu)數(shù)據(jù)接入、分發(fā)及數(shù)據(jù)關(guān)聯(lián)操作的內(nèi)存融合數(shù)據(jù)流高速路由/分發(fā)基于配置策略的數(shù)據(jù)分發(fā)MQ/Buf/Mcache同時(shí)提供分布式消息隊(duì)列(MessageQueue分布式內(nèi)存管理提供邏輯統(tǒng)一視圖，同時(shí)支持高可靠基于流池的動(dòng)態(tài)均載基于流粒度的均載策略，保證流內(nèi)一致性可定制分發(fā)策略動(dòng)態(tài)可定制、基于數(shù)據(jù)特點(diǎn)、類型及標(biāo)簽的分發(fā)策略內(nèi)存互備/硬盤(pán)同步支持節(jié)點(diǎn)間內(nèi)存互備以及內(nèi)存與硬盤(pán)的持久化動(dòng)態(tài)擴(kuò)展支持Broker節(jié)點(diǎn)的動(dòng)態(tài)在線添加數(shù)據(jù)采集數(shù)據(jù)采集子系統(tǒng)的主要功能包括：實(shí)現(xiàn)多源數(shù)據(jù)的快速匯入、解析，分析，過(guò)濾等功能。提供便捷的數(shù)據(jù)交換API，支持多種方式接入數(shù)據(jù)。多樣化的協(xié)同代理，支持多種常用的數(shù)據(jù)獲取形式，并能根據(jù)需求快速增加新類型協(xié)同代理。支持多種常見(jiàn)的文檔數(shù)據(jù)格式導(dǎo)入：包括圖像數(shù)據(jù)、矢量實(shí)錄、目標(biāo)數(shù)據(jù)、聲音數(shù)據(jù)、視頻數(shù)據(jù)等。數(shù)據(jù)采集子系統(tǒng)分為多源數(shù)據(jù)接入模塊、數(shù)據(jù)總線模塊、分析過(guò)濾模塊三部分。系統(tǒng)入口通過(guò)多個(gè)協(xié)同代理agent對(duì)接不同數(shù)據(jù)源，并在對(duì)數(shù)據(jù)進(jìn)行格式統(tǒng)一轉(zhuǎn)換，封裝后以統(tǒng)一的格式發(fā)送到數(shù)據(jù)總線中。分析過(guò)濾模塊通過(guò)統(tǒng)一數(shù)據(jù)獲取接口從數(shù)據(jù)總線中訂閱數(shù)據(jù)。數(shù)據(jù)接入數(shù)據(jù)預(yù)處理模塊主要功能包括：實(shí)現(xiàn)多業(yè)務(wù)數(shù)據(jù)的分布式抽取，數(shù)據(jù)過(guò)濾，數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)加載等 ETL操作對(duì)海量實(shí)時(shí)數(shù)據(jù)的規(guī)范化處理；數(shù)據(jù)接入模塊提供對(duì)多種接入數(shù)據(jù)的處理。對(duì)海量流式數(shù)據(jù)可提供過(guò)濾、識(shí)別、檢測(cè)、業(yè)務(wù)識(shí)別等預(yù)處理操作，同時(shí)可與后續(xù)流處理引擎對(duì)接；對(duì)web抓取數(shù)據(jù)可提供URL查重、實(shí)體抽取、數(shù)據(jù)格式封裝、數(shù)據(jù)清洗等預(yù)處理功能，處理完的數(shù)據(jù)進(jìn)入數(shù)據(jù)總線，由分析模塊分析提取數(shù)據(jù)中的信息，為數(shù)據(jù)入庫(kù)做好準(zhǔn)備。規(guī)則過(guò)濾據(jù)。模塊完成以下功能：任務(wù)輪詢模塊負(fù)責(zé)輪詢?nèi)蝿?wù)并加載規(guī)則。如果任務(wù)符合重建條件，則加載所有任務(wù)的規(guī)則，并出發(fā)規(guī)則重建。規(guī)則解析解析規(guī)則內(nèi)容。規(guī)則過(guò)濾獲取實(shí)時(shí)流文檔，并通過(guò)規(guī)則熱切換獲取最新的多模匹配狀態(tài)機(jī)。規(guī)則重建模塊根據(jù)任務(wù)輪詢獲取的任務(wù)列表，建立多模匹配狀態(tài)機(jī)。任務(wù)輪詢不斷查詢數(shù)據(jù)庫(kù)以獲取更新的任務(wù)列表，實(shí)時(shí)過(guò)濾輪詢定期輪詢?nèi)蝿?wù)數(shù)據(jù)庫(kù)，查時(shí)過(guò)濾模塊。規(guī)則重建主要是將任務(wù)輪詢獲取的所有有效任務(wù)進(jìn)行規(guī)則解析，提取關(guān)鍵詞，構(gòu)建多模匹配狀態(tài)機(jī)。則，對(duì)文檔進(jìn)行實(shí)時(shí)過(guò)濾。數(shù)據(jù)存儲(chǔ)數(shù)據(jù)存儲(chǔ)層提供企業(yè)級(jí)大數(shù)據(jù)平臺(tái)軟件一體化解決方案；并支持儲(chǔ)層不僅提供統(tǒng)一、穩(wěn)定、高效的存儲(chǔ)子系統(tǒng)，還整合了先進(jìn)的分布式集群資源管理和進(jìn)程調(diào)度方案、高性能數(shù)據(jù)總線技術(shù)、全并行架構(gòu)分布式關(guān)系數(shù)據(jù)庫(kù)、分布式KV存數(shù)據(jù)庫(kù)，以及面向上層業(yè)務(wù)的各類工具軟件和庫(kù)支持。數(shù)據(jù)存儲(chǔ)層采用了存儲(chǔ)服務(wù)器集群和元數(shù)據(jù)服務(wù)器集群通過(guò)千兆以太網(wǎng)絡(luò)/萬(wàn)兆以太網(wǎng)絡(luò)構(gòu)建，具備極高的擴(kuò)展性和可靠性。消除集群內(nèi)的單點(diǎn)故障，避免因?yàn)楣收隙鴮?dǎo)致服務(wù)中斷或者數(shù)據(jù)丟失等影響，并且打破了傳統(tǒng)存儲(chǔ)系統(tǒng)架構(gòu)上的限制。分布式列數(shù)據(jù)庫(kù)可支持大于幾十個(gè)節(jié)點(diǎn)，PB存儲(chǔ)規(guī)模的scale-out；性能上其針對(duì)具體大數(shù)據(jù)應(yīng)用場(chǎng)景進(jìn)行深度定制和調(diào)優(yōu)，尤其對(duì)于高吞吐率入庫(kù)和實(shí)時(shí)檢索場(chǎng)景；功能上除了支持標(biāo)準(zhǔn)的K-V訪問(wèn)接口之外，還可較好的兼容SQL標(biāo)準(zhǔn)及JDBC接口，可以很好的與既有數(shù)據(jù)分析業(yè)務(wù)對(duì)接。尤其在索引性能優(yōu)化及對(duì)后綴和全文索引的支持上都有顯著優(yōu)勢(shì)。在應(yīng)用場(chǎng)景方面，分布式列數(shù)據(jù)庫(kù)常被用作全量基礎(chǔ)數(shù)據(jù)的組織和存儲(chǔ)（包括結(jié)構(gòu)化及半結(jié)構(gòu)化數(shù)據(jù)），同時(shí)提供對(duì)此全量數(shù)據(jù)的實(shí)時(shí)查詢；可兼容傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)OLAP場(chǎng)景，對(duì)復(fù)雜SQL分析可提供近實(shí)時(shí)的分析性能。從而可同時(shí)支持對(duì)大數(shù)據(jù)的實(shí)時(shí)查詢和復(fù)雜離線分析。計(jì)算引擎功能計(jì)算引擎是大數(shù)據(jù)綜合分析平臺(tái)中進(jìn)行數(shù)據(jù)處理分析的基礎(chǔ)。其主要包括分布式計(jì)算框架及數(shù)據(jù)分析算子兩大部分。統(tǒng)一計(jì)算引擎系統(tǒng)滿足如下功能需求：提供支持大數(shù)據(jù)分析的計(jì)算框架，包括MapReduce、內(nèi)存計(jì)算等并行計(jì)算框架，具備靈活定制型、彈性擴(kuò)展等特性。提供面向大規(guī)模異構(gòu)數(shù)據(jù)源的抽取功能和異構(gòu)數(shù)據(jù)源統(tǒng)一組織模型，具備異構(gòu)數(shù)據(jù)的融合能力?；诜植际接?jì)算框架的機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘、文本檢索、數(shù)值分析、地理位置計(jì)算、檢索統(tǒng)計(jì)等通用算子集；對(duì)海量實(shí)時(shí)數(shù)據(jù)的統(tǒng)計(jì)特征的快速提?。ㄈ鏼ax，min，average，sum等）。組成圖4-6：計(jì)算引擎結(jié)構(gòu)圖如上圖所示，計(jì)算引擎分兩個(gè)層次：分布式計(jì)算框架和其上的各種基本計(jì)算模型。分布式計(jì)算框架提供對(duì)主流計(jì)算框架的支持以及編程接口，包括MapReduce存計(jì)算框架等，分布式計(jì)算框架負(fù)責(zé)管理整個(gè)系統(tǒng)中的計(jì)算資源和數(shù)據(jù)資源，合理調(diào)度各個(gè)計(jì)算節(jié)點(diǎn)上的計(jì)算任務(wù)。計(jì)算框架提供一下功能：計(jì)算資源管理。計(jì)算任務(wù)跟蹤。計(jì)算任務(wù)容錯(cuò)處理計(jì)算結(jié)果匯聚計(jì)算節(jié)點(diǎn)負(fù)載監(jiān)控.3.5.3 基本算子集基本算子集提供了數(shù)據(jù)分析中所需要的通用和基本的算