技術(shù)報告虛擬化綠色智慧交通數(shù)據(jù)中心關(guān)鍵技術(shù)

1、計劃類別 項目編號 項目技術(shù)報告課題名稱 項目主持人 承擔單位 題目：虛擬化綠色智慧交通數(shù)據(jù)中心關(guān)鍵技術(shù)研究采用基于VMware vSphere的數(shù)據(jù)中心虛擬化體系方案設(shè)計和SDN的高并發(fā)多應(yīng)用SLA的資源管理方法，對數(shù)據(jù)中心能耗建模及優(yōu)化，簡化基礎(chǔ)設(shè)施和資源管理方式，減少資源開銷，整合資源，節(jié)約建設(shè)成本，實現(xiàn)智能、靈活、集約的業(yè)務(wù)調(diào)度，實現(xiàn)資源按需分配，提高智慧交通數(shù)據(jù)中心能源效率、資源利用率和設(shè)備能效比，達到綠色節(jié)能。關(guān)鍵詞：智慧交通；虛擬化；數(shù)據(jù)中心；VMware vSphere；大數(shù)據(jù)1 引言（Introduction）在智慧交通大數(shù)據(jù)中心方面，由于交通運輸行業(yè)是數(shù)據(jù)密集型行業(yè)，大量的

2、交通數(shù)據(jù)必然要求高效的管理和研究分析手段。智慧交通大數(shù)據(jù)中心建設(shè)已經(jīng)是迫切需要，并且智慧交通大數(shù)據(jù)中心構(gòu)建必須把我當前數(shù)據(jù)中心技術(shù)發(fā)展的趨勢。在智慧交通大數(shù)據(jù)中心構(gòu)建方面，國內(nèi)外許多學者進行了大量的研究工作。Du1提出了一種新穎的城市交通數(shù)據(jù)即服務(wù)（CTDaaS），融合來自分布式提供商的數(shù)據(jù)，構(gòu)建了一個因特網(wǎng)的流量數(shù)據(jù)服務(wù)（IoTDS）模型，以識別數(shù)據(jù)資源之間的關(guān)聯(lián)和關(guān)系，并在透明計算范式和面向服務(wù)的架構(gòu)下開發(fā)了CTDaaS代理，根據(jù)不同的計算模型融合來自各種數(shù)據(jù)源的知識，以及響應(yīng)差異化的數(shù)據(jù)質(zhì)量（QoD）。Jeon2提出一種新的統(tǒng)計建模方法，該方法根據(jù)每個鏈路的各種分析找到最佳的歷史數(shù)據(jù)集，

3、并按每周七天提供更精確的交通流預測，采用基于長點分析、相關(guān)分析和蒙特卡羅模擬的三步過濾算法，并通過使用諸如均方誤差（MSE）和Akaike信息準則的決定因素來確定最佳歷史數(shù)據(jù)范圍，構(gòu)建了一個大數(shù)據(jù)處理框架來處理整體預測過程和計算大量的交通數(shù)據(jù)。Xiong3提出深圳交通系統(tǒng)（SZTS，一個新的大數(shù)據(jù)Hadoop基準套件），包括現(xiàn)實生活交通分析應(yīng)用程序與深圳的現(xiàn)實生活輸入數(shù)據(jù)集，專注特定的和真實的應(yīng)用領(lǐng)域，在微架構(gòu)級別，操作系統(tǒng)級別和作業(yè)級別執(zhí)行跨層工作負載表征，顯示SZTS與現(xiàn)有Hadoop基準，以及通用多核PARSEC基準相比的獨特特性。同時還研究工作負載行為相對于輸入數(shù)據(jù)大小的敏感性，并提出

4、了一種用于識別代表性輸入數(shù)據(jù)集的方法。Huang4提出了一種基于云計算技術(shù)的安全并行地圖匹配系統(tǒng)，通過在MapReduce范式中重構(gòu)來適應(yīng)云計算環(huán)境的串行跳躍映射匹配算法，在混合云上的隱私感知地圖匹配模型，以實現(xiàn)敏感的GPS數(shù)據(jù)保護，并在hadoop平臺上實施1000億記錄的大型車輛跟蹤數(shù)據(jù)集測，證明是高效率的大規(guī)模車輛跟蹤數(shù)據(jù)處理。2 數(shù)據(jù)中心與數(shù)據(jù)中心虛擬化（Data center anddata center virtualization）2.1 傳統(tǒng)數(shù)據(jù)中心面臨的機遇與挑戰(zhàn)數(shù)據(jù)中心起源于20世紀60年代以數(shù)據(jù)存儲和簡單計算階段的計算中心，20世紀80年代逐步發(fā)展為以數(shù)據(jù)處理及業(yè)務(wù)應(yīng)用階

5、段的信息中心，隨后在21世紀初出現(xiàn)了以服務(wù)為主導的IT服務(wù)中心。隨著云計算和虛擬化的快速發(fā)展，通過虛擬化技術(shù)搭建下一代數(shù)據(jù)中心被越來越多的采用，虛擬化技術(shù)為數(shù)據(jù)中心在架構(gòu)、系統(tǒng)、業(yè)務(wù)模式和管理上提供一種全新的解決方案。高效的數(shù)據(jù)查詢檢索性能是現(xiàn)代數(shù)據(jù)中心的一個重要指標，傳統(tǒng)數(shù)據(jù)查詢技術(shù)特征如表1所示。隨著技術(shù)的發(fā)展，傳統(tǒng)數(shù)據(jù)中心采用關(guān)系數(shù)據(jù)庫查詢、串行查詢，以及后來出現(xiàn)的倒序索引、并行索引已經(jīng)不能滿足大數(shù)據(jù)時代發(fā)展要求，需要更先進的檢索查詢技術(shù)。2.2 虛擬化綠色數(shù)據(jù)中心針對傳統(tǒng)數(shù)據(jù)中心利用率低、缺乏靈活性、業(yè)務(wù)連續(xù)性差、可持續(xù)發(fā)展能力不足、運營能耗成本高、運維管理水平不高、自動化程度低、績效

6、評估難的不足，虛擬化技術(shù)釋放了數(shù)據(jù)中心的潛力，為數(shù)據(jù)中心帶來了極大的運營彈性。未來數(shù)據(jù)中心的面貌就是將底層的硬件，包括服務(wù)器、儲存與網(wǎng)絡(luò)設(shè)備全面虛擬化，建立起一個共享的隨需而選的運作環(huán)境，上層的數(shù)據(jù)可以根據(jù)業(yè)務(wù)型態(tài)的不同需求，搭配出各種互相隔離的應(yīng)用，形成一個服務(wù)導向的IT架構(gòu)。虛擬化技術(shù)將更先進的自動化和系統(tǒng)管理引進到數(shù)據(jù)中心，為數(shù)據(jù)中心提供了一種共享加隔離的安全、可信的云計算基礎(chǔ)架構(gòu)，成為疊加了云計算功能架構(gòu)的彈性數(shù)據(jù)中心。虛擬化數(shù)據(jù)中心的技術(shù)優(yōu)勢主要體現(xiàn)在提升IT設(shè)備利用率、簡化管理、快速部署業(yè)務(wù)、更敏捷地支撐業(yè)務(wù)發(fā)展、綠色節(jié)能、實現(xiàn)高效的IT治理五方面。目前虛擬化數(shù)據(jù)中心正朝著分布式建

7、設(shè)模式，數(shù)據(jù)中心管理工具（DCIM）的重構(gòu)和發(fā)展為核心的控制點，軟件定義數(shù)據(jù)中心，數(shù)據(jù)向集中化管理方面發(fā)展且可靠性成為未來數(shù)據(jù)中心的基礎(chǔ)能力，更強調(diào)能源的有效利用與成本收益的優(yōu)化幾個主要方面發(fā)展。VMware vsphere Hypervisor是一款免費的裸機hypervisor，能夠虛擬化服務(wù)器，以便將應(yīng)用整合到更少的硬件上。在內(nèi)置管理工具方面，可在幾分鐘內(nèi)輕松創(chuàng)建和調(diào)配虛擬機。在存儲使用效率方面，可以超出物理存儲的實際容量過量分配存儲資源。在高級內(nèi)存管理方面，可以超額分配內(nèi)存資源并執(zhí)行頁面共享和壓縮，從而優(yōu)化內(nèi)存資源的性能。另外，它還可以經(jīng)過強化的驅(qū)動程序可實現(xiàn)高可靠性，通過與獨立硬件供

8、應(yīng)商合作，確保實現(xiàn)vSphere Hypervisor的最佳性能。IDC報告表明，通過虛擬化和現(xiàn)有安裝服務(wù)器重新部署與管理程序相結(jié)合，全球每年避免新增大量的服務(wù)器。由于使用VMware而避免新增服務(wù)器，虛擬化產(chǎn)品從2003年的總計107000個增長到2016年的1620萬個。全球服務(wù)器虛擬化從2003年的107000增加到2016年的5350萬。由于使用了VMware虛擬化產(chǎn)品而避免了排放量。超融合基礎(chǔ)設(shè)施和軟件定義網(wǎng)絡(luò)進一步減少基礎(chǔ)架構(gòu)設(shè)備（存儲陣列和網(wǎng)絡(luò)）數(shù)量的新增。由于使用VMware虛擬化產(chǎn)品，每年避免增加的基礎(chǔ)設(shè)施設(shè)備，從2014年總計595000臺增長到2016年的107萬臺。3

9、基于VMware vSphere虛擬化智慧交通數(shù)據(jù)中心（Virtualized smart transportation data centerbased on VMware vSphere）3.1 問題與現(xiàn)狀交通運輸行業(yè)的業(yè)務(wù)系統(tǒng)建設(shè)通常以滿足單一業(yè)務(wù)部門需求為主，具有業(yè)務(wù)覆蓋單一、系統(tǒng)重復建設(shè)，以及系統(tǒng)之間相互割裂的特點，形成一個個信息“孤島”和“煙囪”。交通運輸行業(yè)中IT資源浪費嚴重與發(fā)展不平衡導致目前業(yè)務(wù)系統(tǒng)信息化發(fā)展水平不能滿足交通行業(yè)高速發(fā)展的需要。同時，不同部門信息化存在巨大差距，部分交通信息化資源的配置和使用缺乏有效的監(jiān)管，加之業(yè)務(wù)平臺具有管理復雜、業(yè)務(wù)上線時間長的特征，導致業(yè)

10、務(wù)連續(xù)性無法保障，影響了交通信息化的發(fā)展。隨著數(shù)據(jù)量的增多，計算、存儲密度增大，數(shù)據(jù)存儲平臺對安全性、擴展性也提出更高的要求，急需一套安全可靠的數(shù)據(jù)存儲平臺，保障數(shù)據(jù)的安全。3.2 交通數(shù)據(jù)中心虛擬化對于交通部門希望實現(xiàn)高效綠色虛擬化交通數(shù)據(jù)中心來說，VMware vsphere Hypervisor因其具有高度可配置性，對于要求完全虛擬化或選擇混合方法的交通部門來說，它可以成為一個有吸引力的選擇。以VMWare vSphere 5.5 Hypervisor來說，其性能參數(shù)如表2所示。交通數(shù)據(jù)中心虛擬化將計算、存儲、網(wǎng)絡(luò)、大數(shù)據(jù)分析、智能分析、災備、安全等系統(tǒng)，以及視頻設(shè)備、網(wǎng)絡(luò)設(shè)備、服務(wù)器、

11、中間件、數(shù)據(jù)庫、業(yè)務(wù)應(yīng)用和機房動力環(huán)境等分割管理的信息孤島進行有效的整合和關(guān)聯(lián)，實現(xiàn)數(shù)據(jù)中心全網(wǎng)資源的全面監(jiān)控與集中統(tǒng)一管理。根據(jù)計算需求，采用服務(wù)器虛擬化應(yīng)用，對于視頻、圖像數(shù)據(jù)采用云存儲模式，對于數(shù)據(jù)庫、虛擬機鏡像文件等數(shù)據(jù)采用FC-SAN共享存儲。對于交通大數(shù)據(jù)分析和智能分析需求，采用大數(shù)據(jù)平臺針對非結(jié)構(gòu)化、半結(jié)構(gòu)化，以及結(jié)構(gòu)化的過車視頻、數(shù)據(jù)進行建模分析和交通數(shù)據(jù)采集，支持全文快速檢索、以圖搜圖、智能研判、OD分析和統(tǒng)計分析等應(yīng)用。對于災備需求，可基于存儲復制、雙機熱備、異地容災等方式，進行兩地三中心、同城雙中心或異地雙中心的容災建設(shè)，同時可選用NBU備份或CommVault備份方案實

12、現(xiàn)數(shù)據(jù)備份。交通數(shù)據(jù)中心虛擬化從虛擬化方案的拓撲結(jié)構(gòu)設(shè)計，虛擬架構(gòu)主體Vmware ESX Server配置、SAN集中存儲實現(xiàn)虛擬服務(wù)器的文件共享、虛擬架構(gòu)環(huán)境的集中管理、自動化及優(yōu)化運行，以及虛擬架構(gòu)環(huán)境的整合備份四方面進行，其架構(gòu)如圖1所示。4 虛擬化智慧交通數(shù)據(jù)中心關(guān)鍵技術(shù)（Keytechnologies of virtualized smart transportationdata center）4.1 動態(tài)交通監(jiān)控數(shù)據(jù)存儲及數(shù)據(jù)容錯在交通監(jiān)控領(lǐng)域，監(jiān)控數(shù)據(jù)分析的效率決定價值，因此需要更低的延遲、更準確的分析。隨著數(shù)據(jù)量的增加，即使對TB級別的數(shù)據(jù)進行對視頻內(nèi)容的數(shù)據(jù)分析和檢索，采用

13、串行計算的模式都可能需要花費數(shù)小時的計算，已遠遠不能勝任時效性的需求。大數(shù)據(jù)架構(gòu)下的存儲系統(tǒng)還需要考慮后續(xù)的計算模式的匹配。通過分布式資源管理框架，結(jié)合存儲區(qū)域網(wǎng)絡(luò)（SAN）和軟件定義存儲（SDS），考慮動態(tài)交通監(jiān)控數(shù)據(jù)的元組與屬性特點，結(jié)合不同應(yīng)用環(huán)境分別進行建模，并基于智慧交通業(yè)務(wù)中各子任務(wù)映射關(guān)系特點，分析各業(yè)務(wù)的容錯約束條件及參數(shù)變化，考慮副本技術(shù)與元數(shù)據(jù)服務(wù)，基于集群的中間數(shù)據(jù)容錯機制，將容錯設(shè)計到架構(gòu)之中，以可擴展的分布式系統(tǒng)的方式實現(xiàn)。4.2 高并發(fā)多應(yīng)用SLA的資源管理基于高并發(fā)多應(yīng)用SLA（Service Level Agreement）的兼容性和基于進程粒度的共享平臺資源管

14、理5，研究根據(jù)應(yīng)用資源需求進行應(yīng)用到物理機的應(yīng)用放置/遷移和動態(tài)分配物理機資源，降低SLA受到影響或資源浪費概率的發(fā)生的同結(jié)點應(yīng)用資源的動態(tài)調(diào)整；基于虛擬機粒度的虛擬化平臺資源管理，研究包括虛擬機的放置/遷移和同結(jié)點虛擬機資源的動態(tài)調(diào)整。由于虛擬機中應(yīng)用負載具有隨時變動性，借助虛擬化技術(shù)提供的細粒度資源分配機制支持，為虛擬機動態(tài)增加或減少資源。4.3 數(shù)據(jù)中心能耗建模、優(yōu)化和管理對虛擬化數(shù)據(jù)中心的能耗管理從能耗監(jiān)控與測量、能耗分析與建模、能耗管理實現(xiàn)機制，以及能耗管理優(yōu)化算法四個方面進行研究。利用客戶虛擬機的能耗管理策略實現(xiàn)虛擬機的能耗管理，以及利用硬件能耗管理機制實現(xiàn)虛擬機的能耗管理兩種傳統(tǒng)

15、解決方法的不足。結(jié)合軟件和硬件層次上能耗調(diào)節(jié)技術(shù)的方法來進行虛擬化云計算平臺的能耗管理，包括虛擬化云平臺的能耗分析與建模、服務(wù)器整合建模，以及在線遷移建模。4.4 高效查詢架構(gòu)高效查詢架構(gòu)采用Lucene和Hadoop，Lucene實現(xiàn)倒序索引，提供全文檢索，并行索引階段和查詢階段用Hadoop的Map和Reduce過程實現(xiàn)，顯著提高查詢效率。數(shù)據(jù)及時交由實時計算框架進行處理，同時定期同步至離線計算框架；實時計算框架處理接收到的實時數(shù)據(jù)，并將處理結(jié)果輸出到數(shù)據(jù)查詢框架或者離線計算框架；離線計算框架則定期對數(shù)據(jù)進行處理，并將處理結(jié)果輸出至數(shù)據(jù)查詢框架；數(shù)據(jù)查詢框架對海量數(shù)據(jù)進行統(tǒng)計、匯總和分析，

16、發(fā)現(xiàn)重復發(fā)生概率較高的模式，并通過應(yīng)用云面向用戶提供服務(wù)。5 虛擬化綠色智慧交通數(shù)據(jù)中心設(shè)計實現(xiàn)（Virtualization of green smart transportationdata center design and implementation）5.1 虛擬化綠色智慧交通數(shù)據(jù)中心技術(shù)路線虛擬化綠色智慧交通數(shù)據(jù)中心分三層結(jié)構(gòu)，底層是前端感知層，負責將各類檢測數(shù)據(jù)收集匯總，形成交通大數(shù)據(jù)；彈性計算層通過對數(shù)據(jù)預處理、分析及優(yōu)化通過虛擬化存儲、網(wǎng)絡(luò)和計算平臺實現(xiàn)安全、可用和自動化；業(yè)務(wù)應(yīng)用層實現(xiàn)具體交通管理、指揮、預警業(yè)務(wù)，其技術(shù)路線如圖2所示。5.2 虛擬化綠色智慧交通數(shù)據(jù)中心方案

17、虛擬化綠色智慧交通數(shù)據(jù)中心組成包括五部分，分別是內(nèi)網(wǎng)數(shù)據(jù)、內(nèi)網(wǎng)虛擬化平臺、內(nèi)網(wǎng)應(yīng)用、外網(wǎng)虛擬化平臺、應(yīng)用需求。方案如圖3所示。6 結(jié)論（Conclusion）通過交通數(shù)據(jù)中心虛擬化，實現(xiàn)現(xiàn)有物理資源的集中管理和統(tǒng)一調(diào)度，提高了交通部門設(shè)備利用率和能源利用的有效性，提升運營效率，以及降低投資開支。選用VMware虛擬化產(chǎn)品提高了交通數(shù)據(jù)中心系統(tǒng)基礎(chǔ)構(gòu)架的自動化程度和靈活性，滿足了不斷擴大的業(yè)務(wù)需求。同時，虛擬化數(shù)據(jù)中心不間斷運營和集成化管理工具可以簡化運營，加快解決問題的速度，并有助于向新技術(shù)轉(zhuǎn)型。參考文獻（References）1 Du B，Huang R，Chen X，et al.Activ

18、e CTDaaS：A Data Service Framework Based on Transparent IoD in City Traf?cJ.IEEE Transactions on Computers，2016，65：1.2 Jeon S，Hong B.Monte Carlo simulation-based traffic speed forecasting using historical big dataJ.Future Generation Computer Systems，2016，65：182-195.3 Xiong W，Yu Z，Eeckhout L，et al.ShenZhen transportation system（SZTS）：a nove