大數(shù)據(jù)云平臺建設技術規(guī)劃方案（僅用于學習的參考模板）

大數(shù)據(jù)云平臺建設技術規(guī)劃

總體設計方案—2

—

云平臺總體架構平臺總述IaaS：提供基本的計算、網(wǎng)絡和存儲資源。PaaS：中間層，提供對行業(yè)業(yè)務應用的支持。SaaS：向用戶交付最終業(yè)務應用和數(shù)據(jù)分析。PaaS環(huán)境層：為業(yè)務應用提供支撐的軟件組件、包括各種中間件和數(shù)據(jù)庫等。以Hadoop為代表的大數(shù)據(jù)處理。PaaS業(yè)務層：包含了應用的后臺程序，數(shù)據(jù)處理算法以及業(yè)務數(shù)據(jù)等實現(xiàn)業(yè)務能力的元素。PaaS服務層：將業(yè)務層的業(yè)務、算法和數(shù)據(jù)以接口的形式提供給上層的前端應用直接訪問。平臺核心：統(tǒng)一資源+大數(shù)據(jù)+開放服務—3

—

云平臺總體架構云管理特點面向一般數(shù)據(jù)中心典型的應用場景，提供對混合IT資源的統(tǒng)一接入，以構筑云模式下基礎資源調(diào)度的最佳實踐。以PaaS能力為核心，將應用系統(tǒng)的典型軟件組件以服務形態(tài)提供，為業(yè)務系統(tǒng)提供統(tǒng)一環(huán)境支持，并進行統(tǒng)一管理和監(jiān)控。將大數(shù)據(jù)平臺作為典型服務組件整合到云平臺中進行統(tǒng)一管理，以適應未來應用對大數(shù)據(jù)能力的普遍使用。為用戶提供面向DevOps的統(tǒng)一云服務業(yè)務流程，以統(tǒng)一平臺提供傳統(tǒng)的IaaS和PaaS能力，并貫穿開發(fā)、測試和生產(chǎn)的全過程?！?

—

云平臺總體架構云管理整合傳統(tǒng)IaaS的管理能力與傳統(tǒng)PaaS的能力資源接入、服務管理、應用系統(tǒng)環(huán)境支撐和統(tǒng)一監(jiān)控體系四位一體—5

—

云平臺總體架構服務資源構建混合IT基礎環(huán)境：數(shù)據(jù)中心的最佳實踐通常需要由物理機和不同價位和能力的虛擬化技術共同構成。一個最佳性價比的方案可以是使用物理機支持核心數(shù)據(jù)庫和大規(guī)模計算、使用高效穩(wěn)定但成本高的虛擬化系統(tǒng)如VMWare等支持核心業(yè)務、使用普通虛擬化系統(tǒng)如HyperV等支持普通業(yè)務系統(tǒng)、最后使用低成本虛擬化系統(tǒng)如KVM等支持開發(fā)測試等環(huán)境。多資源區(qū)統(tǒng)一管理：同一類虛擬化資源或者物理資源可以構成一個或若干個基本資源區(qū)。每個資源區(qū)一般包含一定數(shù)量的物理機。資源區(qū)的劃分方式取決于業(yè)務的區(qū)隔?！?

—

云平臺總體架構服務資源構建服務域：承載支撐應用系統(tǒng)的軟件組件以服務形式進行交付的區(qū)域。在這個區(qū)域中，每一套軟件組件有一個自己獨立的服務域。一個服務域中，軟件組件典型的部署模式包含以下三種：a)按需模式：在一個服務域初始化時不創(chuàng)建具體的服務實例，當有用戶請求時再根據(jù)用戶需求創(chuàng)建該軟件組件的實例。b)預置模式：在服務域創(chuàng)建時構建相應軟件組件的多個實例。當用戶請求該軟件的實例時，系統(tǒng)直接從已經(jīng)創(chuàng)建的實例中進行分配。同時，該模式可以按照一定的策略保證空閑實例的數(shù)量。c)多實例模式：對一些特定類型的服務組件，一次部署以后可以產(chǎn)生多個服務實例。在這種情況下，該服務域在創(chuàng)建時可直接部署該組件，然后通過特定的服務接口在用戶申請實例時，由這個部署的組件不斷的創(chuàng)建服務實例?！?

—

大數(shù)據(jù)基礎構建大數(shù)據(jù)基礎管理架構大數(shù)據(jù)基礎平臺組成：1.分布式存儲框架：主要負責針對海量數(shù)據(jù)的存儲，以分布式存儲技術，支持快速、海量、多種類型的數(shù)據(jù)存取。主要支持從數(shù)據(jù)源抽取數(shù)據(jù)大數(shù)據(jù)基礎平臺存儲，集成多種存儲方式，有針對結構化數(shù)據(jù)、非結構化數(shù)據(jù)和半結構化數(shù)據(jù)的存儲。2.計算框架：主要提供批處理計算、內(nèi)存計算、流式計算框架，由數(shù)據(jù)處理管理驅(qū)動來分配和調(diào)度計算框架，加載數(shù)據(jù)處理算法，完成數(shù)據(jù)處理。3.二級計算框架：主要提供Hive、Mahout等計算能力，這些計算能力最終還會使用計算框架來完成計算。4.數(shù)據(jù)集市倉庫：主要對計算框架完成后的結果進行存儲，支持Hbase、Mysql等存儲，同時將數(shù)據(jù)以接口的形式開放出去?！?

—

大數(shù)據(jù)基礎構建大數(shù)據(jù)基礎管理架構大數(shù)據(jù)基礎平臺組成：5.全文索引庫：采用大數(shù)據(jù)基礎平臺構建支持全文檢索的全文庫，主要用于支撐海量結構化數(shù)據(jù)的搜索查詢應用。6.數(shù)據(jù)處理算法庫：集成通用的數(shù)據(jù)分析算法、能夠插入用戶自定義的數(shù)據(jù)模型算法，配合以資源管理系統(tǒng)為主的計算存儲框架，進行數(shù)據(jù)處理。目前包括插入全文檢索索引模型等。7.資源管理：以容器的方式，來為計算框架和存儲框架分配資源，并支持資源調(diào)度，彈性伸縮。8.數(shù)據(jù)服務總線：將基礎平臺的能力和數(shù)據(jù)服務接口，以API的方式開放出去，形成一個共享的、多租戶的、供大量應用使用的服務總線?？砂ǎ翰樵冾惤涌?，分析類接口，專題應用類接口，決策類接口等。—9

—

大數(shù)據(jù)基礎構建大數(shù)據(jù)基礎管理架構大數(shù)據(jù)基礎平臺組成：9.服務總線管理：主要是對數(shù)據(jù)服務總線進行管理和使用，功能包括：服務治理，接口訪問控制、服務質(zhì)量、協(xié)議轉(zhuǎn)換等功能。10.數(shù)據(jù)處理管理：主要是以作業(yè)管理的方式，對計算框架、存儲框架的資源進行調(diào)度、分配，以承載數(shù)據(jù)處理算法包，完成數(shù)據(jù)處理。11.資源目錄管理：主要針對大數(shù)據(jù)基礎平臺數(shù)據(jù)的元數(shù)據(jù)進行有效分類，根據(jù)目前橋梁生命線系統(tǒng)的數(shù)據(jù)特征分為以下幾大類目錄，包括：傳感器、橋梁、供水管道、燃氣管道、機構、用戶等，便于數(shù)據(jù)的管理和查詢。12.數(shù)據(jù)源管理：數(shù)據(jù)源管理實現(xiàn)對數(shù)據(jù)來源的管理，大數(shù)據(jù)基礎平臺具備對結構化、半結構化和非結構化數(shù)據(jù)的抽取能力，并可通過本地系統(tǒng)上傳、對接第三方API、爬取互聯(lián)網(wǎng)數(shù)據(jù)等，為數(shù)據(jù)處理、分析、融合準備數(shù)據(jù)?！?0

—

關鍵技術分析物理機管理鏡像部署接口：鏡像部署接口主要用于將操作系統(tǒng)鏡像自動化部署到創(chuàng)建的新主機上，使之交付的物理機是一個帶操作系統(tǒng)的物理機。主機控制接口：主機控制接口主要用于為新建（交付）的主機設置網(wǎng)卡IP地址、掛載盤等控制功能。電源管理接口：電源管理接口主要用于對新建的物理機進行啟動、停止、重啟等操作。IPMI接口：IPMI接口主要用于獲取物理機的CPU、風扇、電源等信息—11

—

關鍵技術分析存儲資源管理KVM存儲資源管理：KVM的存儲部署支持直接使用iSCSI或FCSAN存儲陣列和共享分布式存儲，如GlusterFS和Ceph等，作為后端存儲。這些存儲接入到KVM虛擬化管理軟件的存儲管理模塊后，由存儲管理模塊對其劃分邏輯單元（LUN）作為虛擬機使用的存儲空間，形成統(tǒng)一的存儲資源池。存儲資源池可用于存儲KVM宿主機的虛擬機磁盤鏡像、虛擬機模板、驅(qū)動ISO、操作系統(tǒng)ISO等文件。VMware存儲資源管理：VMware的存儲部署采用iSCSI或FCSAN存儲陣列的后端存儲+DataStore數(shù)據(jù)存儲的方案，即在iSCSI協(xié)議或FC協(xié)議的存儲陣列上劃分出用于作為VMware集群共享存儲的邏輯單元（LUN），將該LUN映射至集群中的所有ESXi主機形成“共享卷”并格式化為VMFS網(wǎng)絡文件系統(tǒng)，這樣集群中每臺ESXi主機本地就形成了映射至后端存儲中同一邏輯單元（LUN）的數(shù)據(jù)存儲—“DataStore”，用于存儲集群中ESXi主機本地虛擬機的磁盤鏡像（vmdk）、虛擬機模板、驅(qū)動ISO、操作系統(tǒng)ISO等文件?！?2

—

關鍵技術分析Hadoop部署Hadoop平臺部署：1、應用服務資源區(qū)中可以建立兩個不同二級邏輯資源區(qū)，大數(shù)據(jù)虛擬資源區(qū)和大數(shù)據(jù)物理資源區(qū)。前者提供虛擬機來部署Hadoop平臺，可以主要用于滿足開發(fā)和測試驗證的需要。后者提供物理機來部署Hadoop平臺，可以用來滿足生產(chǎn)系統(tǒng)部署的需求。2、在給定的資源區(qū)上構Hadoop服務域。在該服務域上，Hadoop平臺可以通過資源區(qū)提供的計