實(shí)施方案v1.0-數(shù)據(jù)存儲管理分系統(tǒng)中科遙感

階段標(biāo)志：實(shí)施方 號SZ1- - 數(shù) 數(shù)據(jù)管理分系 2017年8月——2018年12月 項(xiàng)目： 遙感 ）應(yīng)目 圖目 表目 文檔說 標(biāo) 文檔概 術(shù)語與定 項(xiàng)目概 項(xiàng)目來 項(xiàng)目研制內(nèi) 項(xiàng)目的目 項(xiàng)目周 項(xiàng)目的意義和作 文 數(shù)據(jù)管理分系統(tǒng)設(shè) 數(shù)據(jù)管理分系統(tǒng)設(shè)計(jì)方 數(shù)據(jù)管理分系統(tǒng)概 數(shù)據(jù)管理分系統(tǒng)設(shè)計(jì)原 數(shù)據(jù)管理分系統(tǒng)關(guān)鍵技 數(shù)據(jù)管理分系統(tǒng)結(jié) 數(shù)據(jù)管理分系統(tǒng)接口關(guān) 數(shù)據(jù)分系統(tǒng)硬件接口關(guān) 數(shù)據(jù)管理分系統(tǒng)軟件接口關(guān) 數(shù)據(jù)管理分系統(tǒng)工作流 數(shù)據(jù)管理分系統(tǒng)軟硬件環(huán) 數(shù)據(jù)管理分系統(tǒng)功能指 數(shù)據(jù)管理分系統(tǒng)性能指 主要指標(biāo)分 用戶中 數(shù)據(jù)檢 分布式數(shù)據(jù).........................................................指標(biāo)分 各子系統(tǒng)設(shè)計(jì)方 數(shù)據(jù)管理子系 數(shù)據(jù)管理子系統(tǒng)結(jié) 數(shù)據(jù)管理子系統(tǒng)接口關(guān) 數(shù)據(jù)管理子系統(tǒng)工作流 數(shù)據(jù)管理子系統(tǒng)功能指 數(shù)據(jù)管理子系統(tǒng)性能指 數(shù)據(jù)子系 數(shù)據(jù)子系統(tǒng)結(jié) 數(shù)據(jù)子系統(tǒng)接口關(guān) 數(shù)據(jù)子系統(tǒng)工作流 數(shù)據(jù)子系統(tǒng)功能指 數(shù)據(jù)子系統(tǒng)性能指 分系統(tǒng)實(shí)施途 研制現(xiàn)狀和工作基 實(shí)施路線與方 分系統(tǒng)硬件部 分系統(tǒng)軟件部 環(huán)境準(zhǔn) 安裝 部署數(shù)據(jù) 部署項(xiàng) 軟硬件支撐環(huán)境需 分系統(tǒng)實(shí)施途 可靠性設(shè) 維修性設(shè) 保障性設(shè) 測試性設(shè) 安全性設(shè) 環(huán)境適應(yīng)性設(shè) 電磁兼容性設(shè) 需求滿足度說 功能指標(biāo)滿足度說 性能指標(biāo)滿足度說 分系統(tǒng)實(shí)施管 分系統(tǒng)實(shí)施技術(shù)流 分系統(tǒng)實(shí)施進(jìn)度與節(jié)點(diǎn)交付內(nèi) 分系統(tǒng)實(shí)施團(tuán) 分系統(tǒng)交付成 分系統(tǒng)硬件設(shè) 分系統(tǒng)業(yè)務(wù)軟 分系統(tǒng)技術(shù)文檔資 實(shí)施進(jìn)度與質(zhì)量的保障措 結(jié)束 圖2-1數(shù)據(jù)管理分系統(tǒng)組 圖2-2數(shù)據(jù)管理分系統(tǒng)項(xiàng)目來源示意圖 圖2-3數(shù)據(jù)管理分系統(tǒng)項(xiàng)目來源示意圖 圖4-1數(shù)據(jù)管理子系統(tǒng)系統(tǒng)架 圖4-2數(shù)據(jù)管理分系統(tǒng)系統(tǒng)架構(gòu)關(guān) 圖4-3數(shù)據(jù)管理分系統(tǒng)軟件接口關(guān) 圖4-4分系統(tǒng)工作流 圖4-5數(shù)據(jù)管理子系統(tǒng)系統(tǒng)結(jié)構(gòu) 圖4-6數(shù)據(jù)管理子系統(tǒng)接口關(guān) 圖4-7數(shù)據(jù)子系統(tǒng)架構(gòu)結(jié) 圖4-8數(shù)據(jù)子系統(tǒng)接口關(guān) 圖4-9數(shù)據(jù)子系統(tǒng)工作流 圖5-1系統(tǒng)數(shù)據(jù)讀寫模塊的物理結(jié) 圖5-2數(shù)據(jù)管理分系統(tǒng)硬件部署架 圖6-1微服務(wù)集群工作原 圖8-1項(xiàng)目組組織架 表4-1數(shù)據(jù)管理分系統(tǒng)功能指 表4-2數(shù)據(jù)管理分系統(tǒng)性能指 表4-3數(shù)據(jù)管理分系統(tǒng)主要技術(shù)指標(biāo)分 表4-4數(shù)據(jù)管理子系統(tǒng)功能指 表4-5數(shù)據(jù)管理子系統(tǒng)性能指 表4-6數(shù)據(jù)子系統(tǒng)功能指 表4-7數(shù)據(jù)子系統(tǒng)性能指 表5-1分系統(tǒng)軟硬件環(huán)境支撐需 表7-1系統(tǒng)主要功能要求滿足情況說 表7-2系統(tǒng)主要性能要求滿足情況說 表8-1系統(tǒng)實(shí)施進(jìn)度與節(jié)點(diǎn)交付內(nèi) 表8-2系統(tǒng)實(shí)施團(tuán) 文檔說標(biāo)本文檔的編號為SZ1- -號本文檔的標(biāo)題為“實(shí)施方案V1.0-數(shù)據(jù)管理分系統(tǒng)-遙感-號文檔概術(shù)語與定分布式文件系統(tǒng)：具有執(zhí)行文件存取的能力,并以透明方式對分布在網(wǎng)性與可用性的。項(xiàng)目概一號地面系統(tǒng)（簡稱“地面系統(tǒng)）是指由航天工程大系統(tǒng)中的地本項(xiàng)目所建設(shè)的數(shù)據(jù)管理分系統(tǒng)歸屬于地面應(yīng)用系統(tǒng)由數(shù)據(jù)管理子系統(tǒng)和數(shù)據(jù)子系統(tǒng)兩部分組成其中數(shù)據(jù)管理子系統(tǒng)主要負(fù)責(zé)1號的元數(shù)據(jù)信息管理數(shù)據(jù)子系統(tǒng)則主要實(shí)現(xiàn)所有數(shù)據(jù)的分布式提供高效、 項(xiàng)目來

圖2-1數(shù) 管理分系統(tǒng)組本項(xiàng)目源自“一號”地面應(yīng)用系統(tǒng)建設(shè)中分系統(tǒng)具體建設(shè)需圖2-2數(shù) 管理分系統(tǒng)項(xiàng)目來源示意圖標(biāo)預(yù)深與處加質(zhì)理工量分分檢系系測統(tǒng)統(tǒng)分系統(tǒng)專專定項(xiàng)目研制內(nèi)數(shù)據(jù)管理分系統(tǒng)的研制主要內(nèi)容如下數(shù)據(jù)分布式，采用分布式文件系統(tǒng)，實(shí)現(xiàn)海量大小文件高效項(xiàng)目的目本項(xiàng)目主要圍繞數(shù)據(jù)管理子系統(tǒng)和數(shù)據(jù)子系統(tǒng)進(jìn)行建設(shè)實(shí)現(xiàn)海量數(shù)據(jù)高效、安全，為用戶提供遙感影像數(shù)據(jù)入庫、數(shù)據(jù)檢索、數(shù)據(jù)管理等功能。項(xiàng)目周項(xiàng)目建設(shè)周期：20179月-201811項(xiàng)目的意義和作、本項(xiàng)目通過構(gòu)建一套整合多源數(shù)據(jù)的對用戶透明的分布式系統(tǒng)完數(shù)據(jù)的影像信息、空間信息路徑等元數(shù)據(jù)的信息統(tǒng)一管理，最終實(shí)現(xiàn)對深、圳一號的數(shù)據(jù)檢索服務(wù)文無數(shù)據(jù)管理分系統(tǒng)設(shè)數(shù)據(jù)管理分系統(tǒng)設(shè)計(jì)方數(shù)據(jù)管理分系統(tǒng)概、數(shù)據(jù)管理分系統(tǒng)包括數(shù)據(jù)管理子系統(tǒng)和數(shù)據(jù)子系統(tǒng)數(shù)據(jù)管理子系數(shù)據(jù)等數(shù)據(jù)的影像信息、空間信息路徑等元數(shù)據(jù)信息管理；數(shù)據(jù)子系、用用數(shù)數(shù)子系數(shù)數(shù)據(jù)管理子系統(tǒng)門其他子系數(shù)據(jù)管理分系統(tǒng)設(shè)計(jì)原數(shù)據(jù)管理分系統(tǒng)遵循軟件系統(tǒng)設(shè)計(jì)基本原則，同時兼顧實(shí)際業(yè)務(wù)需求，規(guī)范性：系統(tǒng)中采用的控制協(xié)議、編協(xié)議、接口協(xié)議、文件格式、傳輸協(xié)議等符合、行業(yè)標(biāo)準(zhǔn)和頒布的技術(shù)規(guī)范。系可擴(kuò)展性：數(shù)據(jù)集群主機(jī)數(shù)最大可擴(kuò)展到1200；分系統(tǒng)提供標(biāo)準(zhǔn)restfullAPI接口供第調(diào)用；高可靠性：數(shù)據(jù)子系統(tǒng)使用LVS技術(shù)實(shí)現(xiàn)物理服務(wù)器間及磁盤間負(fù)高并發(fā)：數(shù)據(jù)采用分布式集群技術(shù)，將文件進(jìn)行分塊、冗余支持?jǐn)?shù)據(jù)高并發(fā)數(shù)據(jù)管理分系統(tǒng)關(guān)鍵技數(shù)據(jù)管理分系統(tǒng)的關(guān)鍵技術(shù)主要分為數(shù)據(jù)與管理兩大模塊的技術(shù)支持多種格式數(shù)據(jù)、多種級別產(chǎn)品數(shù)據(jù)統(tǒng)一支持多條件（分辨率、時間、云量、區(qū)域、shp文件等）數(shù)據(jù)的底層多采用分布式，并能實(shí)現(xiàn)并行計(jì)算。針對底層的分布式以及并行計(jì)算的需求，采用開源項(xiàng)目hadoop。對于遙感行業(yè)，由于同hadoop的hdfs來進(jìn)行，對于海量小文件的瓦片數(shù)據(jù)而言，會造成namenode的元數(shù)小文件，hdfs則只用來海量的大文件。Hbase能把許多的小文件拼湊成一個大文件放在hdfs上，大大提升小文件的查詢和效率。對于同時使用hbase和hdfs的系統(tǒng)，需要實(shí)現(xiàn)對用戶而言透明的統(tǒng)一，用戶不用關(guān)心數(shù)據(jù)存在hbase還是hdfs，用戶體驗(yàn)都是一樣的。為實(shí)現(xiàn)此目標(biāo)，可以將用戶的查詢hbasehbase表設(shè)計(jì)的相應(yīng)字段來決定。由于hbase是一種nosql數(shù)據(jù)庫，而最好展現(xiàn)給用戶的是文件系統(tǒng)方式。這添加資源表以小文件內(nèi)容，大文件則直接存在hdfs。webRESTFULAPIhbase的元數(shù)據(jù)表的元數(shù)據(jù)信息，提供文件系統(tǒng)方式的文件的展現(xiàn),對于小文件，直接或?qū)懭雋base的資源表，對于大文件，直接或?qū)懭雋dfs。使用提供的RESTFULAPI即可方便的開發(fā)各種用戶端數(shù)據(jù)云的web服務(wù)，統(tǒng)一、快速的數(shù)數(shù)據(jù)管理分系統(tǒng)結(jié)數(shù)據(jù)管理分系統(tǒng)分為數(shù)據(jù)子系統(tǒng)和數(shù)據(jù)管理子系統(tǒng)其系統(tǒng)架構(gòu)關(guān)用數(shù)數(shù)數(shù)用權(quán)數(shù)戶據(jù)據(jù)據(jù)戶限據(jù)中檢管入登控訪心索理庫錄制問數(shù)據(jù)數(shù)據(jù)系數(shù)據(jù)管理子系數(shù) 管理分系如上圖，數(shù)據(jù)管理子系統(tǒng)分為數(shù)據(jù)管理子系統(tǒng)和數(shù)據(jù)子系統(tǒng)。其中數(shù)據(jù)管理子系統(tǒng)管理數(shù)據(jù)的空間地理信息、時間、分辨率、云量、文件數(shù)據(jù)子系統(tǒng)提供海量文件、數(shù)據(jù)、權(quán)限控制、登錄等功能。數(shù)據(jù)管理分系統(tǒng)接口關(guān)數(shù)據(jù)分系統(tǒng)硬件接口關(guān)數(shù)據(jù)分系統(tǒng)為純軟件開發(fā)沒有涉及到硬件開發(fā)所以無硬件接口關(guān)系數(shù)據(jù)管理分系統(tǒng)軟件接口關(guān)數(shù)據(jù)管理分系統(tǒng)的軟件接口關(guān)系如下圖所示瀏瀏覽器等客戶Http請發(fā)系發(fā)系

JDBC調(diào)數(shù)據(jù)入數(shù)據(jù)管理子數(shù)據(jù)入數(shù)據(jù)管理子系數(shù)據(jù)管理模數(shù)據(jù)檢用戶中數(shù)據(jù)數(shù)數(shù) 子系圖4-3數(shù)據(jù)管理分系統(tǒng)軟件接口關(guān)數(shù)據(jù)子系統(tǒng)提供標(biāo)準(zhǔn)restfullAPI接口供數(shù)據(jù)管理子系統(tǒng)調(diào)用，以實(shí)數(shù)據(jù)管理分系統(tǒng)工作流 1.1、數(shù)2.1、數(shù)1.1、數(shù)2.1、數(shù)3.1、數(shù)據(jù)刪數(shù) 子系數(shù)據(jù)管理子系

2.0、數(shù)據(jù)檢

3.0、數(shù)據(jù)上下架、刪除管圖4-4元數(shù)據(jù)信息入庫到數(shù)據(jù)管理子系統(tǒng)同時數(shù)據(jù)管理子系統(tǒng)將實(shí)際數(shù)據(jù)到數(shù)據(jù)行刪除操作時，才會相應(yīng)刪除數(shù)據(jù)子系統(tǒng)中對應(yīng)文件。數(shù)據(jù)管理分系統(tǒng)軟硬件環(huán)centos6.3tomcat：7.0★jdk：1.7web服務(wù)器：32GB內(nèi)存、16cpu、500GB系統(tǒng)盤、1TB數(shù)據(jù)庫服務(wù)器：32GB內(nèi)存、16核cpu 500GB系統(tǒng)盤1TB數(shù)據(jù)盤、管理服務(wù)器：192GB內(nèi)存、56cpu、千兆管理網(wǎng)卡、萬兆數(shù)據(jù)傳輸網(wǎng)卡、600GB系統(tǒng)盤600GB系統(tǒng)盤、126TB數(shù)據(jù)盤600GB系統(tǒng)盤、12TB數(shù)據(jù)盤Nginx服務(wù)器：256GB內(nèi)存、40cpu、千兆管理網(wǎng)卡、萬兆數(shù)據(jù)傳輸網(wǎng)卡、600GB系統(tǒng)盤、12TB數(shù)據(jù)盤數(shù)據(jù)管理分系統(tǒng)功能指表4-1數(shù)據(jù)子系對用戶數(shù)據(jù)進(jìn)行權(quán)限制用戶數(shù)據(jù)模數(shù)據(jù)管理分系統(tǒng)性能指表4-27x24支持千萬級別條目與快速查小文件速大文件速32MB/s主要指標(biāo)分用戶中、、數(shù)據(jù)管理分系統(tǒng)的用戶中心要支持用戶的登錄、修改、、數(shù)據(jù)檢數(shù)據(jù)管理分系的數(shù)據(jù)檢索統(tǒng)需要支持多條件檢索和千萬級別數(shù)據(jù)量中分布式數(shù)數(shù)據(jù)管理分系統(tǒng)的數(shù)據(jù)需要支持海量大小文件并提供高效的、指標(biāo)分表4-3數(shù)據(jù)管理分系統(tǒng)主要技術(shù)指標(biāo)分123分布式數(shù)據(jù)數(shù)據(jù)各子系統(tǒng)設(shè)計(jì)方數(shù)據(jù)管理子系數(shù)據(jù)管理子系統(tǒng)結(jié)數(shù)分布數(shù)分布 子系用戶中數(shù)據(jù)入數(shù)據(jù)管數(shù)據(jù)檢索服postgresql空間數(shù)據(jù)圖4-5用戶中心：實(shí)現(xiàn)用戶、登錄、登出、修改、等用戶操作數(shù)據(jù)入庫：支持多級品遙感產(chǎn)品數(shù)據(jù)入庫數(shù)據(jù)管理：支持遙感數(shù)據(jù)上下架、刪除數(shù)據(jù)管理子系統(tǒng)接口關(guān)JDBC接口JDBCRESTFULL API數(shù)據(jù)管數(shù)據(jù)檢數(shù)據(jù)入用戶中數(shù) 子系關(guān)系型數(shù)據(jù)Web門圖4-6數(shù)據(jù)管理子系統(tǒng)工作流數(shù)據(jù)管理子系統(tǒng)功能指表4-4支持多級別遙感產(chǎn)品數(shù)據(jù)入支持遙感數(shù)據(jù)上下架、刪數(shù)據(jù)管理子系統(tǒng)性能指表4-57x24支持千萬級別條目與快速查數(shù)據(jù)子系數(shù)據(jù)子系統(tǒng)結(jié)fuse客戶Qt客戶多源數(shù)據(jù)統(tǒng)一分布系數(shù)元fuse客戶Qt客戶多源數(shù)據(jù)統(tǒng)一分布系數(shù)元數(shù)數(shù)據(jù)儲節(jié)管節(jié)路由Web服圖4-7數(shù)據(jù)數(shù)據(jù)管理分系統(tǒng)主要由底層分布式和云系統(tǒng)組成分布式實(shí)現(xiàn)海量數(shù)據(jù)的、快速和高并發(fā)，對用戶透明云系統(tǒng)實(shí)現(xiàn)對分布式系統(tǒng)的封裝，使底層透明化，并為用戶提供安全認(rèn)證、權(quán)限管理、數(shù)據(jù)、restfullapi等功能。數(shù)據(jù)子系統(tǒng)接口關(guān)數(shù) 子系統(tǒng)的內(nèi)部調(diào)用接口關(guān)系如下圖所RestfullAPI接nginx安權(quán)數(shù)Thriftc++c+圖4-8數(shù)據(jù)子系統(tǒng)接口關(guān)其中nginx提供對外接口包括用戶登錄注銷登出獲取token、獲取簽名sign、數(shù)據(jù)拷貝、數(shù)據(jù)上傳、數(shù)據(jù)移動、數(shù)據(jù)刪除、修改等api接口。hbase和hdfs分別提供thriftc++和hdfsc++接口供nginx調(diào)用，以操作hbasehdfs上數(shù)據(jù)。數(shù)據(jù)子系統(tǒng)工作流1.11.1用戶登 2.1數(shù)2.3讀寫數(shù)2.3讀寫數(shù)據(jù)2.2元數(shù) 1.2用戶登錄認(rèn)客戶圖4-9數(shù)據(jù)子系統(tǒng)工作流用戶系統(tǒng)發(fā)送登錄請求云系統(tǒng)通過hbase中的用戶表，驗(yàn)證用戶的登錄信息，如果正確則sign給用戶。用戶數(shù)用戶使用登錄返回的sign對自己的數(shù)據(jù)進(jìn)行云系統(tǒng)收到用戶的數(shù)據(jù)請求后，先驗(yàn)證sign的有效性和用戶對數(shù)據(jù)的權(quán)限，通過認(rèn)證后，再hbase中meta表，獲取數(shù)據(jù)的信息。通過該信息識別數(shù)據(jù)的真實(shí)路徑，再決定是去hdfs或hbase的res表中數(shù)據(jù)數(shù)據(jù)子系統(tǒng)功能指表4-6數(shù)據(jù)子系統(tǒng)功能指對用戶數(shù)據(jù)進(jìn)行權(quán)限控用戶數(shù)據(jù)模數(shù)據(jù)子系統(tǒng)性能指表4-7數(shù)據(jù)子系統(tǒng)性能指7x24小文件速大文件速32MB/s分系統(tǒng)實(shí)施途研制現(xiàn)狀和工作基分系統(tǒng)目前已初步完成了數(shù)據(jù)管理子系統(tǒng)和數(shù)據(jù)子系統(tǒng)開發(fā)具體包括據(jù)、分布式系統(tǒng)等功能。、后期還需統(tǒng)一所有子系統(tǒng)的用戶中心，實(shí)現(xiàn)所有子系統(tǒng)同一登陸、登mongodb數(shù)據(jù)庫，提高數(shù)據(jù)檢索速度和支持更高并發(fā)量需求而對于數(shù)據(jù)子系統(tǒng)還需優(yōu)化分布式底層系統(tǒng)，實(shí)現(xiàn)多分布式框架整合，提高更快速的數(shù)據(jù)。、實(shí)施路線與方5-1數(shù)據(jù)系統(tǒng)采用masters/slaves結(jié)構(gòu)。主控服務(wù)器(NameNode)負(fù)責(zé)響應(yīng)客戶端的讀寫請求，對各個數(shù)據(jù)服務(wù)可以有多組每組至少有兩個NameNode，一個處于active狀態(tài)對外提供服務(wù)，standy狀態(tài)，進(jìn)行元數(shù)據(jù)信息備份。服務(wù)器(DataNode)負(fù)責(zé)連接管理服務(wù)器,聽從管理服務(wù)器調(diào)度,提供空間，并為客戶提供數(shù)據(jù)傳輸。此外節(jié)點(diǎn)間相互自動備份數(shù)據(jù)，?？胤?wù)器的文件的進(jìn)行本地掛載，實(shí)施透明的讀寫操作，或調(diào)用系統(tǒng)提供的restfullAPI接口。分系統(tǒng)硬件部分系統(tǒng)軟件部環(huán)境準(zhǔn)安裝部署數(shù)據(jù)部署項(xiàng)軟硬件支撐環(huán)境需（一1web臺1tomcat2臺1postgresql3臺1分布式集群服4臺15臺16臺7nginx臺1提供數(shù)據(jù)子系統(tǒng)api服（二（三1臺12臺1（四【設(shè)備（五（六分系統(tǒng)實(shí)施途可靠性設(shè)系統(tǒng)可靠性是指系統(tǒng)功能能正常穩(wěn)定運(yùn)行，在數(shù)據(jù)管理分系統(tǒng)設(shè)計(jì)上，圖6-1對于數(shù)據(jù)子系統(tǒng)采用分布式集群技術(shù)，避免單點(diǎn)故障、數(shù)據(jù)不均衡維修性設(shè)數(shù)據(jù)管理分系統(tǒng)對于用戶的操作記錄都做了日志記錄同時捕獲操作異常，并保留到日志文件中，為人員提供快速