曙光XData大數(shù)據(jù)產(chǎn)品介紹

曙光XData大數(shù)據(jù)產(chǎn)品介紹解決方案中心技術(shù)路線選擇大象擴(kuò)展性好成本低單機(jī)性能差關(guān)系型數(shù)據(jù)庫(kù)支持差鐵人一體化設(shè)備擴(kuò)展性差價(jià)格昂貴

曙光自主代碼

開源實(shí)現(xiàn)

在開源基礎(chǔ)上改進(jìn)

商業(yè)產(chǎn)品XData大數(shù)據(jù)一體機(jī)XData-Hadoop管理組件分布式存儲(chǔ)系統(tǒng)(HDFS-2.0/P200)非結(jié)構(gòu)化數(shù)據(jù)庫(kù)(Hbase-0.94)數(shù)據(jù)倉(cāng)庫(kù)(Hive-0.10)數(shù)據(jù)挖掘工具(Mahout-0.7)數(shù)據(jù)傳導(dǎo)器(Sqoop-1.4)海量日志收集器(Flume-1.3)協(xié)同工作服務(wù)(Zookeeper-3.4)類SQL編譯器(Pig-0.10)任務(wù)調(diào)度器(Mesos-0.13)開源關(guān)系數(shù)據(jù)庫(kù)(PostgreSQL-0.92)商業(yè)關(guān)系數(shù)據(jù)庫(kù)(Oracle-8i/9i/10g/11g)統(tǒng)一編程接口(XJDBC/JDBC/ODBC)類SQL編譯器(SQL++)圖形化任務(wù)流(UDF-1.0/Oozie-3.3)全文檢索器(Katta/Lucene)并行處理框架(Map/Reduce)并行執(zhí)行引擎

XData大數(shù)據(jù)處理基礎(chǔ)平臺(tái)-v1.0多數(shù)據(jù)轉(zhuǎn)換器(SETL)大數(shù)據(jù)專用數(shù)據(jù)服務(wù)器XData-Hadoop大數(shù)據(jù)軟件高密度云存儲(chǔ)節(jié)點(diǎn)(5U80盤)大數(shù)據(jù)專用數(shù)據(jù)服務(wù)器1.基于XEON處理器的存儲(chǔ)服務(wù)器產(chǎn)品；2.機(jī)箱采用上開蓋，豎插硬盤方式；3.整機(jī)深度800mm，可用于普通機(jī)柜；4.每U15塊3.5”硬盤，業(yè)內(nèi)密度最高的可熱插拔服務(wù)器存儲(chǔ)XData大數(shù)據(jù)處理基礎(chǔ)平臺(tái)應(yīng)用程序XDataAPI接口（XJDBC）連接管理數(shù)據(jù)驅(qū)動(dòng)日志模塊預(yù)處理加載計(jì)數(shù)器連接池管理加載服務(wù)連接管理數(shù)據(jù)驅(qū)動(dòng)日志模塊類SQL分析分發(fā)執(zhí)行連接池管理查詢服務(wù)結(jié)果匯總連接管理數(shù)據(jù)驅(qū)動(dòng)日志模塊事務(wù)緩存管理連接池管理配置服務(wù)事務(wù)執(zhí)行數(shù)據(jù)同步負(fù)載均衡服務(wù)管理日志管理認(rèn)證管理系統(tǒng)監(jiān)控安裝部署系統(tǒng)管理HDFS數(shù)據(jù)節(jié)點(diǎn)/數(shù)據(jù)庫(kù)節(jié)點(diǎn)HDFS數(shù)據(jù)節(jié)點(diǎn)/數(shù)據(jù)庫(kù)節(jié)點(diǎn)HDFS數(shù)據(jù)節(jié)點(diǎn)/數(shù)據(jù)庫(kù)節(jié)點(diǎn)HDFS數(shù)據(jù)節(jié)點(diǎn)/數(shù)據(jù)庫(kù)節(jié)點(diǎn)元數(shù)據(jù)庫(kù)存儲(chǔ)劃分參數(shù)設(shè)置索引管理模式定義分區(qū)管理對(duì)象管理元數(shù)據(jù)管理DIM管理工具

管理API元數(shù)據(jù)庫(kù)SQL++工具自定義請(qǐng)求核心技術(shù)并行任務(wù)流執(zhí)行控制計(jì)算定義和請(qǐng)求描述數(shù)據(jù)轉(zhuǎn)換和遷移數(shù)據(jù)關(guān)聯(lián)加載技術(shù)數(shù)據(jù)劃分和存儲(chǔ)組織

任務(wù)流執(zhí)行同步控制技術(shù)

任務(wù)間數(shù)據(jù)劃分和傳輸控制

大表關(guān)聯(lián)和嵌套查詢數(shù)據(jù)劃分到文件的映射

數(shù)據(jù)模式定義和解釋計(jì)算語(yǔ)義的預(yù)定義技術(shù)

SQL/MR作業(yè)的級(jí)聯(lián)和關(guān)聯(lián)

混合任務(wù)流描述和解析結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換技術(shù)

并行處理內(nèi)部隱式數(shù)據(jù)轉(zhuǎn)換

據(jù)導(dǎo)入導(dǎo)出和數(shù)據(jù)遷移技術(shù)

DB/Hadoop數(shù)據(jù)模式映射

多源關(guān)聯(lián)數(shù)據(jù)導(dǎo)入HDFS*132451.統(tǒng)一編程接口ETLSQL++2.SQLonHadoop3.數(shù)據(jù)倉(cāng)庫(kù)功能增強(qiáng)元數(shù)據(jù)統(tǒng)一管理并行執(zhí)行控制4.分布式存儲(chǔ)系統(tǒng)5.任務(wù)流控制圖形化任務(wù)流6.Hadoop圖形管理系統(tǒng)曙光Xdata-hadoopHDFS/HBase/Hive增強(qiáng)Hive增強(qiáng)替代HDFS替代Oozie替代AmbariHive/Pig增強(qiáng)直接面向用戶，讓用戶方便地使用XData，提供標(biāo)準(zhǔn)接口，保持用戶原有習(xí)慣1.統(tǒng)一對(duì)外編程接口Oracle/PGHDFSHBaseHive數(shù)據(jù)定義服務(wù)加載服務(wù)查詢服務(wù)ICE中間件數(shù)據(jù)定義專用接口加載專用接口查詢專用接口統(tǒng)一對(duì)外編程接口SQL++其他支撐工具XData的命令行工具，XData平臺(tái)的入口之一，類似于oracle的sqlplus為用戶提供快捷方便的使用途徑，不需要寫代碼，直接輸入sql語(yǔ)句就可以執(zhí)行方便地定制顯示格式批量執(zhí)行腳本中的命令結(jié)果可保存到本地文件支撐工具-SQL++支撐工具-ETLOracle/PGHDFSHBaseHive抽取轉(zhuǎn)換工具加載服務(wù)加載工具本地文件數(shù)據(jù)庫(kù)、HDFS、Hbase、Hive的相互轉(zhuǎn)換本地文件的快速加載2.SQLonhadoop關(guān)鍵功能：預(yù)定義和自定義FUNCTION分區(qū)條件過濾限制數(shù)據(jù)量結(jié)構(gòu)化與非結(jié)構(gòu)化關(guān)聯(lián)多任務(wù)級(jí)聯(lián)并行執(zhí)行控制3.數(shù)據(jù)倉(cāng)庫(kù)功能增強(qiáng)元數(shù)據(jù)模塊Xdata項(xiàng)目中的元數(shù)據(jù)服務(wù)并行查詢執(zhí)行框架加載服務(wù)元數(shù)據(jù)查詢服務(wù)控制配置服務(wù)數(shù)據(jù)定義服務(wù)統(tǒng)一的客戶端訪問接口（類JDBC接口）統(tǒng)一的數(shù)據(jù)訪問驅(qū)動(dòng)數(shù)據(jù)庫(kù)Hadoop其他類型數(shù)據(jù)服務(wù)管理負(fù)載均衡備份恢復(fù)容錯(cuò)管理系統(tǒng)圖形化管理工具日志管理SQL*結(jié)果創(chuàng)建對(duì)象記錄數(shù)據(jù)HIVE體系結(jié)構(gòu)中的元數(shù)據(jù)庫(kù)元數(shù)據(jù)庫(kù):存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)里所有的各種表與分區(qū)的結(jié)構(gòu)化信息通常存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)(MySQL,Derby).HDFS體系結(jié)構(gòu)中的元數(shù)據(jù)庫(kù)元數(shù)據(jù):維護(hù)HDFS文件系統(tǒng)中文件和目錄的信息。

存儲(chǔ)在文件系統(tǒng)中，由NameNode來(lái)維護(hù)。

4.分布式存儲(chǔ)系統(tǒng)圖形化任務(wù)流處理技術(shù)（在研）5.任務(wù)流控制6.XData-Hadoop管理組件PAAS平臺(tái)一體化集成平臺(tái)統(tǒng)一調(diào)度平臺(tái)應(yīng)用開發(fā)平臺(tái)運(yùn)維設(shè)備監(jiān)控服務(wù)監(jiān)控運(yùn)行監(jiān)控統(tǒng)計(jì)報(bào)表告警管理調(diào)優(yōu)診斷自維護(hù)軟件部署服務(wù)管理配置管理節(jié)點(diǎn)管理運(yùn)行數(shù)據(jù)查詢數(shù)據(jù)轉(zhuǎn)換任務(wù)流作業(yè)編寫作業(yè)提交作業(yè)調(diào)度數(shù)據(jù)導(dǎo)入作業(yè)監(jiān)控文件瀏覽文件上傳文件下載文件編輯運(yùn)用移動(dòng)終端Portal數(shù)據(jù)可視化數(shù)據(jù)分析

一鍵式快速安裝多維度系統(tǒng)監(jiān)控全方位故障診斷集中式便捷管理XDataaBSM產(chǎn)品套裝為我們帶來(lái)了什么？XData運(yùn)維功能特色XData運(yùn)維功能覆蓋軟件部署服務(wù)管理節(jié)點(diǎn)管理

向?qū)桨惭b一鍵式安裝一鍵式卸載服務(wù)啟停高可用管理角色配置節(jié)點(diǎn)擴(kuò)容刪除節(jié)點(diǎn)節(jié)點(diǎn)服務(wù)監(jiān)控節(jié)點(diǎn)設(shè)備監(jiān)控服務(wù)運(yùn)行監(jiān)控第三方監(jiān)控集成告警報(bào)表配置管理狀態(tài)告警閾值告警郵件告警統(tǒng)計(jì)報(bào)表趨勢(shì)報(bào)表對(duì)比報(bào)表參數(shù)配置配置同步配置備份調(diào)優(yōu)診斷日志分析審計(jì)日志推薦參數(shù)XData:便捷的部署提供一鍵安裝和向?qū)О惭b兩種方式，助您輕松完成復(fù)雜的安裝過程：向?qū)桨惭b：根據(jù)向?qū)О床襟E的定義相關(guān)配置，即可完成復(fù)雜系統(tǒng)的安裝過程。一鍵式安裝：只需上傳xls文件，即可一鍵完成安裝，讓您的安裝過程輕松自如XData:完善的管理提供完善的管理功能，可以為大數(shù)據(jù)軟件的各種組件提供圖形化的：服務(wù)啟停角色配置增刪節(jié)點(diǎn)高可用設(shè)置復(fù)雜的操作、復(fù)雜的集群，通過輕點(diǎn)鼠標(biāo)，即可快速完成XData:全面的監(jiān)控XData提供全面的監(jiān)控功能，支持各個(gè)層次軟硬件的監(jiān)控：設(shè)備監(jiān)控：提供各物理節(jié)點(diǎn)的狀態(tài)、部件的基本信息監(jiān)控。組件監(jiān)控：提供大數(shù)據(jù)各組件HDFS、MapReduce、HBase、Hive等服務(wù)的監(jiān)控集群監(jiān)控：提供集群整體性能、狀態(tài)監(jiān)控監(jiān)控全方位、多層次，讓你對(duì)系統(tǒng)的運(yùn)行一覽無(wú)余。多種告警方式告警引擎統(tǒng)一告警平臺(tái)XData:健全的告警發(fā)送策略定義告警關(guān)聯(lián)管理業(yè)務(wù)人員管理消息模板管理聲光顯示條件郵件短信控制可用性反應(yīng)系統(tǒng)各層級(jí)設(shè)備、應(yīng)用、軟件的當(dāng)前可用性、歷史可用性、資源使用情況等評(píng)估預(yù)測(cè)單指標(biāo)歷史趨勢(shì)和多指標(biāo)融合對(duì)比，反應(yīng)系統(tǒng)各個(gè)層面狀態(tài)，預(yù)測(cè)系統(tǒng)問題挖掘基于應(yīng)用特性分析，優(yōu)化配置應(yīng)用和資源XData:多樣的報(bào)表XData:易用的調(diào)參為用戶提供易用的調(diào)參工具，針對(duì)不同的應(yīng)用快速調(diào)整參數(shù)，以使得系統(tǒng)處于最佳運(yùn)行狀態(tài)。XData:快速的診斷為用戶提供快速的日志定位查詢功能，幫助用戶準(zhǔn)確定位故障的來(lái)源，迅速排除各組件的故障。HDFS文件瀏覽、上傳、下載、在線編輯Mapreduce作業(yè)/任務(wù)編寫、提交、調(diào)度、監(jiān)控Hbase/Hive表的增刪管理、數(shù)據(jù)查詢圖形化任務(wù)流工具數(shù)據(jù)導(dǎo)入、數(shù)據(jù)導(dǎo)出等批量圖形化工具數(shù)據(jù)抽取轉(zhuǎn)換等ETL工具XData運(yùn)行功能XData:文件管理利器XData提供全面的基于WEB的文件管理功能，可以輕松實(shí)現(xiàn)基于WEB對(duì)文件進(jìn)行上傳、下載、瀏覽、查詢、編輯等功能。XData:作業(yè)管理助手XData提供基于WEB的MapReduce作業(yè)提交、調(diào)度、作業(yè)級(jí)任務(wù)級(jí)監(jiān)控功能。祝您輕松完成Hadoop作業(yè)管理。XData:數(shù)據(jù)操作幫手XData提供基于WEB的Hbase/Hive表、數(shù)據(jù)的創(chuàng)建、刪除、修改，查詢功能，所有操作借助圖形界面輕松完成。XData:圖形化，讓您生活更輕松XData提供了Hadoop各組件的設(shè)計(jì)、瀏覽、管理、監(jiān)控等WEB圖形化工具，讓開發(fā)人員使用運(yùn)行Hadoop輕松愜意。XData:PAAS平臺(tái)功能

一體化的運(yùn)維、運(yùn)行、運(yùn)用功能插件式的一體化軟件集成平臺(tái)應(yīng)用開發(fā)平臺(tái)統(tǒng)一調(diào)度平臺(tái)一體化集成平臺(tái)應(yīng)用模板應(yīng)用PortalIDE插件MPI和Hadoop統(tǒng)一調(diào)度Xdata-Hadoop大數(shù)據(jù)軟件RoadmapQ3’13Q4’13Q1’14Q2’14Q3’14Q4’14789101112123456789101112Hdfs-2.0.01.自動(dòng)分級(jí)存儲(chǔ)2.元數(shù)據(jù)集群（節(jié)點(diǎn)數(shù)可達(dá)128臺(tái)，可存儲(chǔ)400億以上文件）3.元數(shù)據(jù)HA（兩兩互備，30秒內(nèi)可完成切換，業(yè)務(wù)不中斷）4.N+M數(shù)據(jù)布局（利用率可達(dá)80%-94%）5.存儲(chǔ)瀏覽功能Hbase-0.94.21.支持對(duì)處理結(jié)構(gòu)化數(shù)據(jù)2.UDF引擎支持結(jié)構(gòu)化數(shù)據(jù)處理3.SQL92大部分支持1

Co-processor改進(jìn)，提高數(shù)據(jù)持續(xù)寫入性能2多線程flush優(yōu)化，異步flush優(yōu)化，3應(yīng)用級(jí)分區(qū)+regionserver預(yù)分配策略1.支持?jǐn)?shù)據(jù)表跨數(shù)據(jù)中心2.表內(nèi)容直接瀏覽功能Hive-0.10.01.自定義業(yè)務(wù)流提交和執(zhí)行2.多組件聯(lián)合的數(shù)據(jù)處理綜合業(yè)務(wù)流3.表內(nèi)容直接瀏覽功能Flume-1.3.0Mahout-0.7Sqoop-1.4.2Zookeeper-3.4.5Pig-0.10.0定期與社區(qū)保持同步Hadoop管理系統(tǒng)-1.0MapReduce1.JobtrackerHA實(shí)現(xiàn)1.數(shù)據(jù)傳輸和遷移功能增強(qiáng)2.模式轉(zhuǎn)換功能1.基于WEB界面的上傳下載功能2.MR作業(yè)提交、任務(wù)監(jiān)控3.Hbase/Hive表瀏覽及查詢、增刪4.應(yīng)用portalHadoop管理系統(tǒng)-2.01.圖形化任務(wù)流2.數(shù)據(jù)訪問監(jiān)控3.數(shù)據(jù)訪問工具集4.數(shù)據(jù)可視化XData一體機(jī)RoadMap2013Q42014Q12014Q22014Q32014Q42015Q12015

Q2101112123456789101112123456V4.2:通用結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和處理中間件ZHX應(yīng)用定制，形成專門日志分析應(yīng)用版：研發(fā)日志抓取、格式化、加載、統(tǒng)計(jì)、展示、用戶行為分析等工具。面向日志分析和用戶行為分析類應(yīng)用XHS項(xiàng)目定制，形成新媒體行業(yè)專用版：關(guān)鍵詞、標(biāo)簽、分類聚類等新聞話題內(nèi)容處理工具集，面向內(nèi)容檢索和輿情分析類應(yīng)用GJY廣電項(xiàng)目定制，形成廣電行業(yè)專用版：含用戶日志和行為分析，圖像特征化提取工具，圖像和視頻存儲(chǔ)和檢索工具包，面向廣電行業(yè)多種應(yīng)用類型