運用Hadoo分布式架構(gòu)補充傳統(tǒng)架構(gòu)IOE迎戰(zhàn)大數(shù)據(jù)

運用Hadoop分布式架構(gòu)補充傳統(tǒng)架構(gòu)(IOE)迎戰(zhàn)大數(shù)據(jù)童小軍2013年3月提綱Hadoop補充傳統(tǒng)架構(gòu)應對大數(shù)據(jù)Hadoop云計算架構(gòu)解析Hadoop應用案例和云平臺EasyHadoop,RedHadoop介紹Hadoop是什么?RedHadoop海量數(shù)據(jù)處理操作系統(tǒng)存儲+計算(HDFS+MapReduce)數(shù)據(jù)倉庫(Hive)數(shù)據(jù)庫(Hbase)批處理(Pig)搜索(Solr)挖掘算法(Mahout)BSP模型(Hama)分布式鎖(Zoomkeeper)大規(guī)模搜索(Nutch)SqoopFlume處理框架->分布式OS->生態(tài)系統(tǒng)更多Hadoop在云計算的位置私有云公有云混合云Infrastructureasa

Service以服務的形式提供虛擬硬件資源，如虛擬主機/存儲/網(wǎng)絡等資源。用戶無需購買服務器、網(wǎng)絡設備、存儲設備，只需通過互聯(lián)網(wǎng)租賃即可搭建自己的應用系統(tǒng)典型應用：AmazonWebService(AWS)PlatformasaService提供應用服務引擎，如互聯(lián)網(wǎng)應用編程接口/運行平臺等。用戶基于該應用服務引擎，可以構(gòu)建該類應用。典型應用：GoogleAppEngine,F,MicrosoftAzure服務平臺Softwareasa

Service用戶通過Internet(如瀏覽器)來使用軟件。用戶不必購買軟件，只需按需租用軟件典型應用：GoogleDoc,S,OracleCRMOnDemand,OfficeLiveWorkspace面向外部用戶需求，通過開放網(wǎng)絡提供云計算服務IDC，GoogleApp，Saleforce在線CRM大型企業(yè)按照云計算的架構(gòu)搭建平臺，面向企業(yè)內(nèi)部需求提供云計算服務企業(yè)內(nèi)部數(shù)據(jù)中心等兼顧以上兩種情況的云計算服務AmazonWebServer等既為企業(yè)內(nèi)部又為外部用戶提供云計算服務按提供的服務類型按云服務的對象IAASPAASSAASIAAS分布存儲分布計算云計算核心技術(shù)有兩極3200臺主機傳統(tǒng)架構(gòu)(IOE)和云計算(虛擬化)的主要瓶頸服務器服務器服務器VPSVPSVPSVPSVPSVPS存儲陣列數(shù)據(jù)移動EMC存儲OracleIBM磁盤IO瓶頸帶寬瓶頸計算瓶頸傳統(tǒng)架構(gòu)(IOE)和云計算(虛擬化)的主要瓶頸服務器服務器服務器VPSVPSVPSVPSVPSVPS存儲陣列數(shù)據(jù)移動EMC存儲OracleIBM磁盤IO瓶頸帶寬瓶頸計算瓶頸cpucpucpu基于共享存儲和高性能計算的架構(gòu)。IO能力和機器數(shù)量成非正比計算能力和機器數(shù)量成正比傳統(tǒng)架構(gòu)(IOE)和云計算(虛擬化)的主要瓶頸數(shù)據(jù)移動磁盤IO瓶頸帶寬瓶頸計算瓶頸服務器存儲cpu移動計算而非移動數(shù)據(jù),化整為零(128m),分片處理；本地化計算,并行IO,降低網(wǎng)絡通信服務器存儲cpu服務器存儲cpu服務器存儲cpu服務器存儲cpu服務器存儲cpu交換機HDFSMAPReduceIO能力和機器數(shù)量成正比計算能力和機器數(shù)量成正比Hadoop補充IOE存儲架構(gòu)應對大數(shù)據(jù)Hbase使用Hadoop補充傳統(tǒng)架構(gòu)(IOE)HiveHadoop處于群雄逐鹿的春秋戰(zhàn)國時代Apache,Cloudera,MapR,HotonWorks,Intel->發(fā)行版本IBM,HP,Dell,浪潮,曙光,云創(chuàng)存儲->一體機天云系(天云趨勢,天云科技),友友,云創(chuàng)存儲->解決方案亞馬遜,百度云,騰訊云,移動打云->云服務為何Intel會大力扶植Hadoop?服務硬件體系的混戰(zhàn)(X86->Power)(PCServer->小型機)提綱Hadoop補充傳統(tǒng)架架構(gòu)應對大數(shù)數(shù)據(jù)Hadoop云計算架構(gòu)構(gòu)解析Hadoop應用案例例和云平臺EasyHadoop,RedHadoop介介紹Google云計算平臺臺體系結(jié)構(gòu)：：2003~2006年年在多篇學術(shù)術(shù)論文公開后端系統(tǒng)：Google數(shù)據(jù)分析平平臺Google集群管理理系統(tǒng)存儲+計算(HDFS+MapReduce)數(shù)據(jù)倉庫(Hive)數(shù)據(jù)庫(Hbase)批處理(Pig)BSP模型(Hama)分布式鎖(Zoomkeeper)Hadoop是Google三三架馬車的的基礎HadoopHDFSGoogleGFS

分布式式文件系統(tǒng)HDFS2的的模塊NameNode計計算DataNode存儲儲HadoopMapReduceGoogleMapReduce面向大規(guī)模數(shù)數(shù)據(jù)處理的并并行編程系統(tǒng)統(tǒng)14/32JobTrackerTaskTracker(MapTask)TaskTracker(MapTask)TaskTracker(MapTask)TaskTracker(ReduceTask)TaskTracker(ReduceTask)用戶程序(JobClient)中間結(jié)果中間結(jié)果中間結(jié)果輸出數(shù)據(jù)輸出數(shù)據(jù)提交作業(yè)任務調(diào)度任務調(diào)度狀態(tài)監(jiān)控狀態(tài)監(jiān)控Map任務從DFS/HugeTable等中讀數(shù)據(jù)分片Map任務在本地寫中間結(jié)果Reduce任務讀Map輸出的中間結(jié)果Reduce任務在DFS/HugeTable寫輸出數(shù)據(jù)MapReduce的目目標自動并行化：開發(fā)者不必必關心底層并并行處理系統(tǒng)統(tǒng)的系統(tǒng)自動可靠性處處理：開發(fā)者不必必關心設備、、網(wǎng)絡的臨時時/永久的故故障編程接口Java語言言編程接口、、C++語言言編程接口(Pipes)其他語言編程程接口(Streaming)，可可以采用Python/Ruby/Shell等用戶自定義map函數(shù)接收一個輸入入對<Key,Value>，產(chǎn)生一個中中間對<K’,V’>用戶自定義reduce函數(shù)接收一個中間間K’和對應的V’集，

合并V’集，

形成一個個較小的Value集集HBaseGoogleBigTable

海量結(jié)結(jié)構(gòu)化數(shù)據(jù)實實時存儲訪問問系統(tǒng)基于HDFS的主備Master、、多個RegionSvr通過ZK構(gòu)成集群數(shù)據(jù)按照三級級索引組織，，三次訪問可可以定位數(shù)據(jù)據(jù)數(shù)據(jù)寫操作在在內(nèi)存完成，，但是需要對對文件實施合合并操作提綱Hadoop補充傳統(tǒng)架架構(gòu)應對大數(shù)數(shù)據(jù)Hadoop云計算架構(gòu)構(gòu)解析Hadoop應用案例例和云平臺EasyHadoop,RedHadoop介介紹Hadoop/HiveCluster@aliyunUser->phpHiveAdmin->HiveServer->HadoopHDCluster:80Core,180GHZ,10TB4GRAM,4Core*2.26GHz500GB啟動100個個Map生成成100億數(shù)數(shù)據(jù)通過100個個Map用Perl隨隨機生成數(shù)數(shù)據(jù)準備,1kw,1億,10億,100億,100GB數(shù)據(jù)據(jù)集通過Hive創(chuàng)建測試庫庫表結(jié)構(gòu)使用phpHiveadmin+HQL查詢返返回結(jié)果SELECTidFROMTablewhereidlike'%JA-sq%';(模糊匹配配查詢出ID帶JA-sq的的車牌號)1億數(shù)據(jù),并行5Map進程,144w/s掃描速速度,69s返回10億數(shù)據(jù),并行46Map進程程,800w/s掃描描速度,117s返回回100億數(shù)據(jù)據(jù),并行453Map進進程,5400w/s掃掃描速度,3分鐘返回回,基本滿足足需求。SELECTid,COUNT(*)FROMTableGROUPBYid

(對每個個車牌號分組組歸并,并求求出現(xiàn)次數(shù))1億數(shù)據(jù),并行5Map進程,2Reduce進程程,104w/s處理理速度,96s返回10億數(shù)據(jù),并行46Map進程,13Reduce進程程,230w/s處理理速度,7分分鐘返回100億數(shù)據(jù)據(jù),并行453Map進進程,121Reduce進程,500w/s處理速度度,54分鐘鐘返回。Hadoop預算,其他他方案的成本本對比!投入成本(10TB預預算)IOE(IBM+Oracle+EMC)時代代(x)kw+自建Hadoop集群(20*4w+4w)=80w+使用云主機構(gòu)構(gòu)建Hadoop[20*7970=15.94w/年年]轉(zhuǎn)變轉(zhuǎn)變千萬時代百萬時代十幾萬時代初創(chuàng)型公司中型技術(shù)型公公司政府,銀行,電信年成本:1.5w/T我們還有那些些成本壓縮空空間?實施周期IBM+Oracle+EMC時時代(月)自建Hadoop集群(1年-半年年)[學習和和培訓]阿里云Hadoop時代代(星期/月月)轉(zhuǎn)變轉(zhuǎn)變季度/月1年/半年月/星期個人,初創(chuàng)公公司中型公司政府,銀行,電信月1年/半年中型公司政府,銀行,電信維護成本IBM+Oracle+EMC時時代(規(guī)劃劃,實施,維維護,管理,)廠商專專業(yè)人員配合合[每次按小小時收費]自建Hadoop集群(學習,經(jīng)驗驗,人才培育育)Hadoop云時代(統(tǒng)一專人人管理和維護護)轉(zhuǎn)變轉(zhuǎn)變統(tǒng)一維護個人,初創(chuàng)公公司廠商專業(yè)支持持自己培養(yǎng)中型公司政府,銀行,電信使用開放的技技術(shù)還是封閉閉的技術(shù)?Hadoop應用案例例和云平臺UserCase1(智慧交通通)用戶:最大城城市,交通領領域(Citytraffic)場景:車牌記記錄[CarLicencePlate],100億[10Billion]/年需求:小時級級別->優(yōu)化化到分鐘級[Minute]->未來優(yōu)化化到秒級[Seconds]查詢詢IntelligentTransportationSmarterCities場景:車輛輛異?？焖僮R識別VehicleAbnormal交通安全問題題培訓目錄移動,聯(lián)通公公司大數(shù)據(jù)平平臺云計算案例分分析—上海公公司基于云計計算平臺的移移動用戶行為為特征分析移動用戶行為為特征分析模模型渠道偏好分析析客戶細分新業(yè)務關聯(lián)時間性能：數(shù)據(jù)處理性性能增加約30倍，數(shù)據(jù)據(jù)挖掘性能增增加約9倍,整個應用性性能提高約3-7倍成本本優(yōu)優(yōu)勢勢：：成本本降降低低6倍倍，，運運維維耗耗電電相相當當，，占占用用機機房房面面積積更更少少，，更更高高的的處處理理能能力力正確確度度：：符合合商商業(yè)業(yè)標標準準云計計算算案案例例分分析析——江江蘇蘇公公司司基基于于云云計計算算平平臺臺的的信信令令監(jiān)監(jiān)測測系系統(tǒng)統(tǒng)基于于云云計計算算平平臺臺的的信信令令監(jiān)監(jiān)測測系系統(tǒng)統(tǒng)實實驗驗基于于BC-PDM的的ETL進進行行API級級別別的的二二次次開開發(fā)發(fā)，，形形成成信信令令信信息息分分析析系系統(tǒng)統(tǒng)功能能包包括括SMS信信令令信信息息分分析析SP提提交交短短信信過過程程分分析析SP提提交交短短信信成成功功率率分分析析GPRS的的GN接接口口信信令令分分析析GN接接口口通通信信過過程程分分析析GN接接口口信信令令過過程程分分析析正確確性性100%，，數(shù)數(shù)據(jù)據(jù)查查詢詢、、統(tǒng)統(tǒng)計計性性能能提提高高7-15倍倍，，成成本本降降低低4倍倍數(shù)據(jù)據(jù)范范圍圍：：一一個個月月數(shù)數(shù)據(jù)據(jù)查詢詢案案例例查詢詢：：返返回回以以上上功功能能的的某某個個時時段段結(jié)結(jié)果果組合合查查詢詢：：滿滿足足4個個復復雜雜條條件件的的查查詢詢實驗驗條條件件單位位秒秒聯(lián)通通電電信信詳詳單單查查詢詢系系統(tǒng)統(tǒng)業(yè)務務問問題題提供供所所有有手手機機用用戶戶的的詳詳單單在在線線查查詢詢系系統(tǒng)統(tǒng)提供供七七大大種種類類信信息息套餐餐及及固固定定費費、、通通話話、、短短/彩彩信信、、上上網(wǎng)網(wǎng)、、增增值值業(yè)業(yè)務務、、代代收收費費用用業(yè)務務扣扣費費、、其其他他扣扣費費高峰峰時時期期提提供供千千萬萬并并發(fā)發(fā)用用戶戶在在線線查查詢詢請請求求已有有方方案案使用用兩兩臺臺IBMP5570小小型型機機作作為為數(shù)數(shù)據(jù)據(jù)庫庫服服務務器器使用用某某關關系系數(shù)數(shù)據(jù)據(jù)庫庫只存存放放3個個月月數(shù)數(shù)據(jù)據(jù)最多多提提供供100查查詢詢/秒秒查查詢詢需要要限限制制每每個個用用戶戶每每天天查查詢詢次次數(shù)數(shù)來來保保證證系系統(tǒng)統(tǒng)穩(wěn)穩(wěn)定定服服務務聯(lián)通通電電信信詳詳單單查查詢詢系系統(tǒng)統(tǒng)(續(xù)續(xù))新方方案案數(shù)數(shù)據(jù)據(jù)規(guī)規(guī)模模可容容納納360TB原原始始數(shù)數(shù)據(jù)據(jù)存放放半半年年七七大大種種類類詳詳單單數(shù)數(shù)據(jù)據(jù)平均均每每天天2TB新新增增數(shù)數(shù)據(jù)據(jù)導導入入新方方案案構(gòu)建建80臺臺雙雙路路IA服服務務器器集集群群，，安安裝裝英特特爾爾Hadoop發(fā)發(fā)行行版版構(gòu)構(gòu)建建分分布布式式數(shù)數(shù)據(jù)據(jù)庫庫集集群群共提提供供400TB詳詳單單數(shù)數(shù)據(jù)據(jù)存存儲儲容容量量集群群提提供供每每秒秒80萬萬條條詳詳單單數(shù)數(shù)據(jù)據(jù)插插入入集群群可可以以保保證證每每秒秒2萬萬條條月月詳詳單單查查詢請請求求，，滿滿足足在在線線用用戶戶需需要要成功功案案例例二二-聯(lián)聯(lián)通通電電信信詳詳單單查查詢詢系系統(tǒng)統(tǒng)(續(xù)續(xù))阿里里淘淘寶寶的的案案例例每日日新新增增數(shù)數(shù)據(jù)據(jù)20T累積數(shù)數(shù)據(jù)14P3200+服務器器的云云計算算平臺臺每天處處理100,000+作業(yè)任任務，，包括括100+新增作作業(yè)任任務每天處處理1P+數(shù)據(jù)，，包括括0.5%新增數(shù)數(shù)據(jù)總體數(shù)數(shù)據(jù)規(guī)規(guī)模阿里金金融通通過大大數(shù)據(jù)據(jù)整合合掘金金!阿里金金融的的信用用評估估系統(tǒng)統(tǒng)會自自動分分析小小微企企業(yè)的的數(shù)據(jù)據(jù)，例例如企企業(yè)通通過支支付寶寶,淘淘寶進進行的的支付付數(shù)據(jù)據(jù)，最最終算算出信信用評評估和和放貸貸額度度。截止2011年年底，，阿里里金融融對近近30萬萬家小小微企企業(yè)進行信信用評評估。。累計計投放放96800家，投放放貸款款154億，壞賬賬率為為交易易額的的0.76%。阿里金金融的的實時時業(yè)務務墻阿里金金融的的數(shù)據(jù)據(jù)模型型任務務（局局部））每個模模型任任務都都是面面向海海量數(shù)數(shù)據(jù)的的大規(guī)規(guī)模運運算任任務。。天貓/淘寶寶雙雙十一一191億背后的的開源源技術(shù)術(shù)?@dbatools:雙雙十十一一一天時時間，，支付寶寶核心心數(shù)據(jù)據(jù)庫集集群處處理了了41億個個事務務，執(zhí)行285億次次SQL，，訪問1931億億次內(nèi)內(nèi)存數(shù)數(shù)據(jù)塊塊，13億億個物物理讀讀，生成15TB日日志。數(shù)據(jù)應應用開開發(fā)平平臺———數(shù)數(shù)據(jù)工工場DataIntegrationDBsyncTTHiveHadoopMapReduceHadoopHDFSDatax報表需需求(淘數(shù)數(shù)據(jù))Hbase即席查查詢(adhoc)數(shù)據(jù)分分析數(shù)據(jù)挖挖掘數(shù)據(jù)產(chǎn)產(chǎn)品淘寶數(shù)數(shù)據(jù)平平臺——產(chǎn)品品架構(gòu)構(gòu)實時計計算底層平平臺數(shù)據(jù)開開發(fā)平平臺數(shù)據(jù)應應用成功案案例四四-暴暴風影影音從最早早3個個試驗驗節(jié)點點,到到8個個線上上節(jié)點點,到到現(xiàn)在在的30個個節(jié)點點。每天處處理日日志1.2T,20億行行。存存儲設設計容容量200TB對外提提供產(chǎn)產(chǎn)品品分析析,廣廣告分分析,用戶戶分析析服服務。。每天處處理任任務上上千個個jobs數(shù)據(jù)系系統(tǒng)的的進化化-一一代數(shù)據(jù)系系統(tǒng)的的進化化-二二代數(shù)據(jù)系系統(tǒng)的的進化化-三三代Hadoop技技術(shù)其其他他應用用領域域電信醫(yī)療交通公安航空電力金融搜索社交游戲視頻民生核心大數(shù)據(jù)據(jù)時代代需需要跨跨越的的巨大大障礙礙大數(shù)據(jù)據(jù)(TB)大需求求大集群群(3臺)原有系系統(tǒng)的的改造造和遷遷移運維方方式轉(zhuǎn)轉(zhuǎn)變編程方方式轉(zhuǎn)轉(zhuǎn)變平臺的的數(shù)據(jù)據(jù)遷移移人才的的匱乏乏工具的的缺乏乏廠商版本數(shù)據(jù)安安全商業(yè)模模式和和模型型的轉(zhuǎn)轉(zhuǎn)變大量資資金的的投入入無法的的看到到產(chǎn)出出大數(shù)據(jù)據(jù)思維維方式式和模模式轉(zhuǎn)轉(zhuǎn)變海量用用戶大規(guī)模模批量量服務務(服服務1.0)決策邏輯數(shù)據(jù)庫用戶1邏輯1邏輯N數(shù)據(jù)集編輯人員用戶N編輯邏輯信息生產(chǎn)者者信息消費者者Mysql/Oracle大數(shù)據(jù)倉庫庫海量用戶大規(guī)模個性性化服務(服務2.0)決策邏輯大數(shù)據(jù)庫用戶1邏輯1服務數(shù)據(jù)1用戶N邏輯N服務數(shù)據(jù)N原始數(shù)據(jù)N挖掘邏輯NHiveHbaseStormHadoop原始數(shù)據(jù)1原始數(shù)據(jù)2信息生產(chǎn)產(chǎn)者/消費費者規(guī)則制定上帝之手本質(zhì):智能能組織->智能群體體實時由被動的IT支撐向向主動的以以數(shù)據(jù)為核核心的IT服務轉(zhuǎn)型型深度擁抱互互聯(lián)網(wǎng)提綱Hadoop補充傳傳統(tǒng)架構(gòu)應應對大數(shù)據(jù)據(jù)Hadoop云計算算架構(gòu)解析析Hadoop應應用案案例和云云平臺EasyHadoop,RedHadoop介紹紹52研發(fā)難實施難管理難開源Hadoop軟件需要更友好的用戶接口和商業(yè)支持。市場需求求開源Hadoop之路路那些些難點？？為什么推推出EasyHadoop版版產(chǎn)品開源hadoop的開開發(fā)困難難之處:1.難難安裝,部署,配置2.難管管理,監(jiān)監(jiān)控3.難學學習,算算法開發(fā)發(fā)4.應用用少,難難使用5.找人才難難6.托管難,管理網(wǎng)絡難難。EasyHadoop立志將Hadoop的

[易易用性,可用用性]

做到到極致!Hadoop類似DOS、Linux，命令行行操作界面化提升Hadoop管理1.HAProxy用用作Hive負載均衡衡2.編寫Daemon程序用作進進程監(jiān)控，防防止進程掛起起3.編寫任任務監(jiān)控腳本本，失敗任務務自動重試4.編寫集集群快速安裝裝部署軟件EasyHadoop5.編寫Hive查詢詢界面phpHiveAdmin，，做開放數(shù)據(jù)據(jù)平臺6.監(jiān)控工工具Cacti，Ganglia，，Nagios一個都不不能少。監(jiān)控越詳細越越好。56Easyhadoop,RedHadoop產(chǎn)產(chǎn)品品和社社區(qū)ChinaBigData社社區(qū)Easyhadoop社社區(qū)RedHadoop培訓講座開源軟軟件開源社社區(qū)技術(shù)出出版物物聚會沙沙龍RedHadoop一體體機RedHadoopCloudRedHadoop發(fā)行行版聚合和和培養(yǎng)養(yǎng)客客戶,用戶戶,合合作伙伙伴(品牌牌+渠渠道)打造高高價值值產(chǎn)品品(產(chǎn)品品)舉辦大大會咨詢Hadoop核核心心Apps管管理理器Apps應應用用程序序理念:大數(shù)數(shù)據(jù)驅(qū)驅(qū)動智智慧地地球,智慧慧城市市57行業(yè)解解決方方案(電信信,醫(yī)醫(yī)療,交通通,互互聯(lián)網(wǎng)網(wǎng))Apps應應用用層(AppsStore)phpHiveAdmin,Rhadoop,EasyPig,CronHub,ETL,ReportRedHadoop發(fā)行行版版方方案案AppsManager管管理理層層(用用戶戶/權(quán)權(quán)限限)核心心算算法法圖像像,視視頻頻,文文本本,挖挖掘掘Hadoop/Hbase核心心存儲儲和和計計算算虛擬擬化化系系統(tǒng)統(tǒng)管管理理/NOVA海量數(shù)據(jù)據(jù)分布式式文件系系統(tǒng)HDFSRedHadoopBigDataCloud技技術(shù)架架構(gòu)搜索引擎擎開源的Linux/Windows操作系系統(tǒng)基基于Xen的虛虛擬機分布式并并發(fā)控制制/Zoomkeeper結(jié)構(gòu)化海海量數(shù)據(jù)據(jù)管理Hbase并行程序序MapReduce數(shù)據(jù)挖掘掘工具庫庫OS-Mahout/pig搜索引擎擎核OS-SolrCloud云計算應應用層各類新型型IT支支撐系統(tǒng)統(tǒng)搜索引擎擎郵件件系統(tǒng)等等互聯(lián)聯(lián)網(wǎng)應用用云計算服服務層數(shù)據(jù)挖掘掘：挖掘掘應用的的算法工工具數(shù)據(jù)倉庫庫：提供供海量對對象存儲儲能力搜索引擎擎：提提供基本本的搜索索引擎能能力云計算平平臺層MapReduce2+BSP：并并行程序序框架Hbase：結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)存儲儲HDFS：海量量數(shù)據(jù)的的分布式式文件系系統(tǒng)CloudFoundry：多語語言應用用部署平平臺openstrack:Swift：海量量對象存存儲系統(tǒng)統(tǒng)openstrack:NOVA:云計計算平臺臺系統(tǒng)管管理虛擬化資資源層構(gòu)建在海海量同質(zhì)質(zhì)化的PC與不不可靠硬硬盤上使用開源源的openstrack+Xen提供計計算資源源的虛擬擬化運行于開開源的CentOSLinux系系統(tǒng)之上上對象存儲儲系統(tǒng)Swift并行程序序BSD+Hama+MPI數(shù)據(jù)倉庫庫/ETL/ReportOS-Hive/MRQLCloudFoundry/應用用部署廣告引擎擎存儲,搜搜索,語語音APIIOS,Android本本地APP桌面,移移動瀏覽覽器RedHadoop國國產(chǎn)安安全Hadoop發(fā)行行版本1.優(yōu)先先解決數(shù)數(shù)據(jù)和平平臺安全全問題。。12/31/2022RedHadoop存存儲計計算一一體機機交換機機DataNode+JobTrackerHiveServerRedHadoop核心心節(jié)點點NameNode+JobTrackerApps管管理理器Apps應應用用程序序DataNode+JobTrackerDataNode+JobTrackerDataNode+JobTracker產(chǎn)品特特性:集成RedHadoop正式式發(fā)行行版集成Habase數(shù)數(shù)據(jù)據(jù)庫發(fā)發(fā)行版版集成phpHiveAdmin,EasyHbase工具具集具備最最高上上百T存儲儲容量量DataNode+JobTracker4U45個磁磁盤180T存存儲儲=5w實現(xiàn)高高性價價比集集群命名節(jié)節(jié)點(NameNode)高密度度計算算高密度度存儲儲DataNode10TDataNode10TDataNode10TDataNode10TDataNode180TDataNode180T/data//back/集群內(nèi)內(nèi)遷移移12/31/2022Easy(Red)Hadoop社社區(qū)產(chǎn)產(chǎn)品線線Hive平平臺化化EasyHaoop版和和Hadoop開源源版的的區(qū)別別EasyHadoopappsManage