大數(shù)據(jù)時(shí)代培訓(xùn)課件

大數(shù)據(jù)時(shí)代

班級(jí):電信111大數(shù)據(jù)時(shí)代班級(jí):電信111大數(shù)據(jù)簡(jiǎn)介數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展，雖然很多企業(yè)可能并沒有意識(shí)到數(shù)據(jù)爆炸性增長(zhǎng)帶來問題的隱患，但是隨著時(shí)間的推移，人們將越來越多的意識(shí)到數(shù)據(jù)對(duì)企業(yè)的重要性。哈佛大學(xué)社會(huì)學(xué)教授加里·金說：“這是一場(chǎng)革命，龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開始了量化進(jìn)程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程?！贝髷?shù)據(jù)簡(jiǎn)介數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展，雖大數(shù)據(jù)簡(jiǎn)介隨著云時(shí)代的來臨，大數(shù)據(jù)（Bigdata）也吸引了越來越多的關(guān)注。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce（分布式計(jì)算）一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們，一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部?jī)?nèi)容可以刻滿1.68億張DVD；發(fā)出的郵件有2940億封之多（相當(dāng)于美國兩年的紙質(zhì)信件數(shù)量）；發(fā)出的社區(qū)帖子達(dá)200萬個(gè)（相當(dāng)于《時(shí)代》雜志770年的文字量）；賣出的手機(jī)為37.8萬臺(tái)……這樣的趨勢(shì)會(huì)持續(xù)下去。我們現(xiàn)在還處于所謂“物聯(lián)網(wǎng)”的最初級(jí)階段，而隨著技術(shù)成熟，我們的設(shè)備、交通工具和迅速發(fā)展的“可穿戴”科技將能互相連接與溝通。科技的進(jìn)步已經(jīng)使創(chuàng)造、捕捉和管理信息的成本降至2005年的六分之一，而從2005年起，用在硬件、軟件、人才及服務(wù)之上的商業(yè)投資也增長(zhǎng)了整整50%，達(dá)到了4000億美元。大數(shù)據(jù)簡(jiǎn)介隨著云時(shí)代的來臨，大數(shù)據(jù)（Bigdata）也吸引四個(gè)特征數(shù)據(jù)量大（Volume）第一個(gè)特征是數(shù)據(jù)量大。大數(shù)據(jù)的起始計(jì)量單位至少是P（1000個(gè)T）、E（100萬個(gè)T）或Z（10億個(gè)T）。類型繁多（Variety）第二個(gè)特征是數(shù)據(jù)類型繁多。包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高的要求。價(jià)值密度低（Value）第三個(gè)特征是數(shù)據(jù)價(jià)值密度相對(duì)較低。如隨著物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無處不在，信息海量，但價(jià)值密度較低，如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”，是大數(shù)據(jù)時(shí)代亟待解決的難題。速度快時(shí)效高（Velocity）第四個(gè)特征是處理速度快，時(shí)效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。四個(gè)特征數(shù)據(jù)量大（Volume）大數(shù)據(jù)分析與處理方法介紹眾所周知，大數(shù)據(jù)已經(jīng)不簡(jiǎn)簡(jiǎn)單單是數(shù)據(jù)大的事實(shí)了，而最重要的現(xiàn)實(shí)是對(duì)大數(shù)據(jù)進(jìn)行分析，只有通過分析才能獲取很多智能的，深入的，有價(jià)值的信息。那么越來越多的應(yīng)用涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長(zhǎng)的復(fù)雜性，所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說是決定最終信息是否有價(jià)值的決定性因素。大數(shù)據(jù)分析與處理方法介紹眾所周知，大數(shù)據(jù)已經(jīng)不簡(jiǎn)簡(jiǎn)單單是數(shù)據(jù)大數(shù)據(jù)分析的五個(gè)基本方面1.AnalyticVisualizations（可視化分析）不管是對(duì)數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求?？梢暬梢灾庇^的展示數(shù)據(jù)，讓數(shù)據(jù)自己說話，讓觀眾聽到結(jié)果。2.DataMiningAlgorithms（數(shù)據(jù)挖掘算法）可視化是給人看的，數(shù)據(jù)挖掘就是給機(jī)器看的。集群、分割、孤立點(diǎn)分析還有其他的算法讓我們深入數(shù)據(jù)內(nèi)部，挖掘價(jià)值。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。3.PredictiveAnalyticCapabilities（預(yù)測(cè)性分析能力）數(shù)據(jù)挖掘可以讓分析員更好的理解數(shù)據(jù)，而預(yù)測(cè)性分析可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測(cè)性的判斷。大數(shù)據(jù)分析的五個(gè)基本方面1.AnalyticVisual大數(shù)據(jù)分析的五個(gè)基本方面4.SemanticEngines（語義引擎）我們知道由于非結(jié)構(gòu)化數(shù)據(jù)的多樣性帶來了數(shù)據(jù)分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數(shù)據(jù)。語義引擎需要被設(shè)計(jì)成能夠從“文檔”中智能提取信息。5.DataQualityandMasterDataManagement（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理）數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實(shí)踐。通過標(biāo)準(zhǔn)化的流程和工具對(duì)數(shù)據(jù)進(jìn)行處理，可以保證一個(gè)預(yù)先定義好的高質(zhì)量的分析結(jié)果。大數(shù)據(jù)分析的五個(gè)基本方面4.SemanticEngine大數(shù)據(jù)處理周濤博士說：大數(shù)據(jù)處理數(shù)據(jù)時(shí)代理念的三大轉(zhuǎn)變：要全體不要抽樣，要效率不要絕對(duì)精確，要相關(guān)不要因果。具體的大數(shù)據(jù)處理方法其實(shí)有很多，但是根據(jù)長(zhǎng)時(shí)間的實(shí)踐，此處總結(jié)了一個(gè)基本的大數(shù)據(jù)處理流程。整個(gè)處理流程可以概括為四步，分別是采集、導(dǎo)入和預(yù)處理、統(tǒng)計(jì)和分析，以及挖掘。采集：大數(shù)據(jù)的采集是指利用多個(gè)數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進(jìn)行簡(jiǎn)單的查詢和處理工作。比如，電商會(huì)使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle等來存儲(chǔ)每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。在大數(shù)據(jù)的采集過程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)橥瑫r(shí)有可能會(huì)有成千上萬的用戶來進(jìn)行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時(shí)達(dá)到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。并且如何在這些數(shù)據(jù)庫之間進(jìn)行負(fù)載均衡和分片的確是需要深入的思考和設(shè)計(jì)。大數(shù)據(jù)處理周濤博士說：大數(shù)據(jù)處理數(shù)據(jù)時(shí)代理念的三大轉(zhuǎn)變：要全大數(shù)據(jù)處理導(dǎo)入/預(yù)處理：雖然采集端本身會(huì)有很多數(shù)據(jù)庫，但是如果要對(duì)這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫，或者分布式存儲(chǔ)集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡(jiǎn)單的清洗和預(yù)處理工作。導(dǎo)入與預(yù)處理過程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會(huì)達(dá)到百兆，甚至千兆級(jí)別。統(tǒng)計(jì)/分析：統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫，或者分布式計(jì)算集群來對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面，一些實(shí)時(shí)性需求會(huì)用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲(chǔ)Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對(duì)系統(tǒng)資源，特別是I/O會(huì)有極大的占用。大數(shù)據(jù)處理導(dǎo)入/預(yù)處理：大數(shù)據(jù)處理挖掘：與前面統(tǒng)計(jì)和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測(cè)（Predict）的效果，從而實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的K-Means、用于統(tǒng)計(jì)學(xué)習(xí)的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大，還有，常用數(shù)據(jù)挖掘算法都以單線程為主。大數(shù)據(jù)處理挖掘：處理和分析工具用于分析大數(shù)據(jù)的工具主要有開源與商用兩個(gè)生態(tài)圈。開源大數(shù)據(jù)生態(tài)圈：1、HadoopHDFS、HadoopMapReduce,HBase、Hive漸次誕生，早期Hadoop生態(tài)圈逐步形成。2、.Hypertable是另類。它存在于Hadoop生態(tài)圈之外，但也曾經(jīng)有一些用戶。3、NoSQL，membase、MongoDB商用大數(shù)據(jù)生態(tài)圈：1、一體機(jī)數(shù)據(jù)庫/數(shù)據(jù)倉庫：IBMPureData(Netezza),OracleExadata,SAPHana等等。2、數(shù)據(jù)倉庫：TeradataAsterData,EMCGreenPlum,HPVertica等等。3、數(shù)據(jù)集市：QlikView、Tableau、以及國內(nèi)的YonghongDataMart。處理和分析工具用于分析大數(shù)據(jù)的工具主要有開源與商用兩個(gè)生態(tài)圈處理和分析工具Hadoop 據(jù)IDC的預(yù)測(cè)，全球大數(shù)據(jù)市場(chǎng)2015年將達(dá)170億美元規(guī)模，市場(chǎng)發(fā)展前景很大。而Hadoop作為新一代的架構(gòu)和技術(shù)，因?yàn)橛欣诓⑿蟹植继幚怼按髷?shù)據(jù)”而備受重視。ApacheHadoop是一個(gè)用java語言實(shí)現(xiàn)的軟件框架，在由大量計(jì)算機(jī)組成的集群中運(yùn)行海量數(shù)據(jù)的分布式計(jì)算，它可以讓應(yīng)用程序支持上千個(gè)節(jié)點(diǎn)和PB級(jí)別的數(shù)據(jù)。Hadoop是項(xiàng)目的總稱，主要是由分布式存儲(chǔ)（HDFS）、分布式計(jì)算（MapReduce）等組成。優(yōu)點(diǎn)：可擴(kuò)展：不論是存儲(chǔ)的可擴(kuò)展還是計(jì)算的可擴(kuò)展都是Hadoop的設(shè)計(jì)根本。經(jīng)濟(jì)：框架可以運(yùn)行在任何普通的PC上。可靠：分布式文件系統(tǒng)的備份恢復(fù)機(jī)制以及MapReduce的任務(wù)監(jiān)控保證了分布式處理的可靠性。高效：分布式文件系統(tǒng)的高效數(shù)據(jù)交互實(shí)現(xiàn)以及MapReduce結(jié)合LocalData處理的模式，為高效處理海量的信息作了基礎(chǔ)準(zhǔn)備。處理和分析工具Hadoop 據(jù)IDC的預(yù)測(cè)，全球大數(shù)據(jù)市場(chǎng)2處理和分析工具Hadoop Hadoop原本來自于谷歌一款名為MapReduce的編程模型包。谷歌的MapReduce框架可以把一個(gè)應(yīng)用程序分解為許多并行計(jì)算指令，跨大量的計(jì)算節(jié)點(diǎn)運(yùn)行非常巨大的數(shù)據(jù)集。使用該框架的一個(gè)典型例子就是在網(wǎng)絡(luò)數(shù)據(jù)上運(yùn)行的搜索算法。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡(jiǎn)稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce.HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。處理和分析工具Hadoop Hadoop原本來自于谷歌一款名MapReduceHDFSHBasePigChuKwaHiveZooKeeperHadoop體系架構(gòu)Pig是一個(gè)基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺(tái)，Pig為復(fù)雜的海量數(shù)據(jù)并行計(jì)算提供了一個(gè)簡(jiǎn)易的操作和編程接口Chukwa是基于Hadoop的集群監(jiān)控系統(tǒng)，由yahoo貢獻(xiàn)hive是基于Hadoop的一個(gè)工具，提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行ZooKeeper：高效的，可擴(kuò)展的協(xié)調(diào)系統(tǒng),存儲(chǔ)和協(xié)調(diào)關(guān)鍵共享狀態(tài)HBase是一個(gè)開源的，基于列存儲(chǔ)模型的分布式數(shù)據(jù)庫HDFS是一個(gè)分布式文件系統(tǒng)。有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的硬件上，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算MapReduceHDFSHBasePigChuKwaHivHDFS——分布式文件系統(tǒng)NameNode

可以看作是分布式文件系統(tǒng)中的管理者，存儲(chǔ)文件系統(tǒng)的meta-data，主要負(fù)責(zé)管理文件系統(tǒng)的命名空間，集群配置信息，存儲(chǔ)塊的復(fù)制。DataNode

是文件存儲(chǔ)的基本單元。它存儲(chǔ)文件塊在本地文件系統(tǒng)中，保存了文件塊的meta-data，同時(shí)周期性的發(fā)送所有存在的文件塊的報(bào)告給NameNode。Client

就是需要獲取分布式文件系統(tǒng)文件的應(yīng)用程序。

HDFS是一個(gè)高度容錯(cuò)性的分布式文件系統(tǒng)，能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS——分布式文件系統(tǒng)NameNodeHDFS是一個(gè)高度MapReduceMap：任務(wù)的分解Reduce：結(jié)果的匯總兩大核心設(shè)計(jì)HDFSNameNode：文件管理DataNode：文件存儲(chǔ)Client：文件獲取Hadoop核心設(shè)計(jì)MapReduce兩大核心設(shè)計(jì)HDFSHadoop核心設(shè)計(jì)HDFS具體操作文件寫入：1.Client向NameNode發(fā)起文件寫入的請(qǐng)求2.NameNode根據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。3.Client將文件劃分為多個(gè)文件塊，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。文件讀?。?.

Client向NameNode發(fā)起文件讀取的請(qǐng)求2.

NameNode返回文件存儲(chǔ)的DataNode的信息。3.Client讀取文件信息。HDFS具體操作文件寫入：MapReduce——映射、化簡(jiǎn)編程模型1.根據(jù)輸入數(shù)據(jù)的大小和參數(shù)的設(shè)置把數(shù)據(jù)分成splits,每個(gè)split對(duì)于一個(gè)map線程。2.Split中的數(shù)據(jù)作為Map的輸入，Map的輸出一定在Map端。3.Map的輸出到Reduce的輸入的過程(shuffle過程)： 第一階段：在map端完成內(nèi)存->排序->寫入磁盤->復(fù)制第二階段：在reduce端完成映射到reduce端分區(qū)->合并->排序4.Reduce的輸入到Reduce的輸出最后排好序的key/value作為Reduce的輸入，輸出不一定是在reduce端。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。Map（映射）和Reduce（化簡(jiǎn)），采用分而治之思想，先把任務(wù)分發(fā)到集群多個(gè)節(jié)點(diǎn)上，并行計(jì)算，然后再把計(jì)算結(jié)果合并，從而得到最終計(jì)算結(jié)果。多節(jié)點(diǎn)計(jì)算，所涉及的任務(wù)調(diào)度、負(fù)載均衡、容錯(cuò)處理等，都由MapReduce框架完成，不需要編程人員關(guān)心這些內(nèi)容。MapReduce——映射、化簡(jiǎn)編程模型1.根據(jù)輸入數(shù)據(jù)的HBASE——分布式數(shù)據(jù)存儲(chǔ)HBase–HadoopDatabase，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)；HBase位于結(jié)構(gòu)化存儲(chǔ)層，HDFS為HBase提供了高可靠性的底層存儲(chǔ)支持,MapReduce為HBase提供了高性能的計(jì)算能力，Zookeeper為HBase提供了穩(wěn)定服務(wù)和failover機(jī)制；Pig和Hive還為HBase提供了高層語言支持，使得在HBase上進(jìn)行數(shù)據(jù)統(tǒng)計(jì)處理變的簡(jiǎn)單。HBASE——分布式數(shù)據(jù)存儲(chǔ)HBase–HadoopD大數(shù)據(jù)行業(yè)應(yīng)用金融行業(yè)互聯(lián)網(wǎng)醫(yī)療行業(yè)能源行業(yè)電信行業(yè)政府行業(yè)大數(shù)據(jù)行業(yè)應(yīng)用金融行業(yè)互聯(lián)網(wǎng)醫(yī)療行業(yè)能源行業(yè)電信行業(yè)政府行業(yè)

隨著互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的發(fā)展，運(yùn)營商的網(wǎng)絡(luò)將會(huì)更加繁忙，用于監(jiān)測(cè)網(wǎng)絡(luò)狀態(tài)的信令數(shù)據(jù)也會(huì)快速增長(zhǎng)。通過大數(shù)據(jù)的海量分布式存儲(chǔ)技術(shù)，可以更好地滿足存儲(chǔ)需求；通過智能分析技術(shù)，能夠提高網(wǎng)絡(luò)維護(hù)的實(shí)時(shí)性，預(yù)測(cè)網(wǎng)絡(luò)流量峰值，預(yù)警異常流量，有效防止網(wǎng)絡(luò)堵塞和宕機(jī)，為網(wǎng)絡(luò)改造、優(yōu)化提供參考，從而提高網(wǎng)絡(luò)服務(wù)質(zhì)量，提升用戶體驗(yàn)。提升網(wǎng)絡(luò)服務(wù)質(zhì)量，增強(qiáng)管道智能化客戶洞察是指在企業(yè)或部門層面對(duì)客戶數(shù)據(jù)的全面掌握并在市場(chǎng)營銷、客戶聯(lián)系等環(huán)節(jié)的有效應(yīng)用。通過使用大數(shù)據(jù)分析、數(shù)據(jù)挖掘等工具和方法，電信運(yùn)營商能夠整合來自市場(chǎng)部門、銷售部門、服務(wù)部門的數(shù)據(jù)，從各種不同的角度全面了解自己的客戶，對(duì)客戶形象進(jìn)行精準(zhǔn)刻畫，以尋找目標(biāo)客戶，制定有針對(duì)性的營銷計(jì)劃、產(chǎn)品組合或商業(yè)決策，提升客戶價(jià)值。判斷客戶對(duì)企業(yè)產(chǎn)品、服務(wù)的感知，有針對(duì)性地進(jìn)行改進(jìn)和完善。通過情感分析、語義分析等技術(shù)，可以針對(duì)客戶的喜好、情緒，進(jìn)行個(gè)性化的業(yè)務(wù)推薦更加精準(zhǔn)地洞察客戶需求，增強(qiáng)市場(chǎng)競(jìng)爭(zhēng)力智慧城市的發(fā)展以及教育、醫(yī)療、交通、環(huán)境保護(hù)等關(guān)系到國計(jì)民生的行業(yè)，都具有極大的信息化需求。目前，電信運(yùn)營商針對(duì)智慧城市及行業(yè)信息化服務(wù)雖然能夠提供一攬子解決方案，但主要還是提供終端和通信管道，行業(yè)應(yīng)用軟件和系統(tǒng)集成尚需要整合外部的應(yīng)用軟件提供商，對(duì)于客戶的價(jià)值主要體現(xiàn)在網(wǎng)絡(luò)化、自動(dòng)化等較低水平。而隨著社會(huì)、經(jīng)濟(jì)的發(fā)展，客戶及客戶的客戶對(duì)于智能化的要求將逐步強(qiáng)烈，因此運(yùn)營商如能把大數(shù)據(jù)技術(shù)整合到行業(yè)信息化方案中，幫助客戶通過數(shù)據(jù)采集、存儲(chǔ)和分析更好地進(jìn)行決策，將能極大提升信息化服務(wù)的價(jià)值升級(jí)行業(yè)信息化解決方案，提升客戶價(jià)值大數(shù)據(jù)也有大風(fēng)險(xiǎn)，其中之一就是客戶隱私泄露及數(shù)據(jù)安全風(fēng)險(xiǎn)。由于大量的數(shù)據(jù)產(chǎn)生、存儲(chǔ)和分析，數(shù)據(jù)保密和隱私問題將在未來幾年內(nèi)成為一個(gè)更大的問題，企業(yè)必須提供數(shù)據(jù)安全服務(wù)，在大數(shù)據(jù)市場(chǎng)建立差異化競(jìng)爭(zhēng)優(yōu)勢(shì)電信行業(yè)大數(shù)據(jù)需求分析

隨著互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的發(fā)展，運(yùn)營商的網(wǎng)絡(luò)將會(huì)更加繁

謝謝!謝謝!踏實(shí)，奮斗，堅(jiān)持，專業(yè)，努力成就未來。11月-2211月-22Sunday,November6,2022弄虛作假要不得，踏實(shí)肯干第一名。00:29:1100:29:1100:2911/6/202212:29:11AM安全象只弓，不拉它就松，要想保安全，常把弓弦繃。11月-2200:29:1100:29Nov-2206-Nov-22重于泰山，輕于鴻毛。00:29:1100:29:1100:29Sunday,November6,2022不可麻痹大意，要防微杜漸。11月-2211月-2200:29:1100:29:11November6,2022加強(qiáng)自身建設(shè)，增強(qiáng)個(gè)人的休養(yǎng)。2022年11月6日12:29上午11月-2211月-22追求卓越，讓自己更好，向上而生。06十一月202212:29:11上午00:29:1111月-22嚴(yán)格把控質(zhì)量關(guān)，讓生產(chǎn)更加有保障。十一月2212:29上午11月-2200:29November6,2022重規(guī)矩，嚴(yán)要求，少危險(xiǎn)。2022/11/60:29:1100:29:1106November2022好的事情馬上就會(huì)到來，一切都是最好的安排。12:29:11上午12:29上午00:29:1111月-22每天都是美好的一天，新的一天開啟。11月-2211月-2200:2900:29:1100:29:11Nov-22務(wù)實(shí)，奮斗，成就，成功。2022/11/60:29:11Sunday,November6,2022抓住每一次機(jī)會(huì)不能輕易流失，這樣我們才能真正強(qiáng)大。11月-222022/11/60:29:1111月-22謝謝大家！踏實(shí)，奮斗，堅(jiān)持，專業(yè)，努力成就未來。11月-2211月-2大數(shù)據(jù)時(shí)代

班級(jí):電信111大數(shù)據(jù)時(shí)代班級(jí):電信111大數(shù)據(jù)簡(jiǎn)介數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展，雖然很多企業(yè)可能并沒有意識(shí)到數(shù)據(jù)爆炸性增長(zhǎng)帶來問題的隱患，但是隨著時(shí)間的推移，人們將越來越多的意識(shí)到數(shù)據(jù)對(duì)企業(yè)的重要性。哈佛大學(xué)社會(huì)學(xué)教授加里·金說：“這是一場(chǎng)革命，龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開始了量化進(jìn)程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程?！贝髷?shù)據(jù)簡(jiǎn)介數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展，雖大數(shù)據(jù)簡(jiǎn)介隨著云時(shí)代的來臨，大數(shù)據(jù)（Bigdata）也吸引了越來越多的關(guān)注。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce（分布式計(jì)算）一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們，一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部?jī)?nèi)容可以刻滿1.68億張DVD；發(fā)出的郵件有2940億封之多（相當(dāng)于美國兩年的紙質(zhì)信件數(shù)量）；發(fā)出的社區(qū)帖子達(dá)200萬個(gè)（相當(dāng)于《時(shí)代》雜志770年的文字量）；賣出的手機(jī)為37.8萬臺(tái)……這樣的趨勢(shì)會(huì)持續(xù)下去。我們現(xiàn)在還處于所謂“物聯(lián)網(wǎng)”的最初級(jí)階段，而隨著技術(shù)成熟，我們的設(shè)備、交通工具和迅速發(fā)展的“可穿戴”科技將能互相連接與溝通?？萍嫉倪M(jìn)步已經(jīng)使創(chuàng)造、捕捉和管理信息的成本降至2005年的六分之一，而從2005年起，用在硬件、軟件、人才及服務(wù)之上的商業(yè)投資也增長(zhǎng)了整整50%，達(dá)到了4000億美元。大數(shù)據(jù)簡(jiǎn)介隨著云時(shí)代的來臨，大數(shù)據(jù)（Bigdata）也吸引四個(gè)特征數(shù)據(jù)量大（Volume）第一個(gè)特征是數(shù)據(jù)量大。大數(shù)據(jù)的起始計(jì)量單位至少是P（1000個(gè)T）、E（100萬個(gè)T）或Z（10億個(gè)T）。類型繁多（Variety）第二個(gè)特征是數(shù)據(jù)類型繁多。包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高的要求。價(jià)值密度低（Value）第三個(gè)特征是數(shù)據(jù)價(jià)值密度相對(duì)較低。如隨著物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無處不在，信息海量，但價(jià)值密度較低，如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”，是大數(shù)據(jù)時(shí)代亟待解決的難題。速度快時(shí)效高（Velocity）第四個(gè)特征是處理速度快，時(shí)效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。四個(gè)特征數(shù)據(jù)量大（Volume）大數(shù)據(jù)分析與處理方法介紹眾所周知，大數(shù)據(jù)已經(jīng)不簡(jiǎn)簡(jiǎn)單單是數(shù)據(jù)大的事實(shí)了，而最重要的現(xiàn)實(shí)是對(duì)大數(shù)據(jù)進(jìn)行分析，只有通過分析才能獲取很多智能的，深入的，有價(jià)值的信息。那么越來越多的應(yīng)用涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長(zhǎng)的復(fù)雜性，所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說是決定最終信息是否有價(jià)值的決定性因素。大數(shù)據(jù)分析與處理方法介紹眾所周知，大數(shù)據(jù)已經(jīng)不簡(jiǎn)簡(jiǎn)單單是數(shù)據(jù)大數(shù)據(jù)分析的五個(gè)基本方面1.AnalyticVisualizations（可視化分析）不管是對(duì)數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求?？梢暬梢灾庇^的展示數(shù)據(jù)，讓數(shù)據(jù)自己說話，讓觀眾聽到結(jié)果。2.DataMiningAlgorithms（數(shù)據(jù)挖掘算法）可視化是給人看的，數(shù)據(jù)挖掘就是給機(jī)器看的。集群、分割、孤立點(diǎn)分析還有其他的算法讓我們深入數(shù)據(jù)內(nèi)部，挖掘價(jià)值。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。3.PredictiveAnalyticCapabilities（預(yù)測(cè)性分析能力）數(shù)據(jù)挖掘可以讓分析員更好的理解數(shù)據(jù)，而預(yù)測(cè)性分析可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測(cè)性的判斷。大數(shù)據(jù)分析的五個(gè)基本方面1.AnalyticVisual大數(shù)據(jù)分析的五個(gè)基本方面4.SemanticEngines（語義引擎）我們知道由于非結(jié)構(gòu)化數(shù)據(jù)的多樣性帶來了數(shù)據(jù)分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數(shù)據(jù)。語義引擎需要被設(shè)計(jì)成能夠從“文檔”中智能提取信息。5.DataQualityandMasterDataManagement（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理）數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實(shí)踐。通過標(biāo)準(zhǔn)化的流程和工具對(duì)數(shù)據(jù)進(jìn)行處理，可以保證一個(gè)預(yù)先定義好的高質(zhì)量的分析結(jié)果。大數(shù)據(jù)分析的五個(gè)基本方面4.SemanticEngine大數(shù)據(jù)處理周濤博士說：大數(shù)據(jù)處理數(shù)據(jù)時(shí)代理念的三大轉(zhuǎn)變：要全體不要抽樣，要效率不要絕對(duì)精確，要相關(guān)不要因果。具體的大數(shù)據(jù)處理方法其實(shí)有很多，但是根據(jù)長(zhǎng)時(shí)間的實(shí)踐，此處總結(jié)了一個(gè)基本的大數(shù)據(jù)處理流程。整個(gè)處理流程可以概括為四步，分別是采集、導(dǎo)入和預(yù)處理、統(tǒng)計(jì)和分析，以及挖掘。采集：大數(shù)據(jù)的采集是指利用多個(gè)數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進(jìn)行簡(jiǎn)單的查詢和處理工作。比如，電商會(huì)使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle等來存儲(chǔ)每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。在大數(shù)據(jù)的采集過程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)橥瑫r(shí)有可能會(huì)有成千上萬的用戶來進(jìn)行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時(shí)達(dá)到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。并且如何在這些數(shù)據(jù)庫之間進(jìn)行負(fù)載均衡和分片的確是需要深入的思考和設(shè)計(jì)。大數(shù)據(jù)處理周濤博士說：大數(shù)據(jù)處理數(shù)據(jù)時(shí)代理念的三大轉(zhuǎn)變：要全大數(shù)據(jù)處理導(dǎo)入/預(yù)處理：雖然采集端本身會(huì)有很多數(shù)據(jù)庫，但是如果要對(duì)這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫，或者分布式存儲(chǔ)集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡(jiǎn)單的清洗和預(yù)處理工作。導(dǎo)入與預(yù)處理過程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會(huì)達(dá)到百兆，甚至千兆級(jí)別。統(tǒng)計(jì)/分析：統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫，或者分布式計(jì)算集群來對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面，一些實(shí)時(shí)性需求會(huì)用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲(chǔ)Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對(duì)系統(tǒng)資源，特別是I/O會(huì)有極大的占用。大數(shù)據(jù)處理導(dǎo)入/預(yù)處理：大數(shù)據(jù)處理挖掘：與前面統(tǒng)計(jì)和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測(cè)（Predict）的效果，從而實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的K-Means、用于統(tǒng)計(jì)學(xué)習(xí)的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大，還有，常用數(shù)據(jù)挖掘算法都以單線程為主。大數(shù)據(jù)處理挖掘：處理和分析工具用于分析大數(shù)據(jù)的工具主要有開源與商用兩個(gè)生態(tài)圈。開源大數(shù)據(jù)生態(tài)圈：1、HadoopHDFS、HadoopMapReduce,HBase、Hive漸次誕生，早期Hadoop生態(tài)圈逐步形成。2、.Hypertable是另類。它存在于Hadoop生態(tài)圈之外，但也曾經(jīng)有一些用戶。3、NoSQL，membase、MongoDB商用大數(shù)據(jù)生態(tài)圈：1、一體機(jī)數(shù)據(jù)庫/數(shù)據(jù)倉庫：IBMPureData(Netezza),OracleExadata,SAPHana等等。2、數(shù)據(jù)倉庫：TeradataAsterData,EMCGreenPlum,HPVertica等等。3、數(shù)據(jù)集市：QlikView、Tableau、以及國內(nèi)的YonghongDataMart。處理和分析工具用于分析大數(shù)據(jù)的工具主要有開源與商用兩個(gè)生態(tài)圈處理和分析工具Hadoop 據(jù)IDC的預(yù)測(cè)，全球大數(shù)據(jù)市場(chǎng)2015年將達(dá)170億美元規(guī)模，市場(chǎng)發(fā)展前景很大。而Hadoop作為新一代的架構(gòu)和技術(shù)，因?yàn)橛欣诓⑿蟹植继幚怼按髷?shù)據(jù)”而備受重視。ApacheHadoop是一個(gè)用java語言實(shí)現(xiàn)的軟件框架，在由大量計(jì)算機(jī)組成的集群中運(yùn)行海量數(shù)據(jù)的分布式計(jì)算，它可以讓應(yīng)用程序支持上千個(gè)節(jié)點(diǎn)和PB級(jí)別的數(shù)據(jù)。Hadoop是項(xiàng)目的總稱，主要是由分布式存儲(chǔ)（HDFS）、分布式計(jì)算（MapReduce）等組成。優(yōu)點(diǎn)：可擴(kuò)展：不論是存儲(chǔ)的可擴(kuò)展還是計(jì)算的可擴(kuò)展都是Hadoop的設(shè)計(jì)根本。經(jīng)濟(jì)：框架可以運(yùn)行在任何普通的PC上。可靠：分布式文件系統(tǒng)的備份恢復(fù)機(jī)制以及MapReduce的任務(wù)監(jiān)控保證了分布式處理的可靠性。高效：分布式文件系統(tǒng)的高效數(shù)據(jù)交互實(shí)現(xiàn)以及MapReduce結(jié)合LocalData處理的模式，為高效處理海量的信息作了基礎(chǔ)準(zhǔn)備。處理和分析工具Hadoop 據(jù)IDC的預(yù)測(cè)，全球大數(shù)據(jù)市場(chǎng)2處理和分析工具Hadoop Hadoop原本來自于谷歌一款名為MapReduce的編程模型包。谷歌的MapReduce框架可以把一個(gè)應(yīng)用程序分解為許多并行計(jì)算指令，跨大量的計(jì)算節(jié)點(diǎn)運(yùn)行非常巨大的數(shù)據(jù)集。使用該框架的一個(gè)典型例子就是在網(wǎng)絡(luò)數(shù)據(jù)上運(yùn)行的搜索算法。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡(jiǎn)稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce.HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。處理和分析工具Hadoop Hadoop原本來自于谷歌一款名MapReduceHDFSHBasePigChuKwaHiveZooKeeperHadoop體系架構(gòu)Pig是一個(gè)基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺(tái)，Pig為復(fù)雜的海量數(shù)據(jù)并行計(jì)算提供了一個(gè)簡(jiǎn)易的操作和編程接口Chukwa是基于Hadoop的集群監(jiān)控系統(tǒng)，由yahoo貢獻(xiàn)hive是基于Hadoop的一個(gè)工具，提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行ZooKeeper：高效的，可擴(kuò)展的協(xié)調(diào)系統(tǒng),存儲(chǔ)和協(xié)調(diào)關(guān)鍵共享狀態(tài)HBase是一個(gè)開源的，基于列存儲(chǔ)模型的分布式數(shù)據(jù)庫HDFS是一個(gè)分布式文件系統(tǒng)。有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的硬件上，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算MapReduceHDFSHBasePigChuKwaHivHDFS——分布式文件系統(tǒng)NameNode

可以看作是分布式文件系統(tǒng)中的管理者，存儲(chǔ)文件系統(tǒng)的meta-data，主要負(fù)責(zé)管理文件系統(tǒng)的命名空間，集群配置信息，存儲(chǔ)塊的復(fù)制。DataNode

是文件存儲(chǔ)的基本單元。它存儲(chǔ)文件塊在本地文件系統(tǒng)中，保存了文件塊的meta-data，同時(shí)周期性的發(fā)送所有存在的文件塊的報(bào)告給NameNode。Client

就是需要獲取分布式文件系統(tǒng)文件的應(yīng)用程序。

HDFS是一個(gè)高度容錯(cuò)性的分布式文件系統(tǒng)，能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS——分布式文件系統(tǒng)NameNodeHDFS是一個(gè)高度MapReduceMap：任務(wù)的分解Reduce：結(jié)果的匯總兩大核心設(shè)計(jì)HDFSNameNode：文件管理DataNode：文件存儲(chǔ)Client：文件獲取Hadoop核心設(shè)計(jì)MapReduce兩大核心設(shè)計(jì)HDFSHadoop核心設(shè)計(jì)HDFS具體操作文件寫入：1.Client向NameNode發(fā)起文件寫入的請(qǐng)求2.NameNode根據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。3.Client將文件劃分為多個(gè)文件塊，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。文件讀?。?.

Client向NameNode發(fā)起文件讀取的請(qǐng)求2.

NameNode返回文件存儲(chǔ)的DataNode的信息。3.Client讀取文件信息。HDFS具體操作文件寫入：MapReduce——映射、化簡(jiǎn)編程模型1.根據(jù)輸入數(shù)據(jù)的大小和參數(shù)的設(shè)置把數(shù)據(jù)分成splits,每個(gè)split對(duì)于一個(gè)map線程。2.Split中的數(shù)據(jù)作為Map的輸入，Map的輸出一定在Map端。3.Map的輸出到Reduce的輸入的過程(shuffle過程)： 第一階段：在map端完成內(nèi)存->排序->寫入磁盤->復(fù)制第二階段：在reduce端完成映射到reduce端分區(qū)->合并->排序4.Reduce的輸入到Reduce的輸出最后排好序的key/value作為Reduce的輸入，輸出不一定是在reduce端。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。Map（映射）和Reduce（化簡(jiǎn)），采用分而治之思想，先把任務(wù)分發(fā)到集群多個(gè)節(jié)點(diǎn)上，并行計(jì)算，然后再把計(jì)算結(jié)果合并，從而得到最終計(jì)算結(jié)果。多節(jié)點(diǎn)計(jì)算，所涉及的任務(wù)調(diào)度、負(fù)載均衡、容錯(cuò)處理等，都由MapReduce框架完成，不需要編程人員關(guān)心這些內(nèi)容。MapReduce——映射、化簡(jiǎn)編程模型1.根據(jù)輸入數(shù)據(jù)的HBASE——分布式數(shù)據(jù)存儲(chǔ)HBase–HadoopDatabase，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)；HBase位于結(jié)構(gòu)化存儲(chǔ)層，HDFS為HBase提供了高可靠性的底層存儲(chǔ)支持,MapReduce為HBase提供了高性能的計(jì)算能力，Zookeeper為HBase提供了穩(wěn)定服務(wù)和failover機(jī)制；Pig和Hive還為HBase提供了高層語言支持，使得在HBase上進(jìn)行數(shù)據(jù)統(tǒng)計(jì)處理變的簡(jiǎn)單。HBASE——分布式數(shù)據(jù)存儲(chǔ)HBase–HadoopD大數(shù)據(jù)行業(yè)應(yīng)用金融行業(yè)互聯(lián)網(wǎng)醫(yī)療行業(yè)能源行業(yè)電信行業(yè)政府行業(yè)大數(shù)據(jù)行業(yè)應(yīng)用金融行業(yè)互聯(lián)網(wǎng)醫(yī)療行業(yè)能源行業(yè)電信行業(yè)政府行業(yè)

隨著互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的發(fā)展，運(yùn)營商的網(wǎng)絡(luò)將會(huì)更加繁忙，用于監(jiān)測(cè)網(wǎng)絡(luò)狀態(tài)的信令數(shù)據(jù)也會(huì)快速增長(zhǎng)。通過大數(shù)據(jù)的海量分布式存儲(chǔ)技術(shù)，可以更好地滿足存儲(chǔ)需求；通過智能分析技術(shù)，能夠提高網(wǎng)絡(luò)維護(hù)的實(shí)時(shí)性，預(yù)測(cè)網(wǎng)絡(luò)