云計(jì)算-大數(shù)據(jù)

大數(shù)據(jù)與云計(jì)算摘要：近年來，大數(shù)據(jù)和云計(jì)算已經(jīng)成為社會(huì)各界關(guān)注的熱點(diǎn)話題。秉承“按需服務(wù)”理念的“云計(jì)算(Cloudcomputing)”正高速發(fā)展，“數(shù)據(jù)即資源”的“大數(shù)據(jù)(bigdata)”時(shí)代已經(jīng)來臨。大數(shù)據(jù)利用對(duì)數(shù)據(jù)處理的實(shí)時(shí)性、有效性提出了更高要求，需要根據(jù)大數(shù)據(jù)特點(diǎn)對(duì)傳統(tǒng)的常規(guī)數(shù)據(jù)處理技術(shù)進(jìn)行技術(shù)變革，形成適用于大數(shù)據(jù)收集、存儲(chǔ)、管理、處理、分析、共享和可視化的技術(shù)。如何更好地管理和利用大數(shù)據(jù)已經(jīng)成為普遍關(guān)注的話題。大數(shù)據(jù)的規(guī)模效應(yīng)給數(shù)據(jù)存儲(chǔ)、管理以及數(shù)據(jù)分析帶來了極大的挑戰(zhàn)，數(shù)據(jù)管理方式上的變革正在醞釀和發(fā)生。本文所提到的大數(shù)據(jù)包含著云計(jì)算，因?yàn)樵朴?jì)算是支撐大數(shù)據(jù)的平臺(tái)。關(guān)鍵詞：大數(shù)據(jù)云計(jì)算在學(xué)術(shù)界，大數(shù)據(jù)這一概念的提出相對(duì)較早。2008年9月，《自然》雜志就推出了名為“大數(shù)據(jù)”(bigdata)的?？?。2011年5月，麥肯錫全球研究院發(fā)布了名為《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)前沿》(Bigdata:Thenextfrontierforinnovation，competition，andproductivity)的研究報(bào)告，指出大數(shù)據(jù)將成為企業(yè)的核心資產(chǎn)，對(duì)海量數(shù)據(jù)的有效利用將成為企業(yè)在競(jìng)爭(zhēng)中取勝的最有力武器。2012年，聯(lián)合國(guó)發(fā)布大數(shù)據(jù)政務(wù)白皮書，指出大數(shù)據(jù)可以使用極為豐富的數(shù)據(jù)資源來對(duì)社會(huì)經(jīng)濟(jì)進(jìn)行前所未有的實(shí)時(shí)分析，幫助政府更好地響應(yīng)社會(huì)和經(jīng)濟(jì)運(yùn)行。2012年3月29日，奧巴馬政府發(fā)布了《大數(shù)據(jù)研究與發(fā)展計(jì)劃倡議》，宣布啟動(dòng)對(duì)大數(shù)據(jù)的研發(fā)計(jì)劃，標(biāo)志著美國(guó)把大數(shù)據(jù)提高到國(guó)家戰(zhàn)略層面，將“大數(shù)據(jù)研究”上升為國(guó)家意志，對(duì)未來的科技與經(jīng)濟(jì)發(fā)展必將帶來深遠(yuǎn)影響。大數(shù)據(jù)應(yīng)用正在風(fēng)靡全球，大數(shù)據(jù)精準(zhǔn)營(yíng)銷成為企業(yè)掌舵者的口頭禪，那么大數(shù)據(jù)真的是無懈可擊嗎？答案顯然是否定的。隨著互聯(lián)網(wǎng)和移動(dòng)設(shè)備的普及，大數(shù)據(jù)已經(jīng)在我們的生活中無處不在，而有關(guān)大數(shù)據(jù)與隱私的問題也日益受到關(guān)注。毫無疑問，未來可以獲得的個(gè)人數(shù)據(jù)量越多，其中的信息量就越大。只要擁有了足夠多的數(shù)據(jù)，我們甚至可能發(fā)現(xiàn)有關(guān)于一個(gè)人的未來信息。另外市場(chǎng)是變化無常并且不可預(yù)期的，決策者的創(chuàng)造性思維并不能通過數(shù)據(jù)得以體現(xiàn)，相反，大數(shù)據(jù)在壓制創(chuàng)新。大數(shù)據(jù)搜集到的數(shù)據(jù)的真實(shí)性也有待檢驗(yàn)。一個(gè)人獲得的數(shù)據(jù)和事實(shí)越多，預(yù)測(cè)就越有意義，人的判斷也就顯得愈發(fā)重要。人類、數(shù)據(jù)集和算法的協(xié)同進(jìn)化將最終決定“大數(shù)據(jù)”究竟是會(huì)創(chuàng)造新財(cái)富，還是會(huì)摧毀舊價(jià)值。本文首先介紹了云計(jì)算的相關(guān)概念，云計(jì)算為大數(shù)據(jù)的誕生創(chuàng)造了物質(zhì)基礎(chǔ)，從而引出大數(shù)據(jù)的相關(guān)概念。通過大數(shù)據(jù)與云計(jì)算之間關(guān)系的比較，使讀者對(duì)大數(shù)據(jù)與云計(jì)算有一個(gè)清晰的了解。文章介紹了大數(shù)據(jù)特征、作用以及對(duì)大數(shù)據(jù)分析的方法理論，對(duì)大數(shù)據(jù)的兩種處理模式、處理流程以及關(guān)鍵技術(shù)進(jìn)行了分析，提出MapReduce與關(guān)系數(shù)據(jù)庫(kù)融合技術(shù)，為未來大數(shù)據(jù)的工作提供了一個(gè)參考。一、云計(jì)算的介紹正如維克托教授所說，大數(shù)據(jù)的真實(shí)價(jià)值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，絕大部分都隱藏在表面之下。而發(fā)掘數(shù)據(jù)價(jià)值、征服數(shù)據(jù)海洋的“動(dòng)力”就是云計(jì)算云計(jì)算為一個(gè)由規(guī)模經(jīng)濟(jì)驅(qū)動(dòng)的大型分布式計(jì)算模型，在該模型中，抽象的、虛擬化的、動(dòng)態(tài)可伸縮的并可管理的計(jì)算資源、存儲(chǔ)資源、平臺(tái)和服務(wù)構(gòu)成了一個(gè)資源池。資源池中的資源通過互聯(lián)網(wǎng)，按需提供給池外的用戶。云計(jì)算定義為：云是由易于使用的虛擬資源構(gòu)成的一個(gè)巨大資源池，包括硬件資源、部署平臺(tái)以及相應(yīng)的服務(wù)。根據(jù)不同的負(fù)載，這些資源可以動(dòng)態(tài)地重新配置，以達(dá)到一個(gè)最理想的資源使用狀態(tài)。資源池中的資源是按需付費(fèi)的，服務(wù)提供商通過服務(wù)等級(jí)協(xié)議（ServiceLevelAgreement，SLA）保證用戶的服務(wù)質(zhì)量。二、大數(shù)據(jù)的介紹云計(jì)算的蓬勃發(fā)展，客觀上開起來大數(shù)據(jù)時(shí)代的大門。大數(shù)據(jù)是云計(jì)算的靈魂和升級(jí)方向。云計(jì)算為大數(shù)據(jù)提供的存儲(chǔ)的空間和訪問的渠道。圖1圖1為各地云計(jì)劃項(xiàng)目是大數(shù)據(jù)誕生的前提2.1何謂大數(shù)據(jù)人、機(jī)、物三元世界的高度融合引發(fā)了數(shù)據(jù)規(guī)模的爆炸式增長(zhǎng)和數(shù)據(jù)模式的高度復(fù)雜化，世界已進(jìn)入網(wǎng)絡(luò)化的大數(shù)據(jù)（BigData）時(shí)代。以數(shù)據(jù)為中心的傳統(tǒng)學(xué)科（如基因組學(xué)、蛋白組學(xué)，天體物理學(xué)和腦科學(xué)等）的研究產(chǎn)生了越來越多的數(shù)據(jù)。例如，用電子顯微鏡重建大腦中的突觸網(wǎng)絡(luò)，1立方毫米大腦的圖像數(shù)據(jù)就超過1PB。但近年來大數(shù)據(jù)的飆升主要還是來自日常生活，特別是互聯(lián)網(wǎng)公司的服務(wù)。據(jù)著名咨詢公司IDC的統(tǒng)計(jì)，2011年全球被創(chuàng)建和復(fù)制的數(shù)據(jù)總量為1.8ZB（10的21次方），其中75%來自于個(gè)人（主要是圖片、視頻和音樂），遠(yuǎn)遠(yuǎn)超過人類有史以來所有印刷材料的數(shù)據(jù)總量（200PB）。Google公司通過大規(guī)模集群和MapReduce軟件，每月處理的數(shù)據(jù)量超過400PB；百度每天大約要處理幾十PB數(shù)據(jù)；Facebook注冊(cè)用戶超過10億，每月上傳的照片超過10億張，每天生成300TB以上的日志數(shù)據(jù)；淘寶網(wǎng)會(huì)員超過3.7億，在線商品超過8.8億，每天交易數(shù)千萬筆，產(chǎn)生約20TB數(shù)據(jù)。傳感網(wǎng)和物聯(lián)網(wǎng)的蓬勃發(fā)展是大數(shù)據(jù)的又一推動(dòng)力，各個(gè)城市的視頻監(jiān)控每時(shí)每刻都在采集巨量的流媒體數(shù)據(jù)。工業(yè)設(shè)備的監(jiān)控也是大數(shù)據(jù)的重要來源。例如，勞斯萊斯公司對(duì)全世界數(shù)以萬計(jì)的飛機(jī)引擎進(jìn)行實(shí)時(shí)監(jiān)控，每年傳送PB數(shù)量級(jí)的數(shù)據(jù)。一般意義上，大數(shù)據(jù)是指無法在可容忍的時(shí)間內(nèi)用傳統(tǒng)IT技術(shù)和軟硬件工具對(duì)其進(jìn)行感知、獲取、管理、處理和服務(wù)的數(shù)據(jù)集合。大數(shù)據(jù)的特點(diǎn)可以總結(jié)為4個(gè)V，即Volume（體量浩大）、Vri-ety（模態(tài)繁多）、Velocity（生成快速）和Vilue（價(jià)值巨大但密度很低）。首先，數(shù)據(jù)集合的規(guī)模不斷擴(kuò)大，已從GB到TB再到PB級(jí)，甚至開始以EB和ZB來計(jì)數(shù)。IDC的研究報(bào)告稱，未來10年全球大數(shù)據(jù)將增加50倍，管理數(shù)據(jù)倉(cāng)庫(kù)的服務(wù)器數(shù)量將增加10倍。其次，大數(shù)據(jù)類型繁多，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。現(xiàn)代互聯(lián)網(wǎng)應(yīng)用呈現(xiàn)出非結(jié)構(gòu)化數(shù)據(jù)大幅增長(zhǎng)的特點(diǎn)，至2012年末，非結(jié)構(gòu)化數(shù)據(jù)占有比例將達(dá)到整個(gè)數(shù)據(jù)量的75%以上。同時(shí)，由于數(shù)據(jù)顯性或隱性的網(wǎng)絡(luò)化存在，使得數(shù)據(jù)之間的復(fù)雜關(guān)聯(lián)無所不在。再次，大數(shù)據(jù)往往以數(shù)據(jù)流的形式動(dòng)態(tài)、快速地產(chǎn)生，具有很強(qiáng)的時(shí)效性，用戶只有把握好對(duì)數(shù)據(jù)流的掌控才能有效利用這些數(shù)據(jù)。另外，數(shù)據(jù)自身的狀態(tài)與價(jià)值也往往隨時(shí)空變化而發(fā)生演變，數(shù)據(jù)的涌現(xiàn)特征明顯。最后，雖然數(shù)據(jù)的價(jià)值巨大，但是基于傳統(tǒng)思維與技術(shù)，人們?cè)趯?shí)際環(huán)境中往往面臨信息泛濫而知識(shí)匱乏的窘態(tài)，大數(shù)據(jù)的價(jià)值利用密度低。 維克托?爾耶?舍恩伯格明確指出，大數(shù)據(jù)時(shí)代最大的轉(zhuǎn)變就是，放棄對(duì)因果關(guān)系的渴求，而取而代之關(guān)注相關(guān)關(guān)系。也就是說只要知道“是什么”，而不需要知道“為什么”。這顛覆了千百年來人類的思維慣例，對(duì)人類的認(rèn)知和與世界交流的方式提出了全新的挑戰(zhàn)。2.2從數(shù)據(jù)庫(kù)（database,DB）到大數(shù)據(jù)（bigdata,BD）從數(shù)據(jù)庫(kù)到大數(shù)據(jù)，看似只是一個(gè)簡(jiǎn)單的技術(shù)演進(jìn)，但細(xì)細(xì)考究不難發(fā)現(xiàn)兩者有著本質(zhì)上的差別。大數(shù)據(jù)的出現(xiàn)必將顛覆傳統(tǒng)的數(shù)據(jù)管理方式。在數(shù)據(jù)來源）數(shù)據(jù)處理方式和數(shù)據(jù)思維等方面都會(huì)對(duì)其帶來革命性的變化。如果要用簡(jiǎn)單的方式來比較傳統(tǒng)的數(shù)據(jù)庫(kù)和大數(shù)據(jù)的區(qū)別，我們認(rèn)為“池塘捕魚”和“大海捕魚”是個(gè)很好的類比?！俺靥敛遏~”代表著傳統(tǒng)數(shù)據(jù)庫(kù)時(shí)代的數(shù)據(jù)管理方式，而“大海捕魚”則對(duì)應(yīng)著大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理方式，“魚”是待處理的數(shù)據(jù)。“捕魚”環(huán)境條件的變化導(dǎo)致了“捕魚”方式的根本性差異。這些差異主要體現(xiàn)在如下幾個(gè)方面：數(shù)據(jù)規(guī)模。“池塘”和“大?！弊钊菀装l(fā)現(xiàn)的區(qū)別就是規(guī)模?！俺靥痢币?guī)模相對(duì)較小，即便是先前認(rèn)為比較大的“池塘”，譬如CLDB，和“大?！盭LDB相比仍舊偏小?！俺靥痢钡奶幚韺?duì)象通常以MB為基本單位，而“大海”則常常GB，甚至是TB，PB為基本處理單位。2.3大數(shù)據(jù)與云計(jì)算的關(guān)系近幾年來，云計(jì)算受到學(xué)術(shù)界和工業(yè)界的熱捧，隨后，大數(shù)據(jù)橫空出世，更是炙手可熱。那么，大數(shù)據(jù)和云計(jì)算之間是什么關(guān)系呢？ 從整體上看，大數(shù)據(jù)與云計(jì)算是相輔相成的大數(shù)據(jù)著眼于“數(shù)據(jù)”，關(guān)注實(shí)際業(yè)務(wù)，提供數(shù)據(jù)采集分析挖掘，看重的是信息積淀，即數(shù)據(jù)存儲(chǔ)能力。云計(jì)算著眼于“計(jì)算”，關(guān)注IT解決方案，提供IT基礎(chǔ)架構(gòu)，看重的是計(jì)算能力，即數(shù)據(jù)處理能力。沒有大數(shù)據(jù)的信息積淀，則云計(jì)算的計(jì)算能力再?gòu)?qiáng)大，也難以找到用武之地；沒有云計(jì)算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。從技術(shù)上看，大數(shù)據(jù)根植于云計(jì)算云計(jì)算關(guān)鍵技術(shù)中的海量數(shù)據(jù)存儲(chǔ)技術(shù)、海量數(shù)據(jù)管理技術(shù)、MapReduce編程模型，都是大數(shù)據(jù)技術(shù)的基礎(chǔ)如圖2所示

限掀化技術(shù)H儺fl隔再.證盈部合云計(jì)算平臺(tái)管理技術(shù)NlnpH點(diǎn)u如編程轅型大規(guī)模系境逐皙.快速故障檢制與慨址分布式悔片成塑.IllFJMi吐理大稅模數(shù)掘攵的狄仆悼剎海坡數(shù)據(jù)存儒技術(shù)為布式存健方式存冗金在格方式供證系統(tǒng)可尊海麻數(shù)據(jù)管理技術(shù)如瑚tn仇.誑籽海械敷岫FK以健后策分折翻H八計(jì)鼻技術(shù)癌述圖2 大數(shù)據(jù)的關(guān)鍵技術(shù)大數(shù)據(jù)技術(shù)與云計(jì)算有相同，也有差異(如圖3所示)圖3大數(shù)據(jù)與云計(jì)算的差異3大數(shù)據(jù)的特征、作用及分析3.1大數(shù)據(jù)的特征一是數(shù)據(jù)體量巨大。百度資料表明，其新首頁(yè)導(dǎo)航每天需要提供的數(shù)據(jù)超過1.5PB(1PB=1024TB)，這些數(shù)據(jù)如果打印出來將超過5千億張A4紙。有資料證實(shí)，到目前為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量?jī)H為200PB。二是數(shù)據(jù)類型多樣?，F(xiàn)在的數(shù)據(jù)類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數(shù)據(jù)，個(gè)性化數(shù)據(jù)占絕對(duì)多數(shù)。三是處理速度快。數(shù)據(jù)處理遵循“1秒定律”，可從各種類型的數(shù)據(jù)中快速獲得高價(jià)值的信息。四是價(jià)值密度低。以視頻為例，一小時(shí)的視頻，在不間斷的監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。3.2大數(shù)據(jù)的作用第一，對(duì)大數(shù)據(jù)的處理分析正成為新一代信息技術(shù)融合應(yīng)用的結(jié)點(diǎn)。移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)字家庭、電子商務(wù)等是新一代信息技術(shù)的應(yīng)用形態(tài)，這些應(yīng)用不斷產(chǎn)生大數(shù)據(jù)。云計(jì)算為這些海量、多樣化的大數(shù)據(jù)提供存儲(chǔ)和運(yùn)算平臺(tái)。通過對(duì)不同來源數(shù)據(jù)的管理、處理、分析與優(yōu)化，將結(jié)果反饋到上述應(yīng)用中，將創(chuàng)造出巨大的經(jīng)濟(jì)和社會(huì)價(jià)值。大數(shù)據(jù)具有催生社會(huì)變革的能量。但釋放這種能量，需要嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)治理、富有洞見的數(shù)據(jù)分析和激發(fā)管理創(chuàng)新的環(huán)境（RamayyaKrishnan，卡內(nèi)基?梅隆大學(xué)海因茲學(xué)院院長(zhǎng)）。第二，大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長(zhǎng)的新引擎。面向大數(shù)據(jù)市場(chǎng)的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)會(huì)不斷涌現(xiàn)。在硬件與集成設(shè)備領(lǐng)域，大數(shù)據(jù)將對(duì)芯片、存儲(chǔ)產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲(chǔ)處理服務(wù)器、內(nèi)存計(jì)算等市場(chǎng)。在軟件與服務(wù)領(lǐng)域，大數(shù)據(jù)將引發(fā)數(shù)據(jù)快速處理分析、數(shù)據(jù)挖掘技術(shù)和軟件產(chǎn)品的發(fā)展。第三，大數(shù)據(jù)利用將成為提高核心競(jìng)爭(zhēng)力的關(guān)鍵因素。各行各業(yè)的決策正在從“業(yè)務(wù)驅(qū)動(dòng)”轉(zhuǎn)變“數(shù)據(jù)驅(qū)動(dòng)”。對(duì)大數(shù)據(jù)的分析可以使零售商實(shí)時(shí)掌握市場(chǎng)動(dòng)態(tài)并迅速做出應(yīng)對(duì)；可以為商家制定更加精準(zhǔn)有效的營(yíng)銷策略提供決策支持；可以幫助企業(yè)為消費(fèi)者提供更加及時(shí)和個(gè)性化的服務(wù)；在醫(yī)療領(lǐng)域，可提高診斷準(zhǔn)確性和藥物有效性；在公共事業(yè)領(lǐng)域，大數(shù)據(jù)也開始發(fā)揮促進(jìn)經(jīng)濟(jì)發(fā)展、維護(hù)社會(huì)穩(wěn)定等方面的重要作用。第四，大數(shù)據(jù)時(shí)代科學(xué)研究的方法手段將發(fā)生重大改變。例如，抽樣調(diào)查是社會(huì)科學(xué)的基本研究方法。在大數(shù)據(jù)時(shí)代，可通過實(shí)時(shí)監(jiān)測(cè)、跟蹤研究對(duì)象在互聯(lián)網(wǎng)上產(chǎn)生的海量行為數(shù)據(jù)，進(jìn)行挖掘分析，揭示出規(guī)律性的東西，提出研究結(jié)論和對(duì)策。3.3大數(shù)據(jù)的分析從所周知，大數(shù)據(jù)已經(jīng)不簡(jiǎn)簡(jiǎn)單單是數(shù)據(jù)大的事實(shí)了，而最重要的現(xiàn)實(shí)是對(duì)大數(shù)據(jù)進(jìn)行分析，只有通過分析才能獲取很多智能的，深入的，有價(jià)值的信息。那么越來越多的應(yīng)用涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長(zhǎng)的復(fù)雜性，所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說是決定最終信息是否有價(jià)值的決定性因素?；谌绱说恼J(rèn)識(shí)，大數(shù)據(jù)分析普遍存在的方法理論有哪些呢？可視化分析。大數(shù)據(jù)分析的使用者有大數(shù)據(jù)分析專家，同時(shí)還有普通用戶，但是他們二者對(duì)于大數(shù)據(jù)分析最基本的要求就是可視化分析，因?yàn)榭梢暬治瞿軌蛑庇^的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，同時(shí)能夠非常容易被讀者所接受，就如同看圖說話一樣簡(jiǎn)單明了。數(shù)據(jù)挖掘算法。大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式才能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)。預(yù)測(cè)性分析。大數(shù)據(jù)分析最終要的應(yīng)用領(lǐng)域之一就是預(yù)測(cè)性分析，從大數(shù)據(jù)中挖掘出特點(diǎn)，通過科學(xué)的建立模型，之后便可以通過模型帶入新的數(shù)據(jù)，從而預(yù)測(cè)未來的數(shù)據(jù)。語(yǔ)義引擎。非結(jié)構(gòu)化數(shù)據(jù)的多元化給數(shù)據(jù)分析帶來新的挑戰(zhàn)，我們需要一套工具系統(tǒng)的去分析，提煉數(shù)據(jù)。語(yǔ)義引擎需要設(shè)計(jì)到有足夠的人工智能以足以從數(shù)據(jù)中主動(dòng)地提取信息。數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理。大數(shù)據(jù)分析離不開數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理，無論是在學(xué)術(shù)研究還是在商業(yè)應(yīng)用領(lǐng)域，都能夠保證分析結(jié)果的真實(shí)和有價(jià)值。4大數(shù)據(jù)時(shí)代的挑戰(zhàn)與應(yīng)對(duì)策略4.1大數(shù)據(jù)時(shí)代面臨的挑戰(zhàn)運(yùn)營(yíng)商帶寬能力與對(duì)數(shù)據(jù)洪流的適應(yīng)能力面臨前所未有的挑戰(zhàn)，管道化壓力化解及“云一管一端”的有效裝備也均面臨新挑戰(zhàn)。大數(shù)據(jù)的“四V”特征在數(shù)據(jù)存儲(chǔ)、傳輸、分析、處理等方面均帶來本質(zhì)變化。數(shù)據(jù)量的快速增長(zhǎng)，對(duì)存儲(chǔ)技術(shù)提出了挑戰(zhàn)；同時(shí)，需要高速信息傳輸能力支持，與低密度有價(jià)值數(shù)據(jù)的快速分析、處理能力。海量數(shù)據(jù)洪流中，在線對(duì)話與在線交易活動(dòng)日益增加，其安全威脅更為嚴(yán)峻；而且現(xiàn)今黑客的組織能力、作案工具、作案手法及隱蔽程度更上一層樓，典型的有APT（AdvancedPersistentThreat，高級(jí)持續(xù)性安全威脅）。的商業(yè)機(jī)密，對(duì)個(gè)人隱私問題必須引起充分重視。大數(shù)據(jù)時(shí)代的基本特征，決定其在技術(shù)與商業(yè)模式上有巨大的創(chuàng)新空間，這將對(duì)可持續(xù)發(fā)展起關(guān)鍵作用。大數(shù)據(jù)時(shí)代的基本特征及安全挑戰(zhàn)，對(duì)政府制訂規(guī)則與監(jiān)管部門發(fā)揮作用提出了新的挑戰(zhàn)。4.2大數(shù)據(jù)時(shí)代的應(yīng)對(duì)策略大數(shù)據(jù)時(shí)代應(yīng)以智慧創(chuàng)新理念融合大數(shù)據(jù)與云計(jì)算，在大數(shù)據(jù)洪流中提升知識(shí)價(jià)值洞察力，實(shí)施高效實(shí)時(shí)個(gè)性化運(yùn)作，建立有效增值的商業(yè)模式，確保應(yīng)對(duì)APT之類的新型安全威脅。電信運(yùn)營(yíng)商轉(zhuǎn)型中流量經(jīng)營(yíng)已成共識(shí)，即以智能管道與聚合平臺(tái)為基礎(chǔ)，以擴(kuò)大流量規(guī)模、提升流量層次及豐富流量?jī)?nèi)涵作為基本經(jīng)營(yíng)方向，并以釋放流量?jī)r(jià)值為基本目標(biāo)，可見大數(shù)據(jù)和云計(jì)算的深度融合與此流量經(jīng)營(yíng)目標(biāo)十分吻合。實(shí)際上已經(jīng)有一些運(yùn)營(yíng)商借助大數(shù)據(jù)Hadoop云工具管理與分析網(wǎng)絡(luò)中的用戶數(shù)據(jù)，為日常運(yùn)維及制定市場(chǎng)戰(zhàn)略等提供有效支撐。針對(duì)大數(shù)據(jù)時(shí)代的基本特征，加強(qiáng)全方位創(chuàng)新。包括IBM、EMC、HP、Microsoft等在內(nèi)的IT巨頭，紛紛加速收購(gòu)相關(guān)大數(shù)據(jù)公司進(jìn)行技術(shù)整合，尋找數(shù)據(jù)洪流大潮中新的立足點(diǎn)。而涉及人工智能、機(jī)器學(xué)習(xí)等新技術(shù)的創(chuàng)新應(yīng)用，已初顯效益。將大數(shù)據(jù)時(shí)代全方位創(chuàng)新工作和智慧城市發(fā)展緊密結(jié)合。借助移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)與云計(jì)算的融合、智能運(yùn)營(yíng)管道等，建立智能平臺(tái)，優(yōu)化配置城市資源，向真正的智慧城市邁進(jìn)。借助大數(shù)據(jù)創(chuàng)新處理技術(shù)應(yīng)對(duì)APT安全攻擊。APT安全攻擊的最主要特征為單點(diǎn)隱蔽能力強(qiáng)、攻擊空間路徑不確定、攻擊渠道不確定；同時(shí)APT攻擊一旦入侵成功則長(zhǎng)期潛伏，攻擊時(shí)間上具有持續(xù)性。目前，全流量審計(jì)方案具備強(qiáng)大的實(shí)時(shí)檢測(cè)能力與事后回溯能力，并可將安全工作人員的分析能力、計(jì)算機(jī)存儲(chǔ)與運(yùn)算能力組合在一起，是一種較完整的解決方"^K。心得：現(xiàn)在，當(dāng)數(shù)據(jù)的積累量足夠大的時(shí)候到來時(shí)，量變引起了質(zhì)變?！按髷?shù)據(jù)”通過對(duì)海量數(shù)據(jù)有針對(duì)性的分析，賦予了互聯(lián)網(wǎng)“智商”，這使得互聯(lián)網(wǎng)的作用，從簡(jiǎn)單的數(shù)據(jù)交流和信息傳遞，上升到基于海量數(shù)據(jù)的分析，一句話“他開始思考了”。簡(jiǎn)言之，大數(shù)據(jù)就是將碎片化的海量數(shù)據(jù)在一定的時(shí)間內(nèi)完成篩選、分析，并整理成為有用的資訊，幫助用戶完成決策。借助大數(shù)據(jù)企業(yè)的決策者可以迅速感知市場(chǎng)需求變化，從而促使他們作出對(duì)企業(yè)更有利的決策，使得這些企業(yè)擁有更強(qiáng)的創(chuàng)新力和競(jìng)爭(zhēng)力。這是繼云計(jì)算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)變革，對(duì)國(guó)家治理模式、對(duì)企業(yè)的決策、組織和業(yè)務(wù)流程、對(duì)個(gè)人生活方式都將產(chǎn)生巨大的影響。后工業(yè)社會(huì)時(shí)代，隨著新興技術(shù)的發(fā)展與互聯(lián)網(wǎng)底層技術(shù)的革新，數(shù)據(jù)正在呈指數(shù)級(jí)增長(zhǎng)，所有數(shù)據(jù)的產(chǎn)生形式，都是數(shù)字化。如何收集、管理和分析海量數(shù)據(jù)對(duì)于企業(yè)從事的一切商業(yè)活動(dòng)都顯得尤為重要。大數(shù)據(jù)時(shí)代是信息化社會(huì)發(fā)展必然趨勢(shì)，我們只有緊緊跟隨時(shí)代發(fā)展的潮流，在技術(shù)上、制