“大數(shù)據(jù)”的認(rèn)識(shí)與思考22

1、“大數(shù)據(jù)”的認(rèn)識(shí)與與思考 劉姝祎祎目錄TOC o 1-3 h z u HYPERLINK l _Toc388335582 1“大數(shù)據(jù)據(jù)”的時(shí)代背背景 PAGEREF _Toc388335582 h 4 HYPERLINK l _Toc388335583 1.1“大大數(shù)據(jù)”的概念 PAGEREF _Toc388335583 h 4 HYPERLINK l _Toc38883355584 1.2“大數(shù)據(jù)”產(chǎn)生的背背景 PAGEREF _Toc388335584 h 4 HYPERLINK l _Toc388335585 1.3“大大數(shù)據(jù)”的特征 PAGEREF _Toc388335585 h 5

2、HYPERLINK l _Toc388335586 1.4“大大數(shù)據(jù)”的發(fā)展階階段 PAGEREF _Toc388335586 h 5 HYPERLINK l _Toc388335587 1.5“大大數(shù)據(jù)”帶來的機(jī)機(jī)遇 PAGEREF _Toc388335587 h 6 HYPERLINK l _Toc388335588 2“大數(shù)據(jù)據(jù)”的關(guān)鍵技技術(shù) PAGEREF _Toc388335588 h 9 HYPERLINK l _Toc388335589 2.1“大大數(shù)據(jù)”的采集和和預(yù)處理 PAGEREF _Toc388335589 h 9 HYPERLINK l _Toc388335590 2.

3、2“大大數(shù)據(jù)”存儲(chǔ)技術(shù)術(shù) PAGEREF _Toc388335590 h 10 HYPERLINK l _Toc388335591 2.3“大大數(shù)據(jù)”分析技術(shù)術(shù) PAGEREF _Toc388335591 h 10 HYPERLINK l _Toc388335592 2.4“大大數(shù)據(jù)”與云計(jì)算算 PAGEREF _Toc388335592 h 11 HYPERLINK l _Toc388335593 3大數(shù)據(jù)產(chǎn)產(chǎn)業(yè)的應(yīng)用用 PAGEREF _Toc388335593 h 12 HYPERLINK l _Toc388335594 3.1大數(shù)數(shù)據(jù)產(chǎn)業(yè) PAGEREF _Toc388335594 h

4、 12 HYPERLINK l _Toc388335595 3.2“大大數(shù)據(jù)”在典型領(lǐng)領(lǐng)域中的應(yīng)應(yīng)用 PAGEREF _Toc388335595 h 13 HYPERLINK l _Toc388335596 3.3智慧慧城市：立立體的大數(shù)數(shù)據(jù)生態(tài)系系統(tǒng) PAGEREF _Toc388335596 h 14 HYPERLINK l _Toc388335597 3.3.11智慧城市市的產(chǎn)生 PAGEREF _Toc388335597 h 14 HYPERLINK l _Toc388335598 3.3.22全球智慧慧城市的實(shí)實(shí)踐 PAGEREF _Toc388335598 h 15 HYPERLI

5、NK l _Toc388335599 3.3.33.中國智智慧城市 PAGEREF _Toc388335599 h 16 HYPERLINK l _TToc38883355600 4問題與挑挑戰(zhàn) PAGEREF _Toc388335600 h 18 HYPERLINK l _Toc388335601 4.1數(shù)據(jù)據(jù)質(zhì)量 PAGEREF _Toc388335601 h 18 HYPERLINK l _Toc388335602 4.2數(shù)據(jù)據(jù)安全 PAGEREF _Toc388335602 h 18 HYPERLINK l _Toc388335603 4.3用戶戶隱私與便便利性的沖沖突 PAGEREF

6、 _Toc388335603 h 18 HYPERLINK l _Toc388335604 4.4龐大大能耗 PAGEREF _Toc388335604 h 18 HYPERLINK l _Toc388335605 4.5數(shù)據(jù)據(jù)分析與管管理人才緊緊缺 PAGEREF _Toc388335605 h 19 HYPERLINK l _Toc388335606 4.6跟風(fēng)風(fēng)現(xiàn)象較為為嚴(yán)重 PAGEREF _Toc388335606 h 19 HYPERLINK l _Toc388335607 4.7缺少少技術(shù)創(chuàng)新新水平較高高的互聯(lián)網(wǎng)網(wǎng)公司 PAGEREF _Toc388335607 h 19 HYP

7、ERLINK l _Toc388335608 5對(duì)大數(shù)據(jù)據(jù)產(chǎn)業(yè)發(fā)展展的建議 PAGEREF _Toc388335608 h 20 HYPERLINK l _Toc388335609 5.1政府府方面 PAGEREF _Toc388335609 h 20 HYPERLINK l _Toc388335610 5.2企業(yè)業(yè)方面 PAGEREF _Toc388335610 h 21 HYPERLINK l _Toc388335611 5.3公眾眾方面 PAGEREF _Toc388335611 h 221“大數(shù)據(jù)據(jù)”的時(shí)代背景景1.1“大大數(shù)據(jù)”的概念紐約時(shí)報(bào)在在20122年宣布“大 HYPERLIN

8、K /hqstat/hqstat.shtml 數(shù)據(jù)時(shí)代”已經(jīng)降臨臨，“ HYPERLINK /view/6954399.htm 大數(shù)據(jù)”成為了時(shí)時(shí)下最火熱熱的詞匯。顧名思義義，大數(shù)據(jù)據(jù)是“無法任意意時(shí)間內(nèi)用用常規(guī)軟件件工具對(duì)其其內(nèi)容進(jìn)行行抓取、管管理和處理理的大量而而復(fù)雜的數(shù)數(shù)據(jù)集合”。Garrtnerr認(rèn)為大數(shù)數(shù)據(jù)是“需要新處處理模式才才能具有更更強(qiáng)的決策策力、洞察察發(fā)現(xiàn)力和和流程優(yōu)化化能力的海海量、高增增長率和多多樣化的信信息資產(chǎn)”。“大數(shù)據(jù)”的要義是盡盡可能地收收集眾多可可以相互疊疊加補(bǔ)充的的信息，據(jù)據(jù)以完成對(duì)對(duì)“未來”的預(yù)測(cè)。這些數(shù)據(jù)據(jù)可能有些些混亂，甚甚至?xí)霈F(xiàn)現(xiàn)紕漏，但但數(shù)據(jù)量的“

9、多“和時(shí)間的的“即刻”可以彌補(bǔ)補(bǔ)數(shù)據(jù)質(zhì)量量的瑕疵，“大數(shù)據(jù)”將以最快的速度“預(yù)測(cè)”出最“可靠”的答案，指引人們迅速采取行動(dòng)。1.2“大大數(shù)據(jù)”產(chǎn)生的背背景大數(shù)據(jù)的應(yīng)應(yīng)用和技術(shù)術(shù)是在互聯(lián)聯(lián)網(wǎng)快速發(fā)發(fā)展中誕生生的，起點(diǎn)點(diǎn)可追溯到到 20000 年前前后。當(dāng)時(shí)時(shí)互聯(lián)網(wǎng)網(wǎng)網(wǎng)頁爆發(fā)式式增長，每每天新增約約 7000 萬個(gè)網(wǎng)網(wǎng)頁，到 20000 年底全全球網(wǎng)頁數(shù)數(shù)達(dá)到 440 億，用用戶檢索信信息越來越越不方便。谷歌等公公司率先建建立了覆蓋蓋數(shù)十億網(wǎng)網(wǎng)頁的索引引庫，開始始提供較為為精確的搜搜索服務(wù)，大大大提升了了人們使用用互聯(lián)網(wǎng)的的效率，這這是大數(shù)據(jù)據(jù)應(yīng)用的起起點(diǎn)。當(dāng)時(shí)時(shí)搜索引擎擎要存儲(chǔ)和和處理的數(shù)數(shù)據(jù)，

10、不僅僅數(shù)量之大大前所未有有，而且以以非結(jié)構(gòu)化化數(shù)據(jù)為主主，傳統(tǒng)技技術(shù)無法應(yīng)應(yīng)對(duì)。為此此，谷歌提提出了一套套以分布式式為特征的的全新技術(shù)術(shù)體系，即即后來陸續(xù)續(xù)公開的分分布式文件件系統(tǒng)(GGFS， Googgle FFile Systtem)、分布式并并行計(jì)算(MapRReducce)和分分布式數(shù)據(jù)據(jù)庫(BiigTabble)等等技術(shù)，以以較低的成成本實(shí)現(xiàn)了了之前技術(shù)術(shù)無法達(dá)到到的規(guī)模。這些技術(shù)術(shù)奠定了當(dāng)當(dāng)前大數(shù)據(jù)據(jù)技術(shù)的基基礎(chǔ)，可以以認(rèn)為是大大數(shù)據(jù)技術(shù)術(shù)的源頭。伴隨著互聯(lián)聯(lián)網(wǎng)產(chǎn)業(yè)的的崛起，這這種創(chuàng)新的的海量數(shù)據(jù)據(jù)處理技術(shù)術(shù)在電子商商務(wù)、定向向廣告、智智能推薦、社交網(wǎng)絡(luò)絡(luò)等方面得得到應(yīng)用，取取得巨

11、大的的商業(yè)成功功。這啟發(fā)發(fā)全社會(huì)開開始重新審審視數(shù)據(jù)的的巨大價(jià)值值，于是金金融、電信信等擁有大大量數(shù)據(jù)的的行業(yè)開始始嘗試這種種新的理念念和技術(shù)，取取得初步成成效。與此此同時(shí)，業(yè)業(yè)界也在不不斷對(duì)谷歌歌提出的技技術(shù)體系進(jìn)進(jìn)行擴(kuò)展，使使之能在更更多的場景景下使用。20111 年，麥麥肯錫、世世界經(jīng)濟(jì)論論壇等知名名機(jī)構(gòu)對(duì)這這種數(shù)據(jù)驅(qū)驅(qū)動(dòng)的創(chuàng)新新進(jìn)行了研研究總結(jié)，隨隨即在全世世界興起了了一股大數(shù)數(shù)據(jù)熱潮。2012年年3月，美美國政府發(fā)發(fā)布大數(shù)數(shù)據(jù)研究和和發(fā)展計(jì)劃劃，同時(shí)時(shí)組建大數(shù)數(shù)據(jù)高級(jí)指指導(dǎo)小組，以以協(xié)調(diào)政府府在數(shù)據(jù)領(lǐng)領(lǐng)域的兩億億多美元投投資。根據(jù)據(jù)這一計(jì)劃劃，美國希希望利用大大數(shù)據(jù)技術(shù)術(shù)再多個(gè)領(lǐng)領(lǐng)域

12、實(shí)現(xiàn)突突破，包括括科研教學(xué)學(xué)、環(huán)境保保護(hù)、國土土安全等，此此舉標(biāo)志著著，美國把把應(yīng)對(duì)大數(shù)數(shù)據(jù)技術(shù)革革命帶來的的機(jī)遇和挑挑戰(zhàn)，提高高到國家戰(zhàn)戰(zhàn)略層面，形形成了全體體動(dòng)員格局局。隨后，英國、法國、日本等各國都相繼將大數(shù)據(jù)計(jì)劃作為國家戰(zhàn)略型計(jì)劃提上日程。值得一提的是，由中國各級(jí)政府主導(dǎo)的大數(shù)據(jù)計(jì)劃也已經(jīng)全面展開，“大數(shù)據(jù)”已成為推動(dòng)我國經(jīng)濟(jì)和科技發(fā)展的重要力量。1.3“大大數(shù)據(jù)”的特征“大數(shù)據(jù)”具有4VV的特點(diǎn)：一是數(shù)據(jù)據(jù)容量巨大大（Vollume）。國際數(shù)據(jù)公司（IDC）的研究報(bào)告稱，2011年全球被創(chuàng)建和被復(fù)制的數(shù)據(jù)總量為1.8ZB（2的70次方），并預(yù)測(cè)到2020年，全球?qū)碛?5ZB的數(shù)據(jù)量

13、。二是數(shù)據(jù)類型眾多（Variiety）。相對(duì)于過往以文本形式為主的結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)時(shí)代的數(shù)據(jù)類型涵蓋了圖片、音頻、視頻、網(wǎng)絡(luò)日志和地理位置信息等種類繁多的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。 三是數(shù)據(jù)價(jià)值密度低（Value）。舉例而言，在一個(gè)連續(xù)監(jiān)控三個(gè)小時(shí)的視頻中，能夠提供有效信息幫助刑偵人員破案的畫面可能只有三五秒。四是處理數(shù)據(jù)的速度要求非?？欤╒elocity）。一方面，面對(duì)如此巨大的數(shù)據(jù)量，處理效率至關(guān)重要，另一方面，越來越多的處理需要在瞬間完成以便做出及時(shí)的反應(yīng)。在此基礎(chǔ)上，阿里巴巴延伸至3個(gè)維度可實(shí)時(shí)性、可解釋性、數(shù)據(jù)準(zhǔn)確性穩(wěn)定性，這三個(gè)維度是決定數(shù)據(jù)是否有價(jià)值的關(guān)鍵。 1.4“大大數(shù)據(jù)”的

14、發(fā)展階階段每種技術(shù)都都有自己的的生命周期期，Garrtnerr曾經(jīng)指出出新技術(shù)生生命周期的的5個(gè)階段段，即技術(shù)術(shù)萌芽期（ttechnnologgy trriggeer）、期望膨脹脹期（Peeak oof Innflatted EExpecctatiions）、泡沫化的谷底期 （Through of Disillusionment）、穩(wěn)步爬升的光明期 （Slope of Enlightement），最后才能進(jìn)入成熟使用期 （Plateau of Productivity）。如下圖1-1所示圖1-1大大數(shù)據(jù)生命命周期圖而大數(shù)據(jù)正正是出于期期望膨脹期期，預(yù)計(jì)通通過近兩年年的發(fā)展，大大數(shù)據(jù)將會(huì)會(huì)在20

15、116年達(dá)到到泡沫化的的低谷期，之之后在5-10年的的時(shí)間內(nèi)經(jīng)經(jīng)歷穩(wěn)步爬爬上的光明明期，到22020年年后將會(huì)到達(dá)達(dá)實(shí)質(zhì)的成熟熟使用期。1.5“大大數(shù)據(jù)”帶來的機(jī)機(jī)遇（1）新一一代信息技技術(shù)融合應(yīng)應(yīng)用新焦點(diǎn)點(diǎn)對(duì)大數(shù)據(jù)的的處理和分分析正成為為未來新一一代信息技技術(shù)融合應(yīng)應(yīng)用的核心心支撐結(jié)點(diǎn)點(diǎn)。物聯(lián)網(wǎng)網(wǎng)、移動(dòng)互互聯(lián)網(wǎng)、數(shù)數(shù)字家庭、社會(huì)化網(wǎng)網(wǎng)絡(luò)等都是是新一代信信息技術(shù)具具體的應(yīng)用用形態(tài)，大大數(shù)據(jù)伴隨隨這些應(yīng)用用不斷增長長，云計(jì)算算則為這些些海量的、多樣化的的大數(shù)據(jù)提提供存儲(chǔ)和和運(yùn)算的支支撐平臺(tái)。以大數(shù)據(jù)據(jù)為結(jié)點(diǎn)，各各項(xiàng)新一代代信息技術(shù)術(shù)應(yīng)用產(chǎn)生生的信息將將不斷匯集集，并通過過對(duì)不同來來源數(shù)據(jù)的的統(tǒng)一

16、性、綜合性的的處理、分分析與優(yōu)化化，將結(jié)果果反饋或交交叉反饋到到物聯(lián)網(wǎng)、移動(dòng)互聯(lián)聯(lián)網(wǎng)、數(shù)字字家庭、社社會(huì)化網(wǎng)絡(luò)絡(luò)等應(yīng)用中中，又進(jìn)一一步改善使使用體驗(yàn)，并并創(chuàng)造出巨巨大的商業(yè)業(yè)價(jià)值、經(jīng)經(jīng)濟(jì)價(jià)值和和社會(huì)價(jià)值值。（2）信息息產(chǎn)業(yè)持續(xù)續(xù)高速增長長的新引擎擎大數(shù)據(jù)因其其巨大的商商業(yè)價(jià)值和和市場需求求正在推動(dòng)動(dòng)著信息產(chǎn)產(chǎn)業(yè)持續(xù)高高速增長。隨著行業(yè)業(yè)用戶對(duì)大大數(shù)據(jù)價(jià)值值的認(rèn)可程程度增加，市市場需求將將出現(xiàn)井噴噴，面向大大數(shù)據(jù)市場場的新技術(shù)術(shù)、新產(chǎn)品品、新服務(wù)務(wù)、新業(yè)態(tài)態(tài)將會(huì)不斷涌涌現(xiàn)，大數(shù)數(shù)據(jù)將為信信息產(chǎn)業(yè)打打開一個(gè)高高增長的新新市場。在硬件與集集成設(shè)備領(lǐng)領(lǐng)域，大數(shù)數(shù)據(jù)面臨的的有效存儲(chǔ)儲(chǔ)、快速讀讀寫、實(shí)時(shí)時(shí)

17、分析等挑挑戰(zhàn)，將對(duì)對(duì)芯片、存存儲(chǔ)產(chǎn)業(yè)產(chǎn)產(chǎn)生重要影影響，還將將催生一體體化數(shù)據(jù)存存儲(chǔ)處理服服務(wù)器、內(nèi)內(nèi)存計(jì)算等等市場。在在軟件與服服務(wù)領(lǐng)域，因因?yàn)榇髷?shù)據(jù)據(jù)中蘊(yùn)含的的巨大價(jià)值值，帶來對(duì)對(duì)數(shù)據(jù)快速速處理和分分析的迫切切需求，將將引發(fā)數(shù)據(jù)據(jù)挖掘、商商業(yè)智能市市場的空前前繁榮。（3）用戶戶提升競爭爭能力的新新動(dòng)力對(duì)大數(shù)據(jù)的的利用將成成為企業(yè)提提高核心競競爭力、并并搶占市場場先機(jī)的關(guān)關(guān)鍵。企業(yè)業(yè)的決策正正在從“業(yè)務(wù)驅(qū)動(dòng)動(dòng)”轉(zhuǎn)變?yōu)椤皵?shù)據(jù)驅(qū)動(dòng)動(dòng)”。在未來來3到5年年，我們將將會(huì)看到那那些真正理理解大數(shù)據(jù)據(jù)并能利用用大數(shù)據(jù)進(jìn)進(jìn)行價(jià)值挖挖掘的企業(yè)業(yè)和不懂得得大數(shù)據(jù)價(jià)價(jià)值挖掘企企業(yè)之間的的差距。真真正能夠利利用好大

18、數(shù)數(shù)據(jù)、并將將其價(jià)值轉(zhuǎn)轉(zhuǎn)化成生產(chǎn)產(chǎn)力的企業(yè)業(yè)必將具備備強(qiáng)勁有力力的競爭優(yōu)優(yōu)勢(shì)，從而而成為行業(yè)業(yè)的領(lǐng)導(dǎo)者者。在零售售行業(yè)，對(duì)對(duì)大數(shù)據(jù)的的分析可以以使零售商商實(shí)時(shí)掌握握市場動(dòng)態(tài)態(tài)并迅速做做出應(yīng)對(duì)；在互聯(lián)網(wǎng)網(wǎng)行業(yè)，對(duì)對(duì)大數(shù)據(jù)的的分析可以以為商家制制定更加精精準(zhǔn)有效的的營銷策略略提供決策策支持；在在服務(wù)行業(yè)業(yè)，對(duì)大數(shù)數(shù)據(jù)的分析析可以幫助助企業(yè)為消消費(fèi)者提供供更加及時(shí)時(shí)和個(gè)性化化的服務(wù)；甚至在公公共事業(yè)領(lǐng)領(lǐng)域，大數(shù)數(shù)據(jù)也開始始發(fā)揮促進(jìn)進(jìn)經(jīng)濟(jì)發(fā)展展、維護(hù)社社會(huì)穩(wěn)定等等不可小覷覷的重要作作用。（4）推動(dòng)動(dòng)商業(yè)模式式的創(chuàng)新對(duì)于海量數(shù)數(shù)據(jù)而言，提提供髙附加加價(jià)值的數(shù)數(shù)據(jù)分析服服務(wù)，將數(shù)數(shù)據(jù)封裝為為服務(wù)形成成可對(duì)

19、外開開放、可商商業(yè)化的核核心能力，實(shí)實(shí)現(xiàn)商業(yè)模模式的創(chuàng)新新，才是大大數(shù)據(jù)運(yùn)用用的關(guān)鍵所所在。對(duì)于于政府和企企業(yè)而言，至至少可以實(shí)實(shí)踐4種商業(yè)模模式的創(chuàng)新新。第一是是客戶關(guān)系系管理的創(chuàng)創(chuàng)新，通過過大數(shù)據(jù)分分析可以根根據(jù)客戶的的屬性，從從不同角度度深層次分分析客戶、了解客戶戶，推出新新的客戶關(guān)關(guān)系管理平平臺(tái)，以增增加新的客客戶，提高高客戶的忠忠誠度，降降低客戶流流失率。第第二是企業(yè)業(yè)經(jīng)營決策策指導(dǎo)的創(chuàng)創(chuàng)新。企業(yè)業(yè)可以利用用用戶數(shù)據(jù)據(jù)，有效提提升資源利利用能力，提提高決策的的準(zhǔn)確性，從從而提升整整體運(yùn)營效效率。如，沃沃爾瑪通過過分析客戶戶購買產(chǎn)品品的種類組組合，適時(shí)時(shí)推出產(chǎn)品品聯(lián)合促銷銷信息，以以提

20、升產(chǎn)品品的銷量。第三是個(gè)個(gè)性化精準(zhǔn)準(zhǔn)推薦。企企業(yè)根據(jù)用用戶喜好推推薦各類產(chǎn)產(chǎn)品和業(yè)務(wù)務(wù)，如淘寶寶根據(jù)分析析客戶的檢檢索數(shù)據(jù)，適適時(shí)向客戶戶推送相關(guān)關(guān)產(chǎn)品的廣廣告信息。第四是創(chuàng)創(chuàng)新社會(huì)管管理。政府府可以將大大數(shù)據(jù)運(yùn)用用到交通、應(yīng)對(duì)突發(fā)發(fā)災(zāi)害、維維穩(wěn)等領(lǐng)域域中。如，在在大數(shù)據(jù)的的幫助下，什什么時(shí)間段段、哪條路路擁堵等問問題，都可可以通過分分析得知，通通過同一條條路上多個(gè)個(gè)用戶的手手機(jī)位移速速度，便可可以判斷當(dāng)當(dāng)時(shí)的路況況，為擁堵堵做出準(zhǔn)確確預(yù)警。2“大數(shù)據(jù)據(jù)”的關(guān)鍵技術(shù)“大數(shù)據(jù)”已經(jīng)不僅是是數(shù)據(jù)大這這一事實(shí)了了，更重要的是是要對(duì)大數(shù)據(jù)據(jù)進(jìn)行分析析以獲取更多智能、深入和有價(jià)值的的信息。而而隨著“大數(shù)

21、據(jù)”在越來越越多的領(lǐng)域域得到應(yīng)用用，“大數(shù)據(jù)”也變得越越來越復(fù)雜雜，因此“大數(shù)據(jù)”處理技術(shù)在大數(shù)數(shù)據(jù)領(lǐng)域就就顯得尤為為重要，可可以說是決決定最終信信息是否有有價(jià)值的決決定性因素素。大數(shù)據(jù)據(jù)應(yīng)用分析析結(jié)果需要要經(jīng)過數(shù)據(jù)據(jù)采集、預(yù)預(yù)處理、存存儲(chǔ)、分析析和挖掘等等多多個(gè)環(huán)環(huán)節(jié)才能最最終呈現(xiàn)出出來。2.1“大大數(shù)據(jù)”的采集和預(yù)處處理在數(shù)據(jù)分析析界有著一一個(gè)“拇指法則則”，即數(shù)據(jù)據(jù)分析工作作至少有770%880%的時(shí)時(shí)間都花在在搜集和準(zhǔn)準(zhǔn)備數(shù)據(jù)上上，而僅有有20%30%的的時(shí)間花在在分析本身身上。隨著著新技術(shù)采采集手段的的出現(xiàn)，數(shù)數(shù)據(jù)來源和和數(shù)據(jù)類型型變得豐富富多彩，企企業(yè)和機(jī)構(gòu)構(gòu)采集數(shù)據(jù)據(jù)首先需要要明

22、確所需需的數(shù)據(jù)內(nèi)內(nèi)容，并制制定好數(shù)據(jù)據(jù)分類存儲(chǔ)儲(chǔ)規(guī)則，以以便更有效效的采集數(shù)數(shù)據(jù)。按照照數(shù)據(jù)所有有者劃分，企企業(yè)數(shù)據(jù)采采集源可以以分成3類類：一類是是企業(yè)和機(jī)機(jī)構(gòu)的內(nèi)部部數(shù)據(jù)，如如系統(tǒng)日志志、生產(chǎn)經(jīng)經(jīng)營數(shù)據(jù)等等；一類是是合作機(jī)構(gòu)構(gòu)的內(nèi)部數(shù)數(shù)據(jù)，可以以通過設(shè)定定好企業(yè)與與合作機(jī)構(gòu)構(gòu)的系統(tǒng)接接口進(jìn)行采采集；還有有一類是大大量的網(wǎng)絡(luò)絡(luò)公開數(shù)據(jù)據(jù)，可以通通過網(wǎng)絡(luò)爬爬蟲或者網(wǎng)網(wǎng)站公開的的應(yīng)用開發(fā)發(fā)接口（AAPI）將將所需信息息從網(wǎng)頁中中采集出來來。目前一一些互聯(lián)網(wǎng)網(wǎng)企業(yè)和開開源社區(qū)開開發(fā)的海量量數(shù)據(jù)采集集工具，如如Faceebookk的日志采采集工具SScribbe、淘寶寶的實(shí)時(shí)數(shù)數(shù)據(jù)傳輸平平臺(tái)Timm

23、eTunnnel等等，均已能能夠滿足每每秒數(shù)百M(fèi)MB的日志志數(shù)據(jù)采集集和傳輸需需求。下面就物聯(lián)聯(lián)網(wǎng)及社交交網(wǎng)絡(luò)這兩兩個(gè)“大數(shù)據(jù)”的新型來來源進(jìn)行簡簡單的介紹紹。（1）“大大數(shù)據(jù)”與物聯(lián)網(wǎng)網(wǎng)物聯(lián)網(wǎng)是一一個(gè)信息技技術(shù)領(lǐng)域的的熱詞，其其本質(zhì)是傳傳感器技術(shù)術(shù)進(jìn)步的產(chǎn)產(chǎn)物。遍布布大街小巷巷的攝像頭頭，是大家家可以直觀觀感受到的的一種物聯(lián)聯(lián)網(wǎng)形態(tài)。事實(shí)上，傳傳感器幾乎乎無處不在在，現(xiàn)在大大家常用的的智能手機(jī)機(jī)中，就包包括重力感感應(yīng)器、加加速度感應(yīng)應(yīng)器、距離離感應(yīng)器、光線感應(yīng)應(yīng)器、陀螺螺儀、電子子羅盤、攝攝像頭等各各類傳感器器。這些不不同類型的的傳感器，無無時(shí)無刻不不在產(chǎn)生大大量的數(shù)據(jù)據(jù)，這些成為大大數(shù)據(jù)的

24、重重要來源之之一。妥善善的利用這這些數(shù)據(jù)可可以監(jiān)測(cè)大大氣的溫度度、壓強(qiáng)、風(fēng)力，監(jiān)監(jiān)測(cè)橋梁、礦井的安安全，監(jiān)測(cè)測(cè)飛機(jī)、汽汽車的行駛駛狀態(tài)等。（2）“大大數(shù)據(jù)”與社交網(wǎng)網(wǎng)絡(luò)社交網(wǎng)絡(luò)是是互聯(lián)網(wǎng)發(fā)發(fā)展史上一一個(gè)重要的的里程碑。它把人類類真實(shí)的人人際關(guān)系完完美地映射射到互聯(lián)網(wǎng)網(wǎng)空間，并并借助互聯(lián)聯(lián)網(wǎng)的特性性而大大升升華。社交交網(wǎng)絡(luò)使得得互聯(lián)網(wǎng)甚甚至具備某某些人類的的特質(zhì)，譬譬如“情緒”：人們分分享各自的的喜怒哀樂樂，并相互互傳染傳播播。社交網(wǎng)網(wǎng)絡(luò)為“大數(shù)據(jù)”帶來一類類最具活力力的數(shù)據(jù)類類型，人們們的喜好和和偏愛。由于現(xiàn)實(shí)采采集的數(shù)據(jù)據(jù)與大數(shù)據(jù)據(jù)分析過程程中所需的的數(shù)據(jù)，會(huì)會(huì)存在結(jié)構(gòu)構(gòu)不一致或或不完整的的

25、情況，大大數(shù)據(jù)預(yù)處處理過程可可以通過數(shù)數(shù)據(jù)提取、轉(zhuǎn)換和加加載等操作作，對(duì)采集集的數(shù)據(jù)進(jìn)進(jìn)行初步的的組織和數(shù)數(shù)量，從而而提高大數(shù)數(shù)據(jù)分析質(zhì)質(zhì)量和效率率。2.2“大大數(shù)據(jù)”存儲(chǔ)技術(shù)術(shù)大數(shù)據(jù)存儲(chǔ)儲(chǔ)需要滿足足海量存儲(chǔ)儲(chǔ)、安全存存儲(chǔ)和快速速讀取的要要求。其中中海量存儲(chǔ)儲(chǔ)包含數(shù)據(jù)據(jù)容量和數(shù)數(shù)據(jù)文件量量兩個(gè)方面面，為保障障系統(tǒng)存儲(chǔ)儲(chǔ)容量能夠夠以較低成成本存儲(chǔ)海海量數(shù)據(jù)并并能實(shí)現(xiàn)快快速平滑擴(kuò)擴(kuò)展，分布布式存儲(chǔ)和和存儲(chǔ)虛擬擬化技術(shù)被被廣泛采用用；為更好好的對(duì)系統(tǒng)統(tǒng)中海量文文件進(jìn)行有有效管理，將將數(shù)據(jù)傳輸輸和數(shù)據(jù)控控制分離開開的對(duì)象存存儲(chǔ)架構(gòu)應(yīng)應(yīng)用廣泛。為了保障障數(shù)據(jù)安全全存儲(chǔ)不丟丟失，大數(shù)數(shù)據(jù)存儲(chǔ)過過程中會(huì)采采

26、用加密等等安全技術(shù)術(shù)，同時(shí)會(huì)會(huì)對(duì)數(shù)據(jù)進(jìn)進(jìn)行數(shù)次備備份。為了了支持?jǐn)?shù)據(jù)據(jù)的快速讀讀取和并發(fā)發(fā)訪問，分分布式存儲(chǔ)儲(chǔ)和對(duì)象存存儲(chǔ)架構(gòu)將將會(huì)更有效效。目前應(yīng)應(yīng)用廣泛的的大數(shù)據(jù)海海量文件存存儲(chǔ)技術(shù)主主要有谷歌歌文件系統(tǒng)統(tǒng)（GFSS）和基于于GFS發(fā)發(fā)展的開源源Hadooop分布布式文件系系統(tǒng)（HDDFS）等等。一些大型網(wǎng)網(wǎng)站將 “數(shù)據(jù)”視為最核核心的資產(chǎn)產(chǎn)，他們甚甚至花費(fèi)高高昂的費(fèi)用用來保管這這些數(shù)據(jù)，以以便加快用用戶的訪問問速度。谷谷歌公司購購買了單獨(dú)獨(dú)的水力發(fā)發(fā)電站，為為其龐大的的數(shù)據(jù)中心心提供充足足的電力。2.3“大大數(shù)據(jù)”分析技術(shù)當(dāng)大數(shù)據(jù)的的采集和存存儲(chǔ)已經(jīng)完完成，如何何分析數(shù)據(jù)據(jù)，將這些些碎片

27、化的的數(shù)據(jù)系統(tǒng)統(tǒng)化，在無無序的數(shù)據(jù)據(jù)和信息世世界里尋找找有序的連連接，挖掘掘到可應(yīng)用用的價(jià)值，是是真正駕馭馭大數(shù)據(jù)的的重要環(huán)節(jié)節(jié)。大數(shù)據(jù)據(jù)的分析技技術(shù)，大致致包括5個(gè)基本方方法理論技技術(shù)：可視化分析析可視化分析析能夠直觀觀的呈現(xiàn)大大數(shù)據(jù)特點(diǎn)點(diǎn)，簡單明明了易于接接受。數(shù)據(jù)挖掘算算法大數(shù)據(jù)分析析的理論核核心就是數(shù)數(shù)據(jù)挖掘算算法，各種種數(shù)據(jù)挖掘掘的算法基基于不同的的數(shù)據(jù)類型型和格式能能更加科學(xué)學(xué)的呈現(xiàn)出出數(shù)據(jù)本身身具備的特特點(diǎn)，而這這些數(shù)據(jù)挖挖掘的算法法能夠快速的的處理大數(shù)數(shù)據(jù)。預(yù)測(cè)性分析析能力大數(shù)據(jù)分析析最重要的應(yīng)應(yīng)用領(lǐng)域之之一就是預(yù)預(yù)測(cè)性分析析，從大數(shù)數(shù)據(jù)中挖掘掘出特點(diǎn)，通通過科學(xué)的的建立模型型

28、，之后便便可以通過過模型帶入入新的數(shù)據(jù)據(jù)，從而預(yù)預(yù)測(cè)未來的的數(shù)據(jù)。（4）語義義引擎大數(shù)據(jù)分析析廣泛應(yīng)用用于網(wǎng)絡(luò)數(shù)數(shù)據(jù)挖掘，可可從用戶的的搜索關(guān)鍵鍵詞、標(biāo)簽簽關(guān)鍵詞、或其他輸輸入語義，分分析，判斷斷用戶需求求，從而實(shí)實(shí)現(xiàn)更好的的用戶體驗(yàn)驗(yàn)和廣告匹匹配。（5）數(shù)據(jù)據(jù)質(zhì)量和數(shù)數(shù)據(jù)管理大數(shù)據(jù)分析析離不開數(shù)數(shù)據(jù)質(zhì)量和和數(shù)據(jù)管理理，高質(zhì)量量的數(shù)據(jù)和和有效的數(shù)數(shù)據(jù)管理能能夠保證分分析結(jié)果的的真實(shí)和有有價(jià)值。2.4“大大數(shù)據(jù)”與云計(jì)算算對(duì)于許多組組織來說，“大數(shù)據(jù)”對(duì)存儲(chǔ)容量的需求已經(jīng)超出目前的存儲(chǔ)能力。我們正處于PB級(jí)存儲(chǔ)時(shí)代，而EB及存儲(chǔ)時(shí)代也即將到來。大容量的存儲(chǔ)不但要求系統(tǒng)具備在原有數(shù)據(jù)存儲(chǔ)規(guī)格上進(jìn)行

29、擴(kuò)展的能力，還要簡單快速的進(jìn)行擴(kuò)展。云計(jì)算就為為“大數(shù)據(jù)”的誕生提提供了集中中采集數(shù)據(jù)據(jù)和存儲(chǔ)數(shù)數(shù)據(jù)的基礎(chǔ)礎(chǔ)。云計(jì)算算的出現(xiàn)改變變了數(shù)據(jù)的的存儲(chǔ)和訪訪問方式，在云計(jì)算出現(xiàn)之前，數(shù)據(jù)大多分散保存在每個(gè)人的個(gè)人計(jì)算機(jī)中、每家企業(yè)的服務(wù)器中。云計(jì)算，尤其是公用云計(jì)算，把所有的數(shù)據(jù)集中存儲(chǔ)到“數(shù)據(jù)中心”，也即所謂的“云端”，用戶通過瀏覽器或者專用應(yīng)用程序來訪問。一些大型的網(wǎng)站，通過提供基于“云”的服務(wù)，積累大量的數(shù)據(jù)，成為事實(shí)上的“數(shù)據(jù)中心”，這為“大數(shù)據(jù)”誕生奠定了基礎(chǔ)。而云計(jì)算及其技術(shù)給了人們廉價(jià)獲取巨量計(jì)算和存儲(chǔ)的能力，云計(jì)算分布式架構(gòu)能夠很好地支持“大數(shù)據(jù)”存儲(chǔ)和處理需求。這樣的低成本硬件+低

30、成本軟件+低成本運(yùn)維，更加經(jīng)濟(jì)和實(shí)用，也使得“大數(shù)據(jù)”處理和利用成為可能?？梢哉f云計(jì)算為“大數(shù)據(jù)”提供了存儲(chǔ)空間和訪問渠道，“大數(shù)據(jù)”則是云計(jì)算的靈魂和必然的發(fā)展方向。而近年來國內(nèi)各地也興起了建設(shè)云計(jì)算基地的風(fēng)潮，客觀上為“大數(shù)據(jù)”在我國的推廣和應(yīng)用準(zhǔn)備了必備的儲(chǔ)存空間和訪問渠道。3大數(shù)據(jù)產(chǎn)產(chǎn)業(yè)的應(yīng)用用3.1大數(shù)數(shù)據(jù)產(chǎn)業(yè)“大數(shù)據(jù)”的應(yīng)用能能帶來巨大大的經(jīng)濟(jì)價(jià)價(jià)值和社會(huì)會(huì)價(jià)值，對(duì)于產(chǎn)業(yè)業(yè)發(fā)展而言言，“大數(shù)據(jù)”可以實(shí)現(xiàn)現(xiàn)應(yīng)用創(chuàng)新新、降低行行業(yè)內(nèi)的生生產(chǎn)成本并并創(chuàng)造新的的產(chǎn)業(yè)價(jià)值值。咨詢機(jī)機(jī)構(gòu)麥肯錫錫最早提出出“大數(shù)據(jù)時(shí)時(shí)代已經(jīng)到到來”，在20112年發(fā)布布的大數(shù)數(shù)據(jù)：創(chuàng)新新、競爭和和生產(chǎn)力的的下一

31、個(gè)領(lǐng)領(lǐng)域文章章上表明，在在零售業(yè)、制造業(yè)、醫(yī)療衛(wèi)生生和公共部部門，“大數(shù)據(jù)”可以加快快產(chǎn)業(yè)規(guī)模模的增長速速度，降低低生產(chǎn)運(yùn)營營成本；對(duì)對(duì)于企業(yè)而而言，采用用“大數(shù)據(jù)”可以提升升企業(yè)的競競爭力，改改善企業(yè)的的營銷規(guī)劃劃，客戶定定位，產(chǎn)品品創(chuàng)新、工工作流程優(yōu)優(yōu)化、人力力資源管理理、物理管管理和風(fēng)險(xiǎn)險(xiǎn)控制等多多方面的能能力。目前前，數(shù)據(jù)已已經(jīng)滲透到到當(dāng)今每一一個(gè)行業(yè)和和業(yè)務(wù)職能能領(lǐng)域，成成為重要的的生產(chǎn)因素素，人們對(duì)于于海量數(shù)據(jù)據(jù)的挖掘和和運(yùn)用，預(yù)預(yù)示著新一一波生產(chǎn)率率增長和消消費(fèi)者盈余余浪潮的到到來。對(duì)于“大數(shù)數(shù)據(jù)”產(chǎn)業(yè)，政政府與公共共事業(yè)部門門、行業(yè)企企業(yè)、個(gè)人人消費(fèi)者是是其的最終終用戶。在在政

32、府與公公共事業(yè)領(lǐng)領(lǐng)域，“大數(shù)據(jù)”可以應(yīng)用用到城市規(guī)規(guī)劃、公共共安全、公公共交通、輿情管理理等社會(huì)管管理和民生生服務(wù)領(lǐng)域域，帶來效效率提升、響應(yīng)速度度加快、服服務(wù)水平提提高、管理理成本下降降等諸多效效益。對(duì)于于行業(yè)企業(yè)業(yè)，“大數(shù)據(jù)”可以應(yīng)用用到產(chǎn)品研研發(fā)設(shè)計(jì)、生產(chǎn)運(yùn)作作管理、供供應(yīng)鏈管理理、客戶關(guān)關(guān)系管理、企業(yè)品牌牌營銷等各各個(gè)環(huán)節(jié)，能能夠幫助企企業(yè)準(zhǔn)確把把握市場需需求變動(dòng)、提高產(chǎn)品品設(shè)計(jì)與生生產(chǎn)效率、提高供應(yīng)應(yīng)鏈的敏捷捷性和準(zhǔn)確確性、實(shí)現(xiàn)現(xiàn)個(gè)性化精精準(zhǔn)營銷，同同時(shí)也促進(jìn)進(jìn)IT技術(shù)術(shù)的創(chuàng)新。對(duì)于個(gè)人人消費(fèi)者，通通過“大數(shù)據(jù)”的應(yīng)用服服務(wù)將使信信息變得更更加泛在，從從家庭生活活、出行、消費(fèi)、娛娛樂

33、、旅游游、學(xué)習(xí)等等方方面面面拓展民眾眾生活空間間、提高民民眾的生活活品質(zhì)。 總結(jié)以往，“大數(shù)據(jù)”的應(yīng)用價(jià)值可以分為感知現(xiàn)在和預(yù)知未來兩部分。感知現(xiàn)在 通通過對(duì)歷史史數(shù)據(jù)和當(dāng)當(dāng)前數(shù)據(jù)的的融合，以以及潛在模模式挖掘，力力求達(dá)到對(duì)對(duì)事物對(duì)群群體與社會(huì)會(huì)發(fā)展當(dāng)前前狀態(tài)進(jìn)行行更全面、更精確、更理性的的認(rèn)知。這這種認(rèn)知可可以是宏觀觀的，也可可以是微觀觀的。宏觀觀方面可以以對(duì)PB級(jí)級(jí)社會(huì)媒體體數(shù)據(jù)、百百億級(jí)日志志數(shù)據(jù)繼續(xù)續(xù)擰分析挖挖掘，掌握握宏觀現(xiàn)狀狀，如環(huán)境境指數(shù)，健健康指數(shù)等等。在微觀觀方面可以以利用PBB級(jí)的日志志數(shù)據(jù)和EEB級(jí)的監(jiān)監(jiān)控?cái)?shù)據(jù)，挖挖掘潛在線線索，如犯犯罪行為軌軌跡等。預(yù)測(cè)未來通過對(duì)“大大

34、數(shù)據(jù)”彼此之間間的關(guān)聯(lián)分分析，演化化態(tài)勢(shì)和效效應(yīng)的判定定與調(diào)控，揭揭示事物發(fā)發(fā)展的演變變規(guī)律，進(jìn)進(jìn)而對(duì)是事事物發(fā)展趨趨勢(shì)進(jìn)行預(yù)預(yù)測(cè)。如基基于twiitterr等網(wǎng)上公公開數(shù)據(jù)的的實(shí)時(shí)感知知、動(dòng)態(tài)獲獲取與綜合合分析，結(jié)結(jié)合仿真調(diào)調(diào)控，預(yù)測(cè)測(cè)大選結(jié)果果；聯(lián)合國國“全球脈動(dòng)動(dòng)”利用網(wǎng)絡(luò)絡(luò)大數(shù)據(jù)預(yù)預(yù)測(cè)失業(yè)率率與疾病暴暴發(fā)等現(xiàn)象象，利用數(shù)數(shù)字化的早早起預(yù)警信信號(hào)來提前前指導(dǎo)援助助項(xiàng)目，以以免某個(gè)脫脫貧地區(qū)重重新陷入貧貧困。這些些都說明了了正確的大大數(shù)據(jù)應(yīng)用用對(duì)于準(zhǔn)確確預(yù)測(cè)事件件發(fā)展趨勢(shì)勢(shì)具有重大大的價(jià)值，人人們可以給給予“大數(shù)據(jù)”更好的進(jìn)進(jìn)行科學(xué)決決策和事前前準(zhǔn)備，未未來“大數(shù)據(jù)”預(yù)測(cè)技術(shù)術(shù)將會(huì)更廣廣泛

35、的運(yùn)用用到人們的的日常生活活中，變革革人們的生生活。3.2“大大數(shù)據(jù)”在典型領(lǐng)領(lǐng)域中的應(yīng)應(yīng)用當(dāng)前“大數(shù)數(shù)據(jù)”已經(jīng)在物物理學(xué)、生物學(xué)、環(huán)境生態(tài)態(tài)學(xué)等領(lǐng)域域，以及軍軍事、金融、通訊等行行業(yè)有所應(yīng)應(yīng)用并帶來來了巨大的的產(chǎn)業(yè)價(jià)值值。以下本文文將舉出實(shí)實(shí)際案例以以介紹“大數(shù)據(jù)”在各個(gè)領(lǐng)領(lǐng)域的具體體應(yīng)用。在IT領(lǐng)域域，一個(gè)典典型的案例例就是eBBay通過過數(shù)據(jù)分析析技術(shù)可以以精確計(jì)算算出廣告中中的每一個(gè)個(gè)關(guān)鍵字為為公司帶來來的回報(bào)，通通過對(duì)廣告告投放的優(yōu)優(yōu)化，自22007年年以來eBBay產(chǎn)品品銷售的廣廣告費(fèi)降低低了99%，而頂級(jí)級(jí)賣家占總總銷售額的的百分比卻卻上升至332%。在經(jīng)濟(jì)領(lǐng)域域，大數(shù)據(jù)據(jù)在經(jīng)濟(jì)

36、領(lǐng)領(lǐng)域的應(yīng)用用可以通過過這樣一個(gè)個(gè)有趣的案案例進(jìn)行說說明，社交交媒體檢測(cè)測(cè)平臺(tái)DaataSiift檢測(cè)測(cè)了社交網(wǎng)網(wǎng)絡(luò)Facceboook首次公公開募股當(dāng)當(dāng)天Twiitterr上的情感感傾向與FFacebbook股股價(jià)波動(dòng)的的關(guān)聯(lián)。在在Fcebbook開開盤前，TTwittter上的的情感逐漸漸轉(zhuǎn)向負(fù)向向，25分分鐘之后ttwittter的股股價(jià)就開始始下跌，當(dāng)當(dāng)twittter上上的情感轉(zhuǎn)轉(zhuǎn)向正面時(shí)時(shí)，F(xiàn)acceboook的股價(jià)價(jià)在8分鐘鐘后也開始始回彈，最最終當(dāng)股市市接近收盤盤，twiitterr上的情感感轉(zhuǎn)向負(fù)面面時(shí)，100分鐘口FFacebbook的的股價(jià)又開開始下跌，該該機(jī)構(gòu)得出出結(jié)論

37、，TTwittter上每每一次情感感傾向的轉(zhuǎn)轉(zhuǎn)向都會(huì)FFacebbook股股價(jià)的波動(dòng)動(dòng)高度關(guān)聯(lián)聯(lián)。這證實(shí)實(shí)以大數(shù)據(jù)據(jù)預(yù)測(cè)未來來股價(jià)走向向的典型案案例。氣象預(yù)測(cè)方方面，一家家美國公司司把氣象數(shù)數(shù)據(jù)放在亞亞馬遜的“云平臺(tái)”上進(jìn)行處處理，以及及時(shí)提供氣氣象預(yù)報(bào)的的方式，保保證當(dāng)?shù)氐牡霓r(nóng)牧業(yè)主主在特定的的地區(qū)以及及特定的季季節(jié)不會(huì)遭遭受天氣災(zāi)災(zāi)害，由此此獲得了豐豐厚的利潤潤。智能交通方方面，根據(jù)據(jù)路網(wǎng)監(jiān)控控，火車票票及飛機(jī)票票的預(yù)定，以以及網(wǎng)上地地圖查詢記記錄，能夠夠提前預(yù)測(cè)測(cè)某個(gè)城市市的出行人人數(shù)的大致致規(guī)模，再再結(jié)合交通通部門的其其他信息，便便可以預(yù)測(cè)測(cè)出群體出出行的態(tài)勢(shì)勢(shì)，對(duì)其可可能的出行行時(shí)間

38、、出出行路線、出行方式式等進(jìn)行預(yù)預(yù)測(cè)，從而而為城市交交通調(diào)度提提供決策幫幫助。軍事領(lǐng)域，美美國“20499項(xiàng)目研究究所”于20008年在華華盛頓成立立，20110年它利利用網(wǎng)絡(luò)上上公開的數(shù)數(shù)據(jù)和資料料，分析和和預(yù)測(cè)我國國在軍事和和經(jīng)濟(jì)領(lǐng)域域的安全問問題，發(fā)布布了一份名名為中國國核彈頭存存放和使用用系統(tǒng)的的報(bào)告，稱稱在陜西、江西、四四川等地發(fā)發(fā)現(xiàn)了中國國的核武器器基地，甚甚至還精確確到了核基基地所在的的市縣名稱稱。20113年3月月，他們還還發(fā)布了一一份關(guān)于中中國無人機(jī)機(jī)項(xiàng)目的研研究報(bào)告，較較全面的分分析了中國國無人機(jī)的的研制、發(fā)發(fā)展、裝備備以及作戰(zhàn)戰(zhàn)部署情況況。 以以上都是“大數(shù)據(jù)”在一些實(shí)實(shí)

39、際領(lǐng)域的的應(yīng)用，未未來“大數(shù)據(jù)”將會(huì)在更更多的領(lǐng)域域得到應(yīng)用用，決策行行為將會(huì)基基于數(shù)據(jù)分分析做出，通通過對(duì)數(shù)據(jù)據(jù)的整理和和分析，政政府和企業(yè)業(yè)能夠預(yù)測(cè)測(cè)個(gè)體下一一步的需求求，進(jìn)而提提供更加智智能與高效效率的管理理和服務(wù)。3.3智慧慧城市：立立體的大數(shù)數(shù)據(jù)生態(tài)系系統(tǒng)智慧城市是是城鎮(zhèn)化發(fā)發(fā)展的高級(jí)級(jí)階段，是是城市信息息化的新形形式，是現(xiàn)現(xiàn)代城市發(fā)發(fā)展的愿景景。智慧城城市在產(chǎn)生生大數(shù)據(jù)的的同時(shí)，“大數(shù)據(jù)”也支撐著著智慧城市市的建設(shè)和和發(fā)展，而而智慧城市市的衡量指指標(biāo)是由“大數(shù)據(jù)”體現(xiàn)的。“大數(shù)據(jù)”挖掘?qū)χ侵腔鄢鞘械牡慕?jīng)濟(jì)發(fā)展展和社會(huì)管管理是無形形的生產(chǎn)資資料，“大數(shù)據(jù)”合理利用用將創(chuàng)造巨巨大財(cái)富。

40、在未來，大大數(shù)據(jù)將成成為維護(hù)城城市運(yùn)行的的基本要素素，智慧城城市在“大數(shù)據(jù)”的支撐下下，成為立立體的大數(shù)數(shù)據(jù)生態(tài)系系統(tǒng)，促進(jìn)進(jìn)城市的發(fā)發(fā)展。3.3.11智慧城市市的產(chǎn)生隨著城市規(guī)規(guī)模的增大大、城市人人口的增多多，人們對(duì)對(duì)住房、教教育、交通通、醫(yī)療保保險(xiǎn)等的需需求的也在在不斷膨脹脹。諸如高高房價(jià)、堵堵車、霧霾霾等“城市病”也越來越越多，傳統(tǒng)統(tǒng)的管理手手段已變得得捉襟見肘肘，而信息息化可以說說是抗擊“城市病”的有效手手段。伴隨著網(wǎng)絡(luò)絡(luò)帝國的崛崛起、移動(dòng)動(dòng)技術(shù)的融融合發(fā)展以以及創(chuàng)新的的民主化進(jìn)進(jìn)程，知識(shí)識(shí)社會(huì)環(huán)境境中的智慧慧城市是繼繼智能城市市之后信息息化城市發(fā)發(fā)展的高級(jí)級(jí)形態(tài)。利利用城市管管理中產(chǎn)

41、生生的大量信信息與數(shù)據(jù)據(jù)，積極促促進(jìn)城市機(jī)機(jī)構(gòu)之間的的實(shí)時(shí)溝通通和協(xié)助，分分析原因，制制定對(duì)策，有有效平衡社社會(huì)、商業(yè)業(yè)和環(huán)境發(fā)發(fā)展需要，優(yōu)優(yōu)化現(xiàn)有的的可用資源源，以最優(yōu)優(yōu)化的方式式為城市公公民提供全全面又超前前的服務(wù)，積積極提高公公民的生活活幸福感這種高效效、智能且且可持續(xù)的的城市管理理被稱為智智慧城市。可以說大大數(shù)據(jù)是智智慧城市實(shí)實(shí)現(xiàn)智慧化化的關(guān)鍵支支撐，成為為驅(qū)動(dòng)智慧慧城市發(fā)展展的動(dòng)力。智慧城市采采用以物聯(lián)聯(lián)網(wǎng)、云計(jì)計(jì)算、大數(shù)數(shù)據(jù)等為核核心的新一一代信息技技術(shù)，集成成城市的組組織（人）、業(yè)務(wù)（政政務(wù)）、交交通、通信信、能源等等城市運(yùn)行行中的各個(gè)個(gè)核心系統(tǒng)統(tǒng)，使整個(gè)個(gè)城市成為為以一種更更有

42、智慧的的方式運(yùn)行行的宏大的的智慧城市市系統(tǒng)，對(duì)對(duì)保障城市市正常運(yùn)行行的每個(gè)系系統(tǒng)進(jìn)行全全面的監(jiān)測(cè)測(cè)、管理、預(yù)警和處處置，快速速、智能地地響應(yīng)城市市管理者和和市民的各各種需求，提提高城市運(yùn)運(yùn)行效率，提提高政府決決策力。建設(shè)智慧城城市是城市市發(fā)展的新新范式和新新戰(zhàn)略，是是當(dāng)今世界界城市發(fā)展展的趨勢(shì)和和特征。建建設(shè)智慧城城市對(duì)抗擊擊“城市病”具有強(qiáng)烈烈的現(xiàn)實(shí)意意義。首先先智慧化運(yùn)運(yùn)營通過運(yùn)運(yùn)用來自城城市多個(gè)部部門的信息息，進(jìn)行數(shù)數(shù)據(jù)聚集和和規(guī)范化后后，識(shí)別出出相關(guān)的重重要事件，以以提升服務(wù)務(wù)質(zhì)量。其其次，智慧慧化運(yùn)營能能夠預(yù)測(cè)城城市發(fā)展的的問題與危危機(jī)，最大大限度降低低對(duì)城市居居民的影響響。如通過過

43、可視化重重要事件和和警報(bào)、地地理信息等等數(shù)據(jù)，識(shí)識(shí)別出模式式和趨勢(shì)，保保證行動(dòng)有有依據(jù)，主主動(dòng)觸發(fā)預(yù)預(yù)設(shè)的預(yù)案案以加快響響應(yīng)，減少少服務(wù)中斷斷概率，避避免城市內(nèi)內(nèi)大型事故故擴(kuò)大升級(jí)級(jí)，減少災(zāi)災(zāi)害的影響響。最后，智智慧城市可可實(shí)現(xiàn)通過過協(xié)調(diào)不同同部門的資資源，以提提高更快、更有效的的影響?！按髷?shù)據(jù)”的智慧化化幫助管理理者跨部門門決策、協(xié)協(xié)調(diào)，提高高公共服務(wù)務(wù)交付效率率，減少應(yīng)應(yīng)對(duì)突發(fā)災(zāi)災(zāi)害的響應(yīng)應(yīng)時(shí)間。3.3.22全球智慧慧城市的實(shí)實(shí)踐全球在智慧慧城市的實(shí)實(shí)踐中展現(xiàn)現(xiàn)了各自不不同的設(shè)計(jì)計(jì)理念：美國在智慧慧城市建設(shè)設(shè)方面選擇擇智能電網(wǎng)網(wǎng)進(jìn)行突破破，注重于于商業(yè)機(jī)構(gòu)構(gòu)的合作，利利用UrbbanSii

44、m等智能能化的城市市仿真系統(tǒng)統(tǒng)對(duì)城市空空間發(fā)展進(jìn)進(jìn)行優(yōu)化。在美國22009年年的經(jīng)濟(jì)復(fù)復(fù)蘇計(jì)劃中中，有項(xiàng)高高達(dá)1100億美元的的投資，用用于建設(shè)可可安裝各種種控制設(shè)備備的新一代代智能電網(wǎng)網(wǎng)。日本在20009年77月推出“智慧日本本戰(zhàn)略20015”，旨在將將數(shù)字信息息技術(shù)融入入生活的方方方面面，聚聚焦于電子子化政府治治理、醫(yī)療療健康信息息服務(wù)、教教育與人才才培養(yǎng)3大大公共事業(yè)業(yè)。韓國政府于于20044年提出了了“U-韓國國”發(fā)展戰(zhàn)略略，經(jīng)過多多年的實(shí)踐踐，首爾、釜山等一一些城市已已進(jìn)入“泛在城市市”時(shí)代。“泛在城市市”以“建設(shè)尖端端信息城市市，提高市市民生活質(zhì)質(zhì)量和城市市競爭力”為目標(biāo)，利利用無

45、線傳傳感器網(wǎng)絡(luò)絡(luò)，實(shí)現(xiàn)對(duì)對(duì)城市設(shè)施施、安全、交通、環(huán)環(huán)境等方面面的智能化化管理和控控制。根據(jù)國際數(shù)數(shù)據(jù)公司預(yù)預(yù)計(jì)，20011年，全全球新型智智慧城市信信息技術(shù)的的市場規(guī)模模達(dá)到3440億美元元，并將以以每年超過過18%的的速度增長長，到20014年將將達(dá)到5770億美元元。3.3.33.中國智智慧城市2012年年11月，住住房和城鄉(xiāng)鄉(xiāng)建設(shè)部辦辦公廳發(fā)布布關(guān)于開開展國家智智慧城市試試點(diǎn)工作的的通知，將將建設(shè)智慧慧城市作為為貫徹黨中中央、國務(wù)務(wù)院關(guān)于創(chuàng)創(chuàng)新驅(qū)動(dòng)發(fā)發(fā)展、推動(dòng)動(dòng)新型城鎮(zhèn)鎮(zhèn)化、全面面建成小康康社會(huì)的重重要舉措，要要求各地高高度重視，抓抓住機(jī)遇，通通過積極開開展智慧城城市建設(shè)，提提升城市管

46、管理能力和和服務(wù)水平平，促進(jìn)產(chǎn)產(chǎn)業(yè)轉(zhuǎn)型發(fā)發(fā)展。截至20112年7月月，中國共共有1500多個(gè)城市市提出建設(shè)設(shè)或正在建建設(shè)智慧城城市，其中中，北京、上海、廣廣州等城市市是智慧城城市創(chuàng)建進(jìn)進(jìn)程的領(lǐng)跑跑者?？傮w體上說，中中國東部地地區(qū)智慧城城市建設(shè)重重點(diǎn)在于以以信息技術(shù)術(shù)促進(jìn)轉(zhuǎn)變變經(jīng)濟(jì)發(fā)展展方式，提提高社會(huì)管管理水平，提提升城市競競爭力，塑塑造城市品品牌。中西西部地區(qū)智智慧城市的的建設(shè)更加加注重對(duì)城城市的宣傳傳推廣作用用，力爭通通過智慧城城市建設(shè)促促進(jìn)投資軟軟硬件環(huán)境境的改善，加加強(qiáng)招商引引資。中國智慧城城市建設(shè)分分為前期基基礎(chǔ)設(shè)施建建設(shè)、中期期數(shù)據(jù)處理理設(shè)施建設(shè)設(shè)和后期的的服務(wù)平臺(tái)臺(tái)建設(shè)。就就智慧

47、城市市的建設(shè)內(nèi)內(nèi)容來看，一一方面是加加強(qiáng)城市基基礎(chǔ)通信網(wǎng)網(wǎng)絡(luò)建設(shè)，提提高通信網(wǎng)網(wǎng)絡(luò)帶寬及及覆蓋率；另一方面面是在一個(gè)個(gè)云計(jì)算平平臺(tái)之上提提供智慧應(yīng)應(yīng)用服務(wù)，如如智慧交通通、智慧醫(yī)醫(yī)療等。相相關(guān)的建設(shè)設(shè)涉及通信信設(shè)備制造造企業(yè)、系系統(tǒng)集成企企業(yè)、數(shù)據(jù)據(jù)采集分析析企業(yè)、通通信運(yùn)營商商和數(shù)據(jù)服服務(wù)企業(yè)，對(duì)對(duì)整個(gè)產(chǎn)業(yè)業(yè)鏈將起到到巨大的拉拉動(dòng)作用。中國智慧城城市建設(shè)有有三種模式式：一種是是以物聯(lián)網(wǎng)網(wǎng)產(chǎn)業(yè)發(fā)展展為驅(qū)動(dòng)的的建設(shè)模式式，如天津津、廣州等等；一種是是以信息基基礎(chǔ)設(shè)施建建設(shè)為先導(dǎo)導(dǎo)的建設(shè)模模式，如上上海、南京京等；一種種是以社會(huì)會(huì)服務(wù)與管管理應(yīng)用為為突破口的的建設(shè)模式式，如北京京、武漢等等。在中國

48、智慧慧城市建設(shè)設(shè)中，應(yīng)當(dāng)當(dāng)注意以下下幾點(diǎn)：（1）要因因城而異，不不能照搬西西方的模式式。智慧城城市建設(shè)目目標(biāo)的確立立要符合城城市當(dāng)前的的發(fā)展階段段，解決居居民最迫切切需要解決決的問題，走走出中國智智慧城市建建設(shè)的差異異化道路。（2）注重重政府統(tǒng)籌籌，打破行行業(yè)、地域域壁壘，建建立智慧城城市大數(shù)據(jù)據(jù)的共建共共享機(jī)制。（3）大力力推動(dòng)智慧慧城市的創(chuàng)創(chuàng)新應(yīng)用，實(shí)實(shí)現(xiàn)創(chuàng)新示示范項(xiàng)目應(yīng)應(yīng)用的落地地。（4）完善善智慧城市市建設(shè)中大大數(shù)據(jù)信息息安全的基基礎(chǔ)建設(shè)及及管理體制制，從技術(shù)術(shù)、管理和和法律等多多方面保證證智慧城市市建設(shè)的正正常運(yùn)行。4問題與挑挑戰(zhàn)“大數(shù)據(jù)”對(duì)社會(huì)的的好處是無窮無盡盡的，它在在一定程度

49、度上解決可可迫在眉睫睫的全球問問題，如處處理氣候變變化、根除除疾病等，然而“大數(shù)據(jù)”在帶來大知識(shí)、大發(fā)展、大價(jià)值的同時(shí)，也潛藏著巨大的風(fēng)險(xiǎn)。4.1數(shù)據(jù)據(jù)質(zhì)量 真真實(shí)準(zhǔn)確是是數(shù)據(jù)的生生命，組織織如果沒有有能力獲得得真實(shí)數(shù)據(jù)據(jù)，數(shù)據(jù)規(guī)規(guī)模再大、數(shù)據(jù)分析析技術(shù)再先先進(jìn)也是徒徒勞。另外外由于受到到城鄉(xiāng)差異異、地域差差異等的影影響，社會(huì)會(huì)上弱勢(shì)群群體的信息息占有和表表達(dá)處于弱弱勢(shì)，這就就造成了數(shù)數(shù)據(jù)鴻溝的的存在。而而數(shù)據(jù)造假假、數(shù)據(jù)鴻鴻溝等問題題在大數(shù)據(jù)據(jù)時(shí)代依然然存在，偏偏見和盲區(qū)區(qū)存在于大大數(shù)據(jù)中，大大數(shù)據(jù)得出出的結(jié)論并并不是完全全客觀、準(zhǔn)準(zhǔn)確的，它它并不能提提供價(jià)值判判斷，也不不能完全取取代人的經(jīng)

50、經(jīng)驗(yàn)和直覺覺。認(rèn)清這這個(gè)事實(shí)，能能夠幫助我我們?cè)谶\(yùn)用用大數(shù)據(jù)的的過程中，更更科學(xué)的解解讀數(shù)據(jù)。4.2數(shù)據(jù)據(jù)安全數(shù)據(jù)安全在在大數(shù)據(jù)時(shí)時(shí)代也同樣樣面臨挑戰(zhàn)戰(zhàn)。大數(shù)據(jù)據(jù)發(fā)展的趨趨勢(shì)往往與與加大信息息開放、設(shè)設(shè)計(jì)新的信信息收集設(shè)設(shè)備以及為為海量數(shù)據(jù)據(jù)的龐大存存續(xù)和分析析需求提供供支持的云云計(jì)算等如如影隨形。帶來的副副作用是IIT基礎(chǔ)架架構(gòu)將變得得越來越一一體化和外外向型，對(duì)對(duì)數(shù)據(jù)安全全和知識(shí)產(chǎn)產(chǎn)權(quán)構(gòu)成更更大風(fēng)險(xiǎn)。4.3用戶戶隱私與便便利性的沖沖突“大數(shù)據(jù)”對(duì)個(gè)人信信息獲取渠渠道的拓寬寬的需求引引發(fā)了另一一個(gè)重要問問題：隱私私和便利性性之間的沖沖突。研究究表明，消消費(fèi)者受惠惠于海量數(shù)數(shù)據(jù)：更低低的價(jià)格、

51、更符合消消費(fèi)者需要要的商品，以以及從改善善健康狀況況到提高社社會(huì)互動(dòng)順順暢度等生生活質(zhì)量的的提高。但但同時(shí)，隨隨著個(gè)人購購買偏好、健康和財(cái)財(cái)務(wù)情況的的海量數(shù)據(jù)據(jù)被收集，人人們對(duì)隱私私的擔(dān)憂也也在增大。這需要政政府和企業(yè)業(yè)從政策、技術(shù)和法法律等多個(gè)個(gè)方向進(jìn)行行思考和應(yīng)應(yīng)對(duì)。4.4龐大大能耗 向向來被人們們認(rèn)為是綠綠色環(huán)保的的信息產(chǎn)業(yè)業(yè)其實(shí)是污污染和耗能能大戶，調(diào)調(diào)查結(jié)果發(fā)發(fā)現(xiàn)，數(shù)據(jù)據(jù)中心浪費(fèi)費(fèi)的電力高高達(dá)總能耗耗的90%以上。業(yè)業(yè)內(nèi)專家估估計(jì)，全球球范圍內(nèi)所所有數(shù)據(jù)中中心的總功功率高達(dá)33000萬萬千瓦，幾幾乎等于330座核電電站的發(fā)電電量。盡管管現(xiàn)在已經(jīng)經(jīng)有許多辦辦法幫助數(shù)數(shù)據(jù)中心降降低能耗，

52、但但出于對(duì)風(fēng)風(fēng)險(xiǎn)的恐懼懼，多數(shù)公公司不愿作作出任何改改變。目前前，中國多多個(gè)地區(qū)已已經(jīng)開始或或計(jì)劃興建建大型數(shù)據(jù)據(jù)中心，在在建設(shè)過程程中應(yīng)提前前考慮能耗耗問題，以以免重蹈覆覆轍。4.5數(shù)據(jù)據(jù)分析與管管理人才緊緊缺人才是大數(shù)數(shù)據(jù)帶來的的挑戰(zhàn)之一一。研究表表明，單單單在美國，對(duì)對(duì)擁有深厚厚的海量數(shù)數(shù)據(jù)分析（包包括機(jī)器學(xué)學(xué)習(xí)和高級(jí)級(jí)統(tǒng)計(jì)分析析）技能人人才的需求求，可能超超出目前預(yù)預(yù)測(cè)供應(yīng)量量的50-60%。到20118年，需需要新增多多達(dá)14-19萬名名專家。此此外，還需需要1500萬名熟悉悉如何應(yīng)用用海量數(shù)據(jù)據(jù)的管理者者和分析員員。企業(yè)和和政府必須須加大招聘聘和人才挽挽留力度，同同時(shí)大力投投入關(guān)鍵

53、數(shù)數(shù)據(jù)人員的的教育和培培訓(xùn)。4.6跟風(fēng)風(fēng)現(xiàn)象較為為嚴(yán)重目前大數(shù)據(jù)據(jù)應(yīng)用市場場還沒有很很大，要等等到數(shù)據(jù)、技術(shù)和系系統(tǒng)的準(zhǔn)備備有了一定定的突破之之后才會(huì)出出現(xiàn)飛速的的發(fā)展，但但是從現(xiàn)在在工業(yè)界發(fā)發(fā)展的情境境看來，很很多企業(yè)出出現(xiàn)了跟風(fēng)風(fēng)上項(xiàng)目、跟風(fēng)賣產(chǎn)產(chǎn)品的現(xiàn)象象。在現(xiàn)今今“大數(shù)據(jù)”的發(fā)展情情境看來，政府和企業(yè)要做到結(jié)合行業(yè)和產(chǎn)業(yè)的特點(diǎn)進(jìn)行整體的規(guī)劃，之后逐步實(shí)施，做到不慌張、不跟風(fēng)也不要坐失良機(jī)。4.7缺少少技術(shù)創(chuàng)新新水平較高高的互聯(lián)網(wǎng)網(wǎng)公司從全球來看看，大數(shù)據(jù)據(jù)技術(shù)創(chuàng)新新水平分布布極不均衡衡，如谷歌歌、Facceboook、IBBM公司的的技術(shù)遙遙遙領(lǐng)先于我我國企業(yè)，總體來說，國際形成了“原

54、創(chuàng)技術(shù)-開源軟件-商用產(chǎn)品”的技術(shù)創(chuàng)新鏈條，并以此為基礎(chǔ)初步衍生了從存儲(chǔ)和計(jì)算平臺(tái)、數(shù)據(jù)分析軟件到大數(shù)據(jù)云服務(wù)的產(chǎn)業(yè)生態(tài)。我國未來大數(shù)據(jù)的發(fā)展必然會(huì)受到技術(shù)水平的影響，如何加大創(chuàng)新投入力度，提高我國大數(shù)據(jù)技術(shù)水平成為未來我國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的一大問題。5對(duì)大數(shù)據(jù)據(jù)產(chǎn)業(yè)發(fā)展展的建議展望未來，大大數(shù)據(jù)發(fā)展展的序幕剛剛剛拉起，冷冷靜的思考考是十分必必要的，大大數(shù)據(jù)在更更多領(lǐng)域落落地實(shí)施還還是要經(jīng)歷歷一個(gè)較長長期的過程程，而在這這個(gè)過程中中離不開政政府、企業(yè)業(yè)和公民的共共同努力。 5.1政府府方面“大數(shù)據(jù)”是立足全全局、面向向未來的重重大戰(zhàn)略，將將為中國創(chuàng)創(chuàng)造社會(huì)經(jīng)經(jīng)濟(jì)創(chuàng)新發(fā)發(fā)展的重要要機(jī)遇，將將引領(lǐng)公

55、共共管理與服服務(wù)的變革革。實(shí)施大大數(shù)據(jù)戰(zhàn)略略，對(duì)于政政府部門來來說，不僅僅意味著要要上馬多少少高新科技技項(xiàng)目，更更意味著要要調(diào)整自身身運(yùn)作的機(jī)機(jī)制，進(jìn)行行一次政府府理念的創(chuàng)創(chuàng)新，政府府職能的轉(zhuǎn)轉(zhuǎn)變、政府府流程的再再造。（1）政府府要成為“大數(shù)據(jù)”的實(shí)踐者者，積極推推動(dòng)大數(shù)據(jù)據(jù)的全面落落地，在領(lǐng)導(dǎo)意識(shí)識(shí)、組織文文化、組織織結(jié)構(gòu)和工工作流程等等各方面的的整體優(yōu)化化，鼓勵(lì)率率先在政府府部門和公公共事務(wù)中中推動(dòng)“大數(shù)據(jù)”的應(yīng)用，更好的增增強(qiáng)服務(wù)能能力，樹立立更加開放放、透明、負(fù)責(zé)、高高效的政府府形象。（2）政府府部門作為為“大數(shù)據(jù)”的實(shí)踐者者應(yīng)該建構(gòu)構(gòu)一套數(shù)據(jù)據(jù)系統(tǒng)，這這個(gè)數(shù)據(jù)系系統(tǒng)需要包包括3個(gè)必必備因素：天上有云云（云平臺(tái)臺(tái)）、地上上有網(wǎng)（物物聯(lián)網(wǎng)、泛泛在網(wǎng)）、中間有數(shù)數(shù)（數(shù)據(jù)）。所謂天上有有云就是建建立政府云云平臺(tái)，把把離散在指指揮中心、公安、交交通等單位位的信息資資源，聚合合成集預(yù)案案庫、知識(shí)識(shí)庫、專家家?guī)臁咐龓礻?duì)伍庫庫、地理信息息庫為一體體的應(yīng)急信信息資源云云，通過統(tǒng)統(tǒng)一指揮調(diào)調(diào)度，在各各類突發(fā)事事件的處理理過程中為為各