“大數據”的認識與思考22

21/21“大數據〞的認識與思考劉姝祎目錄1“大數據〞的時代背景 41.1“大數據〞的概念 41.2“大數據〞產生的背景 41.3“大數據〞的特征 51.4“大數據〞的開展階段 51.5“大數據〞帶來的機遇 62“大數據〞的關鍵技術 92.1“大數據〞的采集和預處理 92.2“大數據〞存儲技術 102.3“大數據〞分析技術 102.4“大數據〞與云計算 113大數據產業(yè)的應用 123.1大數據產業(yè) 123.2“大數據〞在典型領域中的應用 133.3智慧城市：立體的大數據生態(tài)系統 143.3.1智慧城市的產生 143.3.2全球智慧城市的實踐 153.3.3.中國智慧城市 164問題與挑戰(zhàn) 184.1數據質量 184.2數據平安 184.3用戶隱私與便利性的沖突 184.4龐大能耗 184.5數據分析與管理人才緊缺 194.6跟風現象較為嚴重 194.7缺少技術創(chuàng)新水平較高的互聯網公司 195對大數據產業(yè)開展的建議 205.1政府方面 205.2企業(yè)方面 215.3公眾方面 221“大數據〞的時代背景1.1“大數據〞的概念紐約時報在2012年宣布“大HYPERLINK數據時代〞已經降臨，“HYPERLINK大數據〞成為了時下最熾熱的詞匯。顧名思義，大數據是“無法任意時間內用常規(guī)軟件工具對其內容進行抓取、管理和處理的大量而復雜的數據集合〞。Gartner認為大數據是“需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產〞。“大數據〞的要義是盡可能地收集眾多可以相互疊加補充的信息，據以完成對“未來〞的預測。這些數據可能有些混亂，甚至會出現紕漏，但數據量的“多“和時間的“即刻〞可以彌補數據質量的瑕疵，“大數據〞將以最快的速度“預測〞出最“可靠〞的答案，指引人們迅速采取行動。1.2“大數據〞產生的背景大數據的應用和技術是在互聯網快速開展中誕生的，起點可追溯到2000年前后。當時互聯網網頁爆發(fā)式增長，每天新增約700萬個網頁，到2000年底全球網頁數到達40億，用戶檢索信息越來越不方便。谷歌等公司率先建立了覆蓋數十億網頁的索引庫，開始提供較為精確的搜索效勞，大大提升了人們使用互聯網的效率，這是大數據應用的起點。當時搜索引擎要存儲和處理的數據，不僅數量之大前所未有，而且以非結構化數據為主，傳統技術無法應對。為此，谷歌提出了一套以分布式為特征的全新技術體系，即后來陸續(xù)公開的分布式文件系統(GFS，Google)、分布式并行計算(MapReduce)和分布式數據庫(BigTable)等技術，以較低的本錢實現了之前技術無法到達的規(guī)模。這些技術奠定了當前大數據技術的基礎，可以認為是大數據技術的源頭。伴隨著互聯網產業(yè)的崛起，這種創(chuàng)新的海量數據處理技術在電子商務、定向廣告、智能推薦、社交網絡等方面得到應用，取得巨大的商業(yè)成功。這啟發(fā)全社會開始重新審視數據的巨大價值，于是金融、電信等擁有大量數據的行業(yè)開始嘗試這種新的理念和技術，取得初步成效。與此同時，業(yè)界也在不斷對谷歌提出的技術體系進行擴展，使之能在更多的場景下使用。2011年，麥肯錫、世界經濟論壇等知名機構對這種數據驅動的創(chuàng)新進行了研究總結，隨即在全世界興起了一股大數據熱潮。2012年3月，美國政府發(fā)布《大數據研究和開展方案》，同時組建大數據高級指導小組，以協調政府在數據領域的兩億多美元投資。根據這一方案，美國希望利用大數據技術再多個領域實現突破，包括科研教學、環(huán)境保護、國土平安等，此舉標志著，美國把應對大數據技術革命帶來的機遇和挑戰(zhàn)，提高到國家戰(zhàn)略層面，形成了全體發(fā)動格局。隨后，英國、法國、日本等各國都相繼將大數據方案作為國家戰(zhàn)略型方案提上日程。值得一提的是，由中國各級政府主導的大數據方案也已經全面展開，“大數據〞已成為推動我國經濟和科技開展的重要力量。1.3“大數據〞的特征“大數據〞具有4V的特點：一是數據容量巨大（Volume）。國際數據公司（IDC）的研究報告稱，2011年全球被創(chuàng)立和被復制的數據總量為1.8ZB（2的70次方），并預測到2020年，全球將擁有35ZB的數據量。二是數據類型眾多（Variety）。相對于過往以文本形式為主的結構化數據，大數據時代的數據類型涵蓋了圖片、音頻、視頻、網絡日志和地理位置信息等種類繁多的半結構化和非結構化數據。三是數據價值密度低（Value）。舉例而言，在一個連續(xù)監(jiān)控三個小時的視頻中，能夠提供有效信息幫助刑偵人員破案的畫面可能只有三五秒。四是處理數據的速度要求非?？欤╒elocity）。一方面，面對如此巨大的數據量，處理效率至關重要，另一方面，越來越多的處理需要在瞬間完成以便做出及時的反應。在此基礎上，阿里巴巴延伸至3個維度—可實時性、可解釋性、數據準確性穩(wěn)定性，這三個維度是決定數據是否有價值的關鍵。1.4“大數據〞的開展階段每種技術都有自己的生命周期，Gartner曾經指出新技術生命周期的5個階段，即技術萌芽期（technologytrigger）、期望膨脹期（PeakofInflatedExpectations）、泡沫化的谷底期（ThroughofDisillusionment）、穩(wěn)步爬升的光明期（SlopeofEnlightement），最后才能進入成熟使用期（PlateauofProductivity）。如下列圖1-1所示圖1-1大數據生命周期圖而大數據正是出于期望膨脹期，預計通過近兩年的開展，大數據將會在2016年到達泡沫化的低谷期，之后在5-10年的時間內經歷穩(wěn)步爬上的光明期，到2020年后將會到達實質的成熟使用期。1.5“大數據〞帶來的機遇（1）新一代信息技術融合應用新焦點對大數據的處理和分析正成為未來新一代信息技術融合應用的核心支撐結點。物聯網、移動互聯網、數字家庭、社會化網絡等都是新一代信息技術具體的應用形態(tài)，大數據伴隨這些應用不斷增長，云計算則為這些海量的、多樣化的大數據提供存儲和運算的支撐平臺。以大數據為結點，各項新一代信息技術應用產生的信息將不斷聚集，并通過對不同來源數據的統一性、綜合性的處理、分析與優(yōu)化，將結果反應或交叉反應到物聯網、移動互聯網、數字家庭、社會化網絡等應用中，又進一步改善使用體驗，并創(chuàng)造出巨大的商業(yè)價值、經濟價值和社會價值。（2）信息產業(yè)持續(xù)高速增長的新引擎大數據因其巨大的商業(yè)價值和市場需求正在推動著信息產業(yè)持續(xù)高速增長。隨著行業(yè)用戶對大數據價值的認可程度增加，市場需求將出現井噴，面向大數據市場的新技術、新產品、新效勞、新業(yè)態(tài)將會不斷涌現，大數據將為信息產業(yè)翻開一個高增長的新市場。在硬件與集成設備領域，大數據面臨的有效存儲、快速讀寫、實時分析等挑戰(zhàn)，將對芯片、存儲產業(yè)產生重要影響，還將催生一體化數據存儲處理效勞器、內存計算等市場。在軟件與效勞領域，因為大數據中蘊含的巨大價值，帶來對數據快速處理和分析的迫切需求，將引發(fā)數據挖掘、商業(yè)智能市場的空前繁榮。（3）用戶提升競爭能力的新動力對大數據的利用將成為企業(yè)提高核心競爭力、并搶占市場先機的關鍵。企業(yè)的決策正在從“業(yè)務驅動〞轉變?yōu)椤皵祿寗莹?。在未?到5年，我們將會看到那些真正理解大數據并能利用大數據進行價值挖掘的企業(yè)和不懂得大數據價值挖掘企業(yè)之間的差距。真正能夠利用好大數據、并將其價值轉化成生產力的企業(yè)必將具備強勁有力的競爭優(yōu)勢，從而成為行業(yè)的領導者。在零售行業(yè)，對大數據的分析可以使零售商實時掌握市場動態(tài)并迅速做出應對；在互聯網行業(yè)，對大數據的分析可以為商家制定更加精準有效的營銷策略提供決策支持；在效勞行業(yè)，對大數據的分析可以幫助企業(yè)為消費者提供更加及時和個性化的效勞；甚至在公共事業(yè)領域，大數據也開始發(fā)揮促進經濟開展、維護社會穩(wěn)定等不可小覷的重要作用。（4）推動商業(yè)模式的創(chuàng)新對于海量數據而言，提供髙附加價值的數據分析效勞，將數據封裝為效勞形成可對外開放、可商業(yè)化的核心能力，實現商業(yè)模式的創(chuàng)新，才是大數據運用的關鍵所在。對于政府和企業(yè)而言，至少可以實踐4種商業(yè)模式的創(chuàng)新。第一是客戶關系管理的創(chuàng)新，通過大數據分析可以根據客戶的屬性，從不同角度深層次分析客戶、了解客戶，推出新的客戶關系管理平臺，以增加新的客戶，提高客戶的忠誠度，降低客戶流失率。第二是企業(yè)經營決策指導的創(chuàng)新。企業(yè)可以利用用戶數據，有效提升資源利用能力，提高決策的準確性，從而提升整體運營效率。如，沃爾瑪通過分析客戶購置產品的種類組合，適時推出產品聯合促銷信息，以提升產品的銷量。第三是個性化精準推薦。企業(yè)根據用戶喜好推薦各類產品和業(yè)務，如淘寶根據分析客戶的檢索數據，適時向客戶推送相關產品的廣告信息。第四是創(chuàng)新社會管理。政府可以將大數據運用到交通、應對突發(fā)災害、維穩(wěn)等領域中。如，在大數據的幫助下，什么時間段、哪條路擁堵等問題，都可以通過分析得知，通過同一條路上多個用戶的手機位移速度，便可以判斷當時的路況，為擁堵做出準確預警。2“大數據〞的關鍵技術“大數據〞已經不僅是數據大這一事實了，更重要的是要對大數據進行分析以獲取更多智能、深入和有價值的信息。而隨著“大數據〞在越來越多的領域得到應用，“大數據〞也變得越來越復雜，因此“大數據〞處理技術在大數據領域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。大數據應用分析結果需要經過數據采集、預處理、存儲、分析和挖掘等多多個環(huán)節(jié)才能最終呈現出來。2.1“大數據〞的采集和預處理在數據分析界有著一個“拇指法則〞，即數據分析工作至少有70%~80%的時間都花在搜集和準備數據上，而僅有20%~30%的時間花在分析本身上。隨著新技術采集手段的出現，數據來源和數據類型變得豐富多彩，企業(yè)和機構采集數據首先需要明確所需的數據內容，并制定好數據分類存儲規(guī)則，以便更有效的采集數據。按照數據所有者劃分，企業(yè)數據采集源可以分成3類：一類是企業(yè)和機構的內部數據，如系統日志、生產經營數據等；一類是合作機構的內部數據，可以通過設定好企業(yè)與合作機構的系統接口進行采集；還有一類是大量的網絡公開數據，可以通過網絡爬蟲或者網站公開的應用開發(fā)接口（API）將所需信息從網頁中采集出來。目前一些互聯網企業(yè)和開源社區(qū)開發(fā)的海量數據采集工具，如Facebook的日志采集工具Scribe、淘寶的實時數據傳輸平臺TimeTunnel等，均已能夠滿足每秒數百MB的日志數據采集和傳輸需求。下面就物聯網及社交網絡這兩個“大數據〞的新型來源進行簡單的介紹。（1）“大數據〞與物聯網物聯網是一個信息技術領域的熱詞，其本質是傳感器技術進步的產物。遍布大街小巷的攝像頭，是大家可以直觀感受到的一種物聯網形態(tài)。事實上，傳感器幾乎無處不在，現在大家常用的智能手機中，就包括重力感應器、加速度感應器、距離感應器、光線感應器、陀螺儀、電子羅盤、攝像頭等各類傳感器。這些不同類型的傳感器，無時無刻不在產生大量的數據，這些成為大數據的重要來源之一。妥善的利用這些數據可以監(jiān)測大氣的溫度、壓強、風力，監(jiān)測橋梁、礦井的平安，監(jiān)測飛機、汽車的行駛狀態(tài)等。（2）“大數據〞與社交網絡社交網絡是互聯網開展史上一個重要的里程碑。它把人類真實的人際關系完美地映射到互聯網空間，并借助互聯網的特性而大大升華。社交網絡使得互聯網甚至具備某些人類的特質，譬如“情緒〞：人們分享各自的喜怒哀樂，并相互傳染傳播。社交網絡為“大數據〞帶來一類最具活力的數據類型，人們的喜好和偏愛。由于現實采集的數據與大數據分析過程中所需的數據，會存在結構不一致或不完整的情況，大數據預處理過程可以通過數據提取、轉換和加載等操作，對采集的數據進行初步的組織和數量，從而提高大數據分析質量和效率。2.2“大數據〞存儲技術大數據存儲需要滿足海量存儲、平安存儲和快速讀取的要求。其中海量存儲包含數據容量和數據文件量兩個方面，為保障系統存儲容量能夠以較低本錢存儲海量數據并能實現快速平滑擴展，分布式存儲和存儲虛擬化技術被廣泛采用；為更好的對系統中海量文件進行有效管理，將數據傳輸和數據控制別離開的對象存儲架構應用廣泛。為了保障數據平安存儲不喪失，大數據存儲過程中會采用加密等平安技術，同時會對數據進行數次備份。為了支持數據的快速讀取和并發(fā)訪問，分布式存儲和對象存儲架構將會更有效。目前應用廣泛的大數據海量文件存儲技術主要有谷歌文件系統（GFS）和基于GFS開展的開源Hadoop分布式文件系統（HDFS）等。一些大型網站將“數據〞視為最核心的資產，他們甚至花費高昂的費用來保管這些數據，以便加快用戶的訪問速度。谷歌公司購置了單獨的水力發(fā)電站，為其龐大的數據中心提供充足的電力。2.3“大數據〞分析技術當大數據的采集和存儲已經完成，如何分析數據，將這些碎片化的數據系統化，在無序的數據和信息世界里尋找有序的連接，挖掘到可應用的價值，是真正駕馭大數據的重要環(huán)節(jié)。大數據的分析技術，大致包括5個根本方法理論技術：可視化分析可視化分析能夠直觀的呈現大數據特點，簡單明了易于接受。數據挖掘算法大數據分析的理論核心就是數據挖掘算法，各種數據挖掘的算法基于不同的數據類型和格式能更加科學的呈現出數據本身具備的特點，而這些數據挖掘的算法能夠快速的處理大數據。預測性分析能力大數據分析最重要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之后便可以通過模型帶入新的數據，從而預測未來的數據。（4）語義引擎大數據分析廣泛應用于網絡數據挖掘，可從用戶的搜索關鍵詞、標簽關鍵詞、或其他輸入語義，分析，判斷用戶需求，從而實現更好的用戶體驗和廣告匹配。（5）數據質量和數據管理大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理能夠保證分析結果的真實和有價值。2.4“大數據〞與云計算對于許多組織來說，“大數據〞對存儲容量的需求已經超出目前的存儲能力。我們正處于PB級存儲時代，而EB及存儲時代也即將到來。大容量的存儲不但要求系統具備在原有數據存儲規(guī)格上進行擴展的能力，還要簡單快速的進行擴展。云計算就為“大數據〞的誕生提供了集中采集數據和存儲數據的基礎。云計算的出現改變了數據的存儲和訪問方式，在云計算出現之前，數據大多分散保存在每個人的個人計算機中、每家企業(yè)的效勞器中。云計算，尤其是公用云計算，把所有的數據集中存儲到“數據中心〞，也即所謂的“云端〞，用戶通過瀏覽器或者專用應用程序來訪問。一些大型的網站，通過提供基于“云〞的效勞，積累大量的數據，成為事實上的“數據中心〞，這為“大數據〞誕生奠定了基礎。而云計算及其技術給了人們廉價獲取巨量計算和存儲的能力，云計算分布式架構能夠很好地支持“大數據〞存儲和處理需求。這樣的低本錢硬件+低本錢軟件+低本錢運維，更加經濟和實用，也使得“大數據〞處理和利用成為可能。可以說云計算為“大數據〞提供了存儲空間和訪問渠道，“大數據〞則是云計算的靈魂和必然的開展方向。而近年來國內各地也興起了建設云計算基地的風潮，客觀上為“大數據〞在我國的推廣和應用準備了必備的儲存空間和訪問渠道。3大數據產業(yè)的應用3.1大數據產業(yè)“大數據〞的應用能帶來巨大的經濟價值和社會價值，對于產業(yè)開展而言，“大數據〞可以實現應用創(chuàng)新、降低行業(yè)內的生產本錢并創(chuàng)造新的產業(yè)價值。咨詢機構麥肯錫最早提出“大數據時代已經到來〞，在2012年發(fā)布的《大數據：創(chuàng)新、競爭和生產力的下一個領域》文章上說明，在零售業(yè)、制造業(yè)、醫(yī)療衛(wèi)生和公共部門，“大數據〞可以加快產業(yè)規(guī)模的增長速度，降低生產運營本錢；對于企業(yè)而言，采用“大數據〞可以提升企業(yè)的競爭力，改善企業(yè)的營銷規(guī)劃，客戶定位，產品創(chuàng)新、工作流程優(yōu)化、人力資源管理、物理管理和風險控制等多方面的能力。目前，數據已經滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產因素，人們對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來。對于“大數據〞產業(yè)，政府與公共事業(yè)部門、行業(yè)企業(yè)、個人消費者是其的最終用戶。在政府與公共事業(yè)領域，“大數據〞可以應用到城市規(guī)劃、公共平安、公共交通、輿情管理等社會管理和民生效勞領域，帶來效率提升、響應速度加快、效勞水平提高、管理本錢下降等諸多效益。對于行業(yè)企業(yè)，“大數據〞可以應用到產品研發(fā)設計、生產運作管理、供給鏈管理、客戶關系管理、企業(yè)品牌營銷等各個環(huán)節(jié)，能夠幫助企業(yè)準確把握市場需求變動、提高產品設計與生產效率、提高供給鏈的敏捷性和準確性、實現個性化精準營銷，同時也促進IT技術的創(chuàng)新。對于個人消費者，通過“大數據〞的應用效勞將使信息變得更加泛在，從家庭生活、出行、消費、娛樂、旅游、學習等方方面面拓展民眾生活空間、提高民眾的生活品質?？偨Y以往，“大數據〞的應用價值可以分為感知現在和預知未來兩局部。感知現在通過對歷史數據和當前數據的融合，以及潛在模式挖掘，力求到達對事物對群體與社會開展當前狀態(tài)進行更全面、更精確、更理性的認知。這種認知可以是宏觀的，也可以是微觀的。宏觀方面可以對PB級社會媒體數據、百億級日志數據繼續(xù)擰分析挖掘，掌握宏觀現狀，如環(huán)境指數，健康指數等。在微觀方面可以利用PB級的日志數據和EB級的監(jiān)控數據，挖掘潛在線索，如犯罪行為軌跡等。預測未來通過對“大數據〞彼此之間的關聯分析，演化態(tài)勢和效應的判定與調控，揭示事物開展的演變規(guī)律，進而對是事物開展趨勢進行預測。如基于twitter等網上公開數據的實時感知、動態(tài)獲取與綜合分析，結合仿真調控，預測大選結果；聯合國“全球脈動〞利用網絡大數據預測失業(yè)率與疾病爆發(fā)等現象，利用數字化的早起預警信號來提前指導援助工程，以免某個脫貧地區(qū)重新陷入貧困。這些都說明了正確的大數據應用對于準確預測事件開展趨勢具有重大的價值，人們可以給予“大數據〞更好的進行科學決策和事前準備，未來“大數據〞預測技術將會更廣泛的運用到人們的日常生活中，變革人們的生活。3.2“大數據〞在典型領域中的應用當前“大數據〞已經在物理學、生物學、環(huán)境生態(tài)學等領域，以及軍事、金融、通訊等行業(yè)有所應用并帶來了巨大的產業(yè)價值。以下本文將舉出實際案例以介紹“大數據〞在各個領域的具體應用。在IT領域，一個典型的案例就是eBay通過數據分析技術可以精確計算出廣告中的每一個關鍵字為公司帶來的回報，通過對廣告投放的優(yōu)化，自2007年以來eBay產品銷售的廣告費降低了99%，而頂級賣家占總銷售額的百分比卻上升至32%。在經濟領域，大數據在經濟領域的應用可以通過這樣一個有趣的案例進行說明，社交媒體檢測平臺DataSift檢測了社交網絡Facebook首次公開募股當天Twitter上的情感傾向與Facebook股價波動的關聯。在Fcebook開盤前，Twitter上的情感逐漸轉向負向，25分鐘之后twitter的股價就開始下跌，當twitter上的情感轉向正面時，Facebook的股價在8分鐘后也開始回彈，最終當股市接近收盤，twitter上的情感轉向負面時，10分鐘口Facebook的股價又開始下跌，該機構得出結論，Twitter上每一次情感傾向的轉向都會Facebook股價的波動高度關聯。這證實以大數據預測未來股價走向的典型案例。氣象預測方面，一家美國公司把氣象數據放在亞馬遜的“云平臺〞上進行處理，以及時提供氣象預報的方式，保證當地的農牧業(yè)主在特定的地區(qū)以及特定的季節(jié)不會遭受天氣災害，由此獲得了豐厚的利潤。智能交通方面，根據路網監(jiān)控，火車票及飛機票的預定，以及網上地圖查詢記錄，能夠提前預測某個城市的出行人數的大致規(guī)模，再結合交通部門的其他信息，便可以預測出群體出行的態(tài)勢，對其可能的出行時間、出行路線、出行方式等進行預測，從而為城市交通調度提供決策幫助。軍事領域，美國“2049工程研究所〞于2008年在華盛頓成立，2010年它利用網絡上公開的數據和資料，分析和預測我國在軍事和經濟領域的平安問題，發(fā)布了一份名為《中國核彈頭存放和使用系統》的報告，稱在陜西、江西、四川等地發(fā)現了中國的核武器基地，甚至還精確到了核基地所在的市縣名稱。2013年3月，他們還發(fā)布了一份關于中國無人機工程的研究報告，較全面的分析了中國無人機的研制、開展、裝備以及作戰(zhàn)部署情況。以上都是“大數據〞在一些實際領域的應用，未來“大數據〞將會在更多的領域得到應用，決策行為將會基于數據分析做出，通過對數據的整理和分析，政府和企業(yè)能夠預測個體下一步的需求，進而提供更加智能與高效率的管理和效勞。3.3智慧城市：立體的大數據生態(tài)系統智慧城市是城鎮(zhèn)化開展的高級階段，是城市信息化的新形式，是現代城市開展的愿景。智慧城市在產生大數據的同時，“大數據〞也支撐著智慧城市的建設和開展，而智慧城市的衡量指標是由“大數據〞表達的?！按髷祿曂诰驅χ腔鄢鞘械慕洕_展和社會管理是無形的生產資料，“大數據〞合理利用將創(chuàng)造巨大財富。在未來，大數據將成為維護城市運行的根本要素，智慧城市在“大數據〞的支撐下，成為立體的大數據生態(tài)系統，促進城市的開展。3.3.1智慧城市的產生隨著城市規(guī)模的增大、城市人口的增多，人們對住房、教育、交通、醫(yī)療保險等的需求的也在不斷膨脹。諸如高房價、堵車、霧霾等“城市病〞也越來越多，傳統的管理手段已變得捉襟見肘，而信息化可以說是抗擊“城市病〞的有效手段。伴隨著網絡帝國的崛起、移動技術的融合開展以及創(chuàng)新的民主化進程，知識社會環(huán)境中的智慧城市是繼智能城市之后信息化城市開展的高級形態(tài)。利用城市管理中產生的大量信息與數據，積極促進城市機構之間的實時溝通和協助，分析原因，制定對策，有效平衡社會、商業(yè)和環(huán)境開展需要，優(yōu)化現有的可用資源，以最優(yōu)化的方式為城市公民提供全面又超前的效勞，積極提高公民的生活幸福感—這種高效、智能且可持續(xù)的城市管理被稱為智慧城市?？梢哉f大數據是智慧城市實現智慧化的關鍵支撐，成為驅動智慧城市開展的動力。智慧城市采用以物聯網、云計算、大數據等為核心的新一代信息技術，集成城市的組織（人）、業(yè)務（政務）、交通、通信、能源等城市運行中的各個核心系統，使整個城市成為以一種更有智慧的方式運行的宏大的智慧城市系統，對保障城市正常運行的每個系統進行全面的監(jiān)測、管理、預警和處置，快速、智能地響應城市管理者和市民的各種需求，提高城市運行效率，提高政府決策力。建設智慧城市是城市開展的新范式和新戰(zhàn)略，是當今世界城市開展的趨勢和特征。建設智慧城市對抗擊“城市病〞具有強烈的現實意義。首先智慧化運營通過運用來自城市多個部門的信息，進行數據聚集和標準化后，識別出相關的重要事件，以提升效勞質量。其次，智慧化運營能夠預測城市開展的問題與危機，最大限度降低對城市居民的影響。如通過可視化重要事件和警報、地理信息等數據，識別出模式和趨勢，保證行動有依據，主動觸發(fā)預設的預案以加快響應，減少效勞中斷概率，防止城市內大型事故擴大升級，減少災害的影響。最后，智慧城市可實現通過協調不同部門的資源，以提高更快、更有效的影響?！按髷祿暤闹腔刍瘞椭芾碚呖绮块T決策、協調，提高公共效勞交付效率，減少應對突發(fā)災害的響應時間。3.3.2全球智慧城市的實踐全球在智慧城市的實踐中展現了各自不同的設計理念：美國在智慧城市建設方面選擇智能電網進行突破，注重于商業(yè)機構的合作，利用UrbanSim等智能化的城市仿真系統對城市空間開展進行優(yōu)化。在美國2009年的經濟復蘇方案中，有項高達110億美元的投資，用于建設可安裝各種控制設備的新一代智能電網。日本在2009年7月推出“智慧日本戰(zhàn)略2015〞，旨在將數字信息技術融入生活的方方面面，聚焦于電子化政府治理、醫(yī)療健康信息效勞、教育與人才培養(yǎng)3大公共事業(yè)。韓國政府于2004年提出了“U-韓國〞開展戰(zhàn)略，經過多年的實踐，首爾、釜山等一些城市已進入“泛在城市〞時代?！胺涸诔鞘楔曇浴敖ㄔO尖端信息城市，提高市民生活質量和城市競爭力〞為目標，利用無線傳感器網絡，實現對城市設施、平安、交通、環(huán)境等方面的智能化管理和控制。根據國際數據公司預計，2011年，全球新型智慧城市信息技術的市場規(guī)模到達340億美元，并將以每年超過18%的速度增長，到2014年將到達570億美元。3.3.3.中國智慧城市2012年11月，住房和城鄉(xiāng)建設部辦公廳發(fā)布《關于開展國家智慧城市試點工作的通知》，將建設智慧城市作為貫徹黨中央、國務院關于創(chuàng)新驅動開展、推動新型城鎮(zhèn)化、全面建成小康社會的重要舉措，要求各地高度重視，抓住機遇，通過積極開展智慧城市建設，提升城市管理能力和效勞水平，促進產業(yè)轉型開展。截至2012年7月，中國共有150多個城市提出建設或正在建設智慧城市，其中，北京、上海、廣州等城市是智慧城市創(chuàng)立進程的領跑者?？傮w上說，中國東部地區(qū)智慧城市建設重點在于以信息技術促進轉變經濟開展方式，提高社會管理水平，提升城市競爭力，塑造城市品牌。中西部地區(qū)智慧城市的建設更加注重對城市的宣傳推廣作用，力爭通過智慧城市建設促進投資軟硬件環(huán)境的改善，加強招商引資。中國智慧城市建設分為前期基礎設施建設、中期數據處理設施建設和后期的效勞平臺建設。就智慧城市的建設內容來看，一方面是加強城市基礎通信網絡建設，提高通信網絡帶寬及覆蓋率；另一方面是在一個云計算平臺之上提供智慧應用效勞，如智慧交通、智慧醫(yī)療等。相關的建設涉及通信設備制造企業(yè)、系統集成企業(yè)、數據采集分析企業(yè)、通信運營商和數據效勞企業(yè)，對整個產業(yè)鏈將起到巨大的拉動作用。中國智慧城市建設有三種模式：一種是以物聯網產業(yè)開展為驅動的建設模式，如天津、廣州等；一種是以信息基礎設施建設為先導的建設模式，如上海、南京等；一種是以社會效勞與管理應用為突破口的建設模式，如北京、武漢等。在中國智慧城市建設中，應當注意以下幾點：（1）要因城而異，不能照搬西方的模式。智慧城市建設目標確實立要符合城市當前的開展階段，解決居民最迫切需要解決的問題，走出中國智慧城市建設的差異化道路。（2）注重政府統籌，打破行業(yè)、地域壁壘，建立智慧城市大數據的共建共享機制。（3）大力推動智慧城市的創(chuàng)新應用，實現創(chuàng)新示范工程應用的落地。（4）完善智慧城市建設中大數據信息平安的基礎建設及管理體制，從技術、管理和法律等多方面保證智慧城市建設的正常運行。4問題與挑戰(zhàn)“大數據〞對社會的好處是無窮無盡的，它在一定程度上解決可迫在眉睫的全球問題，如處理氣候變化、鏟除疾病等，然而“大數據〞在帶來大知識、大開展、大價值的同時，也潛藏著巨大的風險。4.1數據質量真實準確是數據的生命，組織如果沒有能力獲得真實數據，數據規(guī)模再大、數據分析技術再先進也是徒勞。另外由于受到城鄉(xiāng)差異、地域差異等的影響，社會上弱勢群體的信息占有和表達處于弱勢，這就造成了數據鴻溝的存在。而數據造假、數據鴻溝等問題在大數據時代依然存在，偏見和盲區(qū)存在于大數據中，大數據得出的結論并不是完全客觀、準確的，它并不能提供價值判斷，也不能完全取代人的經驗和直覺。認清這個事實，能夠幫助我們在運用大數據的過程中，更科學的解讀數據。4.2數據平安數據平安在大數據時代也同樣面臨挑戰(zhàn)。大數據開展的趨勢往往與加大信息開放、設計新的信息收集設備以及為海量數據的龐大存續(xù)和分析需求提供支持的云計算等如影隨形。帶來的副作用是IT基礎架構將變得越來越一體化和外向型，對數據平安和知識產權構成更大風險。4.3用戶隱私與便利性的沖突“大數據〞對個人信息獲取渠道的拓寬的需求引發(fā)了另一個重要問題：隱私和便利性之間的沖突。研究說明，消費者受惠于海量數據：更低的價格、更符合消費者需要的商品，以及從改善健康狀況到提高社會互動順暢度等生活質量的提高。但同時，隨著個人購置偏好、健康和財務情況的海量數據被收集，人們對隱私的擔憂也在增大。這需要政府和企業(yè)從政策、技術和法律等多個方向進行思考和應對。4.4龐大能耗向來被人們認為是綠色環(huán)保的信息產業(yè)其實是污染和耗能大戶，調查結果發(fā)現，數據中心浪費的電力高達總能耗的90%以上。業(yè)內專家估計，全球范圍內所有數據中心的總功率高達3000萬千瓦，幾乎等于30座核電站的發(fā)電量。盡管現在已經有許多方法幫助數據中心降低能耗，但出于對風險的恐懼，多數公司不愿作出任何改變。目前，中國多個地區(qū)已經開始或方案興建大型數據中心，在建設過程中應提前考慮能耗問題，以免重蹈覆轍。4.5數據分析與管理人才緊缺人才是大數據帶來的挑戰(zhàn)之一。研究說明，單單在美國，對擁有深厚的海量數據分析（包括機器學習和高級統計分析）技能人才的需求，可能超出目前預測供給量的50-60%。到2018年，需要新增多達14-19萬名專家。此外，還需要150萬名熟悉如何應用海量數據的管理者和分析員。企業(yè)和政府必須加大招聘和人才挽留力度，同時大力投入關鍵數據人員的教育和培訓。4.6跟風現象較為嚴重目前大數據應用市場還沒有很大，要等到數據、技術和系統的準備有了一定的突破之后才會出現飛速的開展，但是從現在工業(yè)界開展的情境看來，很多企業(yè)出現了跟風上工程、跟風賣產品的現象。在現今“大數據〞的開展情境看來，政府和企業(yè)要做到結合行業(yè)和產業(yè)的特點進行整體的規(guī)劃，之后逐步實施，做到不慌張、不跟風也不要坐失良機。4.7缺少技術創(chuàng)新水平較高的互聯網公司從全球來看，大數據技術創(chuàng)新水平分布極不均衡，如谷歌、Facebook、IBM公司的技術遙遙領先于我國企業(yè)，總體來說，國際形成了“原創(chuàng)技術-開源軟件-商用產品〞的技術創(chuàng)新鏈條，并以此為基礎初步衍生了從存儲和計算平臺、數據分析軟件到大數據云效勞的產業(yè)生態(tài)。我國未來大數據的開展必然會受到技術水平的影響，如何加大創(chuàng)新投入力度，提高我國大數據技術水平成為未來我國大數據產業(yè)開展的一大問題。5對大數據產業(yè)開展的建議展望未來，大數據開展的序幕剛剛拉起，冷靜的思考是十分必要的，大數據在更多領域落地實施還是要經歷一個較長期的過程，而在這個過程中離不開政府、企業(yè)和公民的共同努力。5.1政府方面“大數據〞是立足全局、面向未來的重大戰(zhàn)略，將為中國創(chuàng)造社會經濟創(chuàng)新開展的重要機遇，將引領公共管理與效勞的變革。實施大數據戰(zhàn)略，對于政府部門來說，不僅意味著要上馬多少高新科技工程，更意味著要調整自身運作的機制，進行一次政府理念的創(chuàng)新，政府職能的轉變、政府流程的再造。（1）政府要成為“大數據〞的實踐者，積極推動大數據的全面落地，在領導意識、組織文化、組織結構和工作流程等各方面的整體優(yōu)化，鼓勵率先在政府部門和公共事務中推動“大數據〞的應用，更好的增強效勞能力，樹立更加開放、透明、負責、高效的政府形象。（2）政府部門作為“大數據〞的實踐者應該建構一套數據系統，這個數據系統需要包括3個必備因素：天上有云（云平臺）、地上有網（物聯網、泛在網）、中間有數（數據）。所謂天上有云就是建立政府云平臺，把離散在指揮中心、公安、交通等單位的信息資源，聚合成集預案庫、知識庫、專家?guī)?、案例庫隊伍庫、地理信息庫為一體的應急信息資源云，通過統一指揮調度，在各類突發(fā)事件的處理過程中為各級指揮人員提供決策支持。應用云平臺不僅能有效協調政府資源和行動，還能在政府部門之間共享數據效勞，防止重復投資，提高計算資源利用率。共享和聯動是云平臺的關鍵詞，也是讓大數據真正落地實施的突破口。而做到地上有網的關鍵是