大數(shù)據(jù)時代-地方財政研究

2013年第14期(總第226期)遼寧省財政科學研究所遼寧省財政學會2013年8月15日本期主題：大數(shù)據(jù)時代[按]隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等技術(shù)的快速發(fā)展，以及智能終端、網(wǎng)絡社會、數(shù)字地球等信息體的普及和建設(shè)，全球數(shù)據(jù)量出現(xiàn)爆炸式增長，僅在2011年就達到1.8萬億GB。IDC預計，到2020年全球數(shù)據(jù)量將增加50倍。毋庸置疑，大數(shù)據(jù)時代已經(jīng)到來?！度A爾街日報》將大數(shù)據(jù)時代、智能化生產(chǎn)和無線網(wǎng)絡革命稱為引領(lǐng)未來繁榮的三大技術(shù)變革。2012年3月，美國政府宣布正式啟動“大數(shù)據(jù)計劃”，將投入超過2億美元推動大數(shù)據(jù)提取、存儲、分析、共享、可視化等領(lǐng)域的研究。同樣麥肯錫公司的報告指出數(shù)據(jù)是一種生產(chǎn)資料，大數(shù)據(jù)是下一個創(chuàng)新、競爭、生產(chǎn)力提高的前沿。發(fā)達國家紛紛將開發(fā)、利用大數(shù)據(jù)作為奪取新一輪競爭制高點的重要抓手。在國內(nèi)，百度已經(jīng)致力于開發(fā)自己的大數(shù)據(jù)處理和存儲系統(tǒng)；騰訊也提出目前如何整合這些數(shù)據(jù)成為未來的關(guān)鍵任務。在大數(shù)據(jù)時代，云計算為海量的、多樣化的數(shù)據(jù)提供了存儲和運算平臺，數(shù)據(jù)挖掘和人工智能從冗雜的大數(shù)據(jù)中剝絲抽繭，識別出有價值的信息并進行分析處理，為政府、企業(yè)決策提供了參考。大數(shù)據(jù)的發(fā)展會進一步擴大信息的開放和利用程度，但也會導致隱私數(shù)據(jù)或敏感信息的泄露事件時有發(fā)生。本期將和大家一起探討面對大數(shù)據(jù)時代的新特點，我們?nèi)绾胃玫毓芾砗屠么髷?shù)據(jù)。大數(shù)據(jù)時代的來臨美國社會思想家托夫勒在《第三次浪潮》中提出，“如果說IBM的主機拉開了信息化革命的大幕，那么大數(shù)據(jù)才是第三次浪潮的華彩樂章?！贝髷?shù)據(jù)以其廣泛的潛在應用需求和可以展望的巨大經(jīng)濟社會效益，正成為繼云計算、物聯(lián)網(wǎng)之后信息技術(shù)領(lǐng)域的又一熱點，并將在社會經(jīng)濟各領(lǐng)域產(chǎn)生深刻影響。麥肯錫在2011年6月發(fā)布的研究報告中，最早提出大數(shù)據(jù)時代已經(jīng)到來。報告指出，當前大數(shù)據(jù)規(guī)模以及存儲容量正在迅速增長，已經(jīng)滲透到各個行業(yè)和領(lǐng)域，成為可以與物質(zhì)資產(chǎn)和人力資本相提并論的重要生產(chǎn)要素。大數(shù)據(jù)是繼傳統(tǒng)IT之后下一個提高生產(chǎn)率的技術(shù)前沿。只要具有適當?shù)恼咄苿?，大?shù)據(jù)的使用將成為未來提高競爭力、生產(chǎn)力、創(chuàng)新能力以及創(chuàng)造消費者盈余的關(guān)鍵要素，成為領(lǐng)軍企業(yè)與其他企業(yè)之間最大的顯著差別。那些沒有引入新的分析技術(shù)和新的數(shù)據(jù)類型的企業(yè)，不太可能成為其行業(yè)的領(lǐng)軍者?；ヂ?lián)網(wǎng)特別是移動互聯(lián)網(wǎng)的發(fā)展，加快了信息化向社會經(jīng)濟各方面、大眾日常生活的滲透。有資料顯示，1998年全球網(wǎng)民平均每月使用流量是1MB(兆字節(jié))，2000年是10MB，2003年是100MB，2008年是1GB(1GB等于1024MB)，2014年將是10GB。全網(wǎng)流量累計達到1EB(即10億GB或1000PB)的時間在2001年是一年，在2004年是一個月，在2007年是一周，而2013年僅需一天，即一天產(chǎn)生的信息量可刻滿1.88億張DVD光盤。我國網(wǎng)民數(shù)居世界之首，每天產(chǎn)生的數(shù)據(jù)量也位于世界前列。淘寶網(wǎng)站每天有超過數(shù)千萬筆交易，單日數(shù)據(jù)產(chǎn)生量超過50TB(1TB等于1000GB)，存儲量40PB(1PB等于1000TB)。百度公司目前數(shù)據(jù)總量接近1000PB，存儲網(wǎng)頁數(shù)量接近1萬億頁，每天大約要處理60億次搜索請求，幾十PB數(shù)據(jù)。信息爆炸不自今日起，但近年來人們更加感受到大數(shù)據(jù)的來勢迅猛。一方面，網(wǎng)民數(shù)量不斷增加，另一方面，以物聯(lián)網(wǎng)和家電為代表的聯(lián)網(wǎng)設(shè)備數(shù)量增長更快。2007年全球有5億個設(shè)備聯(lián)網(wǎng)，人均0.1個；2013年全球?qū)⒂?00億個設(shè)備聯(lián)網(wǎng)，人均70個。隨著寬帶化的發(fā)展，人均網(wǎng)絡接入帶寬和流量也迅速提升。全球新產(chǎn)生數(shù)據(jù)年增40%，即信息總量每兩年就可以翻番，這一趨勢還將持續(xù)。目前，單一數(shù)據(jù)集容量超過幾十TB甚至數(shù)PB已不罕見，其規(guī)模大到無法在容許的時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理。數(shù)據(jù)規(guī)模越大，處理的難度也越大，但對其進行挖掘可能得到的價值更大，這就是大數(shù)據(jù)熱的原因。首先，大數(shù)據(jù)反映輿情和民意。網(wǎng)民在網(wǎng)上產(chǎn)生的海量數(shù)據(jù)，記錄著他們的思想、行為乃至情感，這是信息時代現(xiàn)實社會與網(wǎng)絡空間深度融合的產(chǎn)物，蘊含著豐富的內(nèi)涵和很多規(guī)律性信息。根據(jù)中國互聯(lián)網(wǎng)絡信息中心統(tǒng)計，2012年底我國網(wǎng)民數(shù)為5.64億，手機網(wǎng)民為4.2億，通過分析相關(guān)數(shù)據(jù)，可以了解大眾需求、訴求和意見。其次，企業(yè)和政府的信息系統(tǒng)每天源源不斷產(chǎn)生大量數(shù)據(jù)。根據(jù)賽門鐵克公司的調(diào)研報告，全球企業(yè)的信息存儲總量已達2.2ZB(1ZB等于1000EB)，年增67%。醫(yī)院、學校和銀行等也都會收集和存儲大量信息。政府可以部署傳感器等感知單元，收集環(huán)境和社會管理所需的信息。2011年，英國《自然》雜志曾出版?？赋觯热裟軌蚋行У亟M織和使用大數(shù)據(jù)，人類將得到更多的機會發(fā)揮科學技術(shù)對社會發(fā)展的巨大推動作用。數(shù)據(jù)，這個21世紀人類探索的新邊疆，正在被人類通過云計算而發(fā)現(xiàn)和征服。大數(shù)據(jù)時代的進一步解讀大數(shù)據(jù)從字面理解，泛指巨量的數(shù)量集，一般在10TB規(guī)模左右。多個數(shù)據(jù)集一整合，就會形成PB級，甚至是EB、ZB等為計量單位的數(shù)據(jù)量。IT界通常將大數(shù)據(jù)的特征概括為四個V：體量(Volume)巨、類別(Variety)多、速度(Velocity)快、價值(Value)大。也就是說，大數(shù)據(jù)之“大”首先是體量大。誕生在20世紀70年代的傳統(tǒng)數(shù)據(jù)庫是小型的、單一的、孤立的，基于小范圍的抽樣樣本統(tǒng)計。而大數(shù)據(jù)則要求窮盡一切相關(guān)樣本，搜集盡可能全面的數(shù)據(jù)。數(shù)據(jù)的海量與數(shù)據(jù)的完整性使大數(shù)據(jù)有著傳統(tǒng)的數(shù)據(jù)庫無法比擬的信息優(yōu)勢。大數(shù)據(jù)之“大”其次在于類別(Variety)多。大數(shù)據(jù)的來源也有別于傳統(tǒng)的數(shù)據(jù)庫，顯示出了跨領(lǐng)域、跨門類、多類別的整合氣魄和越界意識。如果說非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)一直沒有被納入經(jīng)典數(shù)據(jù)庫技術(shù)SQL的視野，那么大數(shù)據(jù)的數(shù)據(jù)則源自多種數(shù)據(jù)源，是一種綜合數(shù)據(jù)，兼收并蓄了結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等各種類別和格式的數(shù)據(jù)，尤其是包含了大量的視頻音頻數(shù)據(jù)。這使其信息占有量和信息復雜度為傳統(tǒng)數(shù)據(jù)庫所無法比擬。這些海量數(shù)據(jù)本身就會凸顯以往不為人們注意的事物的多方面的關(guān)聯(lián)性，因此這種數(shù)據(jù)更能顯示出多方面的信息內(nèi)涵，信息質(zhì)量更為優(yōu)化，信息意味更為繁復。大數(shù)據(jù)之“大”第三是速度(Velocity)快。大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫的差異還在于它并不是一個整齊排列，有著固定層次結(jié)構(gòu)、統(tǒng)一技術(shù)標準、反饋遲滯后延的物態(tài)化的實體，而是一個靈活、越界、即時、交互、綜合的動態(tài)過程，可以在瞬間完成信息分析，形成數(shù)據(jù)圖譜，滿足社會各界人士的實時性需求。最后，大數(shù)據(jù)之大還在于價值(Value)大。大數(shù)據(jù)在今天的時代里儼然成為了一種新的產(chǎn)業(yè)資源，通過盡力搜集整理全面數(shù)據(jù)、完整數(shù)據(jù)、綜合數(shù)據(jù)并對數(shù)據(jù)進行深度智能分析和建模，可以顯示出各種事物的潛在關(guān)聯(lián)，挖掘出各種以往不為人知的相關(guān)性，判斷事物發(fā)生的概率，預測事物變化的走向，預見某種社會趨勢，從而使魚龍混雜的信息在大數(shù)據(jù)時代的社會管理、商業(yè)營銷、產(chǎn)業(yè)開發(fā)、文化創(chuàng)意、醫(yī)療保健等方面更能發(fā)揮見微知著的預見性價值，據(jù)此各行各業(yè)都可以有的放矢地制定新策略，成就新創(chuàng)意，開發(fā)新產(chǎn)品，推出新業(yè)務。但是，大數(shù)據(jù)的真正意義不在于數(shù)據(jù)的“大”，而在于人類在大規(guī)模的數(shù)據(jù)基礎(chǔ)上可以做到的事情，而這些事情在小規(guī)模數(shù)據(jù)的基礎(chǔ)上是無法完成的。在人類歷史長河中，即使是在現(xiàn)代社會日新月異的發(fā)展中，人們還主要是依賴抽樣數(shù)據(jù)、局部數(shù)據(jù)和片面數(shù)據(jù)，甚至在無法獲得實證數(shù)據(jù)的時候純粹依賴經(jīng)驗、理論、假設(shè)和價值觀去發(fā)現(xiàn)未知領(lǐng)域的規(guī)律。因此，人們對世界的認識往往是表面的、膚淺的、簡單的、扭曲的或者是無知的。大數(shù)據(jù)時代的來臨使人類第一次有機會和條件，在非常多的領(lǐng)域和非常深入的層次獲得和使用全面數(shù)據(jù)、完整數(shù)據(jù)和系統(tǒng)數(shù)據(jù)，深入探索現(xiàn)實世界的規(guī)律，獲取過去不可能獲取的知識，得到過去無法企及的商機?；蛟S這僅僅只是一個開始，大數(shù)據(jù)時代對我們的生活，以及與世界交流的方式都提出了挑戰(zhàn)。最驚人的是，大數(shù)據(jù)使人們可以在很大程度上從對于因果關(guān)系的追求中解脫出來，轉(zhuǎn)而將注意力放在相關(guān)關(guān)系的發(fā)現(xiàn)和使用上。只要發(fā)現(xiàn)了兩個現(xiàn)象之間存在的顯著相關(guān)性，就可以創(chuàng)造巨大的經(jīng)濟或社會效益，而弄清二者為什么相關(guān)可以留待學者們慢慢研究。大數(shù)據(jù)時代的數(shù)據(jù)不再是靜止和陳舊的。但在以前，一旦完成收集數(shù)據(jù)的目的，數(shù)據(jù)就會被認為已經(jīng)沒有用處了。比方說，在飛機降落之后，票價數(shù)據(jù)就沒有用了(對谷歌而言，則是一個檢索命令完成之后)。事實上，一旦思維轉(zhuǎn)變過來，數(shù)據(jù)就能被巧妙地用來激發(fā)新產(chǎn)品和新型服務。數(shù)據(jù)的奧妙只為謙遜、愿意聆聽且掌握了聆聽手段的人所知。信息社會所帶來的好處是顯而易見的：每個人口袋里都揣有一部手機，每臺辦公桌上都放有一臺電腦，每間辦公室內(nèi)都擁有一個大型局域網(wǎng)。但是，信息本身的用處卻并沒有如此引人注目。半個世紀以來，隨著計算機技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息總量的變化還導致了信息形態(tài)的變化——量變引發(fā)了質(zhì)變。最先經(jīng)歷信息爆炸的學科，如天文學和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個概念。如今，這個概念幾乎應用到了所有人類致力于發(fā)展的領(lǐng)域中。大數(shù)據(jù)可以說是史上第一次將各行各業(yè)的用戶、方案提供商、服務商、運營商以及整個生態(tài)鏈上的廠商，融入到一個大的環(huán)境中，無論是企業(yè)級市場還是消費級市場，都與大數(shù)據(jù)發(fā)生著千絲萬縷的聯(lián)系。消費者個人的每一條微博、每一張圖片、每一段視頻、每一張投票、每一句言論……都在產(chǎn)生越來越多的數(shù)據(jù)；而企業(yè)級用戶在拓展市場、挖掘潛在用戶的同時，也會借助海量數(shù)據(jù)進行決策分析。大數(shù)據(jù)既是社會經(jīng)濟高度發(fā)展的結(jié)果，也是信息技術(shù)發(fā)展的必然。大數(shù)據(jù)給企業(yè)的差異化發(fā)展帶來了歷史性機遇。在基礎(chǔ)設(shè)施平臺上，涌現(xiàn)出了新一輪的基礎(chǔ)架構(gòu)和平臺資源爭奪戰(zhàn)。數(shù)據(jù)將像企業(yè)的固定資產(chǎn)和人力資源一樣，成為生產(chǎn)過程中的基本要素。和其他的生產(chǎn)要素相比，數(shù)據(jù)，無疑有其獨特之處。例如，工業(yè)生產(chǎn)過程中的原材料，一般都有排他性，但數(shù)據(jù)很容易實現(xiàn)共享，而且使用的人越多，其價值就越大；數(shù)據(jù)也不像機器、廠房一樣會隨著使用次數(shù)的增多而貶值，相反，重復使用，它反而可能增值。此外，此數(shù)據(jù)和彼數(shù)據(jù)如果能有機整合到一起，可能就會產(chǎn)生新的知識和信息，而且大幅度增值。已經(jīng)有越來越多令人信服的證據(jù)表明：只要實施正確的政策和激勵，大數(shù)據(jù)將成為競爭的關(guān)鍵性基礎(chǔ)，并成為下一波生產(chǎn)率提高、創(chuàng)新和為消費者創(chuàng)造價值的支柱，這把數(shù)據(jù)的重要性提到了競爭性要素的高度。信息時代的競爭，不是勞動生產(chǎn)率的競爭，而是知識生產(chǎn)率的競爭。企業(yè)數(shù)據(jù)本身就蘊藏著價值，企業(yè)的人員情況、客戶記錄對于企業(yè)的運轉(zhuǎn)至關(guān)重要，但企業(yè)的其他數(shù)據(jù)也擁有轉(zhuǎn)化為價值的力量。一段記錄人們?nèi)绾卧谀纳痰隇g覽購物的視頻、人們購買服務前后的所作所為、如何通過社交網(wǎng)絡聯(lián)系客戶、是什么吸引合作伙伴加盟、客戶如何付款……所有這些場景都提供了很多信息，將它們抽絲剝繭，通過特殊的方法觀察，將其與其他數(shù)據(jù)集進行對照，或者以與眾不同的方式分析解剖，就能讓企業(yè)的業(yè)務拓展發(fā)生翻天覆地的轉(zhuǎn)變。在善用者手中，數(shù)據(jù)是所有管理決策的基礎(chǔ)，帶來的是對客戶的深入了解和競爭優(yōu)勢。大數(shù)據(jù)之所以可能成為一個“時代”，在很大程度上是因為這是一個可以由社會各界廣泛參與，八面出擊，處處結(jié)果的社會運動，而不僅僅是少數(shù)專家學者的研究對象。大數(shù)據(jù)的應用大數(shù)據(jù)已經(jīng)開始應用到各行各業(yè)。宏觀經(jīng)濟方面，IBM日本公司建立經(jīng)濟指標預測系統(tǒng)，從互聯(lián)網(wǎng)新聞中搜索影響制造業(yè)的480項經(jīng)濟數(shù)據(jù)，計算采購經(jīng)理人指數(shù)的預測值。印第安納大學利用谷歌公司提供的心情分析工具，從近千萬條網(wǎng)民留言中歸納出六種心情，進而對道瓊斯工業(yè)指數(shù)的變化進行預測，準確率達到87%。制造業(yè)方面，華爾街對沖基金依據(jù)購物網(wǎng)站的顧客評論，分析企業(yè)產(chǎn)品銷售狀況；一些企業(yè)利用大數(shù)據(jù)分析實現(xiàn)對采購和合理庫存量的管理，通過分析網(wǎng)上數(shù)據(jù)了解客戶需求、掌握市場動向。有資料顯示，全球零售商因盲目進貨導致的銷售損失每年達1000億美元，這方面的數(shù)據(jù)分析大有作為。在農(nóng)業(yè)領(lǐng)域，硅谷有個氣候公司，從美國氣象局等數(shù)據(jù)庫中獲得幾十年的天氣數(shù)據(jù)，將各地降雨、氣溫、土壤狀況與歷年農(nóng)作物產(chǎn)量的相關(guān)度做成精密圖表，預測農(nóng)場來年產(chǎn)量，向農(nóng)戶出售個性化保險。在商業(yè)領(lǐng)域，沃爾瑪公司通過分析銷售數(shù)據(jù)，了解顧客購物習慣，得出適合搭配在一起出售的商品，還可從中細分顧客群體，提供個性化服務。在金融領(lǐng)域，華爾街“德溫特資本市場”公司分析3.4億微博賬戶留言，判斷民眾情緒，依據(jù)人們高興時買股票、焦慮時拋售股票的規(guī)律，決定公司股票的買入或賣出。阿里公司根據(jù)在淘寶網(wǎng)上中小企業(yè)的交易狀況篩選出財務健康和講究誠信的企業(yè)，對他們發(fā)放無需擔保的貸款。目前已放貸300多億元，壞賬率僅0.3%。在醫(yī)療保健領(lǐng)域，“谷歌流感趨勢”項目依據(jù)網(wǎng)民搜索內(nèi)容分析全球范圍內(nèi)流感等病疫傳播狀況，與美國疾病控制和預防中心提供的報告對比，追蹤疾病的精確率達到97%。社交網(wǎng)絡為許多慢性病患者提供臨床癥狀交流和診治經(jīng)驗分享平臺，醫(yī)生借此可獲得在醫(yī)院通常得不到的臨床效果統(tǒng)計數(shù)據(jù)?；趯θ梭w基因的大數(shù)據(jù)分析，可以實現(xiàn)對癥下藥的個性化治療。在社會安全管理領(lǐng)域，通過對手機數(shù)據(jù)的挖掘，可以分析實時動態(tài)的流動人口來源、出行，實時交通客流信息及擁堵情況。利用短信、微博、微信和搜索引擎，可以收集熱點事件，挖掘輿情，還可以追蹤造謠信息的源頭。美國麻省理工學院通過對十萬多人手機的通話、短信和空間位置等信息進行處理，提取人們行為的時空規(guī)律性，進行犯罪預測。在科學研究領(lǐng)域，基于密集數(shù)據(jù)分析的科學發(fā)現(xiàn)成為繼實驗科學、理論科學和計算科學之后的第四個范例，基于大數(shù)據(jù)分析的材料基因組學和合成生物學等正在興起。麥肯錫公司2011年報告推測，如果把大數(shù)據(jù)用于美國的醫(yī)療保健，一年產(chǎn)生潛在價值3000億美元，用于歐洲的公共管理可獲得年度潛在價值2500億歐元；服務提供商利用個人位置數(shù)據(jù)可獲得潛在的消費者年度盈余6000億美元；利用大數(shù)據(jù)分析，零售商可增加運營利潤60%，制造業(yè)設(shè)備裝配成本會減少50%。大數(shù)據(jù)時代面臨的難題和挑戰(zhàn)一、當前大數(shù)據(jù)運用面臨的技術(shù)難題當前大數(shù)據(jù)技術(shù)的運用仍存在一些困難與挑戰(zhàn)，體現(xiàn)在大數(shù)據(jù)挖掘的4個環(huán)節(jié)中。1.在數(shù)據(jù)收集方面。要對來自網(wǎng)絡包括物聯(lián)網(wǎng)和機構(gòu)信息系統(tǒng)的數(shù)據(jù)附上時空標志，去偽存真，盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，必要時還可與歷史數(shù)據(jù)對照，多角度驗證數(shù)據(jù)的全面性和可信性。2.數(shù)據(jù)存儲方面。要達到低成本、低能耗、高可靠性目標，通常要用到冗余配置、分布化和云計算技術(shù)，在存儲時要按照一定規(guī)則對數(shù)據(jù)進行分類，通過過濾和去重，減少存儲量，同時加入便于日后檢索的標簽。3.數(shù)據(jù)處理方面。有些行業(yè)的數(shù)據(jù)涉及上百個參數(shù)，其復雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身，更體現(xiàn)在多源異構(gòu)、多實體和多空間之間的交互動態(tài)性，難以用傳統(tǒng)的方法描述與度量，處理的復雜度很大，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進行語義分析，從大量動態(tài)的而且可能是模棱兩可的數(shù)據(jù)中綜合信息，并且導出可理解的內(nèi)容。4.結(jié)果的可視化呈現(xiàn)，使結(jié)果更直觀以便于洞察。目前，盡管計算機智能化有了很大進步，但還只能針對小規(guī)模、有結(jié)構(gòu)或類結(jié)構(gòu)的數(shù)據(jù)進行分析，談不上深層次的數(shù)據(jù)挖掘，現(xiàn)有的數(shù)據(jù)挖掘算法在不同行業(yè)中難以通用。二、大數(shù)據(jù)給信息安全帶來新的挑戰(zhàn)大數(shù)據(jù)在為人類提供有價值的數(shù)據(jù)同時，也帶來了信息安全問題。1.大數(shù)據(jù)成為網(wǎng)絡攻擊的顯著目標。在網(wǎng)絡空間中，大數(shù)據(jù)成為更容易被“發(fā)現(xiàn)”的大目標，承載著越來越多的關(guān)注度。一方面，大數(shù)據(jù)不僅意味著海量的數(shù)據(jù)，也意味著更復雜、更敏感的數(shù)據(jù)，這些數(shù)據(jù)會吸引更多的潛在攻擊者，成為更具吸引力的目標。另一方面，數(shù)據(jù)的大量聚集，使得黑客一次成功的攻擊能夠獲得更多的數(shù)據(jù)，無形中降低了黑客的進攻成本，增加了“收益率”。2.大數(shù)據(jù)加大隱私泄露風險。網(wǎng)絡空間中的數(shù)據(jù)來源涵蓋非常廣闊的范圍，例如傳感器、社交網(wǎng)絡、記錄存檔、電子郵件等，大量數(shù)據(jù)的聚集不可避免的加大了用戶隱私泄露的風險。一方面，大量的數(shù)據(jù)匯集，包括大量的企業(yè)運營數(shù)據(jù)、客戶信息、個人的隱私和各種行為的細節(jié)記錄。這些數(shù)據(jù)的集中存儲增加了數(shù)據(jù)泄露風險，而這些數(shù)據(jù)不被濫用，也成為人身安全的一部分。另一方面，一些敏感數(shù)據(jù)的所有權(quán)和使用權(quán)并沒有明確的界定，很多基于大數(shù)據(jù)的分析都未考慮到其中涉及到的個體隱私問題。3.大數(shù)據(jù)對現(xiàn)有的存儲和安防措施提出挑戰(zhàn)。大數(shù)據(jù)時代的數(shù)據(jù)存儲會帶來新的安全問題。數(shù)據(jù)大集中的后果是復雜多樣的數(shù)據(jù)存儲在一起，例如開發(fā)數(shù)據(jù)、客戶資料和經(jīng)營數(shù)據(jù)存儲在一起，可能會出現(xiàn)違規(guī)地將某些生產(chǎn)數(shù)據(jù)放在經(jīng)營數(shù)據(jù)存儲位置的情況，造成企業(yè)安全管理不合規(guī)。大數(shù)據(jù)的大小影響到安全控制措施能否正確運行，對于海量數(shù)據(jù)，常規(guī)的安全掃描手段需要耗費過多地時間，已經(jīng)無法滿足安全需求。安全防護手段的更新升級速度無法跟上數(shù)據(jù)量非線性增長的步伐，大數(shù)據(jù)安全防護存在漏洞。4.大數(shù)據(jù)技術(shù)被應用到攻擊手段中。在企業(yè)用數(shù)據(jù)挖掘和數(shù)據(jù)分析等大數(shù)據(jù)技術(shù)獲取商業(yè)價值的同時，黑客也正在利用這些大數(shù)據(jù)技術(shù)向企業(yè)發(fā)起攻擊。黑客最大限度地收集更多有用信息，比如社交網(wǎng)絡、郵件、微博、電子商務、電話和家庭住址等信息，為發(fā)起攻擊做準備，大數(shù)據(jù)分析讓黑客的攻擊更精準。此外，大數(shù)據(jù)為黑客發(fā)起攻擊提供了更多機會。黑客利用大數(shù)據(jù)發(fā)起僵尸網(wǎng)絡攻擊，可能會同時控制上百萬臺傀儡機并發(fā)起攻擊，這個數(shù)量級是傳統(tǒng)單點攻擊不具備的。5.大數(shù)據(jù)成為高級可持續(xù)攻擊的載體。黑客利用大數(shù)據(jù)將攻擊很好地隱藏起來，使傳統(tǒng)的防護策略難以檢測出來。傳統(tǒng)的檢測是基于單個時間點進行的基于威脅特征的實時匹配檢測，而高級可持續(xù)攻擊(APT)是一個實施過程，并不具有能夠被實時檢測出來的明顯特征，無法被實時檢測。同時，APT攻擊代碼隱藏在大量數(shù)據(jù)中，讓其很難被發(fā)現(xiàn)。此外，大數(shù)據(jù)的價值低密度性，讓安全分析工具很難聚焦在價值點上，黑客可以將攻擊隱藏在大數(shù)據(jù)中，給安全服務提供商的分析制造了很大困難。黑客設(shè)置的任何一個會誤導安全廠商目標信息提取和檢索的攻擊，都會導致安全監(jiān)測偏離應有的方向。大數(shù)據(jù)時代給予的啟示當前，我國正處在全面建成小康社會征程中，工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化任務很重，建設(shè)下一代信息基礎(chǔ)設(shè)施，發(fā)展現(xiàn)代信息技術(shù)產(chǎn)業(yè)體系，健全信息安全保障體系，推進信息網(wǎng)絡技術(shù)廣泛運用，是實現(xiàn)四化同步發(fā)展的保證。大數(shù)據(jù)分析對我們深刻領(lǐng)會世情和國情，把握規(guī)律，實現(xiàn)科學發(fā)展，做出科學決策具有重要意義，我們必須重新認識數(shù)據(jù)的重要價值。為了開發(fā)大數(shù)據(jù)這一金礦，我們要做的工作還很多。一、大數(shù)據(jù)分析需要有大數(shù)據(jù)的技術(shù)與產(chǎn)品支持發(fā)達國家一些信息技術(shù)(IT)企業(yè)已提前發(fā)力，通過加大開發(fā)力度和兼并等多種手段，努力向成為大數(shù)據(jù)解決方案提供商轉(zhuǎn)型。國外一些企業(yè)打出免費承接大數(shù)據(jù)分析的招牌，既是為了練兵，也是為了獲取情報。過分依賴國外的大數(shù)據(jù)分析技術(shù)與平臺，難以回避信息泄密風險。有些日常生活信息看似無關(guān)緊要，其實從中也可摸到國家經(jīng)濟和社會脈搏。因此，我們需要有自主可控的大數(shù)據(jù)技術(shù)與產(chǎn)品。美國政府2012年3月發(fā)布《大數(shù)據(jù)研究與發(fā)展倡議》，這是繼1993年宣布“信息高速公路”之后又一重大科技部署，聯(lián)邦政府和一些部委已安排資金用于大數(shù)據(jù)開發(fā)。我們與發(fā)達國家有不少差距，更需要國家政策支持。中國人口居世界首位，將會成為產(chǎn)生數(shù)據(jù)量最多的國家，但我們對數(shù)據(jù)保存不夠重視，對存儲數(shù)據(jù)的利用率也不高。此外，我國一些部門和機構(gòu)擁有大量數(shù)據(jù)卻不愿與其他部門共享，導致信息不完整或重復投資。政府應通過體制機制改革打破數(shù)據(jù)割據(jù)與封鎖，公開數(shù)據(jù)信息，重視數(shù)據(jù)挖掘和使用。美國聯(lián)邦政府建立統(tǒng)一數(shù)據(jù)開放門戶網(wǎng)站，為社會提供信息服務并鼓勵挖掘與利用。例如，提供各地天氣與航班延誤的關(guān)系，推動航空公司提升正點率。二、大數(shù)據(jù)的挖掘與利用應當有法可依去年底全國人大通過的加強網(wǎng)絡信息保護的決定是一個好的開始，當前要盡快制定“信息公開法”以適應大數(shù)據(jù)時代的到來?，F(xiàn)在很多機構(gòu)和企業(yè)擁有大量客戶信息。應當既鼓勵面向群體、服務社會的數(shù)據(jù)挖掘，又要防止侵犯個體隱私；既提倡數(shù)據(jù)共享，又要防止數(shù)據(jù)被濫用。此外，還需要界定數(shù)據(jù)挖掘、利用的權(quán)限和范圍。大數(shù)據(jù)系統(tǒng)本身的安全性也是值得特別關(guān)注的，要注意技術(shù)安全性和管理制度安全性并重，防止信息被損壞、篡改、泄露或被竊，保護公民和國家的信息安全。三、大數(shù)據(jù)時代呼喚創(chuàng)新型人才蓋特納咨詢公司預測大數(shù)據(jù)將為全球帶來440萬個IT新崗位和上千萬個非IT崗位。麥肯錫公司預測美國到2018年需要深度數(shù)據(jù)分析人才44萬—49萬，缺口14萬—19萬人；需要既熟悉本單位需求又了解大數(shù)據(jù)技術(shù)與應用的管理者150萬，這方面的人才缺口更大。中國是人才大國，但能理解與應用大數(shù)據(jù)的創(chuàng)新人才更是稀缺資源。大數(shù)據(jù)是新一代信息技術(shù)的集中反映，是一個應用驅(qū)動性很強的服務領(lǐng)域，是具有無窮潛力的新興產(chǎn)業(yè)領(lǐng)域；目前，其標準和產(chǎn)業(yè)格局尚未形成，這是我國實現(xiàn)跨越式發(fā)展的寶貴機會。我們要從戰(zhàn)略上重視大數(shù)據(jù)的開發(fā)利用，將它作為轉(zhuǎn)變經(jīng)濟增長方式的有效抓手，但要注意科學規(guī)劃，切忌一哄而上。四、大數(shù)據(jù)時代要注意保障大數(shù)據(jù)的信息安全1.重視大數(shù)據(jù)及其信息安全體系建設(shè)。大數(shù)據(jù)作為一個較新的概念，目前尚未直接以專有名詞被我國政府提出來給予政策支持。在工業(yè)和信息化部發(fā)布的物聯(lián)網(wǎng)“十二五”規(guī)劃上，把信息處理技術(shù)作為四項關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來，其中包括了海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、圖像視頻智能分析，這都是大數(shù)據(jù)的重要組成部分。在對大數(shù)據(jù)發(fā)展進行規(guī)劃的同時，必須明確信息安全在大數(shù)據(jù)發(fā)展中的重要地位。建議加大對大數(shù)據(jù)安全形勢的宣傳力度，明確大數(shù)據(jù)的重點保障對象，加強對敏感和要害數(shù)據(jù)的監(jiān)管，加快面向大數(shù)據(jù)的信息安全技術(shù)的研究，推動基于大數(shù)據(jù)的安全技術(shù)研發(fā)，培養(yǎng)大數(shù)據(jù)安全的專業(yè)人才，建立并完善大數(shù)據(jù)信息安全體系。2.加快大數(shù)據(jù)安全技術(shù)研發(fā)。傳統(tǒng)的信息安全技術(shù)不能完全照搬到新興的大數(shù)據(jù)領(lǐng)域，云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新技術(shù)的快速發(fā)展，為大數(shù)據(jù)的收集、處理和應用提出了新的安全挑戰(zhàn)。建議加大對大數(shù)據(jù)安全保障關(guān)鍵技術(shù)研發(fā)的資金投入，提高我國大數(shù)據(jù)安全技術(shù)產(chǎn)品水平。推動基于大數(shù)據(jù)的安全技術(shù)研發(fā)，研究基于大數(shù)據(jù)的網(wǎng)絡攻擊追蹤方法，搶占發(fā)展基于大數(shù)據(jù)的安全技術(shù)的先機。3.加強對重點領(lǐng)域敏感數(shù)據(jù)的監(jiān)管。海量數(shù)據(jù)的匯集加大了敏感數(shù)據(jù)暴露的可能性，對大數(shù)據(jù)的無序使用也增加了要害信息泄露的危險。在政府層面，建議明確重點領(lǐng)域數(shù)據(jù)庫的范圍，制定完善的重點領(lǐng)域數(shù)據(jù)庫管理和安全操作制度，加強對重點領(lǐng)域數(shù)據(jù)庫的日常監(jiān)管。在企業(yè)層面，建議加強企業(yè)內(nèi)部管理，制定設(shè)備特別是移動設(shè)備安全使用規(guī)程，規(guī)范大數(shù)據(jù)的使用方法和流程。4.運用大數(shù)據(jù)技術(shù)應對高級可持續(xù)攻擊。傳統(tǒng)安全防御措施很難檢測高級持續(xù)性攻擊，企業(yè)必須先確定正常、非惡意活動是什么樣子，才能盡早確定企業(yè)的網(wǎng)絡和數(shù)據(jù)是否受到了攻擊。安全廠商利用大數(shù)據(jù)技術(shù)對事件的模式、攻擊的模式、時間和空間上的特征進行處理，總結(jié)抽象出來一些模型，變成大數(shù)據(jù)安全工具。為了精準地描述威脅特征，建模的過程可能耗費幾個月甚至幾年時間，企業(yè)需要耗費大量人力、物力、財力成本，才能達到目的。建議整合大數(shù)據(jù)處理資源，協(xié)調(diào)大數(shù)據(jù)處理和分析機制，推動重點數(shù)據(jù)庫之間的數(shù)據(jù)共享，加快對高級可持續(xù)攻擊的建模進程，消除和控制高級可持續(xù)攻擊的危害。應對大數(shù)據(jù)時代的財稅改革取向現(xiàn)代歷史上的歷次技術(shù)革命，中國均是學習者。而在這次云計算與大數(shù)據(jù)的新變革中，中國與世界的距離最小，在很多領(lǐng)域甚至還有著創(chuàng)新與領(lǐng)先的可能。只要我們以開放的心態(tài)、創(chuàng)新的勇氣擁抱“大數(shù)據(jù)時代”，就一定會抓住歷史賦予中國創(chuàng)新的機會。特別地，在大數(shù)據(jù)時代，財稅改革應以財政大數(shù)據(jù)戰(zhàn)略為導向，注重數(shù)據(jù)的收集、使用和數(shù)據(jù)的公開，構(gòu)建公開透明的財稅制度。一、以財政大數(shù)據(jù)戰(zhàn)略為導向隨著我國財稅管理改革的不斷深入、信息系統(tǒng)不斷增加以及系統(tǒng)應用時間越來越長，各財稅單位所積累的數(shù)據(jù)的量正在呈幾何級數(shù)增長。與此同時，隨著財政管理和稅收征管改革的不斷深入，提升服務和科學化精細化管理的內(nèi)在需求對信息化的要求也上升了一個層次。財稅信息化不僅要支撐傳統(tǒng)業(yè)務正常運作，還要通過業(yè)務分析，揭示隱藏在數(shù)據(jù)背后的財稅業(yè)務發(fā)展規(guī)律，并通過科技創(chuàng)新，引領(lǐng)和推動業(yè)務模式的創(chuàng)新和變革，這也要求財稅信息化建設(shè)回歸到其核心價值——對信息的分析和利用上來，即構(gòu)建大數(shù)據(jù)戰(zhàn)略。與此同時，在互聯(lián)網(wǎng)日益發(fā)達、信息處理技術(shù)日新月異的大數(shù)據(jù)時代，財政大數(shù)據(jù)戰(zhàn)略——堅持用數(shù)據(jù)說話、用數(shù)據(jù)改進管理、用數(shù)據(jù)推動創(chuàng)新，提高工作的針對性和有效性，不斷提高財政收入、改進財政支出、提升財政工作水平，使政府運行更有效率、決策更為科學——的構(gòu)想已經(jīng)具有了技術(shù)上的可行性。所以，財稅部門應該盡早確立財政大數(shù)據(jù)戰(zhàn)略的意識。二、注重數(shù)據(jù)的收集、使用和公開“大數(shù)據(jù)戰(zhàn)略”發(fā)展的障礙，關(guān)鍵在于數(shù)據(jù)的“流動性”和“可獲取性”。美國政府創(chuàng)建了D網(wǎng)站，為大數(shù)據(jù)敞開了大門；英國政府和印度政府也有“數(shù)據(jù)公開”運動。中國財政系統(tǒng)要趕上這樣一場大數(shù)據(jù)變革，構(gòu)建財稅大數(shù)據(jù)戰(zhàn)略，收集數(shù)據(jù)、使用數(shù)據(jù)和公開數(shù)據(jù)是關(guān)鍵。今天的中國，是一個人口大國、互聯(lián)網(wǎng)大國、手機大國，但卻恰恰還不是一個數(shù)據(jù)大國。2011年，麥肯錫公司以2010年度各國新增的存儲器為基準，對全世界大數(shù)據(jù)的分布作了一個研究和統(tǒng)計，中國2010年新增的數(shù)據(jù)量約為250拍，不及日本的400拍、歐洲的2000拍，和美國的3500拍相比，更是連十分之一都不到。究其原因，中國缺乏的不是可供收集的數(shù)據(jù)，也不是收集數(shù)據(jù)的手段，而是收集數(shù)據(jù)的意識。國內(nèi)外的研究表明，國人歷來數(shù)據(jù)意識淡薄。華人歷史學家黃仁宇總結(jié)說：“中國過去百多年來的動亂，并不是所謂道德不良，人心不古，也不全是軍人專橫，政客搗亂，人民流離”，而是因為中國未能像西方那樣實行“數(shù)目字管理”的現(xiàn)代治國手段。他