讀徐子沛《大數(shù)據(jù)》有感

讀徐子沛《大數(shù)據(jù)》有感如果要問當(dāng)今什么技術(shù)最為火熱，我想毫無(wú)疑問大數(shù)據(jù)必然是熱門答案之一。那么什么是大數(shù)據(jù)呢？大數(shù)據(jù)（bigdata），指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。（摘自百度百科）大數(shù)據(jù)之所以產(chǎn)生，是因?yàn)榻裉鞜o(wú)處不在的傳感器和微處理器。我們正在邁進(jìn)普適計(jì)算的時(shí)代。數(shù)據(jù)正在里指數(shù)級(jí)增長(zhǎng)。之所以增長(zhǎng)速度如此之快，背后有許多原因?，F(xiàn)在幾乎所有數(shù)據(jù)的產(chǎn)生形式，都是數(shù)字化的。各種傳感器的劇增，高清晰度的圖像和視頻，都是數(shù)據(jù)爆炸的原因。如何處理這樣海量的數(shù)據(jù)，并且從其中挖掘出有價(jià)值的內(nèi)容是擺在科技公司和政府面前的一道難題。任何一個(gè)組織，要抓住大數(shù)據(jù)的機(jī)遇，就必須做好幾個(gè)方面的工作。從技術(shù)角度來看，首先要收集并且開發(fā)特定的工具，來管理大規(guī)模并行服務(wù)器產(chǎn)生的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)，可能是自己專有的，也可能來源于〃云〃。其次，每一個(gè)組織都需要選定分析軟件，用它來挖掘數(shù)據(jù)的意義。但可能最重要的是，任何組織都需要人才來管理和分析大數(shù)據(jù)。這些人被稱為〃數(shù)據(jù)科學(xué)家他們集黑客和定量分析員的優(yōu)勢(shì)和特長(zhǎng)于一身，非常短缺。聰明的領(lǐng)導(dǎo)人，將想方設(shè)法留住這類人才。與此同時(shí)大量的基礎(chǔ)設(shè)施建設(shè)一樣重要，且不提大數(shù)據(jù)的處理需要大量高性能的計(jì)算機(jī)，光是儲(chǔ)存這些數(shù)據(jù)就需要極為大量的存儲(chǔ)設(shè)備，所以基建也是極為重要的一個(gè)環(huán)節(jié)。在徐子沛老師的《大數(shù)據(jù)》一書中從美國(guó)政府的角度作為切入點(diǎn)，通過一系列實(shí)例深入分析了大數(shù)據(jù)的政府運(yùn)作、實(shí)踐成果。書中首先提到了奧巴馬政府倡導(dǎo)信息公開透明，在上任之初便大力推行信息的公開化和透明化。信息之與民主，就如貨幣之于經(jīng)濟(jì)。受美國(guó)國(guó)家文化影響，美國(guó)人民對(duì)于信息的知情權(quán)的重視程度幾近對(duì)于槍支自由的執(zhí)著。在2010年的＜＜規(guī)劃數(shù)字化的未來:美國(guó)總統(tǒng)科學(xué)技術(shù)顧問委員會(huì)給總統(tǒng)和國(guó)會(huì)的報(bào)告》中提到：如何收集、管理和分析數(shù)據(jù)正在日漸成為我們網(wǎng)絡(luò)信息技術(shù)研究的重中之重。以機(jī)器學(xué)習(xí)，數(shù)據(jù)挖掘?yàn)榛A(chǔ)的高級(jí)數(shù)據(jù)分析技術(shù)，將促進(jìn)從數(shù)據(jù)到知識(shí)的轉(zhuǎn)化、從知識(shí)到行動(dòng)的跨越。聯(lián)邦政府的每一個(gè)機(jī)構(gòu)和部門，都需要制定一個(gè)應(yīng)對(duì)〃大數(shù)據(jù)〃（BigData）的戰(zhàn)略。對(duì)于具體如何處理數(shù)據(jù)方面而言，必然離不開兩個(gè)方面，一個(gè)是數(shù)據(jù)本身，另一個(gè)則是處理這些紛雜數(shù)據(jù)的程序。程序和數(shù)據(jù)的關(guān)系，就好像發(fā)動(dòng)機(jī)和燃料，所有的程序，都是靠數(shù)據(jù)驅(qū)動(dòng)的；數(shù)據(jù)之于程序，又好比血液之于人體，一旦血液停止流動(dòng)，人就失去了生命，代碼也將停止運(yùn)行。數(shù)據(jù)的生命力，甚至比程序更持久。程序可以不停地升級(jí)、換代甚至退出使用，但保存數(shù)據(jù)的數(shù)據(jù)庫(kù)卻會(huì)繼續(xù)存在，其價(jià)值很可能與日俱增、歷久彌新。書中提到一個(gè)非常有意思的例子：勞工統(tǒng)計(jì)局在1997年開展的青少年縱向調(diào)查。它眼蹤調(diào)查的對(duì)象雖然是青少年本身，但受訪人、問卷人卻可以是家長(zhǎng)、老師、雇主等等和該青少年密切相關(guān)的個(gè)人和群體，每次問卷都有數(shù)十個(gè)問題，需要受訪人1小時(shí)左右才能完成。因?yàn)楦冻隽藭r(shí)間，受訪人在完成問卷之后，能獲得8到20美元不等的報(bào)酬。同樣的問題，也可能在不同的年份、在相同受訪人員的問卷中重復(fù)出現(xiàn)，以測(cè)試受訪人態(tài)度的變化。隨著數(shù)據(jù)的積累，一幅以個(gè)人成長(zhǎng)為中心、越來越大的社會(huì)畫卷也開始展開。這種以一個(gè)國(guó)家為單位的大型社會(huì)調(diào)查，是研究一個(gè)社會(huì)長(zhǎng)期變遷不可或缺的重要資源，也為政策的制定、調(diào)整和評(píng)價(jià)提供了重要的參考和依據(jù)。這些原始的數(shù)據(jù)積累，不但在時(shí)間的橫向上具有相當(dāng)高的參考價(jià)值，在個(gè)人為背景的縱向上也可以一定程度上展示社會(huì)的經(jīng)濟(jì)，教育等方面的長(zhǎng)期變遷。通過不同的數(shù)據(jù)組合對(duì)比可以得出多樣化，多層次，多角度的綜合結(jié)論，這對(duì)于政府在政策制定和規(guī)劃上有著極為重要的促進(jìn)作用。僅僅在2000年的時(shí)候，全世界全部的存儲(chǔ)信息中還只有1/4是數(shù)字化的，其余的都保存在紙張、膠片和其他模擬介質(zhì)上。但是由于數(shù)字?jǐn)?shù)據(jù)數(shù)量的增長(zhǎng)十分迅速一一幾乎每三年就翻一番，這種情形很快發(fā)生了逆轉(zhuǎn)。今天，在所有存儲(chǔ)信息中只有不到2%是非數(shù)字化的?？梢杂脭?shù)據(jù)爆炸來形容目前的數(shù)據(jù)增長(zhǎng)情況。數(shù)據(jù)爆炸體現(xiàn)在三個(gè)方面：一是同一類型的數(shù)據(jù)量在快速增大；二是數(shù)據(jù)增長(zhǎng)的速度在加快；三是數(shù)據(jù)的多樣性，即新的數(shù)據(jù)來源和新的數(shù)據(jù)種類在不斷增加。對(duì)于爆炸的數(shù)據(jù)急需國(guó)家層面出臺(tái)相關(guān)政策引導(dǎo)發(fā)展已經(jīng)成為共識(shí)。大數(shù)據(jù)已經(jīng)成為國(guó)家和政府層面的發(fā)展戰(zhàn)略，通過大數(shù)據(jù)的交換、整合、分析和使用，人類可以發(fā)現(xiàn)新的知識(shí)和規(guī)律，創(chuàng)造新的價(jià)值和內(nèi)容，帶來“大知識(shí)”、“大科技”、“大利潤(rùn)”和“大發(fā)展”。愛德華?戴明是享有世界聲譽(yù)的美國(guó)統(tǒng)計(jì)學(xué)家、管理學(xué)家，也是質(zhì)量管理理論的奠基人。曾為日本的經(jīng)濟(jì)崛起立下了豐功偉績(jī)。他有一句名言說:〃我們信靠上帝。除了上帝，任何人都必須用數(shù)據(jù)來說話?！S著大數(shù)據(jù)時(shí)代的不斷深入，各個(gè)政府部門都在嘗試〃用數(shù)據(jù)來決策〃、〃用數(shù)據(jù)來管理〃、〃用數(shù)據(jù)來創(chuàng)新”。最直接的成果是：通過數(shù)據(jù)的分析、收集以及發(fā)布，美國(guó)建立起了一套高效的交通安全系統(tǒng)，最直接的結(jié)果就是：從1966年美國(guó)僅有1.01億注冊(cè)駕駛員、0.94億機(jī)動(dòng)車輛到2009年，駕駛員上升到2.1億，機(jī)動(dòng)車量增加到2.46億，人口和車輛的數(shù)量、密度都成倍增長(zhǎng)，車輛的使用頻率也大幅增加，但交通事故的死亡人數(shù)卻不升反降，而且幅度顯著：由5萬(wàn)多人下降到3萬(wàn)多人。與此同時(shí)，大數(shù)據(jù)的應(yīng)用，不僅僅是在交通方面大展拳腳，在數(shù)據(jù)打假，醫(yī)療統(tǒng)計(jì)，治安管理，商務(wù)智能，數(shù)據(jù)倉(cāng)庫(kù)上也頗有效果。以數(shù)據(jù)倉(cāng)庫(kù)為例，數(shù)據(jù)倉(cāng)庫(kù)是商務(wù)智能的依托，是對(duì)海量數(shù)據(jù)進(jìn)行分析的核心物理構(gòu)架。它可以形象地理解為一種格式一致的多源數(shù)據(jù)存儲(chǔ)中心，數(shù)據(jù)源可以來自多個(gè)不同的系統(tǒng)，如企業(yè)內(nèi)部的財(cái)務(wù)系統(tǒng)、客戶管理系統(tǒng)、人力資源系統(tǒng)，甚至是企業(yè)外部的系統(tǒng)；這些系統(tǒng)，即使運(yùn)行的平臺(tái)不同、編制的語(yǔ)言不同、所處的物理位置不同，但其數(shù)據(jù)可以按統(tǒng)一定義的格式被提取出來，再通過清洗、轉(zhuǎn)換、集成，最后百流歸海，加載進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)。使用數(shù)據(jù)倉(cāng)庫(kù)對(duì)于企業(yè)、政府來說每年節(jié)省的經(jīng)費(fèi)都是上千萬(wàn)、上億級(jí)別的。然而，雖然大數(shù)據(jù)的廣泛研究與應(yīng)用有著無(wú)可比擬的優(yōu)勢(shì)，但是一個(gè)硬幣必然有兩面。相信、使用數(shù)據(jù)已經(jīng)成為聯(lián)邦政府（美國(guó)）的共識(shí)，在一些法則和制度之下，美國(guó)將這些數(shù)據(jù)行之有效地利用起來。然而所有事情必然有其兩面性，數(shù)據(jù)被廣泛利用所帶來的負(fù)面影響：《數(shù)據(jù)質(zhì)量法》被不法分子濫用，被商業(yè)公司用作保障利益的工具。同樣的問題也體現(xiàn)在個(gè)人隱私問題上。911事件發(fā)生前，美國(guó)民眾對(duì)政府侵犯隱私極為敏感，一戰(zhàn)之后政府曾多次提出制定公民身份識(shí)別系統(tǒng)，除一戰(zhàn)爆發(fā)、珍珠港事件爆發(fā)后的短期內(nèi)，民眾予以支持外，其他時(shí)間均受到民眾極力地反對(duì)，僅通過了戰(zhàn)時(shí)對(duì)個(gè)別族裔、外國(guó)人身份的監(jiān)管方案。然而在911事件發(fā)生后，布什政府于2001年9月24日向國(guó)會(huì)提交《愛國(guó)者法案》，該法案要求限制公眾獲取政府信息的廣度，提高政府控制、檢查個(gè)人信息的范圍。該法案的通過使得警察、情報(bào)機(jī)關(guān)有權(quán)在未經(jīng)法院許可的情況下竊聽公民電話、檢查公民電子郵件、財(cái)務(wù)信息甚至圖書館借閱紀(jì)錄。2002年11月，《2002國(guó)土安全法》通過，該法案中重新提出了中央數(shù)據(jù)銀行計(jì)劃一一萬(wàn)維信息觸角計(jì)劃，為執(zhí)行該法案，首期撥款2億美元，并設(shè)立了專門的機(jī)構(gòu)負(fù)責(zé)實(shí)施。此后該系統(tǒng)常被濫用于非反恐事項(xiàng)，累計(jì)90余名警察因此被捕。2003年2月23日，國(guó)會(huì)對(duì)年度撥款進(jìn)行投票，一名參議院要求國(guó)防部、國(guó)家安全局、司法部對(duì)該項(xiàng)目進(jìn)行調(diào)查并提交聯(lián)合調(diào)查報(bào)告，否則終止對(duì)該項(xiàng)目的撥款。期間美國(guó)公民自由聯(lián)盟ACLU公布獨(dú)立調(diào)查報(bào)告稱：911的發(fā)生，并非政府缺乏信息，而是政府部門間信息溝通不暢，對(duì)情報(bào)的分析能力不強(qiáng)。2003年8月，國(guó)會(huì)通過新法案，終止該項(xiàng)目的開發(fā)，還規(guī)定沒有國(guó)會(huì)授權(quán)，不得對(duì)美國(guó)公民的數(shù)據(jù)進(jìn)行挖掘，只能使用外國(guó)人的數(shù)據(jù)和信息。在中央數(shù)據(jù)銀行的問題上分為鮮明的兩派，一派支持對(duì)建立中央數(shù)據(jù)銀行，認(rèn)為統(tǒng)一管理數(shù)據(jù)不僅能節(jié)省運(yùn)營(yíng)成本、提高數(shù)據(jù)的準(zhǔn)確性和查詢的效率，還將更好地保障數(shù)據(jù)安全；二另一派則強(qiáng)烈反對(duì)數(shù)據(jù)銀行，正如《紐約時(shí)報(bào)》著名記者者、隱私權(quán)專家帕卡德(VancePackard)的文章《不能告訴計(jì)算機(jī)))，他寫道："當(dāng)政府把我們每一個(gè)人