論大數(shù)據(jù)的價值

伴隨科學技術快速發(fā)展，人類開始進入大數(shù)據(jù)時代，云計算、大數(shù)據(jù)、移動互聯(lián)網(wǎng)已成為時代三大主題，正在推進這新經(jīng)濟時代發(fā)展。在科學領域、競技領域及社會生活方方面面，展現(xiàn)出海量數(shù)據(jù)特征，在還來那個數(shù)據(jù)中蘊含著人類各種行為、心里信息，如認真挖掘加以科學分析利用，將對創(chuàng)造思維、創(chuàng)新模式、產(chǎn)品個性化及管理決議等等都具備極高社會價值。大數(shù)據(jù)已被譽為二十一世紀發(fā)展創(chuàng)造新動力。怎樣有效應用大數(shù)據(jù)、云計算等新信息技術，創(chuàng)造價值和財富，創(chuàng)造未來，是我們面臨巨大機遇和挑戰(zhàn)。為了順應時代發(fā)展，滿足社會對大數(shù)據(jù)人才熱切需求，山西維信科技有限企業(yè)結合本身一流科研和技術優(yōu)勢，特開設了“大數(shù)據(jù)”專業(yè)課程研修班，同時也是山西第一家大數(shù)據(jù)實訓企業(yè)。意在培養(yǎng)具備寬廣專業(yè)知識和扎實大數(shù)據(jù)處理能力及管理大數(shù)據(jù)能力高級復合型人才，愈加好回報社會和服務社會。加入維信科技有三大好處：一、能夠去互聯(lián)網(wǎng)企業(yè)做關鍵開發(fā)，二、能夠自己創(chuàng)業(yè)從事大數(shù)據(jù)關鍵開發(fā)，三、以架構級程序員職位入職企業(yè)認識大數(shù)據(jù)首先，大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段一個表象或特征。在以云計算為代表技術創(chuàng)新大幕襯托下，這些原本極難搜集和使用數(shù)據(jù)開始輕易被利用起來了，經(jīng)過各行各業(yè)不停創(chuàng)新，大數(shù)據(jù)會逐步為人類創(chuàng)造更多價值。其次，想要系統(tǒng)認知大數(shù)據(jù)，必須要全方面而細致分解它，從三個層面來展開：第一層面是理論，理論是認知必經(jīng)路徑，也是被廣泛認同和傳輸基線。我會從大數(shù)據(jù)特征定義了解行業(yè)對大數(shù)據(jù)整體描繪和定性；從對大數(shù)據(jù)價值探討來深入解析大數(shù)據(jù)寶貴所在；從對大數(shù)據(jù)現(xiàn)在和未來去洞悉大數(shù)據(jù)發(fā)展趨勢；從大數(shù)據(jù)隱私這個尤其而主要視角審閱人和數(shù)據(jù)之間長久博弈。第二層面是技術，技術是大數(shù)據(jù)價值表現(xiàn)伎倆和前進基石。我將分別從云計算、分布式處理技術、存放技術和感知技術發(fā)展來說明大數(shù)據(jù)從采集、處理、存放到形成結果整個過程。第三層面是實踐，實踐是大數(shù)據(jù)最終價值表現(xiàn)。我將分別從互聯(lián)網(wǎng)大數(shù)據(jù)，政府大數(shù)據(jù)，企業(yè)大數(shù)據(jù)和個人大數(shù)據(jù)四個方面來描繪大數(shù)據(jù)已經(jīng)展現(xiàn)美好景象及即將實現(xiàn)藍圖。和大數(shù)據(jù)相關理論特征定義最早提出大數(shù)據(jù)時代到來是麥肯錫：“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域，成為主要生產(chǎn)原因。人們對于海量數(shù)據(jù)挖掘和利用，預示著新一波生產(chǎn)率增加和消費者盈余浪潮到來?！睒I(yè)界（IBM最早定義）將大數(shù)據(jù)特征歸納為4個“V”（量Volume，多樣Variety，價值Value，速Velocity），或者說特點有四個層面：第一，數(shù)據(jù)體量巨大。大數(shù)據(jù)起始計量單位最少是P（1000個T）、E（100萬個T）或Z（10億個T）；第二，數(shù)據(jù)類型繁多。比如，網(wǎng)絡日志、視頻、圖片、地理位置信息等等。第三，價值密度低，商業(yè)價值高。第四，處理速度快。最終這一點也是和傳統(tǒng)數(shù)據(jù)挖掘技術有著本質(zhì)不一樣。其實這些V并不能真正說清楚大數(shù)據(jù)全部特征，下面這張圖對大數(shù)據(jù)一些相關特征做出了有效說明。古語云：三分技術，七分數(shù)據(jù)，得數(shù)據(jù)者得天下。先不論誰說，不過這句話正確性已經(jīng)不用去論證了。維克托·邁爾-舍恩伯格在《大數(shù)據(jù)時代》一書中舉了百般例證，都是為了說明一個道理：在大數(shù)據(jù)時代已經(jīng)到來時候要用大數(shù)據(jù)思維去發(fā)掘大數(shù)據(jù)潛在價值。書中，作者提及最多是谷歌怎樣利用人們搜索統(tǒng)計挖掘數(shù)據(jù)二次利用價值，比如預測某地流感暴發(fā)趨勢；Amazon怎樣利用用戶購置和瀏覽歷史數(shù)據(jù)進行有針對性書籍購置推薦，以此有效提升銷售量；Farecast怎樣利用過去十年全部航線機票價格打折數(shù)據(jù)，來預測用戶購置機票時機是否適宜。那么，什么是大數(shù)據(jù)思維？維克托·邁爾-舍恩伯格認為，1-需要全部數(shù)據(jù)樣本而不是抽樣；2-關注效率而不是精準度；3-關注相關性而不是因果關系。阿里巴巴王堅對于大數(shù)據(jù)也有一些獨特看法，比如，“今天數(shù)據(jù)不是大，真正有意思是數(shù)據(jù)變得在線了，這個恰恰是互聯(lián)網(wǎng)特點?！薄胺腔ヂ?lián)網(wǎng)時期產(chǎn)品，功效一定是它價值，今天互聯(lián)網(wǎng)產(chǎn)品，數(shù)據(jù)一定是它價值?！薄澳闱f不要想著拿數(shù)據(jù)去改進一個業(yè)務，這不是大數(shù)據(jù)。你一定是去做了一件以前做不了事情?！庇绕涫亲罱K一點，我是非常認同，大數(shù)據(jù)真正價值在于創(chuàng)造，在于填補無數(shù)個還未實現(xiàn)過空白。有些人把數(shù)據(jù)比喻為蘊藏能量煤礦。煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦挖掘成本又不一樣。與這類似，大數(shù)據(jù)并不在“大”，而在于“有用”。價值含量、挖掘成本比數(shù)量更為主要。價值探討大數(shù)據(jù)是什么？投資者眼里是金光閃閃兩個字：資產(chǎn)。比如，F(xiàn)acebook上市時，評定機構評定有效資產(chǎn)中大部分都是其社交網(wǎng)站上數(shù)據(jù)。假如把大數(shù)據(jù)比作一個產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利關鍵，在于提升對數(shù)據(jù)“加工能力”，經(jīng)過“加工”實現(xiàn)數(shù)據(jù)“增值”。Target超市以20多個懷孕期間孕婦可能會購置商品為基礎，將全部用戶購置統(tǒng)計作為數(shù)據(jù)起源，經(jīng)過構建模型分析購置者行為相關性，能準確推斷出孕婦詳細臨盆時間，這么Target銷售部門就能夠有針正確在每個懷孕用戶不一樣階段寄送對應產(chǎn)品優(yōu)惠卷。Target例子是一個很經(jīng)典案例，這么印證了維克托·邁爾-舍恩伯格提過一個很有指導意義觀點：經(jīng)過找出一個關聯(lián)物并監(jiān)控它，就能夠預測未來。Target經(jīng)過監(jiān)測購置者購置商品時間和品種來準確預測用戶孕期，這就是對數(shù)據(jù)二次利用經(jīng)典案例。假如，我們經(jīng)過采集駕駛員手機GPS數(shù)據(jù)，就能夠分析出當前哪些道路正在堵車，并能夠及時公布道路交通提醒；經(jīng)過采集汽車GPS位置數(shù)據(jù)，就能夠分析城市哪些區(qū)域停車較多，這也代表該區(qū)域有著較為活躍人群，這些分析數(shù)據(jù)適合賣給廣告投放商。不論大數(shù)據(jù)關鍵價值是不是預測，不過基于大數(shù)據(jù)形成決議模式已經(jīng)為不少企業(yè)帶來了盈利和聲譽。從大數(shù)據(jù)價值鏈條來分析，存在三種模式：1-手握大數(shù)據(jù)，不過沒有利用好；比較經(jīng)典是金融機構，電信行業(yè)，政府機構等。2-沒有數(shù)據(jù)，不過知道怎樣幫助有數(shù)據(jù)人利用它；比較經(jīng)典是IT咨詢和服務企業(yè)，比如，埃森哲，IBM，Oracle等。3-現(xiàn)有數(shù)據(jù)，又有大數(shù)據(jù)思維；比較經(jīng)典是谷歌，Amazon，Mastercard等。未來在大數(shù)據(jù)領域最具備價值是兩種事物：1-擁有大數(shù)據(jù)思維人，這種人能夠?qū)⒋髷?shù)據(jù)潛在價值轉化為實際利益；2-還未有被大數(shù)據(jù)觸及過業(yè)務領域。這些是還未被挖掘油井，金礦，是所謂藍海。Wal-Mart作為零售行業(yè)巨頭，他們分析人員會對每個階段銷售統(tǒng)計進行了全方面分析，有一次他們無意中發(fā)覺雖不相關但很有價值數(shù)據(jù)，在美國颶風降臨季節(jié)，超市蛋撻和抵抗颶風物品竟然銷量都有大幅增加，于是他們做了一個明智決議，就是將蛋撻銷售位置移到了颶風物品銷售區(qū)域旁邊，看起來是為了方便用戶挑選，不過沒有想到蛋撻銷量所以又提升了很多。還有一個有趣例子，1948年遼沈戰(zhàn)役期間，司令員林彪要求天天要進行例?！懊咳哲娗閰R報”，由值班參謀讀出下屬各個縱隊、師、團用電臺匯報當日戰(zhàn)況和繳獲情況。那幾乎是重復著千篇一律枯燥無味數(shù)據(jù)：每支部隊殲敵多少、俘虜多少;繳獲火炮、車輛多少，槍支、物資多少……有一天，參謀照例匯報當日戰(zhàn)況，林彪突然打斷他：“剛才念在胡家窩棚那個戰(zhàn)斗繳獲，你們聽到了嗎?”大家都很茫然，因為如此戰(zhàn)斗天天都有幾十起，不都是差不多一模一樣枯燥數(shù)字嗎?林彪掃視一周，見無人回答，便接連問了三句：“為何那里繳獲短槍與長槍百分比比其它戰(zhàn)斗略高?”“為何那里繳獲和擊毀小車與大車百分比比其它戰(zhàn)斗略高?”“為何在那里俘虜和擊斃軍官與士兵百分比比其它戰(zhàn)斗略高?”林彪司令員大步走向掛滿軍用地圖墻壁，指著地圖上那個點說：“我猜測，不，我斷定!敵人指揮所就在這里!”果然，部隊很快就抓住了敵方指揮官廖耀湘，并取得這場主要戰(zhàn)役勝利。這些例子真實反應在各行各業(yè)，探求數(shù)據(jù)價值取決于把握數(shù)據(jù)人，關鍵是人數(shù)據(jù)思維；與其說是大數(shù)據(jù)創(chuàng)造了價值，不如說是大數(shù)據(jù)思維觸發(fā)了新價值增加?，F(xiàn)在和未來我們先看看大數(shù)據(jù)在當下有怎樣出色表現(xiàn)：大數(shù)據(jù)幫助政府實現(xiàn)市場經(jīng)濟調(diào)控、公共衛(wèi)生安全防范、災難預警、社會輿論監(jiān)督；大數(shù)據(jù)幫助城市預防犯罪，實現(xiàn)智慧交通，提升緊急應急能力；大數(shù)據(jù)幫助醫(yī)療機構建立患者疾病風險跟蹤機制，幫助醫(yī)藥企業(yè)提升藥品臨床使用效果，幫助艾滋病研究機構為患者提供定制藥品；大數(shù)據(jù)幫助航空企業(yè)節(jié)約運行成本，幫助電信企業(yè)實現(xiàn)售后服務質(zhì)量提升，幫助保險企業(yè)識別欺詐騙保行為，幫助快遞企業(yè)監(jiān)測分析運輸車輛故障險情以提前預警維修，幫助電力企業(yè)有效識別預警即將發(fā)生故障設備；大數(shù)據(jù)幫助電商企業(yè)向用戶推薦商品和服務，幫助旅游網(wǎng)站為旅游者提供心儀旅游路線，幫助二手市場買賣雙方找到最適宜交易目標，幫助用戶找到最適宜商品購置時期、商家和最優(yōu)惠價格；大數(shù)據(jù)幫助企業(yè)提升營銷針對性，降低物流和庫存成本，降低投資風險，以及幫助企業(yè)提升廣告投放精準度；大數(shù)據(jù)幫助娛樂行業(yè)預測歌手，歌曲，電影，電視劇受歡迎程度，并為投資者分析評定拍一部電影需要投入多少錢才最適宜，不然就有可能收不回成本；大數(shù)據(jù)幫助社交網(wǎng)站提供更準確摯友推薦，為用戶提供更精準企業(yè)招聘信息，向用戶推薦可能喜歡游戲以及適合購置商品。其實，這些還遠遠不夠，未來大數(shù)據(jù)身影應該無處不在，就算無法準確預測大數(shù)據(jù)終會將人類社會帶往到哪種最終形態(tài)，但我相信只要發(fā)展腳步在繼續(xù)，因大數(shù)據(jù)而產(chǎn)生變革浪潮將很快淹沒地球每一個角落。比如，Amazon最終期望是：“最成功書籍推薦應該只有一本書，就是用戶要買下一本書?！惫雀枰蚕Ｍ斢脩粼谒阉鲿r，最好體驗是搜索結果只包含用戶所需要內(nèi)容，而這并不需要用戶給予谷歌太多提醒。而當物聯(lián)網(wǎng)發(fā)展抵達一定規(guī)模時，借助條形碼、二維碼、RFID等能夠唯一標識產(chǎn)品，傳感器、可穿戴設備、智能感知、視頻采集、增強現(xiàn)實等技術可實現(xiàn)實時信息采集和分析，這些數(shù)據(jù)能夠支撐智慧城市，智慧交通，智慧能源，智慧醫(yī)療，智慧環(huán)境保護理念需要，這些都所謂智慧將是大數(shù)據(jù)采集數(shù)據(jù)起源和服務范圍。未來大數(shù)據(jù)除了將愈加好處理社會問題，商業(yè)營銷問題，科學技術問題，還有一個可預見趨勢是以人為本大數(shù)據(jù)方針。人才是地球主宰，大部分數(shù)據(jù)都與人類關于，要經(jīng)過大數(shù)據(jù)處理人問題。比如，建立個人數(shù)據(jù)中心，將每個人日常生活習慣，身體體征，社會網(wǎng)絡，知識能力，興趣性情，疾病癖好，情緒波動……換言之就是統(tǒng)計人從出生那一刻起每一分每一秒，將除了思維外一切都儲存下來，這些數(shù)據(jù)能夠被充分利用：醫(yī)療機構將實時監(jiān)測用戶身體健康情況；教育機構更有針正確制訂用戶喜歡教育培訓計劃；服務行業(yè)為用戶提供即時健康符適用戶生活習慣食物和其它服務；社交網(wǎng)絡能為你提供適宜交友對象，并為志同道合人群組織各種聚會活動；政府能在用戶心理健康出現(xiàn)問題時有效干預，防范自殺，刑事案件發(fā)生；金融機構能幫助用戶進行有效理財管理，為用戶資金提供更有效使用提議和規(guī)劃；道路交通、汽車租賃及運輸行業(yè)能夠為用戶提供更適宜出行線路和路途服務安排；……當然，上面一切看起來都很美好，不過否是以犧牲了用戶自由為前提呢？只能說當新鮮事物帶來了革新同時也一樣帶來了“病菌”。比如，在手機未普及前，大家喜歡聚在一起聊天，自從手機普及后尤其是有了互聯(lián)網(wǎng)，大家不用聚在一起也能夠隨時隨地聊天，只是“病菌”滋生了另外一個情形，大家慢慢習慣了和手機共渡時光，人與人之間情感交流好像永遠隔著一張“網(wǎng)”。大數(shù)據(jù)隱私你或許并不敏感，當你在不一樣網(wǎng)站上注冊了個人信息后，可能這些信息已經(jīng)被擴散出去了，當你莫名其妙接到各種郵件，電話，短信滋擾時，你不會想到自己電話號碼，郵箱，生日，購置統(tǒng)計，收入水平，家庭住址，親朋摯友等私人信息早就被各種商業(yè)機構非法存放或賤賣給其它任何有需要企業(yè)或個人了。更可怕是，這些信息你永遠無法刪除，它們永遠存在于互聯(lián)網(wǎng)一些你不知道角落。除非你更換掉自己全部信息，不過這代價太大了。用戶隱私問題一直是大數(shù)據(jù)應用難以繞開一個問題，如被中央電視臺曝光過分眾無線、羅維鄧白氏以及網(wǎng)易郵箱都包括侵犯用戶隱私?，F(xiàn)在，中國并沒有專門法律法規(guī)來界定用戶隱私，處理相關問題時多采取其余相關法規(guī)條例來解釋。但伴隨民眾隱私意識日益增強，正當合規(guī)地獲取數(shù)據(jù)、分析數(shù)據(jù)和應用數(shù)據(jù)，是進行大數(shù)據(jù)分析時必須遵照標準。說到隱私被侵犯，愛德華?斯諾登應該占據(jù)一席之地，這位前美國中央情報局（CIA）雇員一手引爆了美國“棱鏡計劃”（PRISM）內(nèi)幕消息?！袄忡R”項目是一項由美國國家安全局（NSA）自起開始實施絕密電子監(jiān)聽計劃，年耗資近億美元，用于監(jiān)聽全美電話通話統(tǒng)計，據(jù)稱還能夠使情報人員經(jīng)過“后門”進入9家主要科技企業(yè)服務器，包含微軟、雅虎、谷歌、Facebook、PalTalk、美國在線、Skype、YouTube、蘋果。這個事件引發(fā)了人們對政府使用大數(shù)據(jù)時對公民隱私侵犯擔心。再看看我們身邊，當微博，微信，QQ空間這些社交平臺肆意吞噬著數(shù)億用戶各種信息時，你就不要指望你還有隱私權了，就算你在某個地方刪除了，但可能這些信息已經(jīng)被其余人轉載或保留了，更有可能已經(jīng)被baidu或谷歌存為快照，早就提供給任意用戶搜索了。所以在大數(shù)據(jù)背景下，很多人都在主動抵制無底線數(shù)字化，這種大數(shù)據(jù)和個體之間博弈還會一直繼續(xù)下去……教授給予了我們一些怎樣有效保護大數(shù)據(jù)背景下隱私權提議：1-降低信息數(shù)字化；2-隱私權立法；3-數(shù)字隱私權基礎設施（類似DRM數(shù)字版權管理）；4-人類改變認知（接收忽略過去）；5-創(chuàng)造良性信息生態(tài)；6-語境化。不過這些都極難立刻見效或者有實質(zhì)性改進。比如，現(xiàn)在有一個職業(yè)叫刪帖人，專門負責幫人到各大網(wǎng)站刪帖，刪除評論。其實這些人就是經(jīng)過黑客技術侵入各大網(wǎng)站，破獲管理員密碼然后進行手工定向刪除。只不過他們保護不是客戶隱私，而大多是丑聞。還有一個職業(yè)叫人肉教授，他們負責從互聯(lián)網(wǎng)上找到一個與他們根本就無關系用戶任意信息。這是很可怕事情，也就是說，假如有些人想找到你，只需要兩個條件：1-你上過網(wǎng)，留下過痕跡；2-你親朋摯友或僅僅是認識你人上過網(wǎng)，留下過你痕跡。這兩個條件滿足其一，人肉教授就能夠很輕松找到你，可能還知道你現(xiàn)在正在某個餐廳和誰一起共進晚餐。當很多互聯(lián)網(wǎng)企業(yè)意識到隱私對于用戶主要性時，為了繼續(xù)得到用戶信任，他們采取了很多方法，比如谷歌承諾僅保留用戶搜索統(tǒng)計9個月，瀏覽器廠商提供了無痕沖浪模式，社交網(wǎng)站拒絕公共搜索引擎爬蟲進入，并將提供出去數(shù)據(jù)全部采取匿名方式處理等。在這種復雜環(huán)境里面，很多人依然沒有建立對于信息隱私保護意識，讓自己一直處于被滋擾，被精心設計，被利用，被監(jiān)視處境中。可是，我們能做幾乎微乎其微，因為個人隱私數(shù)據(jù)已經(jīng)無法由我們自己掌控了，就像一首詩里說到：“假如你現(xiàn)在繼續(xù)麻木，那就別指望這麻木能抵擋得住被”扒光”那一刻驚慌和絕望……”和大數(shù)據(jù)相關技術云技術大數(shù)據(jù)常和云計算聯(lián)絡到一起，因為實時大型數(shù)據(jù)集分析需要分布式處理框架來向數(shù)十、數(shù)百或甚至數(shù)萬電腦分配工作。能夠說，云計算充當了工業(yè)革命時期發(fā)動機角色，而大數(shù)據(jù)則是電。云計算思想起源是麥卡錫在上世紀60年代提出：把計算能力作為一個像水和電一樣公用事業(yè)提供給用戶。如今，在谷歌、Amazon、Facebook等一批互聯(lián)網(wǎng)企業(yè)引領下，一個行之有效模式出現(xiàn)了：云計算提供基礎架構平臺，大數(shù)據(jù)應用運行在這個平臺上。業(yè)內(nèi)是這么形容二者關系：沒有大數(shù)據(jù)信息積淀，則云計算計算能力再強大，也難以找到用武之地；沒有云計算處理能力，則大數(shù)據(jù)信息積淀再豐富，也終究只是鏡花水月。那么大數(shù)據(jù)到底需要哪些云計算技術呢？這里暫且列舉一些，比如虛擬化技術，分布式處理技術，海量數(shù)據(jù)存放和管理技術，NoSQL、實時流數(shù)據(jù)處理、智能分析技術（類似模式識別以及自然語言了解）等。云計算和大數(shù)據(jù)之間關系能夠用下面一張圖來說明，二者之間結合后會產(chǎn)生以下效應：能夠提供更多基于海量業(yè)務數(shù)據(jù)創(chuàng)新型服務；經(jīng)過云計算技術不停發(fā)展降低大數(shù)據(jù)業(yè)務創(chuàng)新成本。假如將云計算與大數(shù)據(jù)進行一些比較，最顯著區(qū)分在兩個方面：第一，在概念上二者有所不一樣，云計算改變了IT，而大數(shù)據(jù)則改變了業(yè)務。然而大數(shù)據(jù)必須有云作為基礎架構，才能得以順暢運行。第二，大數(shù)據(jù)和云計算目標受眾不一樣，云計算是CIO等關心技術層，是一個進階IT處理方案。而大數(shù)據(jù)是CEO關注、是業(yè)務層產(chǎn)品，而大數(shù)據(jù)決議者是業(yè)務層。分布式處理技術分布式處理系統(tǒng)能夠?qū)⒉灰粯拥攸c或具備不一樣功效或擁有不一樣數(shù)據(jù)多臺計算機用通信網(wǎng)絡連接起來，在控制系統(tǒng)統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務—這就是分布式處理系統(tǒng)定義。以Hadoop（Yahoo）為例進行說明，Hadoop是一個實現(xiàn)了MapReduce模式能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理軟件框架，是以一個可靠、高效、可伸縮方式進行處理。而MapReduce是谷歌提出一個云計算關鍵計算模式，是一個分布式運算技術，也是簡化分布式編程模式，MapReduce模式主要思想是將自動分割要執(zhí)行問題（比如程序）拆解成map（映射）和reduce（化簡）方式，在數(shù)據(jù)被分割后經(jīng)過Map函數(shù)程序?qū)?shù)據(jù)映射成不一樣區(qū)塊，分配給計算機機群處理達成分布式運算效果，在經(jīng)過Reduce函數(shù)程序?qū)⒔Y果匯整，從而輸出開發(fā)者需要結果。再來看看Hadoop特征，第一，它是可靠，因為它假設計算元素和存放會失敗，所以它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗節(jié)點重新分布處理。其次，Hadoop是高效，因為它以并行方式工作，經(jīng)過并行處理加緊處理速度。Hadoop還是可伸縮，能夠處理PB級數(shù)據(jù)。另外，Hadoop依賴于小區(qū)服務器，所以它成本比較低，任何人都能夠使用。你也能夠這么了解Hadoop組成，Hadoop=HDFS（文件系統(tǒng)，數(shù)據(jù)存放技術相關）+HBase（數(shù)據(jù)庫）+MapReduce（數(shù)據(jù)處理）+……OthersHadoop用到一些技術有：HDFS:Hadoop分布式文件系統(tǒng)(DistributedFileSystem)－HDFS(HadoopDistributedFileSystem)MapReduce：并行計算框架HBase:類似谷歌BigTable分布式NoSQL列數(shù)據(jù)庫。Hive：數(shù)據(jù)倉庫工具，由Facebook貢獻。Zookeeper：分布式鎖設施，提供類似谷歌Chubby功效，由Facebook貢獻。Avro：新數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有IPC機制。Pig:大數(shù)據(jù)分析平臺，為用戶提供多個接口。Ambari：Hadoop管理工具，能夠快捷監(jiān)控、布署、管理集群。Sqoop：用于在Hadoop與傳統(tǒng)數(shù)據(jù)庫間進行數(shù)據(jù)傳遞。說了這么多，舉個實際例子，即使這個例子有些陳舊，不過淘寶海量數(shù)據(jù)技術架構還是有利于我們了解對于大數(shù)據(jù)運作處理機制:淘寶大數(shù)據(jù)如上圖所表示，淘寶海量數(shù)據(jù)產(chǎn)品技術架構分為五個層次，從上至下來看它們分別是：數(shù)據(jù)源，計算層，存放層，查詢層和產(chǎn)品層。數(shù)據(jù)起源層。存放著淘寶各店交易數(shù)據(jù)。在數(shù)據(jù)源層產(chǎn)生數(shù)據(jù)，經(jīng)過DataX，DbSync和Timetunel準實時傳輸?shù)较旅娴?點所述“云梯”。計算層。在這個計算層內(nèi)，淘寶采取是Hadoop集群，這個集群，我們暫且稱之為云梯，是計算層主要組成部分。在云梯上，系統(tǒng)天天會對數(shù)據(jù)產(chǎn)品進行不一樣MapReduce計算。存放層。在這一層，淘寶采取了兩個東西，一個使MyFox，一個是Prom。MyFox是基于MySQL分布式關系型數(shù)據(jù)庫集群，Prom是基于HadoopHbase技術一個NoSQL存放集群。查詢層。在這一層中，Glider是以HTTP協(xié)議對外提供restful方式接口。數(shù)據(jù)產(chǎn)品經(jīng)過一個唯一URL來獲取到它想要數(shù)據(jù)。同時，數(shù)據(jù)查詢即是經(jīng)過MyFox來查詢。最終一層是產(chǎn)品層，這個就不用解釋了。存放技術大數(shù)據(jù)能夠抽象分為大數(shù)據(jù)存放和大數(shù)據(jù)分析，這二者關系是：大數(shù)據(jù)存放目標是支撐大數(shù)據(jù)分析。到現(xiàn)在為止，還是兩種截然不一樣計算機技術領域：大數(shù)據(jù)存放致力于研發(fā)能夠擴展至PB甚至EB級別數(shù)據(jù)存放平臺；大數(shù)據(jù)分析關注在最短時間內(nèi)處理大量不一樣類型數(shù)據(jù)集。提到存放，有一個著名摩爾定律相信大家都聽過：18個月集成電路復雜性就增加一倍。所以，存放器成本大約每18-24個月就下降二分之一。成本不停下降也造就了大數(shù)據(jù)可存放性。比如，谷歌大約管理著超出50萬臺服務器和100萬塊硬盤，而且谷歌還在不停擴大計算能力和存放能力，其中很多擴展都是基于在廉價服務器和普通存放硬盤基礎上進行，這大大降低了其服務成本，所以能夠?qū)⒏噘Y金投入到技術研發(fā)當中。以Amazon舉例，AmazonS3是一個面向Internet存放服務。該服務意在讓開發(fā)人員能更輕松進行網(wǎng)絡規(guī)模計算。AmazonS3提供一個簡明Web服務界面，用戶可經(jīng)過它隨時在Web上任何位置存放和檢索任意大小數(shù)據(jù)。此服務讓全部開發(fā)人員都能訪問同一個具備高擴展性、可靠性、安全性和快速價廉基礎設施，Amazon用它來運行其全球網(wǎng)站網(wǎng)絡。再看看S3設計指標：在特定年度內(nèi)為數(shù)據(jù)元提供99.%耐久性和99.99%可用性，并能夠承受兩個設施中數(shù)據(jù)同時丟失。S3很成功也確實卓有成效，S3云存放對象已達成萬億級別，而且性能表現(xiàn)相當良好。S3云已經(jīng)擁萬億跨地域存放對象，同時AWS對象執(zhí)行請求也達成百萬峰值數(shù)量。現(xiàn)在全球范圍內(nèi)已經(jīng)有數(shù)以十萬計企業(yè)在經(jīng)過AWS運行自己全部或者部分日常業(yè)務。這些企業(yè)用戶遍布190多個國家，幾乎世界上每個角落都有Amazon用戶身影。感知技術大數(shù)據(jù)采集和感知技術發(fā)展是緊密聯(lián)絡。以傳感器技術，指紋識別技術，RFID技術，坐標定位技術等為基礎感知能力提升一樣是物聯(lián)網(wǎng)發(fā)展基石。全世界工業(yè)設備、汽車、電表上有著無數(shù)數(shù)碼傳感器，隨時測量和傳遞著關于位置、運動、震動、溫度、濕度乃至空氣中化學物質(zhì)改變，都會產(chǎn)生海量數(shù)據(jù)信息。而伴隨智能手機普及，感知技術可謂迎來了發(fā)展高峰期，除了地理位置信息被廣泛應用外，一些新感知伎倆也開始登上舞臺，比如，最新”iPhone5S”在home鍵內(nèi)嵌指紋傳感器，新型手機可經(jīng)過呼氣直接檢測燃燒脂肪量，用于手機嗅覺傳感器面世能夠監(jiān)測從空氣污染到危險化學藥品，微軟正在研發(fā)可感知用戶當前心情智能手機技術，谷歌眼鏡InSight新技術可經(jīng)過衣著進行人物識別。除此之外，還有很多與感知相關技術革新讓我們耳目一新：比如，牙齒傳感器實時監(jiān)控口腔活動及飲食情況，嬰兒穿戴設備可用大數(shù)據(jù)去養(yǎng)育寶寶，Intel正研發(fā)3D筆記本攝像頭可追蹤眼球讀懂情緒，日本企業(yè)開發(fā)新型可監(jiān)控用戶心率紡織材料，業(yè)界正在嘗試將生物測定技術引入支付領域等。其實，這些感知被逐步捕捉過程就是就世界被數(shù)據(jù)化過程，一旦世界被完全數(shù)據(jù)化了，那么世界本質(zhì)也就是信息了。就像一句名言所說，“人類以前延續(xù)是文明，現(xiàn)在傳承是信息?！贝髷?shù)據(jù)實踐互聯(lián)網(wǎng)大數(shù)據(jù)互聯(lián)網(wǎng)上數(shù)據(jù)每年增加50%，每兩年便將翻一番，而現(xiàn)在世界上90%以上數(shù)據(jù)是最近幾年才產(chǎn)生。據(jù)IDC預測，到全球?qū)⒖偣矒碛?5ZB數(shù)據(jù)量?；ヂ?lián)網(wǎng)是大數(shù)據(jù)發(fā)展前哨陣地，伴隨WEB2.0時代發(fā)展，人們似乎都習慣了將自己生活經(jīng)過網(wǎng)絡進行數(shù)據(jù)化，方便分享以及統(tǒng)計并回顧?；ヂ?lián)網(wǎng)上大數(shù)據(jù)極難清楚界定分類界限，我們先看看BAT大數(shù)據(jù)：baidu擁有兩種類型大數(shù)據(jù)：用戶搜索表征需求數(shù)據(jù)；爬蟲和阿拉丁獲取公共web數(shù)據(jù)。搜索巨頭baidu圍繞數(shù)據(jù)而生。它對網(wǎng)頁數(shù)據(jù)爬取、網(wǎng)頁內(nèi)容組織和解析，經(jīng)過語義分析對搜索需求精準了解進而從海量數(shù)據(jù)中找準結果，以及精準搜索引擎關鍵字廣告，實質(zhì)上就是一個數(shù)據(jù)獲取、組織、分析和挖掘過程。搜索引擎在大數(shù)據(jù)時代面臨挑戰(zhàn)有：更多暗網(wǎng)數(shù)據(jù)；更多WEB化不過沒有結構化數(shù)據(jù)；更多WEB化、結構化不過封閉數(shù)據(jù)。阿里巴巴擁有交易數(shù)據(jù)和信用數(shù)據(jù)。這兩種數(shù)據(jù)更輕易變現(xiàn)，挖掘出商業(yè)價值。除此之外阿里巴巴還經(jīng)過投資等方式掌握了部分社交數(shù)據(jù)、移動數(shù)據(jù)。如微博和高德。騰訊擁有用戶關系數(shù)據(jù)和基于此產(chǎn)生社交數(shù)據(jù)。這些數(shù)據(jù)能夠分析人們生活和行為,從里面挖掘出政治、社會、文化、商業(yè)、健康等領域信息，甚至預測未來。在信息技術更為發(fā)達美國，除了行業(yè)著名類似谷歌，F(xiàn)acebook外，已經(jīng)涌現(xiàn)了很多大數(shù)據(jù)類型企業(yè)，它們專門經(jīng)營數(shù)據(jù)產(chǎn)品，比如：Metamarkets：這家企業(yè)對Twitter、支付、簽到和一些與互聯(lián)網(wǎng)相關問題進行了分析，為客戶提供了很好數(shù)據(jù)分析支持。Tableau：他們精力主要集中于將海量數(shù)據(jù)以可視化方式展現(xiàn)出來。Tableau為數(shù)字媒體提供了一個新展示數(shù)據(jù)方式。他們提供了一個無償工具，任何人在沒有編程知識背景情況下都能制造出數(shù)據(jù)專用圖表。這個軟件還能對數(shù)據(jù)進行分析，并提供有價值提議。ParAccel：他們向美國執(zhí)法機構提供了數(shù)據(jù)分析，比如對15000個有犯罪前科人進行跟蹤，從而向執(zhí)法機構提供了參考性較高犯罪預測。他們是犯罪預言者。QlikTech：QlikTech旗下Qlikview是一個商業(yè)智能領域自主服務工具，能夠應用于科學研究和藝術等領域。為了幫助開發(fā)者對這些數(shù)據(jù)進行分析，QlikTech提供了對原始數(shù)據(jù)進行可視化處理等功效工具。GoodData：GoodData希望幫助客戶從數(shù)據(jù)中挖掘財富。這家創(chuàng)業(yè)企業(yè)主要面向商業(yè)用戶和IT企業(yè)高管，提供數(shù)據(jù)存放、性能匯報、數(shù)據(jù)分析等工具。TellApart：TellApart和電商企業(yè)進行合作，他們會依照用戶瀏覽行為等數(shù)據(jù)進行分析，經(jīng)過鎖定潛在買家方式提升電商企業(yè)收入。DataSift：DataSift主要搜集并分析社交網(wǎng)絡媒體上數(shù)據(jù)，并幫助品牌企業(yè)掌握突發(fā)新聞輿論點，并制訂有針對性營銷方案。這家企業(yè)還和Twitter有合作協(xié)議，使得自己變成了行業(yè)中為數(shù)不多能夠分析早期tweet創(chuàng)業(yè)企業(yè)。Datahero：企業(yè)目標是將復雜數(shù)據(jù)變得愈加簡單明了，方便普通人去了解和想象。舉了很多例子，這里簡明歸納一下，在互聯(lián)網(wǎng)大數(shù)據(jù)經(jīng)典代表性包含：1-用戶行為數(shù)據(jù)（精準廣告投放、內(nèi)容推薦、行為習慣和喜好分析、產(chǎn)品優(yōu)化等）2-用戶消費數(shù)據(jù)（精準營銷、信用統(tǒng)計分析、活動促銷、理財?shù)龋?-用戶地理位置數(shù)據(jù)（O2O推廣，商家推薦，交友推薦等）4-互聯(lián)網(wǎng)金融數(shù)據(jù)（P2P，小額貸款，支付，信用，供給鏈金融等）5-用戶社交等UGC數(shù)據(jù)（趨勢分析、流行元素分析、受歡迎程度分析、輿論監(jiān)控分析、社會問題分析等）政府大數(shù)據(jù)近期，奧巴馬政府宣告投資2億美元拉動大數(shù)據(jù)相關產(chǎn)業(yè)發(fā)展，將“大數(shù)據(jù)戰(zhàn)略”上升為國家意志。奧巴馬政府將數(shù)據(jù)定義為“未來新石油”，并表示一個國家擁有數(shù)據(jù)規(guī)模、活性及解釋利用能力將成為綜合國力主要組成部分，未來，對數(shù)據(jù)占有和控制甚至將成為陸權、海權、空權之外另一個國家關鍵資產(chǎn)。在國內(nèi)，政府各個部門都握有組成社會基礎原始數(shù)據(jù)，比如，氣象數(shù)據(jù)，金融數(shù)據(jù)，信用數(shù)據(jù)，電力數(shù)據(jù)，煤氣數(shù)據(jù)，自來水數(shù)據(jù)，道路交通數(shù)據(jù)，客運數(shù)據(jù)，安全刑事案件數(shù)據(jù)，住房數(shù)據(jù)，海關數(shù)據(jù)，出入境數(shù)據(jù)，旅游數(shù)據(jù)，醫(yī)療數(shù)據(jù)，教育數(shù)據(jù)，環(huán)境保護數(shù)據(jù)等等。這些數(shù)據(jù)在每個政府部門里面看起來是單一，靜態(tài)。不過，假如政府能夠?qū)⑦@些數(shù)據(jù)關聯(lián)起來，并對這些數(shù)據(jù)進行有效關聯(lián)分析和統(tǒng)一管理，這些數(shù)據(jù)必定將取得新生，其價值是無法估量。詳細來說，現(xiàn)在城市都在走向智能和智慧，比如，智能電網(wǎng)、智慧交通、智慧醫(yī)療、智慧環(huán)境保護、智慧城市，這些都依靠于大數(shù)據(jù)，能夠說大數(shù)據(jù)是智慧關鍵能源。從國內(nèi)整體投資規(guī)模來看，到底全國開建智慧城市城市數(shù)超出180個，通信網(wǎng)絡和數(shù)據(jù)平臺等基礎設施建設投資規(guī)?？拷?000億元?！笆濉逼陂g智慧城市建設拉動設備投資規(guī)模將達1萬億元人民幣。大數(shù)據(jù)為智慧城市各個領域提供決議支持。在城市規(guī)劃方面，經(jīng)過對城市地理、氣象等自然信息和經(jīng)濟、社會、文化、人口等人文社會信息挖掘，能夠為城市規(guī)劃提供決議，強化城市管理服務科學性和前瞻性。在交通管理方面，經(jīng)過對道路交通信息實時挖掘，能有效緩解交通擁堵，并快速響應突發(fā)情況，為城市交通良性運轉提供科學決議依據(jù)。在輿情監(jiān)控方面，經(jīng)過網(wǎng)絡關鍵詞搜索及語義智能分析，能提升輿情分析及時性、全方面性，全方面掌握社情民意，提升公共服務能力，應對網(wǎng)絡突發(fā)公共事件，打擊違法犯罪。在安防與防災領域，經(jīng)過大數(shù)據(jù)挖掘，能夠及時發(fā)覺人為或自然災害、恐怖事件，提升應急處理能力和安全防范能力。另外，作為國家管理者，政府應該有勇氣將手中數(shù)據(jù)逐步開放，供給更多有能力機構組織或個人來分析并加以利用，以加速造福人類。比如，美國政府就籌建了一個網(wǎng)站，這是奧巴馬任期內(nèi)一個主要舉措：要求政府公開透明，而關鍵就是實現(xiàn)政府機構數(shù)據(jù)公開。截止現(xiàn)在，已經(jīng)開放了有91054個datasets；349citizen-developedapps；137mobileapps；175agenciesandsubagencies；87galleries；295GovernmentAPIs。企業(yè)大數(shù)據(jù)企業(yè)CXO們最關注還是報表曲線背后能有怎樣信息，他該做怎樣決議，其實這一切都需要經(jīng)過數(shù)據(jù)來傳遞和支撐。在理想世界中，大數(shù)據(jù)是巨大杠桿，能夠改變企業(yè)影響力，帶來競爭差異、節(jié)約金錢、增加利潤、愉悅買家、獎賞忠誠用戶、將潛在客戶轉化為客戶、增加吸引力、打敗競爭對手、開拓用戶群并創(chuàng)造市場。那么，哪些傳統(tǒng)企業(yè)最需要大數(shù)據(jù)服務呢？拋磚引玉，先舉幾個例子：1)對大量消費者提供產(chǎn)品或服務企業(yè)（精準營銷）；2)做小而美模式中長尾企業(yè)（服務轉型）；3)面臨互聯(lián)網(wǎng)壓力之下必須轉型傳統(tǒng)企業(yè)（生死存亡）。對于企業(yè)大數(shù)據(jù)，還有一個預測：伴隨數(shù)據(jù)逐步成為企業(yè)一個資產(chǎn)，數(shù)據(jù)產(chǎn)業(yè)會向傳統(tǒng)企業(yè)供給鏈模式發(fā)展，最終形成“數(shù)據(jù)供給鏈”。這里尤其有兩個顯著現(xiàn)象：1)外部數(shù)據(jù)主要性日益超出內(nèi)部數(shù)據(jù)。在互聯(lián)互通互聯(lián)網(wǎng)時代，單一企業(yè)內(nèi)部數(shù)據(jù)與整個互聯(lián)網(wǎng)數(shù)據(jù)比較起來只是滄海一粟；2)能提供包含數(shù)據(jù)供給、數(shù)據(jù)整合與加工、數(shù)據(jù)應用等多步驟服務企業(yè)會有顯著綜合競爭優(yōu)勢。對于提供大數(shù)據(jù)服務企業(yè)來說，他們等候是合作機會，就像微軟史密斯說：“給我提供一些數(shù)據(jù)，我就能做一些改變。假如給我提供全部數(shù)據(jù)，我就能拯救世界?！比欢恢弊銎髽I(yè)服務巨頭將優(yōu)勢不在，不得不眼看新興互聯(lián)網(wǎng)企業(yè)加入戰(zhàn)局，開啟殘酷競爭模式。為何會出現(xiàn)這種局面？從IT產(chǎn)業(yè)發(fā)展來看，第一代IT巨頭大多是ToB，比如IBM、Microsoft、Oracle、SAP、HP這類傳統(tǒng)IT企業(yè)；第二代IT巨頭大多是ToC，比如Yahoo、谷歌、Amazon、Facebook這類互聯(lián)網(wǎng)企業(yè)。大數(shù)據(jù)到來前，這兩類企業(yè)彼此之間基本是井水不犯河水；但在當前這個大數(shù)據(jù)時代，這兩類企業(yè)已經(jīng)開始直接競爭。比如Amazon已經(jīng)開始提供云模式數(shù)據(jù)倉庫服務，直接搶占IBM、Oracle市場。這個現(xiàn)象出現(xiàn)本質(zhì)原因是：在互聯(lián)網(wǎng)巨頭帶動下，傳統(tǒng)IT巨頭客戶普遍開始從事電子商務業(yè)務，正是因為客戶進入了互聯(lián)網(wǎng)，所以傳統(tǒng)IT