2023中國大數(shù)據(jù)發(fā)展分析報(bào)告（三）

2014中國大數(shù)據(jù)發(fā)展分析報(bào)告（三）

所以，真正的大數(shù)據(jù)“圈內(nèi)人”至少要包含以下幾種人：1)業(yè)務(wù)運(yùn)營人員比如互聯(lián)網(wǎng)的產(chǎn)品經(jīng)理要求技術(shù)人員，必須在用戶到達(dá)網(wǎng)站的時(shí)候就算出他今天的心情指數(shù)，而且要實(shí)現(xiàn)動(dòng)態(tài)監(jiān)測，這時(shí)候只能用Storm或者Spark來處理了；比如電信運(yùn)營商要求做到實(shí)時(shí)營銷，用戶進(jìn)入營業(yè)廳的時(shí)候，必須馬上推送短信給用戶，提示他本營業(yè)廳有一個(gè)特別適合他的相親對(duì)象(呈現(xiàn)身高、三圍、體重等指標(biāo))，但是見面前要先購買4G手機(jī)；再比如病人來到銀行開戶，銀行了解到用戶最近1周曾經(jīng)去醫(yī)院門診過兩次，出國旅游過3次，帶孩子游泳兩次，馬上客戶經(jīng)理就給客戶推薦相關(guān)的銀行保險(xiǎn)+理財(cái)產(chǎn)品。這些業(yè)務(wù)人員，往往是驅(qū)動(dòng)技術(shù)進(jìn)步的核心原因。2)架構(gòu)師架構(gòu)師有多么重要，當(dāng)一個(gè)業(yè)務(wù)人員和一個(gè)工程師，一個(gè)說著業(yè)務(wù)語言，一個(gè)說著技術(shù)術(shù)語在那里討論問題的時(shí)候，工程師往往想著用什么樣的代碼能馬上讓他閉嘴，而架構(gòu)師往往會(huì)跳出來說“不，不能那樣，你這樣寫只能解決一個(gè)問題并且會(huì)制造后續(xù)的若干問題，按照我這個(gè)方案來，可以解決后續(xù)的若干問題！”一個(gè)非技術(shù)企業(yè)的IT系統(tǒng)水平，往往有70%以上的標(biāo)準(zhǔn)掌握在架構(gòu)設(shè)計(jì)人員手里，盡快很多優(yōu)秀的架構(gòu)師都是從工程師慢慢發(fā)展學(xué)習(xí)而來的，IT架構(gòu)的重要性，很多企業(yè)都意識(shí)到了，這就是很多企業(yè)有CTO和CIO兩個(gè)職位，同樣重要！架構(gòu)之美，當(dāng)IT系統(tǒng)平穩(wěn)運(yùn)行的時(shí)候沒人能感受到，但是在一個(gè)煙囪林立、架構(gòu)混亂的環(huán)境中走過的人眼中，IT開發(fā)一定要架構(gòu)現(xiàn)行，開發(fā)在后！3)投資人老板，不用說了，老板給你吃穿，你給老板賣命，天生的基礎(chǔ)資料提供者，老板說要有山便有了山，老板說要做實(shí)時(shí)數(shù)據(jù)處理分析，便有了Storm，老板說要做開源，便有了Hadoop，老板還說要做迭代挖掘，便有了Spark……4)科學(xué)家他們是別人眼中的Geek，他們是別人眼中的高大上，他們是類似于霍金一樣的神秘的早出晚歸晝伏夜出的眼睛男女，他們是驅(qū)動(dòng)世界技術(shù)進(jìn)步的核心力量。除了世界頂級(jí)的IT公司(往往世界技術(shù)方向掌握在他們手中)，其他公司一般需要1-2個(gè)科學(xué)家足以，他們是真正投身于科學(xué)的人，不要讓他們?nèi)タ紤]業(yè)務(wù)場景，不要讓他們?nèi)タ紤]業(yè)務(wù)流程，不要讓他們?nèi)ビ?jì)算成本，不要讓他們?nèi)タ紤]項(xiàng)目進(jìn)度，他們唯一需要考慮的就是如何在某個(gè)指標(biāo)上擊敗對(duì)手，在某個(gè)指標(biāo)上提高0.1%已經(jīng)讓他們可以連續(xù)奮戰(zhàn)，不眠不休，讓我們都為這些科學(xué)家喝彩和歡呼吧。在中國，我認(rèn)為真正的大數(shù)據(jù)科學(xué)家不超過百人……5)工程師工程師是這樣一群可愛的人，他們年輕，沖動(dòng)，有理想，又被人尊稱為“屌絲”“鍵盤黨”，他們孜孜不倦的為自己的理想而拼搏，每次自己取得一點(diǎn)點(diǎn)進(jìn)步的時(shí)候，都在考慮是不是地鐵口的雞蛋灌餅又漲了五毛錢。他們敏感，自負(fù)，從來不屑于和業(yè)務(wù)人員去爭論。工程師和科學(xué)家的不同點(diǎn)在于，工程師需要頻繁改動(dòng)代碼，頻繁測試程序，頻繁上線，但是最后的系統(tǒng)是由若干工程師的代碼組合起來的。每個(gè)自負(fù)的工程師看到系統(tǒng)的歷史代碼都會(huì)鄙視的發(fā)出一聲“哼，這垃圾代碼”，之后便投入到被后人繼續(xù)鄙視的代碼編寫工作中去。6)跟風(fēng)者他們中有些是培訓(xùn)師，有些是殺馬特洗剪吹，有些是煤老板有些是失足少女。他們的特點(diǎn)就是炒，和炒房者唯一不同的就是，他們不用付出金錢，他們認(rèn)為只要和數(shù)據(jù)沾邊就叫大數(shù)據(jù)，他們有些人甚至從來沒碰過IT系統(tǒng)，他們是渾水摸魚、濫竽充數(shù)的高手，他們是被前幾種人鄙視的隱形人。不過我想說，歡迎來炒，一個(gè)行業(yè)炒的越兇，真正有價(jià)值的人就更能發(fā)揮自己的作用。誤區(qū)二：只有大數(shù)據(jù)才能拯救世界大數(shù)據(jù)目前的技術(shù)和應(yīng)用都是在數(shù)據(jù)分析、數(shù)據(jù)倉庫等方面，主要針對(duì)OLAP(OnlineAnalyticalSystem)，從技術(shù)角度來說，包含我總結(jié)的兩條腿：一條腿是批量數(shù)據(jù)處理(包括MR、MPP等)，另一條腿實(shí)時(shí)數(shù)據(jù)流處理(Storm、內(nèi)存數(shù)據(jù)庫等)。在此基礎(chǔ)上，部分場景又發(fā)現(xiàn)MR框架或?qū)崟r(shí)框架不能很好的滿足近線、迭代的挖掘需要，故又產(chǎn)生了目前非?；鸬幕趦?nèi)存數(shù)據(jù)處理Spark框架。很多企業(yè)目前的大數(shù)據(jù)框架是，一方面以Hadoop2.0之上的Hive、Pig框架處理底層的數(shù)據(jù)加工和處理，把按照業(yè)務(wù)邏輯處理完的數(shù)據(jù)直接送入到應(yīng)用數(shù)據(jù)庫中；另一方面以Storm流處理引擎處理實(shí)時(shí)的數(shù)據(jù)，根據(jù)業(yè)務(wù)營銷的規(guī)則觸發(fā)相應(yīng)的營銷場景。同時(shí)，用基于Spark處理技術(shù)集群滿足對(duì)于實(shí)時(shí)數(shù)據(jù)加工、挖掘的需求。以上描述可以看出，大數(shù)據(jù)說白了就是還沒有進(jìn)入真正的交易系統(tǒng)，沒有在OLTP(OnlineTransactionsystem)方面做出太大的貢獻(xiàn)。至于很多文章把大數(shù)據(jù)和物聯(lián)網(wǎng)、泛在網(wǎng)、智慧城市都聯(lián)系在一起，我認(rèn)為大數(shù)據(jù)不過是條件之一，其余的OLTP系統(tǒng)是否具備，物理網(wǎng)絡(luò)甚至組織架構(gòu)都是重要因素。最后還想說，大數(shù)據(jù)處理技術(shù)，再炫如Google的Dataflow或成熟如Hadoop2.0、數(shù)據(jù)倉庫、Storm等，本質(zhì)上都是數(shù)據(jù)加工工具，對(duì)于很多工程師來說，只需要把數(shù)據(jù)處理流程搞清楚就可以了，在這個(gè)平臺(tái)上可以用固定的模版和腳本進(jìn)行數(shù)據(jù)加工已經(jīng)足夠。畢竟數(shù)據(jù)的價(jià)值70%以上是對(duì)業(yè)務(wù)應(yīng)用而言的，一個(gè)炫詞對(duì)于業(yè)務(wù)如果沒有幫助，終將只是屠龍之術(shù)。任何技術(shù)、IT架構(gòu)都要符合業(yè)務(wù)規(guī)劃、符合業(yè)務(wù)發(fā)展的要求，否則技術(shù)只會(huì)妨礙業(yè)務(wù)和生產(chǎn)力的發(fā)展。隨著時(shí)代變遷，大浪淘沙，作為數(shù)據(jù)行業(yè)的一員，我們每個(gè)人都在不同的角色之間轉(zhuǎn)換，今天你可能是科學(xué)家，明天就會(huì)變成架構(gòu)師，今天的工程師也會(huì)變成幾年后的科學(xué)家，部分人還終將步入跟風(fēng)者的行列。三、我國大數(shù)據(jù)發(fā)展的機(jī)遇和困境1.大數(shù)據(jù)迎來大發(fā)展的機(jī)遇大數(shù)據(jù)的快速發(fā)展，使它成為IT領(lǐng)域的又一大新興產(chǎn)業(yè)。據(jù)中央財(cái)經(jīng)大學(xué)中國經(jīng)濟(jì)管理研究院博士張永力估算，國外大數(shù)據(jù)行業(yè)約有1000億美元的市場，而且每年都以10%的速度在增長，增速是軟件行業(yè)的兩倍。我國2012年大數(shù)據(jù)市場規(guī)模大約4.7億元，2013年增速將達(dá)到138%，達(dá)到11.2億元，產(chǎn)業(yè)發(fā)展?jié)摿Ψ浅＞薮蟆?)政府積極介入推動(dòng)2009年，聯(lián)合國啟動(dòng)“全球脈動(dòng)計(jì)劃”，借大數(shù)據(jù)推動(dòng)落后地區(qū)發(fā)展。2012年1月，世界經(jīng)濟(jì)論壇年會(huì)把“大數(shù)據(jù)、大影響”作為重要議題。美國從開放政府?dāng)?shù)據(jù)、開展關(guān)鍵技術(shù)研究和推動(dòng)大數(shù)據(jù)應(yīng)用三方面布局大數(shù)據(jù)產(chǎn)業(yè)。美國在開放政府上非常積極，通過D開放37萬個(gè)數(shù)據(jù)集，并開放網(wǎng)站的API和源代碼，提供上千個(gè)數(shù)據(jù)應(yīng)用。除了推動(dòng)本國政府?dāng)?shù)據(jù)開放，美國倡導(dǎo)發(fā)起全球開放政府?dāng)?shù)據(jù)運(yùn)動(dòng)，已有41個(gè)國家響應(yīng)。美國政府還投資兩億美元促進(jìn)大數(shù)據(jù)核心技術(shù)研究和應(yīng)用，把大數(shù)據(jù)放在與集成電路、互聯(lián)網(wǎng)同等重要的位臵，從國家層面推進(jìn)。2)資本市場也對(duì)大數(shù)據(jù)鐘愛有加2012年4月，大數(shù)據(jù)分析公司Splunk高調(diào)宣傳大數(shù)據(jù)，引發(fā)投資者關(guān)注。12月初，為企業(yè)市場提供Hadoop解決方案的創(chuàng)業(yè)公司Cloudera獲得6500萬美元融資，估值約為7億美元。近期，高盛聯(lián)席主席斯科特。斯坦福說：“投資大數(shù)據(jù)及其運(yùn)用回報(bào)率最高”。大數(shù)據(jù)領(lǐng)域的企業(yè)并購熱度也在上升，單筆平均并購金額方面，大數(shù)據(jù)超過云計(jì)算位居IT領(lǐng)域榜首，在總并購額上也位居第二。3)人才需求巨大據(jù)一家國際咨詢公司，蓋特納咨詢公司預(yù)測大數(shù)據(jù)將為全球帶來440萬個(gè)IT新崗位和上千萬個(gè)非IT崗位。麥肯錫公司預(yù)測美國到2018年需要深度數(shù)據(jù)分析人才44萬—49萬，缺口14萬—19萬人；需要既熟悉本單位需求又了解大數(shù)據(jù)技術(shù)與應(yīng)用的管理者150萬，這方面的人才缺口更大。中國是人才大國，但能理解與應(yīng)用大數(shù)據(jù)的創(chuàng)新人才更是稀