大數(shù)據(jù)發(fā)展存在的主要問題

1、（一）數(shù)據(jù)孤島問題大數(shù)據(jù)的基礎(chǔ)在于數(shù)據(jù)，但是如果拿不到底層的數(shù)據(jù)，數(shù)據(jù)分析也就無從談起。隨著社交網(wǎng)絡(luò)、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的興起以及社交媒體的發(fā)展導(dǎo)致各種海量數(shù)據(jù)生成，帶來了無限想象力和商業(yè)應(yīng)用價值?！暗谝粋€問題就是沒數(shù)據(jù)，理論上我們中國有很多數(shù)據(jù)，但實際做數(shù)據(jù)分析會發(fā)現(xiàn)非常困難。”中國科學(xué)院院士、北京大數(shù)據(jù)研究院院長鄂維南表示，數(shù)據(jù)孤島是一個嚴(yán)重的問題，從技術(shù)層面看，大數(shù)據(jù)的主要挑戰(zhàn)是采集和分析。不同部門的數(shù)據(jù)儲存在不同地方，大數(shù)據(jù)來源眾多、數(shù)量巨大、形式各異。大數(shù)據(jù)最高的層次就是用數(shù)據(jù)來形成智慧，這需要從中獲得一目了然的信息。做數(shù)據(jù)分析先要整合數(shù)據(jù)，整合數(shù)據(jù)需要真正高效、可靠的數(shù)據(jù)管理和分析

2、平臺。社會大數(shù)據(jù)是一種社會公共資源，由于政府部門之間、企業(yè)之間、政府和企業(yè)間信息不對稱、制度法律不具體、缺乏公共平臺和共享渠道等多重因素，還有多樣的設(shè)備、各式各樣的應(yīng)用場景，導(dǎo)致大量政府?dāng)?shù)據(jù)存在“不愿公開、不敢公開、不能公開、不會公開”的問題，早就了一個個企業(yè)和政府管理部門的數(shù)據(jù)孤島。阻礙數(shù)據(jù)共享的另一個主要原因是缺乏動力和擔(dān)心安全。貴陽大數(shù)據(jù)交易所執(zhí)行總裁王叁壽透露，不少企業(yè)以保護(hù)商業(yè)機(jī)密或節(jié)省數(shù)據(jù)整理成本等為理由，不愿意交易自身數(shù)據(jù)。在出行領(lǐng)域，每天有上千萬的出行記錄和數(shù)百輛車的實時地理位置信息被記錄在出行軟件上。電商行業(yè)大量流轉(zhuǎn)的貨物，掌握著許多家庭住址。這些大數(shù)據(jù)涉及到千家萬戶的財產(chǎn)甚

3、至人身安全，企業(yè)不愿意泄露這部分信息。部分政府部門也缺乏數(shù)據(jù)公開的動力：有的是因懶政而讓數(shù)據(jù)沉睡，有的則是已經(jīng)利用數(shù)據(jù)開展商業(yè)化應(yīng)用，因此不愿共享?！皵?shù)據(jù)孤島的痛不是技術(shù)問題，是利益問題，背后隱藏的利益導(dǎo)致了數(shù)據(jù)孤島的產(chǎn)生。”鄂維南坦言。對于如何打通數(shù)據(jù)孤島，加快政府?dāng)?shù)據(jù)開放共享，政府要建立完善大數(shù)據(jù)發(fā)展協(xié)調(diào)機(jī)制，穩(wěn)步推動公共數(shù)據(jù)資源開放，將大數(shù)據(jù)作為一項國家戰(zhàn)略。大量的數(shù)據(jù)仍然掌握在個別企業(yè)和政府機(jī)構(gòu)中，要想實現(xiàn)共享和保證信息安全，還要統(tǒng)籌規(guī)劃大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)，推動制定公共信息資源保護(hù)和開放的制度性文件，明確數(shù)據(jù)開放共享的原則和底線。中國的大數(shù)據(jù)才剛剛起步，若想打通城市現(xiàn)存的信息壁壘，就要

4、讓城市多方資源聯(lián)動起來，搭建城市數(shù)據(jù)共享的平臺，從而形成良好的數(shù)據(jù)開發(fā)和使用氛圍，激活大數(shù)據(jù)價值，充分發(fā)揮數(shù)據(jù)資源整合的優(yōu)質(zhì)效應(yīng)。（二）底層技術(shù)差距很大即便解決了數(shù)據(jù)共享問題，數(shù)據(jù)可供隨時取用，每天天所產(chǎn)生的海量數(shù)據(jù)需要有一個強(qiáng)有力且安全的平臺來對這些數(shù)據(jù)進(jìn)行收集、分析。微軟大中華區(qū)董事長兼CEO可睿杰認(rèn)為，數(shù)據(jù)智能并非那么觸手可及。要想從來源眾多、數(shù)量巨大、形式各異的大數(shù)據(jù)獲得一目了然的信息，就需要真正高效、可靠的數(shù)據(jù)管理和分析平臺，從而為用戶提出一個切實可行的方案。中國當(dāng)前的數(shù)據(jù)產(chǎn)生量占全球數(shù)據(jù)總量的13%增長速度也很快，如圖3所示。如何處理巨量數(shù)據(jù)是中國大數(shù)據(jù)產(chǎn)業(yè)面臨的首要技術(shù)問題。中國

5、的數(shù)據(jù)體量特別大中國的視頻比任何國家都要多，這些數(shù)據(jù)儲存困難，需要用的時候往往就沒了。59%勺數(shù)據(jù)是無效數(shù)據(jù)，70%勺數(shù)據(jù)過于復(fù)雜，85%勺企業(yè)數(shù)據(jù)架構(gòu)無法適應(yīng)數(shù)據(jù)量和復(fù)雜性增長的需求，98%勺企業(yè)無法及時、準(zhǔn)確地為業(yè)務(wù)提供正確的信息。這些問題都給數(shù)據(jù)統(tǒng)計分析帶來了困難。另一方面，數(shù)據(jù)分析本身也是一個難題。大數(shù)據(jù)中，絕大部分屬于非結(jié)構(gòu)化的數(shù)據(jù)，無法用數(shù)字或同意的結(jié)構(gòu)表示。這些大量存在于社交網(wǎng)絡(luò)、互聯(lián)網(wǎng)和電子商務(wù)等領(lǐng)域的大數(shù)據(jù)，在高維、多變和強(qiáng)隨機(jī)性等方面表現(xiàn)出不確定性。股票交易數(shù)據(jù)流就是不確定性大數(shù)據(jù)的一個典型例子。研究和應(yīng)用這些數(shù)據(jù)需要結(jié)合包括數(shù)學(xué)、經(jīng)濟(jì)學(xué)、社會學(xué)、計算機(jī)科學(xué)和管理科學(xué)在內(nèi)的

6、多學(xué)科交叉。圖2中國大數(shù)據(jù)細(xì)分市場結(jié)構(gòu)情況圖3:2011-2018年中國大數(shù)據(jù)產(chǎn)業(yè)營收規(guī)模及增速目前，我國大數(shù)據(jù)技術(shù)創(chuàng)新能力還有待提升。大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃（2016-2020年）指出，我國在新型計算平臺、分布式計算架構(gòu)、大數(shù)據(jù)處理、分析和呈現(xiàn)方面與國外仍存在較大差距，對開源技術(shù)和相關(guān)生態(tài)系統(tǒng)影響力弱。同時，大數(shù)據(jù)應(yīng)用水平不高。我國發(fā)展大數(shù)據(jù)具有強(qiáng)勁的應(yīng)用市場優(yōu)勢，但是目前還存在應(yīng)用領(lǐng)域不廣泛、應(yīng)用程度不深、認(rèn)識不到位等問題。我們在大數(shù)據(jù)應(yīng)用上并不落后國外，但是在底層技術(shù)上遠(yuǎn)遠(yuǎn)不及國外，技術(shù)都來源于谷歌等國外大公司。很多時候我們的商業(yè)模式走在了技術(shù)前面，并沒有通過技術(shù)手段來推動創(chuàng)新。國家層面要支

7、持大數(shù)據(jù)共性關(guān)鍵技術(shù)研究，加強(qiáng)海量數(shù)據(jù)存儲、數(shù)據(jù)清洗、數(shù)據(jù)分析發(fā)掘、數(shù)據(jù)可視化等領(lǐng)域關(guān)鍵技術(shù)攻關(guān)，并支持自然語言理解、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等人工智能技術(shù)創(chuàng)新。（三）專業(yè)人才短缺嚴(yán)重近年來，大數(shù)據(jù)成為一個新興熱詞越來越被人們所提及。我國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展進(jìn)入爆發(fā)期，對于企業(yè)來說，大數(shù)據(jù)的影響更為猛烈。由于成熟的人才培訓(xùn)體系尚未建立，企業(yè)數(shù)據(jù)爆炸性增長給企業(yè)帶來了隱患，直接導(dǎo)致人才短缺的問題日益突出。大數(shù)據(jù)面臨的最嚴(yán)重的問題就是應(yīng)用場景和人才的問題，應(yīng)用場景的問題是需要時間，作為一個新興發(fā)展起來的產(chǎn)業(yè)，對大數(shù)據(jù)人才的需求開始成爆炸式的增長。人才不足限制了大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新發(fā)展的成效。清華大學(xué)計算機(jī)系教授武永

8、衛(wèi)透露的數(shù)據(jù)顯示，未來3至5年，中國需要180萬數(shù)據(jù)人才，截至目前，中國大數(shù)據(jù)從業(yè)人員只有約30萬人。LinkedIn（領(lǐng)英）發(fā)布的2016年中國互聯(lián)網(wǎng)最熱職位人才報告則顯示，數(shù)據(jù)分析是當(dāng)下中國互聯(lián)網(wǎng)行業(yè)需求最旺盛的6類人才職位之一。數(shù)據(jù)來源人民網(wǎng)同時，大數(shù)據(jù)行業(yè)選才的標(biāo)準(zhǔn)隨著大數(shù)據(jù)的發(fā)展也不斷變化。初期，ETL研發(fā)、系統(tǒng)架構(gòu)開發(fā)、數(shù)據(jù)倉庫研究等偏硬件領(lǐng)域?qū)Υ髷?shù)據(jù)人才的需求較多，傾向于需要具有IT、計算機(jī)背景的人才。隨著大數(shù)據(jù)從水平領(lǐng)域往各垂直領(lǐng)域的延伸發(fā)展，對，從事數(shù)據(jù)分析、數(shù)據(jù)挖掘、人工智能等偏軟件領(lǐng)域的統(tǒng)計學(xué)、數(shù)學(xué)專業(yè)的人才的需求不斷加大。在高端人才稀缺的現(xiàn)實情況下，越來越多的企業(yè)希望能夠培養(yǎng)自己的大數(shù)據(jù)分析人才。企業(yè)多選擇從海外和傳統(tǒng)行業(yè)挖掘跨界人才