大數(shù)據(jù)思維與發(fā)展趨勢

大數(shù)據(jù)思維與發(fā)展趨勢大數(shù)據(jù)思維大數(shù)據(jù)與“小數(shù)據(jù)”的根本區(qū)別在于大數(shù)據(jù)采用全樣思維方式，小數(shù)據(jù)強(qiáng)調(diào)抽樣。抽樣是數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、數(shù)據(jù)呈現(xiàn)技術(shù)達(dá)不到實(shí)際要求，或成本遠(yuǎn)超過預(yù)期的情況下的權(quán)宜之計(jì)。隨著技術(shù)發(fā)展，在過去不可能獲取全樣數(shù)據(jù)，不可能存儲(chǔ)和分析全樣數(shù)據(jù)的情況，都將一去不復(fù)返。大數(shù)據(jù)時(shí)代是全樣數(shù)據(jù)的時(shí)代，抽樣的應(yīng)用場景將逐步減少，并很有可能最終消失在歷史的長河中。全樣思維大數(shù)據(jù)思維對數(shù)據(jù)質(zhì)量近乎瘋狂的追求，是小數(shù)據(jù)年代的必然要求。一方面極大增加了數(shù)據(jù)預(yù)處理的代價(jià)，大量數(shù)據(jù)清洗算法和模型被提出，導(dǎo)致系統(tǒng)邏輯特別復(fù)雜。另一方面，不同的數(shù)據(jù)清洗模型可能會(huì)造成清洗后數(shù)據(jù)差異很大，從而進(jìn)一步加大數(shù)據(jù)結(jié)論的不穩(wěn)定性?，F(xiàn)實(shí)中的數(shù)據(jù)本身就是存在異常、紕漏、疏忽，甚至錯(cuò)誤。將抽樣數(shù)據(jù)做了極致清洗后，很可能導(dǎo)致結(jié)論反而不符合客觀事實(shí)。這也是為什么很多小數(shù)據(jù)的模型在測試階段效果非常好，一到了實(shí)際環(huán)境效果就非常差的原因。大數(shù)據(jù)年代，因?yàn)槲覀儾杉巳珮訑?shù)據(jù)，而不是一部分?jǐn)?shù)據(jù)，數(shù)據(jù)中的異常、紕漏、疏忽、錯(cuò)誤都是數(shù)據(jù)的實(shí)際情況，其結(jié)果是最接近客觀事實(shí)的。容錯(cuò)思維大數(shù)據(jù)思維在小數(shù)據(jù)的年代，大家總是相信因果關(guān)系，而不認(rèn)可其他關(guān)系。但是因果關(guān)系是一個(gè)非常不穩(wěn)定的關(guān)系，“有因必有果”的結(jié)論也非常武斷，在大部分情況下這種關(guān)系是錯(cuò)誤的，或不合時(shí)宜的。因果關(guān)系根源于數(shù)據(jù)抽樣理論。是一種非常脆弱的關(guān)系，只要存在一個(gè)反例，因果關(guān)系就失敗。在大數(shù)據(jù)年代，當(dāng)全部數(shù)據(jù)都加入分析的時(shí)候，由于只要有一個(gè)反例，因果關(guān)系就不成立，因此在大數(shù)據(jù)時(shí)代，因果關(guān)系變得幾乎不可能。而另一種關(guān)系就進(jìn)入大數(shù)據(jù)專家的眼里：相關(guān)關(guān)系。很多男人去超市買了啤酒后會(huì)順便買紙尿褲，但不是買啤酒就一定買紙尿褲。因此，啤酒喝、紙尿褲的關(guān)系不能算因果關(guān)系，而只能是一種相關(guān)關(guān)系。相關(guān)思維大數(shù)據(jù)發(fā)展趨勢數(shù)據(jù)資源化是指大數(shù)據(jù)成為企業(yè)和社會(huì)關(guān)注的重要戰(zhàn)略資源，并已成為大家爭相搶奪的新焦點(diǎn)。因而，企業(yè)必須要提前制定大數(shù)據(jù)營銷戰(zhàn)略計(jì)劃，搶占市場先機(jī)。數(shù)據(jù)的資源化數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的平臺(tái)之一。預(yù)計(jì)未來兩者關(guān)系將更為密切。與云計(jì)算的深度結(jié)合隨之興起的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和人工智能等相關(guān)技術(shù)，可能會(huì)改變數(shù)據(jù)世界里的很多算法和基礎(chǔ)理論，實(shí)現(xiàn)科學(xué)技術(shù)上的突破。科學(xué)理論的突破采用自助式商業(yè)智能工具進(jìn)行大數(shù)據(jù)處理的企業(yè)將會(huì)脫穎而出。想要成功，企業(yè)需要理解原始數(shù)據(jù)與數(shù)據(jù)分析之間的差距，從而消除低質(zhì)量數(shù)據(jù)并通過BI獲得更佳決策。數(shù)據(jù)質(zhì)量是商業(yè)智能成功的關(guān)鍵未來，數(shù)據(jù)科學(xué)將成為一門專門的學(xué)科，被越來越多的人所認(rèn)知。各大高校將設(shè)立專門的數(shù)據(jù)科學(xué)類專業(yè)，也會(huì)催生一批與之相關(guān)的新的就業(yè)崗位。與此同時(shí)，基于數(shù)據(jù)這個(gè)基礎(chǔ)平臺(tái)，也將建立起跨領(lǐng)域的數(shù)據(jù)共享平臺(tái)，之后，數(shù)據(jù)共享將擴(kuò)展到企業(yè)層面，并且成為未來產(chǎn)業(yè)的核心一環(huán)。數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立當(dāng)“數(shù)據(jù)資產(chǎn)是企業(yè)核心資產(chǎn)”的概念深入人心之后，企業(yè)對于數(shù)據(jù)管理便有了更清晰的界定，將數(shù)據(jù)管理作為企業(yè)