企業(yè)實施大數(shù)據(jù)的路徑

1、重磅，企業(yè)實施大數(shù)據(jù)的路徑企業(yè)實施大數(shù)據(jù)主要有四個方面的內(nèi)容：第一，企業(yè)要建立數(shù)據(jù)文化，企業(yè)作決策應(yīng)該用數(shù)據(jù)來說話。第二，企業(yè)要建立數(shù)據(jù)的戰(zhàn)略。第三，企業(yè)在數(shù)據(jù)戰(zhàn)略之下組織數(shù)據(jù)管理團隊的能力。第四，企業(yè)實施大數(shù)據(jù)的技術(shù)能力。企業(yè)實施大數(shù)據(jù)的具體的建設(shè)路徑有兩個方面，一方面是自下而上，另一方面是自上而下。自上而下自上而下的路徑，首先是有序地在管理層建立數(shù)據(jù)的決策文化，在企業(yè)文化層面建設(shè)起數(shù)據(jù)的使用意識，然后建立對應(yīng)的組織架構(gòu)、對應(yīng)的部門和團隊，確定需要招聘什么樣的人進來、需要多少人、具體職責(zé)怎么劃分，最后建立起對應(yīng)的技術(shù)平臺。自下而上自下而上第一是讓員工學(xué)習(xí)和掌握相關(guān)技術(shù)技能，可以通過內(nèi)部培訓(xùn)，

2、也可以通過外部招聘。第二，要有規(guī)劃地設(shè)計，以后系統(tǒng)怎么走、怎么做，要有一個長期的規(guī)劃。第三，要有明確的績效考核的指標(biāo)，數(shù)據(jù)的管理、質(zhì)量的管控、效益怎么保證。第四，在思維上要保持一個開放的態(tài)度，互聯(lián)網(wǎng)時代大數(shù)據(jù)還在發(fā)展的初期，一般認為大數(shù)據(jù)在企業(yè)的應(yīng)用還處于幼兒園階段，這個時候還有很多東西要學(xué)習(xí)，必須保持一個開放的心態(tài)，不斷地學(xué)習(xí)，才能真正把事情做好。（一）建立企業(yè)的數(shù)據(jù)文化文化是企業(yè)看待事物的價值觀和執(zhí)行行動的衡量標(biāo)準(zhǔn)。建立數(shù)據(jù)文化就是要在整個企業(yè)層面建立一種以客觀的數(shù)據(jù)為決策依據(jù)和衡量標(biāo)準(zhǔn)的價值觀和制度體系為企業(yè)能夠真正利用大數(shù)據(jù)產(chǎn)生價值提供基礎(chǔ)。沒有這個基礎(chǔ)，企業(yè)即使擁有再好的技術(shù)和資源，

3、也無法利用好它們來為企業(yè)服務(wù)。什么叫企業(yè)數(shù)據(jù)文化?它包括六個方面的內(nèi)容。第一，數(shù)據(jù)文化主要體現(xiàn)在數(shù)據(jù)驅(qū)動決策，決策主要通過數(shù)據(jù)來說話。第二，企業(yè)運行效率的分析。一方面，通過對數(shù)據(jù)進行深度分析可以像望遠鏡一樣了解企業(yè)各方面的運營情況，另一方面，數(shù)據(jù)可以像顯微鏡一樣去觀察企業(yè)運營的細節(jié)，找到以優(yōu)化的地方。第三，通過數(shù)據(jù)來分析營銷規(guī)劃的得失。通常企業(yè)做促銷活動，銷售量提升了就覺得是成功了，但是促銷是有成本的，銷量提升了，是不是真的就帶來效益了呢？第四，在以人為本的時代，企業(yè)對員工的人身安全和健康的責(zé)任越發(fā)重大了。如果能通過客觀可衡量的數(shù)據(jù)，關(guān)注員工的工作環(huán)境和舒適性，對保障良好健康的工作環(huán)境、提升員

4、工的滿意度將起到非常重要的作用。第五，員工績效，必須要有一個數(shù)量化的指標(biāo)。第六，價值鏈中的數(shù)據(jù)管理。在縱向供應(yīng)鏈中通過數(shù)據(jù)的分享和交換，可以更好地讓供應(yīng)鏈上下游的企業(yè)了解整個供應(yīng)鏈上的需求、庫存和供給，從而可以優(yōu)化鏈條上的庫存，主動發(fā)起供給的準(zhǔn)備，更快地應(yīng)對市場的變化。在橫向生態(tài)鏈中，通過分享和交換數(shù)據(jù)，可以在全方位生活場景中對用戶進行分析，從而打造出滿足用戶更廣泛需求的一站式服務(wù)，不僅可以挖掘出更多的商業(yè)機會，而且增強了用戶的粘性。（二）建立企業(yè)的數(shù)據(jù)戰(zhàn)略建立企業(yè)的數(shù)據(jù)戰(zhàn)略，需要建設(shè)三個方面的內(nèi)容，如下圖第一個方面是建立完整的數(shù)據(jù)模型。數(shù)據(jù)模型的目的是正確地定義數(shù)據(jù),對數(shù)據(jù)進行分類和確定數(shù)據(jù)

5、交互之間的標(biāo)準(zhǔn)。將對企業(yè)業(yè)務(wù)管理的理解，轉(zhuǎn)化為數(shù)據(jù)的要求，從而理解到底什么樣的數(shù)據(jù)需要管理。不同的系統(tǒng)產(chǎn)生不同的數(shù)據(jù)，各系統(tǒng)之間的數(shù)據(jù)和數(shù)據(jù)之間互相交互的內(nèi)容是什么。企業(yè)內(nèi)部有不同的系統(tǒng)，ERP系統(tǒng)、供應(yīng)鏈系統(tǒng)、CRP系統(tǒng)等，用戶信息放在哪，供應(yīng)商信息、物聯(lián)網(wǎng)信息、財務(wù)信息分別放在哪，他們之間怎么協(xié)調(diào)，怎么溝通?這些都是需要考慮的問題。數(shù)據(jù)服務(wù)第二個方面是建立數(shù)據(jù)服務(wù)體系包括選用什么樣的技術(shù)平臺、采用什么樣的數(shù)據(jù)技術(shù)，不同的系統(tǒng)如何使用這些不同技術(shù)，包括傳統(tǒng)的數(shù)據(jù)庫、數(shù)據(jù)倉庫、商業(yè)智能、新型的Hadoop等。基于業(yè)務(wù)架構(gòu)的設(shè)計，來設(shè)計數(shù)據(jù)應(yīng)用的架構(gòu)，然后通過數(shù)據(jù)交互接口來交換數(shù)據(jù)，從而避免出現(xiàn)

6、數(shù)據(jù)孤島，同時建立統(tǒng)一的數(shù)據(jù)規(guī)劃，確保數(shù)據(jù)源的統(tǒng)一和一致性，為后期的數(shù)據(jù)分析提供支持。第三個方面是建立數(shù)據(jù)的治理體系。數(shù)據(jù)治理包括數(shù)據(jù)的管理制度和整體生命周期的管理。數(shù)據(jù)正在成為一種資產(chǎn),與此相對應(yīng)的，資產(chǎn)需要體系化的管理。數(shù)據(jù)的資產(chǎn)權(quán)利管理，包括確定數(shù)據(jù)的所有權(quán)、確定每個數(shù)據(jù)的所有者、誰是這個數(shù)據(jù)的管理者、誰來負責(zé)這個數(shù)據(jù)的準(zhǔn)確性、誰來保障數(shù)據(jù)的質(zhì)量，等等。數(shù)據(jù)的高質(zhì)量是進行數(shù)據(jù)分析的基礎(chǔ)，數(shù)據(jù)如果是錯誤的，怎么分析都不會有正確的結(jié)果。同時，數(shù)據(jù)的合規(guī)和安全的管理也是核心環(huán)節(jié)，比如誰可以操作數(shù)據(jù)、誰負責(zé)數(shù)據(jù)的安全、備份和服務(wù)等，一個嚴(yán)格的數(shù)據(jù)的合規(guī)和安全管控制度是必不可少的。數(shù)據(jù)的生命周期管

7、理，包括如何和何時建立數(shù)據(jù)、什么時候可以修改、誰批準(zhǔn)修改、數(shù)據(jù)如何消除等。國內(nèi)的企業(yè)這方面做得比較欠缺，不只是數(shù)據(jù)，還包括設(shè)備、電腦等，電腦報廢了不能用了，就直接丟棄。在這方面，國外企業(yè)做得不錯，國外信息安全的企業(yè)，通常會花錢請第三方公司來進行專業(yè)的數(shù)據(jù)銷毀的處理甚至每臺電腦花費幾百塊錢來進行環(huán)保型銷毀。比如在一些數(shù)據(jù)消除案例中，數(shù)據(jù)要用各種方法來確保被徹底擦除，比如有些企業(yè)要求對數(shù)據(jù)進行格式化七遍，以避免可能的數(shù)據(jù)恢復(fù)。建立企業(yè)的數(shù)據(jù)組織能力建立數(shù)據(jù)的組織能力，包括設(shè)立合適的組織角色的定位、招聘到合適的人員、設(shè)立合適的組織結(jié)構(gòu)以及設(shè)計合適的責(zé)權(quán)利，等等。第一，數(shù)據(jù)的組織能力，建議有條件的公司

8、可以建立首席數(shù)據(jù)官(ChiefDataOfficer)崗位，這個崗位主要是設(shè)計整個數(shù)據(jù)的戰(zhàn)略，領(lǐng)導(dǎo)數(shù)據(jù)戰(zhàn)略的落地，以及通過數(shù)據(jù)和業(yè)務(wù)管理層進行溝通、對話，傳遞數(shù)據(jù)的價值。第二，數(shù)據(jù)科學(xué)家的作用非常重要，數(shù)據(jù)科學(xué)家研究的是如何用最好、最科學(xué)的算法得出最好的結(jié)果。同樣一堆數(shù)據(jù)在那兒，十個不同的人在看，十個人看的結(jié)果都不同。那么為什么科學(xué)家算得準(zhǔn)呢?因為他的知識夠深入，他了解哪個因素最重要，那么多因素里面他應(yīng)該選哪部分來分析。數(shù)據(jù)科學(xué)家目前是整個市場上最欠缺的人才，因為同時兼具數(shù)據(jù)算法專業(yè)知識和業(yè)務(wù)知識的人才是極其難得的。數(shù)據(jù)科學(xué)家可以分為三種類型，第一種是技術(shù)型數(shù)據(jù)科學(xué)家，他們是計算算法方面的行家

9、，對各種統(tǒng)計分析技術(shù)非常在行第二種是應(yīng)用數(shù)據(jù)科學(xué)家，他們對數(shù)據(jù)架構(gòu)非常熟悉，熟悉數(shù)據(jù)在各個系統(tǒng)中的分布，能夠很好地把各種數(shù)據(jù)進行集成管理第三種是業(yè)務(wù)數(shù)據(jù)科學(xué)家，這些人對行業(yè)知識和企業(yè)業(yè)務(wù)非常熟悉，同時兼具一部分對數(shù)據(jù)處理技術(shù)的了解，能很好地把業(yè)務(wù)的需要和特征轉(zhuǎn)換成數(shù)據(jù)的處理要求，同時可以很好地將數(shù)據(jù)處理結(jié)果轉(zhuǎn)換成業(yè)務(wù)的視角和言語，來傳遞給業(yè)務(wù)管理者。第三，對于一定規(guī)模的企業(yè)，我們通常建議，企業(yè)要建立一個集中式的數(shù)據(jù)管理運營中心。云計算服務(wù)就是集中化管理方式，成本最低、靈活性最高、擴展性最強。第四，整個數(shù)據(jù)組織的架構(gòu)標(biāo)準(zhǔn)不是以技術(shù)、產(chǎn)品來交付，而是以商業(yè)價值交付為衡量標(biāo)準(zhǔn)?？剂繑?shù)據(jù)分析的產(chǎn)出能力

10、，不是數(shù)據(jù)分析的速度有多快，也不是數(shù)據(jù)量有多大而是數(shù)據(jù)分析的結(jié)果對業(yè)務(wù)到底有沒有幫助、是不是有指導(dǎo)意義。這也是所有數(shù)據(jù)分析的核心價值，也是對大數(shù)據(jù)中"大"的含義的最核心的衡量標(biāo)準(zhǔn)一一"大"到產(chǎn)生業(yè)務(wù)價值。這個衡量標(biāo)準(zhǔn)對技術(shù)組織來說，執(zhí)行起來有些困難，所以必須建立一個明確的績效評估標(biāo)準(zhǔn)和價值評估標(biāo)準(zhǔn)，讓技術(shù)人員能夠更多地從業(yè)務(wù)角度來考慮所做的工作的價值，而不陷入技術(shù)優(yōu)先論的境地。第五，提升一線人員的業(yè)務(wù)決策權(quán)和數(shù)據(jù)決策權(quán)，建立一個扁平化管理的組織。通過系統(tǒng)化的培訓(xùn)來不斷培養(yǎng)員工的數(shù)據(jù)分析能力。由專業(yè)數(shù)據(jù)分析人員和算法人員設(shè)計的數(shù)據(jù)分析解決方案或者產(chǎn)品，必須

11、以簡單易用的方式提供給一線員工，同時更為重要的是，加強相關(guān)的解決方案或者數(shù)據(jù)產(chǎn)品的系統(tǒng)化培訓(xùn)；讓更多的員工意識到這些解決方案或者產(chǎn)品的價值，并樂于在日常工作中使用。我們建議數(shù)據(jù)建模/數(shù)據(jù)產(chǎn)品研發(fā)的費用和針對一線員工的使用培訓(xùn)的投入應(yīng)該是對半分的。為了更好地推進培訓(xùn)，企業(yè)還可以考慮成立興趣驅(qū)動的數(shù)據(jù)協(xié)會，讓更多的員工加入到該協(xié)會中，定期舉行培訓(xùn)課程、研討沙龍以及聘請外部專家做相關(guān)分享以開拓視野。建立了企業(yè)的數(shù)據(jù)組織能力后，企業(yè)使用數(shù)據(jù)的過程如下闡述。首先搜集數(shù)據(jù)從不同地方把數(shù)據(jù)找到找到以后選擇算法。其次進行業(yè)務(wù)關(guān)聯(lián)的分析，確定哪些指標(biāo)、哪些維度是有意義的，這就是數(shù)據(jù)科學(xué)干的事。業(yè)務(wù)科學(xué)家和數(shù)據(jù)科

12、學(xué)家可以分離，也可以整合，大部分企業(yè)是一套人馬來做，展示成一個業(yè)務(wù)的可以接受、可以理解的方法，如果單純是數(shù)據(jù)展示，可能管理層、業(yè)務(wù)部門看不懂，這就需要轉(zhuǎn)換成業(yè)務(wù)管理者可以理解的語言和信息。最后，是交給管理層或者是對應(yīng)的部門作商業(yè)決策。這就完成了一個完整的價值交付。在上述的數(shù)據(jù)處理過程中，數(shù)據(jù)團隊中有不同的崗位來執(zhí)行對應(yīng)的工作。在數(shù)據(jù)的采集和清理環(huán)節(jié)，主要是數(shù)據(jù)管理員，包括企業(yè)內(nèi)部的數(shù)據(jù)抓取，外部的微博、淘寶、第三方電信等的數(shù)據(jù)采集數(shù)據(jù)很多，需要做清理，巴一些沒有用的數(shù)據(jù)處理掉,留下來有效的數(shù)據(jù)，這主要是數(shù)據(jù)管理員要做的事情。接下來是數(shù)據(jù)科學(xué)家，選擇正確的算法，同時可以根據(jù)業(yè)務(wù)的維度制作各種不同

13、的模型，來得出一個分析的結(jié)果。再接下來，還有一個團隊是業(yè)務(wù)分析師，根據(jù)這些分析結(jié)果，將其轉(zhuǎn)換成業(yè)務(wù)人員可以理解的語言和展示方法，交給CDO和核心管理層、決策層做溝通，幫助他們作決策。作為整個技術(shù)平臺的提供者，還有一個技術(shù)團隊做具體的平臺搭建，可以自行開發(fā)基于Hadoop開源的大數(shù)據(jù)平臺，或者購買第三方的系統(tǒng)做管理維護，也可以直接使用大數(shù)據(jù)的SaaS服務(wù)平臺來快速建立大數(shù)據(jù)技術(shù)能力。選擇技術(shù)平臺企業(yè)以往使用傳統(tǒng)數(shù)據(jù)進行復(fù)雜分析時，多使用數(shù)據(jù)倉庫和商務(wù)智能系統(tǒng)，也就是所謂的OLAP系統(tǒng)，對傳統(tǒng)數(shù)據(jù)比如財務(wù)數(shù)據(jù)、用戶數(shù)據(jù)進行抓取、挖掘和分析，然后通過頁面展示出來，這是非實時的分析系統(tǒng)。在互聯(lián)網(wǎng)+時代

14、要將第三方的社交數(shù)據(jù)和電商數(shù)據(jù)，比如微博、電商數(shù)據(jù)等放進來分析是很難的因為傳統(tǒng)的架構(gòu)是基于結(jié)構(gòu)化的數(shù)據(jù)基礎(chǔ)上的，而現(xiàn)在更大量的數(shù)據(jù)是非結(jié)構(gòu)化的數(shù)據(jù)，傳統(tǒng)方式很難支持。這樣我們分析數(shù)據(jù)就碰到一些困難，大數(shù)據(jù)應(yīng)運而生，Hadoop是其中最重要的一個平臺。Hadoop是一個生態(tài)系統(tǒng)，它里面包括了一些計算的系統(tǒng)、數(shù)據(jù)存儲的系統(tǒng)、數(shù)據(jù)分析的系統(tǒng)，它是阿帕奇組織在2004年正式開展的一個項目。Hadoop是一個非常重要的革命性的應(yīng)用，因為它是免費發(fā)布，讓很多人都有機會使用，現(xiàn)在很多企業(yè)都是以Hadoop開源平臺為基礎(chǔ)，再由內(nèi)部技術(shù)人員做一些優(yōu)化來使用。傳統(tǒng)數(shù)據(jù)和大數(shù)據(jù)的關(guān)系是一個發(fā)展和結(jié)合的關(guān)系。傳統(tǒng)數(shù)據(jù)

15、還是可以分析出對業(yè)務(wù)有價值的信息，也還是用以前倉庫的方式分析，新型數(shù)據(jù)用大數(shù)據(jù)的方式分析，兩個系統(tǒng)最后進行整合，形成一個后端的解決方案現(xiàn)在也出現(xiàn)了一種完全集成式的方案，這是最近一兩年出現(xiàn)的新的大數(shù)據(jù)平臺，可以同時兼容新的大數(shù)據(jù)和傳統(tǒng)的數(shù)據(jù)，這種集成式的應(yīng)用將會越來越多。市場上很多公司的商業(yè)套件和Hadoop開源的方案有什么區(qū)別呢?它們的主要區(qū)別是商業(yè)套件在性能上做了優(yōu)化、提升,在安全上做了增強，它加入了針對對應(yīng)行業(yè)的業(yè)務(wù)理解，幫助企業(yè)預(yù)置了建模的方法和工具，但問題是價格比較貴。所以，各種方案的選擇是基于企業(yè)的實際情況，包括預(yù)算和團隊能力等因素綜合考慮的。（五）數(shù)據(jù)的開放和共享對于數(shù)據(jù)的來源，企

16、業(yè)內(nèi)部通常不具有大數(shù)據(jù)分析所需要的所有數(shù)據(jù)。2014年，我國的大數(shù)據(jù)市場規(guī)模84個億，預(yù)計2015年達到166個億，增長40%。相信隨著大數(shù)據(jù)交易平臺的建設(shè)，增長還會更多。根據(jù)中國信息通訊研究院的研究報告，企業(yè)對大數(shù)據(jù)的認同度，認為"比較重要"的達到97%，這說明企業(yè)對大數(shù)據(jù)的重要性是有認識的，問題是怎么來落地。企業(yè)對待大數(shù)據(jù)往往關(guān)注的是安全性和穩(wěn)定性。這說明雖然企業(yè)已經(jīng)意識到大數(shù)據(jù)的重要性，但還是比較保守，對安全的顧慮影響了對數(shù)據(jù)商業(yè)價值的挖掘。隨著安全技術(shù)的發(fā)展以及對商業(yè)價值的認識的提高，企業(yè)應(yīng)用大數(shù)據(jù)、獲取和交換數(shù)據(jù)將會越來越多。安全和商業(yè)價值永遠是一對需要衡量的關(guān)系

17、它就像速度和成本、速度和質(zhì)量一樣是相輔相成、互相平衡的關(guān)系，要同時追求兩方面是有困難的，不同時期要有不同的策略。企業(yè)對政府公開數(shù)據(jù)的需求非常強烈。市場上有很多針對政府?dāng)?shù)據(jù)的創(chuàng)業(yè)公司，例如一家企業(yè)叫法海風(fēng)控，他是從法律層面分析企業(yè)的信用狀態(tài)，通過分析企業(yè)相關(guān)的法律文書，比如這家企業(yè)過去數(shù)年有沒有相關(guān)的法律官司、勝訴還是敗訴，也包括相關(guān)聯(lián)企業(yè)涉及到的法律行為，從這些角度提供風(fēng)控的判斷，這是一個很好的應(yīng)用案例，這取決于政府的數(shù)據(jù)公開程度。政府擁有海量的數(shù)據(jù)，如交通數(shù)據(jù)、社保數(shù)據(jù)等，一旦這些數(shù)據(jù)能夠公開，將會帶來大量的創(chuàng)業(yè)機會，也會給企業(yè)帶來更多考慮問題的維度，所以企業(yè)都希望政府能夠盡快地公開數(shù)據(jù)。（

18、六）找好切入點，小步快走關(guān)于實施路徑，企業(yè)或多或少已經(jīng)有一些數(shù)據(jù)、有一些系統(tǒng)，這個時候是推倒重來，還是有一些別的方法?數(shù)據(jù)能夠在哪些領(lǐng)域?qū)崿F(xiàn)業(yè)績的大幅提高?數(shù)據(jù)能在哪些領(lǐng)域?qū)崿F(xiàn)企業(yè)運營效率的提升?這些問題很重要，一開始就必須提出來。每個重要業(yè)務(wù)部門和職能部門都需要考慮這個問題，并展開相關(guān)的研討。企業(yè)高管實施大數(shù)據(jù)戰(zhàn)略的時候，需要高度重視這一步，旦在國內(nèi)很多企業(yè)往往忽略這一方面，投入大數(shù)據(jù)往往不是以提升業(yè)績?yōu)閷?dǎo)向，而是以學(xué)術(shù)為導(dǎo)向，使得很多企業(yè)實施大數(shù)據(jù)戰(zhàn)略后，看不到數(shù)據(jù)對企業(yè)績效的提升，從而使得大數(shù)據(jù)戰(zhàn)略流產(chǎn)。（七）放眼未來，永遠在路上大數(shù)據(jù)是不是萬能的?是不是永遠有效的?大數(shù)據(jù)的使用有限制嗎?正確地認識這些問題，有