數(shù)據(jù)中臺(tái)發(fā)展趨勢觀點(diǎn)

數(shù)據(jù)中臺(tái)發(fā)展趨勢觀點(diǎn)

【導(dǎo)讀】本文原題《從數(shù)據(jù)資源到數(shù)據(jù)價(jià)值，再到數(shù)據(jù)生產(chǎn)力》，點(diǎn)評(píng)分析了數(shù)據(jù)領(lǐng)域的一些問題、難題和誤區(qū)：技術(shù)和業(yè)務(wù)的鴻溝如何消弭？數(shù)據(jù)思維有哪五大誤區(qū)？數(shù)據(jù)中臺(tái)存在什么問題？批流一體or湖倉一體？其觀點(diǎn)供大家參考。

一、雙向奔赴，跨越技術(shù)和業(yè)務(wù)的鴻溝首先要關(guān)注一個(gè)問題，很多人認(rèn)為技術(shù)和業(yè)務(wù)人存在天然的隔閡和矛盾，這也是客觀存在的事實(shí)。究其原因，還是因?yàn)殡p方的工作內(nèi)容、職責(zé)定位和關(guān)注點(diǎn)的不同。數(shù)據(jù)業(yè)務(wù)開展不起來或者運(yùn)行不暢，跟這個(gè)問題也是息息相關(guān)?；乇懿皇寝k法，解決問題的第一步還是直面問題。如果仔細(xì)研究就會(huì)發(fā)現(xiàn)一個(gè)有趣的現(xiàn)象，那就是在數(shù)字化轉(zhuǎn)型的大背景下，無論技術(shù)還是業(yè)務(wù)，都不約而同的用“造新詞”的方式在客觀上挖了很多溝通上的鴻溝。對(duì)技術(shù)人員而言，有很多聽起來都頭大的業(yè)務(wù)術(shù)語和約定俗成的行內(nèi)黑話；對(duì)業(yè)務(wù)人員而言，要面對(duì)數(shù)不勝數(shù)的IT新概念，數(shù)倉還沒搞明白，數(shù)據(jù)湖又來了，數(shù)據(jù)分析平臺(tái)還沒建完數(shù)據(jù)中臺(tái)又來了。這樣一來，給原本就溝通順暢的雙方造成了更大的障礙。所以說，需要雙向奔赴才能解決這個(gè)難題，通俗點(diǎn)說就是少“造新詞”，多“說人話”，真誠很重要。這里面的關(guān)鍵角色是業(yè)務(wù)專家和技術(shù)專家，業(yè)務(wù)專家需要把復(fù)雜的業(yè)務(wù)場景簡單直接的讓技術(shù)人員明白業(yè)務(wù)本質(zhì)，讓技術(shù)人員理解業(yè)務(wù)模式；技術(shù)專家需要用最簡單的語言告訴業(yè)務(wù)人員技術(shù)的價(jià)值和發(fā)展路徑。針對(duì)數(shù)據(jù)場景來說，雙方需要建立的共同認(rèn)知就是數(shù)據(jù)意識(shí)和數(shù)據(jù)思維。

二、擁有數(shù)據(jù)≠擁有數(shù)據(jù)思維1、什么是數(shù)據(jù)思維數(shù)據(jù)思維，是相較于傳統(tǒng)思維而言的一種思維方式，也是企業(yè)如何利用數(shù)據(jù)的一種根本性的方法論。參考網(wǎng)上的說法：我們判斷和分析事物的變化形成結(jié)論，一般有兩種方法，一種是通過對(duì)事物所涉及的一系列數(shù)據(jù)進(jìn)行收集、匯總、對(duì)比、分析而形成結(jié)論。另一種是通過感官、經(jīng)驗(yàn)、主觀和感性判斷而形成結(jié)論。前者可以稱為“數(shù)據(jù)思維”，后者可以稱為“經(jīng)驗(yàn)思維或傳統(tǒng)思維”。數(shù)據(jù)思維是用數(shù)據(jù)來探索、思考事物的一種思維模式，用數(shù)據(jù)來發(fā)現(xiàn)問題、洞察規(guī)律、探索真理。企業(yè)的數(shù)字化轉(zhuǎn)型過程需要的數(shù)據(jù)思維，就是用數(shù)據(jù)思考，用數(shù)據(jù)說話、用數(shù)據(jù)管理、用數(shù)據(jù)決策。數(shù)據(jù)思維是一種簡化思維，需要我們?cè)诩姺钡男畔⒅?，聚焦核心問題，從多維度多角度去抽絲剝繭的找到解決問題的路徑。數(shù)據(jù)思維也是一種量化思維，從某種程度說業(yè)務(wù)數(shù)據(jù)化的核心就是量化，所有的業(yè)務(wù)都可以用數(shù)據(jù)來量化描述。同時(shí)，數(shù)據(jù)思維是一種創(chuàng)新思維，數(shù)據(jù)資源跟其他生產(chǎn)要素最大的區(qū)別就是可復(fù)用性和可再生性，數(shù)據(jù)具有可重復(fù)使用，組合使用，跨平臺(tái)使用的特點(diǎn)，企業(yè)可以通過多維度方式，突破部門邊界、業(yè)務(wù)邊界、系統(tǒng)邊界、技術(shù)邊界的束縛，創(chuàng)新新模式，開拓新領(lǐng)域，確立新決策，不斷發(fā)掘數(shù)據(jù)背后所隱藏的“價(jià)值”。2、數(shù)據(jù)思維的誤區(qū)第一，有了數(shù)據(jù)，就有了數(shù)字思維。一切業(yè)務(wù)數(shù)據(jù)化、一切數(shù)據(jù)業(yè)務(wù)化，不只是說說，對(duì)推動(dòng)業(yè)務(wù)邏輯發(fā)生很多根本性變革，也會(huì)推動(dòng)傳統(tǒng)數(shù)據(jù)服務(wù)從支撐向運(yùn)營演進(jìn)。第二，數(shù)據(jù)體量，越大越好。數(shù)據(jù)歸集和數(shù)據(jù)融合的目的，不是囤積數(shù)據(jù)，而是持續(xù)提升數(shù)據(jù)價(jià)值。重要的不是體量，而是質(zhì)量，還有完整性。第三、數(shù)據(jù)就是事實(shí)，就是真理?？倳?huì)有很多人認(rèn)為，有了客觀的數(shù)據(jù)就一定會(huì)有業(yè)務(wù)層面的真相，就像按圖索驥一樣。數(shù)據(jù)不會(huì)說話，也沒有態(tài)度，讓他們發(fā)揮價(jià)值的是模型和算法，還有應(yīng)用場景，如果這些出了差錯(cuò)，結(jié)果可能會(huì)很離譜。當(dāng)年Nokia針對(duì)智能機(jī)的調(diào)研，就是一個(gè)教訓(xùn)。錯(cuò)的不是數(shù)據(jù)，而是迷信數(shù)據(jù)。第四，有了數(shù)據(jù)，就能精益管理。數(shù)據(jù)有著天然的不確定性，從數(shù)據(jù)采集、存儲(chǔ)、分析和展現(xiàn)等各個(gè)環(huán)節(jié)來說，數(shù)據(jù)都可能存在不完整、不準(zhǔn)確、被干擾、被污染的可能。數(shù)據(jù)永遠(yuǎn)是為業(yè)務(wù)和管理服務(wù)的。管理同樣也存在著很大的不確定性，各種內(nèi)外部條件和環(huán)境都在隨時(shí)發(fā)生著變化。數(shù)據(jù)是科學(xué)，管理是藝術(shù)，不能直接畫等號(hào)。第五，數(shù)據(jù)是數(shù)據(jù)，業(yè)務(wù)是業(yè)務(wù)。很多人會(huì)把數(shù)據(jù)和業(yè)務(wù)割裂開，有的是缺乏整體認(rèn)知，有的是受其他因素掣肘不得已而為之。不管什么原因，“數(shù)據(jù)為王，業(yè)務(wù)是核心”，與其說培養(yǎng)理解數(shù)據(jù)的能力，不如說是理解業(yè)務(wù)的能力。只有將數(shù)據(jù)置于業(yè)務(wù)場景中，數(shù)據(jù)才能變得有意義。你可能覺得以上都是廢話，但是卻每天都是真真切切的發(fā)生。數(shù)據(jù)也好、業(yè)務(wù)也罷，就像一個(gè)迷局，你我何嘗不在局中。

三、任何一種技術(shù)都不是通天浮屠，數(shù)據(jù)中臺(tái)也是一樣提起現(xiàn)在數(shù)據(jù)域的架構(gòu)，有點(diǎn)技術(shù)背景的，都很容易就能畫出一張架構(gòu)圖，下面是云網(wǎng)基礎(chǔ)設(shè)施、中間是數(shù)據(jù)中臺(tái)、上面是數(shù)據(jù)應(yīng)用，放之四海而皆準(zhǔn)。套路，這都是赤裸裸的套路。不少南郭先生，靠這種套路，混得風(fēng)生水起。那這種套路的問題在哪兒呢？1、數(shù)據(jù)中臺(tái)能否發(fā)揮價(jià)值，關(guān)鍵在于有沒有形成數(shù)據(jù)產(chǎn)品（服務(wù)）其實(shí)數(shù)據(jù)平臺(tái)也好數(shù)據(jù)中臺(tái)也罷，核心思想就是試圖發(fā)揮數(shù)據(jù)價(jià)值，形成真正的數(shù)據(jù)生產(chǎn)力。這里面有三個(gè)緊密關(guān)聯(lián)的環(huán)節(jié)，數(shù)據(jù)研發(fā)、數(shù)據(jù)治理和數(shù)據(jù)服務(wù)。數(shù)據(jù)研發(fā)，不僅僅指數(shù)據(jù)研發(fā)本身，更重要的時(shí)候?qū)崿F(xiàn)以數(shù)據(jù)快速開發(fā)為核心的數(shù)據(jù)全生命周期的管理；數(shù)據(jù)治理，已經(jīng)從傳統(tǒng)的一亂一治的被動(dòng)的旁路方式進(jìn)化到現(xiàn)在的主動(dòng)式的在線模式，傳統(tǒng)模式不能深入到研發(fā)環(huán)節(jié)，現(xiàn)在關(guān)注持續(xù)的數(shù)據(jù)質(zhì)量改進(jìn)和全要素?cái)?shù)據(jù)監(jiān)控；數(shù)據(jù)服務(wù)，重點(diǎn)關(guān)注數(shù)據(jù)基礎(chǔ)設(shè)施和數(shù)據(jù)中臺(tái)能否把能力封裝成上層應(yīng)用可以調(diào)用的服務(wù)或者產(chǎn)品。2、關(guān)注數(shù)據(jù)底座，批流一體or湖倉一體?數(shù)據(jù)域的存儲(chǔ)層面，一直在演進(jìn)和變化，從數(shù)倉到數(shù)據(jù)湖再到現(xiàn)在比較流行的湖倉一體化，不管是湖上建倉還是倉邊建湖，都是為了實(shí)現(xiàn)更多類型數(shù)據(jù)的高效存儲(chǔ)和提取。湖倉一體領(lǐng)域的三巨頭，DeltaLake、Iceberg、Hudi，激戰(zhàn)正酣，勝負(fù)難料，沒有形成統(tǒng)一標(biāo)準(zhǔn)。而且現(xiàn)有的大多數(shù)湖倉一體架構(gòu)，并不強(qiáng)調(diào)批流一體的概念，只是把湖倉在功能上整合在一起。這樣會(huì)導(dǎo)致一個(gè)問題，就是底層的存儲(chǔ)始終無法真正統(tǒng)一。現(xiàn)在出現(xiàn)了一種新的思路，基于湖倉一體做流式湖倉，基于流式湖倉提供批流一體、開箱即用的元數(shù)據(jù)服務(wù)，實(shí)現(xiàn)大數(shù)據(jù)存儲(chǔ)層面的真正統(tǒng)一。3、數(shù)據(jù)治理，門道很多現(xiàn)在有數(shù)據(jù)平臺(tái)架構(gòu)和建設(shè)思路，對(duì)數(shù)據(jù)治理關(guān)注嚴(yán)重不夠。從實(shí)際效果上看，跨層查詢戶導(dǎo)致查詢慢，指標(biāo)不一致會(huì)導(dǎo)致數(shù)據(jù)結(jié)果和一致性的問題，這些的根源說到底還是數(shù)據(jù)質(zhì)量的問題。從現(xiàn)有的經(jīng)驗(yàn)來看，數(shù)據(jù)治理除了依靠系統(tǒng)以外，還需要重視以下方面：全鏈路數(shù)據(jù)跟蹤監(jiān)測體系，從數(shù)據(jù)源、數(shù)據(jù)模型到數(shù)據(jù)應(yīng)用的全鏈路監(jiān)控；構(gòu)建數(shù)據(jù)質(zhì)量運(yùn)維基線，根據(jù)任務(wù)要求建立合理的基線預(yù)警，對(duì)數(shù)據(jù)質(zhì)量問題早發(fā)現(xiàn)早處置；任務(wù)關(guān)聯(lián)性和影響性分析，有點(diǎn)像業(yè)務(wù)連續(xù)性里面的業(yè)務(wù)影響性分析，基