版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
企業(yè)數(shù)字化轉型的總體思路、本質(zhì)、目的意義、工具及具體案例分析整理制作:郎豐利1519制作時間:2023年睿利而行整理制作:郎豐利1519制作時間:2023年睿利而行整理制作:郎豐利1519制作時間:2023年睿利而行2023年目錄1、數(shù)字化轉型的本質(zhì)2、數(shù)字化轉型的目的和意義3、數(shù)字化轉型的總體思路4、數(shù)字化轉型常用的工具及方法建議5、案例1:勞斯萊斯數(shù)字化轉型案例分析6、案例2:5G在生產(chǎn)制造中的應用整理制作:郎豐利1519制作時間:2023年睿利而行整理制作:郎豐利1519制作時間:2023年睿利而行整理制作:郎豐利1519制作時間:2023年睿利而行數(shù)字化轉型的本質(zhì)01COPYRIGHT?向永清1、數(shù)字化時代已悄然來臨2010年以來電子郵件(1987:越過長城,走向世界)瀏覽器(Netscape、IE)搜索引擎(Google、Baidu)云計算(阿里云、Azure)人工智能(AlphaGo、商湯)區(qū)塊鏈(比特幣,DECP)社交網(wǎng)絡(Facebook、QQ)電子商務(亞馬遜、淘寶)視頻網(wǎng)站(YouTube、Youku)PC時代互聯(lián)網(wǎng)時代數(shù)字化時代1990-20002000-2010信息科技發(fā)展的三個階段2、數(shù)字化轉型的定義數(shù)字化轉型是指:利用人工智能、大數(shù)據(jù)、云計算、區(qū)塊鏈、5G等新技術,目的是要建立一種全新的、以數(shù)字技術為核心的、富有活力和創(chuàng)新性的新商業(yè)模式,幫助客戶達到開源節(jié)流、降本增效、控制風險、提升口碑、走向國際化的效果,從而根本上提升企業(yè)的競爭力。要特別強調(diào)的是,數(shù)字化轉型不僅僅是IT變革,而是組織、業(yè)務、市場、營銷、人力資源、產(chǎn)品研發(fā)、供應鏈、制造、財務等企業(yè)要素的一次全方位變革。轉型的根本目的在于提升企業(yè)競爭力。數(shù)字化轉型過程中,新技術的應用并不是目的,轉型的根本目的是提升產(chǎn)品和服務的競爭力,讓企業(yè)獲得更大的競爭優(yōu)勢。數(shù)字化轉型本質(zhì)上是業(yè)務轉型。數(shù)字化轉型本質(zhì)上是新一代信息技術驅(qū)動下的一場業(yè)務、管理和商業(yè)模式的深度變革重構,技術是支點,業(yè)務是內(nèi)核。數(shù)字化轉型是一個長期系統(tǒng)工程。對于大多數(shù)企業(yè)而言,數(shù)字化轉型面臨的挑戰(zhàn)來自方方面面:從技術駕馭到業(yè)務創(chuàng)新,從組織變革到文化重塑,從數(shù)字化能力建設到人才培養(yǎng),因此數(shù)字化轉型的成功不可能一蹴而就。數(shù)字化轉型是一項長期艱巨的任務,多數(shù)企業(yè)需要3-5年甚至更長時間才能取得顯著成果。3、數(shù)字化轉型的本質(zhì)新一代ICT技術成為新的生產(chǎn)要素。數(shù)字化轉型就是將新一代ICT技術作為新的生產(chǎn)要素,疊加到企業(yè)原有的生產(chǎn)要素中,從而引起企業(yè)業(yè)務的創(chuàng)新、重構。因此,新一代ICT技術能否得到有效運用,并為企業(yè)產(chǎn)生顯著的業(yè)務價值是轉型的關鍵特征。數(shù)字資產(chǎn)成為創(chuàng)造價值的新源泉。數(shù)字化轉型不僅僅是將新技術簡單運用到生產(chǎn)過程中,更應該在轉型過程中不斷積累并形成數(shù)字資產(chǎn),圍繞數(shù)字資產(chǎn)構建數(shù)字世界的競爭力,為企業(yè)不斷創(chuàng)造價值。融合共享成為數(shù)字轉型的核心理念。數(shù)字化轉型首先是數(shù)據(jù)的融合共享,然后推動業(yè)務的融合共享,從而實現(xiàn)企業(yè)資源,外部資源的高效整合,提升企業(yè)運營效率和服務客戶的能力,為企業(yè)發(fā)展賦能。4、數(shù)字化轉型的核心特點文化觀念的沖突。未來的數(shù)字化企業(yè)將以完全不同的形態(tài)和方式運行。數(shù)字化轉型過程將極大地突破傳統(tǒng)企業(yè)的“舒適區(qū)”,在缺乏經(jīng)驗的未知領域探索,新舊兩種文化觀念將存在長期的沖突。新技術的駕馭和整合。數(shù)字化轉型不僅要求企業(yè)能夠迅速學習和掌握新技術,還需要將新技術融會貫通形成組合優(yōu)勢,并且在業(yè)務變革上找準結合點,使之運用和改變現(xiàn)有業(yè)務。數(shù)字化轉型對企業(yè)駕馭新技術提出了極大挑戰(zhàn)。組織和人才。為了有效推進數(shù)字化轉型,必須同時進行組織的變革,轉型本身是動態(tài)的,在轉型過程中如何建立并調(diào)整與轉型匹配的組織機構是轉型綜合挑戰(zhàn)的一個重要方面。轉型人才也是行業(yè)轉型中面臨的一大挑戰(zhàn),數(shù)字化轉型不僅需要新技術人才,業(yè)務創(chuàng)新人才,更需要能夠?qū)⑿录夹g與業(yè)務結合起來的跨領域人才,培養(yǎng)高水平的轉型人才隊伍是數(shù)字化轉型不可避免的一個問題。安全以及數(shù)據(jù)隱私問題。數(shù)據(jù)泄露、惡意軟件和漏洞數(shù)量的急劇增長導致一些人認為,缺乏安全的數(shù)字化轉型將致使企業(yè)面臨更大的安全風險。根據(jù)Gartner最新發(fā)布的預測結果稱,由于安全團隊無法管理數(shù)字風險,到2020年,60%的數(shù)字業(yè)務將遭受重大服務故障。5、數(shù)字化轉型面臨的挑戰(zhàn)6、美國政府數(shù)字化轉型的四個原則2017年5月2日,特朗普簽署一項行政命令,成立了美國科技委員會(AmericanTechnologyCouncil),它的目標是讓政府數(shù)字化服務順利過渡,變得更加現(xiàn)代化。以信息為中心原則,改變傳統(tǒng)管理文件形式,轉為管理在線業(yè)務數(shù)據(jù);共享平臺原則,政府各部門以及部門之間的雇員一起工作,以降低成本,精簡部門,并且以統(tǒng)一標準的方式創(chuàng)建和分發(fā)信息;以用戶為中心原則,圍繞客戶需求,創(chuàng)建、管理數(shù)據(jù),允許客戶在任何時候以任何他們希望的方式構建、分享和消費信息;安全和隱私原則,確保安全地分發(fā)和使用服務,保護信息和隱私。第一是要注重服務,建設服務型政府,滿足企業(yè)和公民不斷增長的公共需求;第二是要以評促建提高數(shù)字政府質(zhì)量,美國政府為此專門成立了“數(shù)字政府研究中心”;第三是要完善機構法規(guī),實現(xiàn)標準化數(shù)字政府,進一步保障數(shù)字政府高效、標準化運作;第四是要加強培訓和宣傳,提升政府人員數(shù)字化素養(yǎng);第五是要加強政府信息安全和隱私保護,做好移動互聯(lián)網(wǎng)的信息安全保障工作。7、美國政府數(shù)字化轉型的五點啟示數(shù)字化轉型的目的和意義02COPYRIGHT?向永清數(shù)字化轉型對中國企業(yè)而言,不僅是一道戰(zhàn)略選擇題,更是一道生存題—馬云提升企業(yè)在數(shù)字化時代的競爭力1、數(shù)字化轉型的目的2、數(shù)字化轉型的意義3、企業(yè)數(shù)字化轉型勢在必行數(shù)字化企業(yè)是以客戶為中心、通過數(shù)字化技術推動自身業(yè)務重塑和轉型的企業(yè)。IDG對IT和企業(yè)決策者的調(diào)查結果顯示,企業(yè)的數(shù)字化轉型將為企業(yè)帶來員工生產(chǎn)力提升、數(shù)據(jù)驅(qū)動業(yè)務價值提升、客戶體驗提升等8個方面的價值。數(shù)字化轉型員工生產(chǎn)力數(shù)據(jù)驅(qū)動業(yè)務客戶體驗移動業(yè)務流程自動化收入來源產(chǎn)品創(chuàng)新供應鏈優(yōu)化通過移動、數(shù)據(jù)訪問和輔助流程等工具來提高員工的生產(chǎn)率通過數(shù)據(jù)可用性和可見性更好地管理業(yè)務表現(xiàn)的能力通過數(shù)據(jù)收集和分析來理解客戶需求,滿足客戶的體驗提供安全、優(yōu)化的隨時隨地可以獲得的移動應用對業(yè)務和/或流程進行數(shù)字化優(yōu)化,提高流程自動化程度開發(fā)新的數(shù)字業(yè)務/收入流通過數(shù)字化產(chǎn)品升級,或開發(fā)新的產(chǎn)品/服務實現(xiàn)營收增長全球數(shù)據(jù)和信息的流動,使商品、服務、金融和人員的流動成為可能4、數(shù)字化轉型是企業(yè)順應時代的必然要求2017年,“數(shù)字經(jīng)濟”正式被寫入黨的十九大報告。2016年中國數(shù)字經(jīng)濟總量達到22.6萬億元人民幣,占GDP的比重為30.3%。畢馬威預測,到2030年時,這一比例將會達到77%,超過153萬億人民幣的GDP貢獻將來自于數(shù)字經(jīng)濟。2018年3月,政府工作報告提出“發(fā)展壯大新動能”,“為數(shù)字中國建設加油助力”。國家對于數(shù)字經(jīng)濟的定位不只局限于新興產(chǎn)業(yè)層面,而是將之提升為驅(qū)動傳統(tǒng)產(chǎn)業(yè)升級的國家戰(zhàn)略。在被譽為二十世紀信息技術及理念發(fā)展圣經(jīng)的《數(shù)字化生存》中預言到了今天的數(shù)字化時代:數(shù)字化生存是現(xiàn)代社會中以信息技術為基礎的新的生存方式。5、數(shù)字化企業(yè)是企業(yè)信息化發(fā)展的必然階段第一階段:業(yè)務操作電子化。電子化是指將企業(yè)日常手工事務性繁重的工作轉變?yōu)闄C器的工作以提高個體工作效率的過程。第二階段:業(yè)務流程信息化。信息化即通過企業(yè)的管理重組和管理創(chuàng)新,結合IT優(yōu)勢將業(yè)務流程固化。該階段是企業(yè)信息化、尤其是網(wǎng)絡化建設與應用的導入階段。第三階段:業(yè)務和管理的數(shù)字化。應用數(shù)字技術,整合企業(yè)的采購、生產(chǎn)、營銷、財務與人力資源等信息,做好計劃、協(xié)調(diào)、監(jiān)督和控制等各個環(huán)節(jié)的工作,打破“信息孤島”現(xiàn)象,系統(tǒng)形成價值鏈。第四階段:業(yè)務決策智慧化。智慧化是指在企業(yè)的已有知識的基礎之上,能夠智能創(chuàng)造、挖掘新知識,用于企業(yè)業(yè)務決策、企業(yè)日常管理等,形成自組織、自學習、自進化的企業(yè)管理體制。應用數(shù)字技術可以降低企業(yè)的成本。去年國際供應鏈大會上世界經(jīng)濟論壇發(fā)布的《第四次工業(yè)革命對供應鏈的影響》白皮書指出,79.9%的制造業(yè)企業(yè)和85.5%的物流企業(yè)認為,在不考慮金融影響的前提下,數(shù)字化轉型將產(chǎn)生積極影響,數(shù)字化變革將使制造業(yè)企業(yè)成本降低17.6%、營收增加22.6%,使物流服務業(yè)成本降低34.2%、營收增加33.6%,使零售業(yè)成本降低7.8%、營收增加33.3%。應用數(shù)字技術可以提升企業(yè)的效率?;ヂ?lián)網(wǎng)集中了大量數(shù)字技術資源和服務,通過大幅提高應用效率而產(chǎn)生經(jīng)濟價值。根據(jù)研究顯示,以“數(shù)據(jù)驅(qū)動型決策”模式運營的企業(yè),通過形成自動化數(shù)據(jù)鏈,推動生產(chǎn)制造各環(huán)節(jié)高效協(xié)同,大大降低了智能制造系統(tǒng)的復雜性和不確定性,其生產(chǎn)力普遍可以提高5%—10%。6、數(shù)字化轉型是企業(yè)降本增效的內(nèi)在需求7、數(shù)字化轉型是企業(yè)流程再造的必由之路“縱向壓縮,橫向集成”的流程優(yōu)化思想可以使企業(yè)成為面向客戶、流程導向的靈活組織,減少流程環(huán)節(jié)中不創(chuàng)造價值的活動,同時消除跨部門間的協(xié)作溝通障礙,從整體流程全局最優(yōu)(而不是局部最優(yōu))的目標,設計和優(yōu)化流程中的各項活動,實現(xiàn)集約化經(jīng)營。各項經(jīng)濟社會活動與數(shù)據(jù)的產(chǎn)生、傳輸和使用密不可分,數(shù)據(jù)作為獨立的生產(chǎn)要素在價值創(chuàng)造過程中加速流動,數(shù)據(jù)流動強調(diào)信息系統(tǒng)的互聯(lián)互通和綜合集成,挖掘了智慧組織、管理與服務的新價值。數(shù)字化轉型的總體思路03COPYRIGHT?向永清堅持1個企業(yè)級轉型戰(zhàn)略。把數(shù)字化轉型定位為企業(yè)級戰(zhàn)略,全局謀劃。創(chuàng)造2個保障條件。通過組織轉型激發(fā)組織活力,通過文化轉型創(chuàng)造轉型氛圍。貫徹3個核心原則。將核心原則貫穿轉型全過程,保證轉型始終在正確的軌道上。推進4個關鍵行動。通過4個關鍵行動控制轉型關鍵過程。1、數(shù)字化轉型總體架構2、堅持一個企業(yè)級轉型戰(zhàn)略數(shù)字化戰(zhàn)略是指籌劃和指導數(shù)字化轉型的方略,在高層次上面向未來,在方向性全局性的重大決策問題上選擇做什么,不做什么,數(shù)字化轉型是企業(yè)長期的戰(zhàn)略,是企業(yè)總體戰(zhàn)略的重要組成部分,以戰(zhàn)略為指引開展數(shù)字化轉型,將大大提高轉型成功的概率。數(shù)字化轉型戰(zhàn)略主要包括:數(shù)字化轉型愿景和使命。數(shù)字化轉型定位目標。新商業(yè)模式,新業(yè)務模式,新管理模式。數(shù)字化轉型戰(zhàn)略舉措。數(shù)字化轉型需要強有力的組織來支撐,需要明確轉型的責任主體,制定合理的組織業(yè)務目標,配套考核和激勵機制,優(yōu)化組織間協(xié)作流程。在適合的條件下,還應成立專門的數(shù)字化轉型組織,協(xié)調(diào)業(yè)務和技術部門,建立數(shù)字世界和物理世界間的協(xié)同運作機制,統(tǒng)籌推進數(shù)字化轉型落地。組織機制保障創(chuàng)造文化氛圍企業(yè)文化是數(shù)字化轉型成功與否的關鍵要素,要不斷培養(yǎng)轉型文化理念,激發(fā)個體活力,為員工營造好的轉型環(huán)境,形成數(shù)字化轉型的動力源泉。數(shù)字文化。積極擁抱數(shù)字化,通過數(shù)據(jù)來改變傳統(tǒng)的管理思路和模式,習慣用數(shù)據(jù)說話,用數(shù)據(jù)決策,用數(shù)據(jù)管理,用數(shù)據(jù)創(chuàng)新。變革文化。勇于探索,擁抱變化,自我顛覆,持續(xù)變革創(chuàng)新文化,崇尚創(chuàng)新,寬容失敗,支持冒險,在數(shù)字化轉型過程中更加積極和主動。3、創(chuàng)造2個保障條件,組織機制和文化氛圍4、貫徹三個核心原則數(shù)字化轉型應遵循以下三個核心原則,并將貫穿到轉型全過程,保證轉型始終在正確軌道上:原則一,戰(zhàn)略與執(zhí)行統(tǒng)籌。原則二,業(yè)務與技術雙輪驅(qū)動。原則三,自主與合作并重。5、推進4個關鍵行動頂層設計平臺賦能生態(tài)落地持續(xù)迭代頂層設計:制定轉型的總體框架與發(fā)展路標,是全局有效協(xié)同的必要基礎。頂層設計可以明確長期目標實現(xiàn)戰(zhàn)略解碼,在組織內(nèi)統(tǒng)一思想,統(tǒng)一目標,統(tǒng)一語言,統(tǒng)一行動,解決數(shù)字化轉型的整體性、協(xié)作性、可持續(xù)性問題。平臺賦能:在平臺化的數(shù)字化系統(tǒng)上,業(yè)務經(jīng)驗有效沉淀,數(shù)據(jù)資產(chǎn)逐步積累,技術架構平滑演進,企業(yè)數(shù)字化能力迅速得到提升。生態(tài)落地:數(shù)字化系統(tǒng)建設所需的生態(tài)合作資源,通常包括咨詢設計服務,應用服務,技術平臺服務,系統(tǒng)集成服務,運營安全服務和投融資服務等。持續(xù)迭代:數(shù)字時代下,業(yè)務變化快,技術更新快,需要敏捷迭代。迭代不代表全盤的顛覆,數(shù)字化轉型的能力需要不斷積累和傳承,信息化建設要支撐物理世界業(yè)務的可持續(xù)發(fā)展。6、數(shù)字化轉型的商業(yè)架構數(shù)字化商業(yè)技術平臺組件合作伙伴員工物件物聯(lián)網(wǎng)平臺生態(tài)系統(tǒng)平臺客戶體驗客戶信息系統(tǒng)平臺客戶體驗平臺數(shù)據(jù)和分析平臺相當于數(shù)據(jù)中臺Gartner的數(shù)字化商業(yè)模型包括5個重點領域:IT系統(tǒng)、客戶、生態(tài)、物聯(lián)和智能。業(yè)務在線化:只有把業(yè)務在線,變成數(shù)據(jù),才有未來,大家都知道BAT系互聯(lián)網(wǎng)企業(yè),不是在做交易,是在做數(shù)據(jù),在做金融,在做物流,在做互聯(lián)網(wǎng)底層設施;業(yè)務數(shù)據(jù)化:而我們干的事情就是幫助實體實現(xiàn)業(yè)務數(shù)據(jù)化。數(shù)據(jù)業(yè)務化:有了數(shù)據(jù),可以對用戶進行畫像,對產(chǎn)品動銷,產(chǎn)品的研發(fā),營銷精準落地,最后實現(xiàn)業(yè)務場景化,指導我們的經(jīng)營策略,這個時候就實現(xiàn)了數(shù)據(jù)業(yè)務化。7、數(shù)字化轉型三部曲數(shù)字化轉型常用工具及方法04COPYRIGHT?向永清1、建立適合企業(yè)數(shù)字化轉型戰(zhàn)略的IT架構業(yè)務領域電商丨生產(chǎn)制造丨供應鏈丨營銷丨…數(shù)據(jù)領域標簽丨數(shù)倉丨算法丨…能力開放平臺資源OpenAPIs丨業(yè)務應用管理業(yè)務能力交易丨支付丨項目管理丨…數(shù)據(jù)能力數(shù)據(jù)采集丨ETL服務丨…租戶應用門戶(Tenant
Application
Portal)業(yè)務應用ERP丨CRM丨MES丨SRM丨TMS丨…數(shù)據(jù)應用BI丨CDP丨…開發(fā)者中心訂制開發(fā)丨第三方服務接入租戶實例生產(chǎn)系統(tǒng)流程編排引擎丨策略引擎丨…微服務治理中心SpringCloud腳手架丨Eruka丨…云計算服務中心容器丨PaaS中間件中臺前臺?(后臺)是可靠(Reliable)IT,強調(diào)安全性和經(jīng)濟性,持續(xù)穩(wěn)定現(xiàn)有業(yè)務的發(fā)展?(前臺)是敏捷(Agile)IT,強調(diào)速度和靈活性,推陳出新,布局新產(chǎn)品和模式?(中臺)相當于后臺可靠IT和前臺敏捷IT之間的“變速齒輪”2、評估和改進企業(yè)數(shù)據(jù)和分析能力成熟度Basic基礎級12345Systematic系統(tǒng)級Differentiating區(qū)分級Transformational變革級Opportunistic機會級⑤④③②①數(shù)據(jù)僅被使用,未被開發(fā)數(shù)據(jù)和分析分散管理數(shù)據(jù)不唯一、不一致IT嘗試規(guī)范化數(shù)據(jù)可用性需求流程不暢,目標不一致不同的數(shù)據(jù)內(nèi)容被分別處理戰(zhàn)略和愿景初步形成管理層溝通篩選最佳決策數(shù)據(jù)和分析成為商業(yè)決策的核心數(shù)據(jù)價值影響投入戰(zhàn)略落地執(zhí)行一致且持續(xù)提升透明化管理首席數(shù)據(jù)官成為董事會成員臨時進行分析電子表格和救火式信息處理事務處理存在組織壁壘,缺少統(tǒng)一領導戰(zhàn)略與實際業(yè)務脫節(jié)數(shù)據(jù)質(zhì)量和數(shù)據(jù)洞察分散管理出現(xiàn)敏捷分析外部數(shù)據(jù)源可整合業(yè)務管理人員成為數(shù)據(jù)分析專家管理層驅(qū)動,出現(xiàn)CDO(首席數(shù)據(jù)官)跨領域數(shù)據(jù)分析成為優(yōu)化創(chuàng)新不可或缺的要素協(xié)同項目管理方法與結果掛鉤,數(shù)據(jù)產(chǎn)生投資回報數(shù)據(jù)分析Gartner的企業(yè)數(shù)據(jù)和分析能力成熟度模型分為5級:基礎級、機會級、系統(tǒng)級、區(qū)分級和變革級。3、關注企業(yè)數(shù)字化轉型容易忽視的關鍵問題Gartner研究了企業(yè)數(shù)字化轉型中的關鍵問題后發(fā)現(xiàn):大部分管理者關注的技術問題相當于水面上的冰山少部分管理者關注的企業(yè)轉型問題深埋在水面之下水面之下的冰山對企業(yè)數(shù)字化轉型的價值影響15倍于水面之上的冰山智能感知終端云大數(shù)據(jù)分析全渠道體驗業(yè)務技巧、能力、思維激勵、資金和運營模式協(xié)作時效合規(guī)和風險管理企業(yè)級數(shù)據(jù)戰(zhàn)略4、充分應用新技術來支撐數(shù)字化轉型++邊緣智能PANWAN802.11af/ahLTE-M豐富的網(wǎng)絡連接能力廣泛的設備接入能力感知邊緣計算新型邊緣存儲與管理技術邊緣計算引擎與邊緣計算框架適合邊緣場景的輕量級智能算法庫核心邊緣計算硬件神經(jīng)物聯(lián)網(wǎng)HistoryTime-seriesRelationalLogDBObjectDB新型時序數(shù)據(jù)庫數(shù)字孿生智能增強的工業(yè)機理血液大數(shù)據(jù)數(shù)據(jù)湖數(shù)據(jù)建模高級數(shù)據(jù)分析ITDataOTDataSocialData描述分析診斷分析預測分析規(guī)范分析后驗洞察預見智慧大腦AI智能感知AR/VRComputerVisionNLPFusionSensing智能規(guī)劃與智能決策智能規(guī)劃智能決策智能優(yōu)化5、借助外部力量:數(shù)字化咨詢服務數(shù)字化平臺咨詢數(shù)字化戰(zhàn)略咨詢數(shù)字化業(yè)務咨詢智能制造咨詢智能制造規(guī)劃數(shù)字化改造與選型生產(chǎn)過程改進工藝過程優(yōu)化供應商管理采購與物資智能排產(chǎn)庫存與交付客戶識別與洞察客戶體驗與發(fā)展客戶價值與提升用戶精準營銷數(shù)字化資產(chǎn)管理多渠道整合營銷數(shù)字化媒體分析合作伙伴管理產(chǎn)品服務化轉型服務數(shù)字化改進智能化客服反欺詐數(shù)據(jù)變現(xiàn)業(yè)務模式創(chuàng)新價值鏈重構構建生態(tài)體系123穩(wěn)態(tài)IT系統(tǒng)微服務化咨詢(規(guī)劃、應用、與選型)穩(wěn)態(tài)OT系統(tǒng)微服務化咨詢(規(guī)劃、應用、與選型)企業(yè)級數(shù)據(jù)中心規(guī)劃基礎設施全球化規(guī)劃云架構(公/私/混合)規(guī)劃基礎設施與云數(shù)字化技術咨詢智能供應鏈數(shù)字化客戶經(jīng)營數(shù)字化整合營銷智能化服務轉型數(shù)字化新業(yè)務模式大數(shù)據(jù)應用規(guī)劃數(shù)據(jù)體系與數(shù)據(jù)湖架構物聯(lián)網(wǎng)應用規(guī)劃物聯(lián)網(wǎng)與邊緣計算架構AI業(yè)務應用規(guī)劃企業(yè)級AI平臺架構特定業(yè)務系統(tǒng)智能化重構統(tǒng)一數(shù)字化平臺架構數(shù)據(jù)治理平臺治理IT系統(tǒng)架構數(shù)字化組織文化與管理變革數(shù)字化成熟度評估企業(yè)數(shù)字化轉型戰(zhàn)略規(guī)劃6、持續(xù)推動全生命周期的數(shù)字化建設全生命周期數(shù)字化建設智能化供應數(shù)字化研發(fā)智能化生產(chǎn)智能化銷售智能化服務工業(yè)優(yōu)化設計產(chǎn)品質(zhì)量管理制造工藝優(yōu)化智慧供應鏈大數(shù)據(jù)輿情智能客服SAP實施服務區(qū)塊鏈平臺工業(yè)AR/VR5G在生產(chǎn)制造中的應用生產(chǎn)看板數(shù)字化營銷電商平臺7、擁抱工業(yè)互聯(lián)網(wǎng),實現(xiàn)開放-合作的生態(tài)架構案例1:勞斯萊斯數(shù)字化轉型案例分析05COPYRIGHT?向永清1、勞斯萊斯數(shù)字化轉型案例世界三大航空發(fā)動機制造商之一。全世界有14,000個勞斯萊斯飛機發(fā)動機在全球范圍內(nèi)運轉。有500多家航空公司的4,000多架飛機使用勞斯萊斯引擎在全球范圍內(nèi)日夜飛行。勞斯萊斯對勞斯萊斯而言,在產(chǎn)品生產(chǎn)和銷售之外,一個龐大的傳統(tǒng)技術支持團隊,既是勞斯萊斯的驕傲,也是其經(jīng)營的負擔。保障飛行安全減少人工投入準確預測設備故障改進發(fā)動機設計提升發(fā)動機效率減少庫存成本提高可用性優(yōu)化組件位置優(yōu)化制造工藝減少停機檢測節(jié)約燃料操作效率安全高效改進維護布局預測維修需求庫存優(yōu)化就近調(diào)度2、全球監(jiān)控掌控引擎狀況圖片內(nèi)容來自微軟公司每部引擎上都有數(shù)千個傳感器,可做到全面掌控飛行狀態(tài)、實時獲取引擎數(shù)據(jù)、實時更新設備維護計劃、實時預測工作狀況。飛機飛行中,即可遠程修復缺陷。故障發(fā)生前即可預測故障發(fā)生前即可指導維護故障發(fā)生前即可形成工單實時掌握飛機運行狀況在線的全球監(jiān)控系統(tǒng)可以實時掌控引擎狀況3、基于大數(shù)據(jù)優(yōu)化飛行能力優(yōu)化飛行能力除進行維修優(yōu)化外,利用大數(shù)據(jù)分析結果,勞斯萊斯可以向機組提供操作建議,優(yōu)化飛行能力計算燃料最佳攜帶量提供最佳操作指導減少停機檢測和延誤基于大數(shù)據(jù)的指揮中心更可優(yōu)化飛行能力5、由制造商向服務商轉型從單純的設備售后維修向綜合服務變革強大的數(shù)據(jù)能力使勞斯萊斯意識到自己可以向數(shù)據(jù)綜合服務方向轉變優(yōu)化維修網(wǎng)點布局優(yōu)化備品備件成本優(yōu)化技術人員調(diào)度優(yōu)化飛行能效010110105、吃進的是航油,擠出來的是數(shù)據(jù)勞斯萊斯引擎已經(jīng)成為大數(shù)據(jù)生產(chǎn)引擎:吃進的是航油,擠出來的是數(shù)據(jù)離線設備維護服務在線飛行保障服務運營模式的變革及大數(shù)據(jù)技術的運用使得:傳統(tǒng)設計模式傳統(tǒng)制造模式傳統(tǒng)維修模式傳統(tǒng)供應模式傳統(tǒng)調(diào)度模式不賣維修,賣飛行能力案例2:5G在生產(chǎn)制造中的應用06COPYRIGHT?向永清1、5G的主要將技術特點43極精確任務無線覆蓋遠程維護控制區(qū)域內(nèi)通信產(chǎn)線快速重組機器間互聯(lián),移動性需要精確的時間和流程控制的任務1msAR/VR,實時視頻人員,機器,控制中心,廣播信息匯總生產(chǎn)環(huán)境,物料,PLC,人員,設備,生產(chǎn)系統(tǒng)2、5G的主要應用場景44數(shù)字化改造工廠傳感器設備升級原料/部件制造/裝配倉儲/物流……邊緣云應用5G+邊緣云5G:高可靠/低時延/海量連接Machineto
Machine邊緣計算:― 低時延/節(jié)約帶寬― 化整為零/降本增效― 算力+邊云協(xié)同網(wǎng)絡安全+數(shù)據(jù)安全……行業(yè)云智能制造決策層:AI+大數(shù)據(jù)實現(xiàn)設備管理,產(chǎn)品管理和服務管理。設備層― 設備:5G+邊緣計算連接工廠― 產(chǎn)品:工藝,制造,物流,銷售,研發(fā)等― 服務:供應鏈,定制,追蹤等。大數(shù)據(jù)層― 集中設備數(shù)據(jù),產(chǎn)品數(shù)據(jù),服務數(shù)據(jù),和來自管理層的管理數(shù)據(jù)。―
用于質(zhì)量控制,制造工藝,物流和監(jiān)控等場景的邊緣計算應用核心能力。3、采用5G網(wǎng)絡和邊緣云優(yōu)化測試流程特性應用場景場景模塊:產(chǎn)線(移動中)測試軟件預下載。通過5G網(wǎng)絡eMBB大帶寬的網(wǎng)絡特性,替代現(xiàn)有有線連接。收益/好處采用無線替換有線后,產(chǎn)線部署更靈活,助力柔性制造。5G專網(wǎng)提供數(shù)據(jù)本地落地。提高安全性。邊緣云整合原有生產(chǎn)區(qū)測試服務器、文件服務器,
提供集中、高可靠的下載服務。測試PC可以完成移動中下載,縮短生產(chǎn)流程。測試服務器Test
PC5GBBU&
CoreTest
PCTest
PCTest
PC文件服務器Switch5G
RRUCPECPECPECPE5G
RRU5G5G5G分流服務器CPETest
PCTest
PCTest
PCTest
PC可移動機架邊緣云柔性,透明,智能4、5G+AI+MEC,實現(xiàn)機器視覺檢測產(chǎn)線10工藝質(zhì)量裝配崗位區(qū)域 …5G5G網(wǎng)絡宏微結合靈活覆蓋采集設備接入5G網(wǎng)絡邊緣云分流采集數(shù)據(jù)至邊緣計算平臺邊緣計算平臺按需配置加速硬件軟件分布式部署在邊緣計算平臺如采用集中管理模式,需要與中心云的管理平臺互聯(lián)中心云支持集中管理模式邊緣計算平臺協(xié)同前端UI按場景提供交互界面。支持圖片及視頻采集。支持每個采集設備單路或多路識別。圖片視頻處理,標記和上報。數(shù)據(jù)存儲查詢。AI核心能力。Web服務提供數(shù)據(jù)查詢呈現(xiàn)能力AI平臺提供能力集和開發(fā)環(huán)境。AI訓練及優(yōu)化。分布系統(tǒng)集中管理,數(shù)據(jù)留存。5、5G+AR在智能制造應用網(wǎng)絡架構被檢測對象AR和采集終端5G網(wǎng)絡應用,平臺和邊緣云后臺和中心云476、5G+智能倉儲大庫立體跨層分區(qū)線邊快速自動識別平面和空間定位跨倉跨層統(tǒng)一管理生產(chǎn)區(qū)域統(tǒng)一管理線邊倉分揀5G實時二維碼識別實時條形碼識別關聯(lián)AR識別和定位數(shù)據(jù)計算機視覺
深度學習算法終端硬件加速邊緣云硬件加速多類型終端SDK靈活集成靈活人機交互關聯(lián)自動分揀識別及定位數(shù)據(jù)5G智能應用平臺5G邊緣云平臺資源和流程優(yōu)化的大數(shù)據(jù)分析4K/8K高清視頻采集對接智能倉儲管理系統(tǒng)對接供應鏈系統(tǒng)對接大數(shù)據(jù)平臺深度學習算法培訓謝謝聆聽企業(yè)數(shù)字化轉型規(guī)劃設計目錄CONTENTS1企業(yè)數(shù)字化轉型建設背景2企業(yè)數(shù)字化轉型需求分析3企業(yè)數(shù)字化轉型頂層設計4企業(yè)數(shù)字化轉型業(yè)務應用5企業(yè)數(shù)字化轉型未來展望1企業(yè)數(shù)字化轉型建設背景Part企業(yè)數(shù)字化轉型建設背景綜合化經(jīng)營發(fā)展趨勢保障措施提供包括企業(yè)、證券、信托、保險等及非企業(yè)服務在內(nèi)的、全方位、專業(yè)化、個性化、多元化的綜合企業(yè)服務互聯(lián)網(wǎng)企業(yè)戰(zhàn)略PC端向移動端轉化趨勢明顯,互聯(lián)網(wǎng)企業(yè)向移動互聯(lián)網(wǎng)企業(yè)轉變,移動先行戰(zhàn)略呈現(xiàn)移動化、社交化、平臺化、開放化、產(chǎn)業(yè)化的發(fā)展趨勢,以泛在、跨界、聚合、智慧為發(fā)展方向,以用戶體驗和用戶價值為中心,全面融入到企業(yè)價值鏈各個環(huán)節(jié)和個人衣食住行玩等生活場景中,企業(yè)服務無處不在以移動支付、大數(shù)據(jù)應用為核心,向電商、O2O、P2P等拓展,圍繞互聯(lián)網(wǎng)生態(tài)體系,持續(xù)推進產(chǎn)品創(chuàng)新、客戶體驗創(chuàng)新和商業(yè)模式創(chuàng)新客戶深耕:“主辦企業(yè)”、“伙伴企業(yè)”、“社區(qū)企業(yè)”、“縣域企業(yè)”渠道創(chuàng)新:“移動企業(yè)”、“社交企業(yè)”、“智慧企業(yè)”產(chǎn)品差異:“專業(yè)化企業(yè)”、“全能企業(yè)”、“不僅是企業(yè)”管理轉型科技引領創(chuàng)新成立互聯(lián)網(wǎng)企業(yè)實驗室、大數(shù)據(jù)分析中心,通過組織創(chuàng)新推動新技術創(chuàng)新通過生物識別技術、互聯(lián)網(wǎng)、移動支付、大數(shù)據(jù)、云計算、智能可穿戴設備等技術的創(chuàng)新應用,迅速加強客戶洞察、全渠道協(xié)同、精準營銷、線上線下協(xié)同、信用評估、風險監(jiān)控等可持續(xù)業(yè)務創(chuàng)新的能力建設業(yè)務轉型創(chuàng)新優(yōu)化業(yè)務結構,變粗放型發(fā)展為集約化經(jīng)營,實現(xiàn)向輕資產(chǎn)、輕資本的表外業(yè)務拓展發(fā)展資產(chǎn)管理、投資企業(yè)、資產(chǎn)托管等市場化業(yè)務,從傳統(tǒng)企業(yè)變身為數(shù)據(jù)分析者、撮合交易者和財富管理者服務國家戰(zhàn)略,服務實體經(jīng)濟營銷精準化、管理精細化、決策科學化運營集約化、自動化組織扁平化、團隊專業(yè)化差異化、特色化經(jīng)營123456企業(yè)數(shù)字化轉型建設背景企業(yè)數(shù)字化轉型建設背景企業(yè)數(shù)字化轉型建設背景企業(yè)數(shù)字化轉型建設背景企業(yè)數(shù)字化轉型建設背景中國P2P模式純線上模式線下模式線上線下結合O2O模式P2P公司已接近2000家,市場規(guī)模約0.2萬億元,在整個融資體系中占比還非常小借款客戶主要以中小企業(yè)客戶為主,個人貸款客戶少純線上模式少,多以線上線下結合,投資端以線上為主,資產(chǎn)端以線下為主,營銷、運營成本高貸款利率高,信息不透明,純線上大數(shù)據(jù)風控技術不成熟,信用風險較大,平臺風險與收益不對等企業(yè)直接進入P2P比較少,主要是監(jiān)管政策不明確,但已有不少企業(yè)與P2P公司合作,布局P2P現(xiàn)狀往行業(yè)垂直細分領域發(fā)展,提供特色化、專業(yè)化服務與供應鏈企業(yè)融合,實現(xiàn)產(chǎn)融結合;向交易撮合平臺、信息中介平臺、綜合化網(wǎng)絡理財平臺等綜合性平臺方向發(fā)展隨著監(jiān)管政策明確,企業(yè)會快速進入P2P,以企業(yè)信用優(yōu)勢給P2P行業(yè)帶來快速發(fā)展機會企業(yè)拓展與P2P公司合作范圍:客戶推薦、信息共享、風險評估、資金托管、資金流監(jiān)控、貸款催收、資產(chǎn)保全、委托貸款等全方位合作企業(yè)自營或共營方式建立P2P平臺:客戶自助信用評估授信;社交信用評估(社交授信、熟人授信);社交信用隱性擔保增信;熟人信用顯性擔保增信;跟投貸款、領投貸款模式創(chuàng)新發(fā)展趨勢企業(yè)數(shù)字化轉型建設背景企業(yè)數(shù)字化轉型建設背景企業(yè)數(shù)字化轉型建設背景企業(yè)數(shù)字化轉型建設背景消費企業(yè)管理分析類應用建設現(xiàn)狀基本分析關注的內(nèi)容存在的問題基本的現(xiàn)狀商城數(shù)據(jù)倉庫累積數(shù)據(jù)沒有充分利用缺乏面向整個消費企業(yè)的統(tǒng)一、完整的數(shù)據(jù)視圖;缺乏支撐消費企業(yè)日常業(yè)務運轉的風險評估體系;缺乏消費企業(yè)客戶360度視圖,客戶行為分析和預測無法實現(xiàn);缺乏面向企業(yè)業(yè)務運營管理的關鍵績效指標體系;……商城已建立面向整個零售業(yè)務的數(shù)據(jù)倉庫,整合了前臺業(yè)務運營數(shù)據(jù)和后臺管理數(shù)據(jù),建立了面向零售的管理分析應用;消費企業(yè)已開展供應鏈企業(yè)、人人貸和保理等多種業(yè)務,積累了一定量的業(yè)務數(shù)據(jù),同時業(yè)務人員也從客戶管理、風險評級和經(jīng)營規(guī)模預測等方面,提出了大量分析預測需求;……數(shù)據(jù)平臺、數(shù)據(jù)應用、數(shù)據(jù)管控……基礎數(shù)據(jù)平臺和BI應用建設是未來一段時間的重點!數(shù)據(jù)平臺整體架構;數(shù)據(jù)平臺各層建設的標準;較成熟的企業(yè)業(yè)數(shù)據(jù)模型;數(shù)據(jù)質(zhì)量治理;元數(shù)據(jù)管理;數(shù)據(jù)標準建設數(shù)據(jù)整合;數(shù)據(jù)應用建設;數(shù)據(jù)平臺的軟硬環(huán)境……企業(yè)數(shù)字化轉型建設目標外部非結構化數(shù)據(jù)統(tǒng)一制定目標和分析模型統(tǒng)一劃分分析主題統(tǒng)一設計數(shù)據(jù)模式統(tǒng)一規(guī)劃分析方法統(tǒng)一部署技術基礎統(tǒng)一定義BI應用自定義報表工具行+列的簡單定義方式多種格式報表集團決策層集團職能管控層各級業(yè)務操作層關注集團主要經(jīng)營指標業(yè)務人員使用BI應用實現(xiàn)業(yè)務協(xié)作和創(chuàng)新BI分析工具供應鏈企業(yè)系統(tǒng)POP系統(tǒng)其他業(yè)務系統(tǒng)云數(shù)據(jù)推送平臺已實現(xiàn)了主要零售及企業(yè)業(yè)務系統(tǒng)數(shù)據(jù)清洗、整合,為未來消費企業(yè)數(shù)據(jù)平臺提供了豐富的數(shù)據(jù)源。通過數(shù)據(jù)平臺和BI應用建設,消費企業(yè)將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺,對各類業(yè)務進行前瞻性預測及分析,為集團各層次用戶提供統(tǒng)一的決策分析支持,提升數(shù)據(jù)共享與流轉能力采購管理系統(tǒng)查看職能部門的業(yè)務經(jīng)營情況企業(yè)數(shù)字化轉型建設預期收益2.加強業(yè)務協(xié)作實現(xiàn)分散在供應鏈企業(yè)、人人貸、保理等各個業(yè)務系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺中的集中和整合,建立單一的產(chǎn)品、客戶等數(shù)據(jù)的企業(yè)級視圖,有效促進業(yè)務的集成和協(xié)作,并為企業(yè)級分析、交叉銷售提供基礎3.促進業(yè)務創(chuàng)新消費企業(yè)業(yè)務人員可以基于明細、可信的數(shù)據(jù),進行多維分析和數(shù)據(jù)挖掘,為企業(yè)業(yè)務創(chuàng)新(客戶服務創(chuàng)新、產(chǎn)品創(chuàng)新等)創(chuàng)造了有利條件4.提升建設效率通過數(shù)據(jù)平臺對數(shù)據(jù)進行集中,為管理分析、挖掘預測類等系統(tǒng)提供一致的數(shù)據(jù)基礎,改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復雜的現(xiàn)狀,實現(xiàn)應用系統(tǒng)建設模式的轉變,提升相關IT系統(tǒng)的建設和運行效率5.改善數(shù)據(jù)質(zhì)量從中長期看,數(shù)據(jù)倉庫對消費企業(yè)分散在各個業(yè)務系統(tǒng)中的數(shù)據(jù)整合、清洗,有助于企業(yè)整體數(shù)據(jù)質(zhì)量的改善,提高的數(shù)據(jù)的實用性通過數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)集中,確保消費企業(yè)各級部門均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù),充分發(fā)揮數(shù)據(jù)作為企業(yè)重要資產(chǎn)的業(yè)務價值1.實現(xiàn)數(shù)據(jù)共享2企業(yè)數(shù)字化轉型需求分析Part企業(yè)數(shù)字化轉型總體架構歷史數(shù)據(jù)查詢數(shù)據(jù)交換平臺應用集市數(shù)據(jù)區(qū)商城零售供應鏈企業(yè)人人貸系統(tǒng)基金系統(tǒng)……系統(tǒng)企業(yè)內(nèi)外部半結構化、非結構化數(shù)據(jù)大數(shù)據(jù)交換組件數(shù)據(jù)庫數(shù)據(jù)交換組件數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)計算層大數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)數(shù)據(jù)應用層實時數(shù)據(jù)區(qū)客戶主題協(xié)議主題產(chǎn)品主題業(yè)務沙盤演練數(shù)據(jù)增值產(chǎn)品零售數(shù)據(jù)供應鏈數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)……用戶訪問層客戶匯總賬戶匯總機構匯總……社交媒體移動互聯(lián)用戶評價訪問日志處理后大數(shù)據(jù)待處理大數(shù)據(jù)流程調(diào)度監(jiān)控告警數(shù)據(jù)標準數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全流程調(diào)度平臺……數(shù)據(jù)管控平臺流程調(diào)度層數(shù)據(jù)管控層數(shù)據(jù)產(chǎn)生層數(shù)據(jù)交換層實時數(shù)據(jù)查詢客戶管理財務管理……外部用戶貼源數(shù)據(jù)區(qū)……內(nèi)部管理分析內(nèi)部用戶歷史歸檔數(shù)據(jù)區(qū)IT人員風險管理企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)產(chǎn)生層內(nèi)部業(yè)務系統(tǒng)產(chǎn)生的結構化數(shù)據(jù)商城日常零售業(yè)務處理過程中產(chǎn)生的結構化數(shù)據(jù),存儲在關系型數(shù)據(jù)庫中,如:供應商信息、采購信息、商品信息、銷售流水……消費企業(yè)日常業(yè)務處理過程中產(chǎn)生的結構化數(shù)據(jù),存儲在關系型數(shù)據(jù)庫中,如:客戶信息、賬戶信息、企業(yè)產(chǎn)品信息、交易流水……企業(yè)內(nèi)部非結構化數(shù)據(jù)日常業(yè)務處理過程中產(chǎn)生的非結構化數(shù)據(jù),存儲形式多樣,主要包括用戶訪問日志、用戶投訴、用戶點評……企業(yè)外部數(shù)據(jù)企業(yè)外部數(shù)據(jù)以非結構化為主,主要包括國家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動信息、微博等社交媒體信息……源數(shù)據(jù)內(nèi)容在本次項目實施中將采用以增量為主、全量為輔結合的方式獲取源數(shù)據(jù)商城和消費企業(yè)業(yè)務系統(tǒng)的數(shù)據(jù)增量數(shù)據(jù)識別、獲取由云數(shù)據(jù)推送平臺負責,云數(shù)據(jù)推送平臺采用分析、對比源系統(tǒng)日志方式實現(xiàn)對于無法通過上述方式獲取增量的源系統(tǒng)數(shù)據(jù),則采用某一個時間范圍內(nèi)的全部數(shù)據(jù)作為增量初始數(shù)據(jù)加載均采用全量模式源數(shù)據(jù)增量企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)交換層數(shù)據(jù)交換層設計目標傳輸組件是根據(jù)數(shù)據(jù)源存儲的不同分類而設計的,本質(zhì)是通過分析數(shù)據(jù)存儲結構和數(shù)據(jù)存儲庫的特點來針對性的設計工具,以追求卓越的性能保證數(shù)據(jù)在平臺內(nèi)高速流轉保證數(shù)據(jù)交換過程中不失真保證數(shù)據(jù)交換過程中不丟失保證數(shù)據(jù)交換過程安全可靠數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)庫數(shù)據(jù)交換組件大數(shù)據(jù)交換組件消費企業(yè)系統(tǒng)數(shù)據(jù)服務層外部大數(shù)據(jù)商城系統(tǒng)Hadoop元數(shù)據(jù)云數(shù)據(jù)推送平臺數(shù)據(jù)平臺導入臨時區(qū)數(shù)據(jù)平臺導出臨時區(qū)NAS存儲ETL程序區(qū)企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)交換層NAS存儲Hadoop集群元數(shù)據(jù)區(qū)數(shù)據(jù)平臺ETL數(shù)據(jù)處理程序區(qū)數(shù)據(jù)平臺臨時數(shù)據(jù)區(qū)存儲數(shù)據(jù)平臺各個Hadoop集群的元數(shù)據(jù)信息,如:HDFS文件系統(tǒng)元數(shù)據(jù)集團數(shù)據(jù)交換平臺每日獲取運輸局推送平臺提供的業(yè)務系統(tǒng)變化數(shù)據(jù),暫存在NAS臨時數(shù)據(jù)區(qū)企業(yè)數(shù)據(jù)平臺加工計算結果返回給業(yè)務系統(tǒng),暫存在NAS臨時數(shù)據(jù)區(qū)數(shù)據(jù)平臺ETL加工處理程序(數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)處理等)統(tǒng)一存儲在NAS集群指定目錄,各接口服務器通過文件系統(tǒng)Link建立映射企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)交換層大數(shù)據(jù)交換組件企業(yè)內(nèi)部非結構化、半結構化數(shù)據(jù),如:音頻、視頻、郵件、Office文檔、抵押品掃描件等企業(yè)外部非結構化、半結構化數(shù)據(jù),如:微博、貼吧、論壇、用戶點擊流、用戶移動位置等批量采集:大數(shù)據(jù)源以SFTP協(xié)議批量傳輸數(shù)據(jù)文件在線訪問:開發(fā)Java或C應用,調(diào)用大據(jù)源API,或以網(wǎng)絡平臺爬蟲方式抓取源系統(tǒng)非結構化、半結構化數(shù)據(jù)組件以實時和批量兩種模式實現(xiàn)下列功能:數(shù)據(jù)采集數(shù)據(jù)傳輸?shù)綌?shù)據(jù)交換平臺(接口服務器)NAS指定目錄存儲數(shù)據(jù)到數(shù)據(jù)平臺大數(shù)據(jù)區(qū)指定HDFS目錄定時抽取用戶訪問日志,加載到數(shù)據(jù)平臺大數(shù)據(jù)區(qū)HDFS指定目錄,MR程序加工處理開發(fā)網(wǎng)絡爬蟲程序,掃描用戶微博,抓取用戶微博內(nèi)容,社交圈信息,存入大數(shù)據(jù)區(qū)處理對象實現(xiàn)技術實現(xiàn)功能應用場景企業(yè)數(shù)字化轉型總體架構——流程調(diào)度層批量處理流程批量數(shù)據(jù)處理由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作:獲取業(yè)務系統(tǒng)結構化數(shù)據(jù),存入臨時數(shù)據(jù)區(qū)獲取企業(yè)內(nèi)外部非結構化數(shù)據(jù),并進行結構化處理,存入主題或集市數(shù)據(jù)區(qū)按照貼源數(shù)據(jù)模型整合數(shù)據(jù)(標準化、數(shù)據(jù)更新/追加)按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總數(shù)據(jù)加工計算后,結果交付到數(shù)據(jù)集市,支持分析類應用企業(yè)數(shù)字化轉型總體架構——流程調(diào)度層實時數(shù)據(jù)處理流程實時數(shù)據(jù)處理強調(diào)的是實時或準實時獲取并處理數(shù)據(jù),通常采取消息隊列等技術構建“數(shù)據(jù)流”整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作:通過數(shù)據(jù)庫數(shù)據(jù)交換組件獲取增量數(shù)據(jù),加載到實時數(shù)據(jù)區(qū)通過大數(shù)據(jù)交換組件獲取非結構化數(shù)據(jù),并利用Storm處理數(shù)據(jù),加載到實時數(shù)據(jù)區(qū)針對實時數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標準化處理和貼源整合企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)存儲層業(yè)務系統(tǒng)前日增量數(shù)據(jù)緩存數(shù)據(jù),支持后續(xù)ELT數(shù)據(jù)處理數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶
訪問模式工作負載平臺要求貼源數(shù)據(jù)模型保存最近7天數(shù)據(jù)貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)批量作業(yè)訪問無最終用戶訪問I/O敏感,連續(xù)小批量的數(shù)據(jù)抽取和加載少量量數(shù)據(jù)使用Hive的Load命令,大量數(shù)據(jù)使用MR程序與主題區(qū)/貼源區(qū)/集市區(qū)構成一個Hadoop集群(Hive)無單點故障,7×24小時+非工作日有限停機主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤演練數(shù)據(jù)區(qū)批量作業(yè)訪問無最終用戶訪問I/O敏感,日終批量ETL以ELT形式通過HiveSQL執(zhí)行與主題區(qū)/貼源區(qū)/集市區(qū)構成一個Hadoop集群(Hive)無單點故障,7×24小時+非工作日有限停機貼源數(shù)據(jù)模型不保存歷史業(yè)務系統(tǒng)前日快照數(shù)據(jù)和一段時間的流水數(shù)據(jù)數(shù)據(jù)標準化,為后續(xù)主題模型、集市和沙盤演練提供數(shù)據(jù)臨時數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)存儲層(續(xù))企業(yè)內(nèi)外部非結構化、半結構化數(shù)據(jù)采集并存儲數(shù)據(jù),進行結構化處理,最終得到結構化數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶
訪問模式工作負載平臺要求數(shù)據(jù)按照HDFS文件存儲建議保留1年集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務人員進行大數(shù)據(jù)分析MapReduce分布式計算,半/非結構化數(shù)據(jù)的結構化處理(包括文本檢索、語義分詞、圖像識別、音頻識別等)與主題區(qū)/貼源區(qū)構成一個Hadoop集群(HDFS)無單點故障,7×24小時+非工作日有限停機集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/高時效區(qū)批量作業(yè)訪問業(yè)務人員執(zhí)行歷史數(shù)據(jù)查詢MapReduce分布式計算,HDFS命令實現(xiàn)Hadoop集群內(nèi)歸檔,Sqoop實現(xiàn)數(shù)據(jù)庫歸檔,通過Hive提供歷史查詢獨立的Hadoop集群(HDFS+Hive)無單點故障,7×24小時+非工作日有限停機數(shù)據(jù)按照HDFS文件存儲數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄,建議保留7年其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù)按數(shù)據(jù)生命周期規(guī)劃歸檔平臺過期數(shù)據(jù),支撐歷史數(shù)據(jù)查詢大數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)存儲層(續(xù))業(yè)務系統(tǒng)歷史明細數(shù)據(jù)打破業(yè)務條線整合數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶
訪問模式工作負載可用性要求第三范式模型保留長期歷史,需要根據(jù)主題細化主題區(qū)/集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務人員進行靈活查詢、挖掘預測I/O敏感,日終批量ETL(合并、拉鏈、關聯(lián)、匯總等等)以ELT形式通過HiveSQL執(zhí)行,復雜處理使用MR定制UDF與大數(shù)據(jù)區(qū)/貼源區(qū)構成一個Hadoop集群(Hive)無單點故障,7×24小時+非工作日有限停機集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務人員進行靈活查詢、挖掘預測I/O敏感,日終批量ETL(連接、聚合、匯總等等)以ELT形式通過HiveSQL執(zhí)行,復雜處理使用MR定制UDF與大數(shù)據(jù)區(qū)/貼源區(qū)構成一個Hadoop集群(Hive)無單點故障,7×24小時+非工作日有限停機逆范式寬表依賴于集市數(shù)據(jù)需求對主題數(shù)據(jù)預加工后的結果數(shù)據(jù)針對應用需求進行數(shù)據(jù)預連接、預匯總,為集市提供數(shù)據(jù)主題數(shù)據(jù)區(qū)—明細主題數(shù)據(jù)區(qū)—匯總企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)存儲層(續(xù))按沙盤演練需求,準備的明細或匯總業(yè)務數(shù)據(jù)為數(shù)據(jù)科學家的挖掘預測操作提供數(shù)據(jù)服務數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶
訪問模式工作負載可用性要求模型依賴于沙盤演練需求在整個沙盤演練周期內(nèi)保留集市區(qū)/沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務人員進行靈活查詢、挖掘預測I/O敏感,終批量ETL(合并、拉鏈、關聯(lián)、匯總等等)以ELT形式通過HiveSQL執(zhí)行,復雜處理使用MR定制UDF獨立的Hadoop集群(HDFS)無單點故障,7×24小時+非工作日有限停機沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問決策人員、管理人員、業(yè)務人員訪問I/O敏感型,BI工具提交的報表、查詢、分析SQL命令和日終批量ETL(匯總、聚集等操作,以ELT形式通過SQL執(zhí)行)基于開放平臺的完全無共享MPP數(shù)據(jù)庫集群+內(nèi)存數(shù)據(jù)庫無單點故障,7×24小時+非工作日有限停機維度數(shù)據(jù)模型依賴業(yè)務需求面向企業(yè)內(nèi)部管理分析類應用需求的匯總數(shù)據(jù)為客戶、運營等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務沙盤演練數(shù)據(jù)區(qū)應用集市數(shù)據(jù)區(qū)企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)存儲層(續(xù))根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺加工計算的結果數(shù)據(jù)為部署在數(shù)據(jù)平臺上的企業(yè)內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶
訪問模式工作負載可用性要求應用模型,依賴于用戶業(yè)務需求依賴于用戶業(yè)務需求企業(yè)外部人員,如:客戶通過自己部署在Paas平臺上的應用訪問I/O敏感型,BI工具提交的報表、查詢、分析SQL命令和日終批量ETL(匯總、聚集等操作,以ELT形式通過SQL執(zhí)行)獨立的Paas平臺,部署Hadoop集群無單點故障,7×24小時+非工作日有限停機企業(yè)業(yè)務人員高時效、高并發(fā)、高可靠性的聯(lián)機交易類查詢CPU敏感,BI工具或業(yè)務系統(tǒng)高并發(fā)、高時效查詢,以及準實時連續(xù)ETL處理+SQL批量處理獨立的內(nèi)存數(shù)據(jù)庫集群無單點故障,365×24小時不停機貼源數(shù)據(jù)模型依賴用戶業(yè)務需求面向應用的業(yè)務系統(tǒng)快照數(shù)據(jù)和一段時間的交易流水為實時獲準實時分析應用提供數(shù)據(jù)服務增值產(chǎn)品數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)存儲層數(shù)據(jù)流數(shù)據(jù)集成層操作型聚合數(shù)據(jù)臨時數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)公共匯總數(shù)據(jù)主題明細數(shù)據(jù)結構化數(shù)據(jù)非結構化&半結構化數(shù)據(jù)沙盤演練數(shù)據(jù)區(qū)實驗室數(shù)據(jù)集市數(shù)據(jù)區(qū)POP自營數(shù)據(jù)貼源數(shù)據(jù)區(qū)企業(yè)業(yè)務數(shù)據(jù)主題數(shù)據(jù)區(qū)客戶管理集市財務管理集市運營管理集市風險管理集市……集市大物流系統(tǒng)數(shù)據(jù)供應鏈系統(tǒng)數(shù)據(jù)財務審計數(shù)據(jù)財務研發(fā)數(shù)據(jù)操作型明細據(jù)歸檔數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)源系統(tǒng)數(shù)據(jù)文件貼源數(shù)據(jù)主題數(shù)據(jù)集市數(shù)據(jù)高時效數(shù)據(jù)大數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)應用層大數(shù)據(jù)平臺應用針對公檢法查詢需求、內(nèi)外部審計需求和最終用戶的歷史交易查詢需求,以貼源存儲的歸檔數(shù)據(jù)為基礎,實現(xiàn)的查詢類應用歷史查詢類應用通常使用BI工具或自主開發(fā)實現(xiàn)客戶經(jīng)理等最終業(yè)務人員針對當前業(yè)務的發(fā)生(如:用戶交易、用戶訪問日志),進行實時查詢、分析的應用管理分析類應用主要實現(xiàn)了集團客戶管理、運營管理、財務管理、風險管理、監(jiān)管信息披露五大分析體系功能管理分析類應用通常采用套裝軟件和BI工具(MicroStrategy等)實現(xiàn)業(yè)務人員根據(jù)業(yè)務需求或自己對業(yè)務的理解,設計計算模型,準備各類明細或匯總數(shù)據(jù),導入模型運算,驗證業(yè)務結果沙盤演練類應用通常使用R語言在Hadoop分布式體系下實現(xiàn)消費企業(yè)數(shù)據(jù)科學家根據(jù)自己對業(yè)務需求的理解或者對市場的判斷,設計并運行模型,發(fā)掘數(shù)據(jù)價值,并封裝成商業(yè)產(chǎn)品數(shù)據(jù)增值產(chǎn)品通常采用R語言和BI工具實現(xiàn),面向企業(yè)內(nèi)外部用戶管理分析類應用1沙盤演練類應用3歷史查詢類應用4高時效類分析應用5數(shù)據(jù)增值類產(chǎn)品2實時分析類應用通常使用CEP、ESB等技術實現(xiàn)企業(yè)數(shù)字化轉型總體架構——平臺發(fā)展不同階段對應應用工作負載復雜度大數(shù)據(jù)平臺發(fā)展階段劃分操作為主階段什么正在發(fā)生?動態(tài)數(shù)據(jù)倉庫階段
讓正確的事情發(fā)生!分析為主階段為什么會發(fā)生報表為主階段發(fā)生了什么預測為主階段將會發(fā)生什么?批量隨機查詢數(shù)據(jù)分析持續(xù)更新加載/短查詢基于事件的動態(tài)觸發(fā)數(shù)據(jù)量增長用戶數(shù)增長查詢復雜度增長ETL處理復雜度增長管理分析類應用歷史查詢類應用實時分析類應用沙盤演練類應用數(shù)據(jù)增值類產(chǎn)品企業(yè)數(shù)字化轉型總體架構——管理分析類應用總賬分析資產(chǎn)負債表分析損益表分析現(xiàn)金流量表分析財務指標分析盈利分析機構貢獻度產(chǎn)品貢獻度客戶細分貢獻度渠道績效資產(chǎn)負債分析主要指標報告,如:凈利息收入、凈收入、凈現(xiàn)值、市場價值等頭寸報告現(xiàn)金流報告風險價值(VaR)計算財務預算與計劃財務預算財務計劃執(zhí)行監(jiān)控執(zhí)行過程分析年末財務計劃執(zhí)行分析預測與場景分析業(yè)務規(guī)模預測收益預測……領導管理駕駛艙機構績效考核客戶經(jīng)理考核客戶經(jīng)理工作量評估客戶經(jīng)理服務客戶收益評估產(chǎn)品績效考核業(yè)務量考核供應鏈企業(yè)業(yè)務人人貸業(yè)務保理業(yè)務基金業(yè)務其它中間業(yè)務……渠道成本與收益……風險監(jiān)控報表/信息披露流動性報表利率敏感性報表資本充足率報表……市場風險市場風險暴露值流動性管理、利率管理信用風險信用風險暴露值計算信用風險控制(貸前控制、貸中監(jiān)控、貸后分析)操作風險異常交易預警后督差錯檢查……防欺詐/反洗錢定義欺詐交易模型可能性欺詐交易預警欺詐交易分布分析全面風險管理……目前監(jiān)管機構沒有明確要求客戶單一視圖公司客戶信息管理個人客戶信息管理同業(yè)客戶信息管理目標客戶搜索重點客戶關懷客戶風險客戶異動客戶客戶細分個人客戶細分公司客戶細分客戶行為分析客戶輪廓分析產(chǎn)品交叉銷售分析百分比分析渠道偏好分析營銷活動管理營銷活動規(guī)劃營銷活動定義營銷活動執(zhí)行營銷活動蘋果營銷活動自動化渠道接口與集成流程自動化……客戶管理運營管理財務管理風險管理監(jiān)管披露示例企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)訪問層即席查詢:通過即席查詢工具或手工書寫SQL語句,完成業(yè)務信息的即席查看多維分析:從多個維度靈活組合對目標值進行分析,常見功能包括上下鉆取、透明鉆取、旋轉、分頁、層鉆、跨維鉆取等主動問題發(fā)現(xiàn):通過事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)企業(yè)運營中的問題,通過手機、郵件等方式報警決策層管理層業(yè)務人員即席查詢靜態(tài)報表多維分析儀表盤挖掘預測儀表盤:通過儀表盤及其它展現(xiàn)方式對企業(yè)關鍵績效指標進行展示,為領導層決策提供直觀的數(shù)據(jù)支持靜態(tài)報表:按照預先定義格式,批處理報表,在線查詢報表等Office集成:將分析應用嵌入到Office界面中,利用Office的方便、易用特性,降低用戶使用難度問題發(fā)現(xiàn)Office集成Web服務挖掘預測:使用專業(yè)的軟件工具,通過數(shù)理統(tǒng)計等高級統(tǒng)計分析算法,分析結構化、非結構化數(shù)據(jù),通過數(shù)據(jù)模型去挖掘隱藏在數(shù)據(jù)中的價值數(shù)據(jù)科學家業(yè)務系統(tǒng)Web服務:將分析應用的功能發(fā)布為Web服務,注冊在企業(yè)服務總線上,供其它業(yè)務系統(tǒng)或分析應用調(diào)用,獲取分析結果多種展現(xiàn)形式滿足各層級用戶及應用系統(tǒng)使用需求企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)管控層企業(yè)數(shù)據(jù)管控體系涵蓋組織架構、評價與考核、管控流程、管控平臺四個域。數(shù)據(jù)標準管理數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理工作流管理……組織數(shù)據(jù)與信息標準化委員會數(shù)據(jù)管理人數(shù)據(jù)所有人數(shù)據(jù)生產(chǎn)人數(shù)據(jù)使用人IT支持團隊考核指標責任評價標準執(zhí)行評價政策執(zhí)行評價評價標準數(shù)據(jù)類型數(shù)據(jù)格式業(yè)務分類真實性定義及時性定義完整性定義技術元數(shù)據(jù)流程評價與考核流程考核指標建立/維護流程標準建立/維護流程組織建立/維護流程評價與考核業(yè)務含義一致性定義數(shù)據(jù)認責平臺安全等級權限定義數(shù)據(jù)停用數(shù)據(jù)共享數(shù)據(jù)移動數(shù)據(jù)存儲數(shù)據(jù)創(chuàng)建業(yè)務元數(shù)據(jù)管理元數(shù)據(jù)數(shù)據(jù)全生命周期數(shù)據(jù)安全管理數(shù)據(jù)標準數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全…………審計定義保留策略……企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)管控體系內(nèi)部運轉機制管控組織數(shù)據(jù)管控委員會數(shù)據(jù)所有人數(shù)據(jù)認責人IT支持……管控流程數(shù)據(jù)接入流程數(shù)據(jù)變更流程數(shù)據(jù)授權流程數(shù)據(jù)退役流程標準/政策制定流程評價考核流程……評價與考核標準(數(shù)據(jù)標準、質(zhì)量要求、安全要求)遵守標準所需要的政策政策與標準遵從考評定義……數(shù)據(jù)產(chǎn)生者數(shù)據(jù)使用者………流程支撐流程支撐制定管控平臺工具支撐明確了數(shù)據(jù)管控過程中的組織結構、角色、職責等。管控組織除了要負責制定數(shù)據(jù)標準、質(zhì)量、安全等要求外,還需要負責制定管控的相關流程和評價考核指標等內(nèi)容??荚u制定通過建立一些定性或定量的數(shù)據(jù)管控評價考核指標,去評估及考核數(shù)據(jù)相關責任人職責履行情況、數(shù)據(jù)管控標準及數(shù)據(jù)政策的執(zhí)行情況等。規(guī)范了數(shù)據(jù)管控過程中,各個環(huán)節(jié)日常任務處理的運作模式,例如數(shù)據(jù)定義如何變更、數(shù)據(jù)沖突如何協(xié)調(diào)等。采用專門的技術平臺支撐管控流程的自動化,發(fā)布管控組織制定的一些相關標準和規(guī)范,及時反映管控過程中存在的一些問題等。管控綜合管理標準/規(guī)范管理流程管理考核儀表盤……元數(shù)據(jù)管理業(yè)務元數(shù)據(jù)管理技術元數(shù)據(jù)管理管理元數(shù)據(jù)分析……數(shù)據(jù)質(zhì)量管理稽核規(guī)則管理數(shù)據(jù)稽核質(zhì)量報告……工具支撐組織架構、評價與考核、管控流程、管控工具這四個域相互作用、相互支撐,提供對各信息系統(tǒng)數(shù)據(jù)的管控。企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)管控組織數(shù)據(jù)管控組織是數(shù)據(jù)管控體系中最重要的因素,它負責定義和管理業(yè)務數(shù)據(jù)相關標準,制定遵尋標準所必須的政策,監(jiān)測正在進行的數(shù)據(jù)管控行動。數(shù)據(jù)管控組織是否有完整與合理的角色定義、是否有高層領導的參與,是整個數(shù)據(jù)管控的成敗的關鍵。典型的數(shù)據(jù)管控組織如下所示:數(shù)據(jù)管控負責部門崗位角色數(shù)據(jù)管控主導方信息管理委員會數(shù)據(jù)標準管理員數(shù)據(jù)質(zhì)量管理員數(shù)據(jù)產(chǎn)生部門數(shù)據(jù)管控參與方業(yè)務協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)使用部門業(yè)務協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)擁有部門業(yè)務協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)管理部門運維組織實施項目組數(shù)據(jù)安全管理員數(shù)據(jù)管控經(jīng)理元數(shù)據(jù)管理員企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)標準管理消除一數(shù)多義,提升數(shù)據(jù)的唯一性、一致性,將逐步形成的數(shù)據(jù)標準納入一個規(guī)范的管理流程中,進行數(shù)據(jù)標準的更新、發(fā)布、使用監(jiān)督等工作。數(shù)據(jù)標準管理工作可以分為以下幾個部分:數(shù)據(jù)標準建立和維護、數(shù)據(jù)標準執(zhí)行、數(shù)據(jù)標準管理的考評。數(shù)據(jù)標準建立和維護數(shù)據(jù)分類數(shù)據(jù)結構關鍵業(yè)務對象關鍵代碼數(shù)據(jù)維度代碼映射客戶類數(shù)據(jù)標準產(chǎn)品類數(shù)據(jù)標準。。。類數(shù)據(jù)標準數(shù)據(jù)標準執(zhí)行數(shù)據(jù)標準管理的考評定性考評定量考評數(shù)據(jù)標準分析報告數(shù)據(jù)標準理念推廣歸檔系統(tǒng)……ODS企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理框架藍圖如下,其中數(shù)據(jù)質(zhì)量提升是改進數(shù)據(jù)質(zhì)量的手段和質(zhì)量考評的目的:數(shù)據(jù)質(zhì)量要求確認,根據(jù)業(yè)務要求制定和明確數(shù)據(jù)質(zhì)量要求,同時也需要符合數(shù)據(jù)標準的要求;數(shù)據(jù)質(zhì)量考評,對數(shù)據(jù)質(zhì)量的量化評價制定數(shù)據(jù)質(zhì)量問題解決方案,根據(jù)數(shù)據(jù)質(zhì)量考評和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題,實施相應的措施,提升數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量要求業(yè)務規(guī)則數(shù)據(jù)一致性要求數(shù)據(jù)完整性要求數(shù)據(jù)唯一性要求數(shù)據(jù)準確性要求數(shù)據(jù)及時性要求數(shù)據(jù)質(zhì)量標準數(shù)據(jù)質(zhì)量驗證規(guī)則數(shù)據(jù)質(zhì)量考核指標數(shù)據(jù)質(zhì)量提升數(shù)據(jù)補錄手工修正自動修正數(shù)據(jù)質(zhì)量考評數(shù)據(jù)質(zhì)量監(jiān)控不定期數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量分析報告企業(yè)數(shù)字化轉型總體架構——元數(shù)據(jù)管理業(yè)務元數(shù)據(jù):面向業(yè)務人員,從業(yè)務術語、業(yè)務描述、業(yè)務指標和業(yè)務規(guī)則等幾個方面對數(shù)據(jù)進行描述管理元數(shù)據(jù):面向數(shù)據(jù)管理人員,從運維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的狀態(tài)信息技術元數(shù)據(jù):面向技術人員,從數(shù)據(jù)結構和數(shù)據(jù)處理細節(jié)方面對數(shù)據(jù)進行技術化描述企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)安全管理數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級管理和數(shù)據(jù)訪問授權管理兩個部分:數(shù)據(jù)安全分級:根據(jù)業(yè)務要求,制定一系列的數(shù)據(jù)安全分級標準和政策,為數(shù)據(jù)應用以及數(shù)據(jù)管理中實施數(shù)據(jù)安全保護和訪問提供數(shù)據(jù)安全控制的基礎。數(shù)據(jù)訪問授權:數(shù)據(jù)訪問授權的主要工作是根據(jù)數(shù)據(jù)安全分級標準,定義數(shù)據(jù)訪問的授權方法及流程,建立基于數(shù)據(jù)安全分級的數(shù)據(jù)使用授權機制,實現(xiàn)數(shù)據(jù)訪問和信息披露的安全。數(shù)據(jù)安全分級數(shù)據(jù)敏感度數(shù)據(jù)安全等級定義數(shù)據(jù)訪問授權數(shù)據(jù)重要性數(shù)據(jù)使用需求數(shù)據(jù)使用者權責數(shù)據(jù)訪問授權規(guī)則安全技術企業(yè)數(shù)字化轉型總體架構——高階工作流程業(yè)務數(shù)據(jù)規(guī)劃管理高階流程數(shù)據(jù)認責流程數(shù)據(jù)治理考核體系數(shù)據(jù)治理考核流程數(shù)據(jù)治理考核指標體系數(shù)據(jù)標準管理管理高階流程數(shù)據(jù)標準建立流程數(shù)據(jù)標準維護流程數(shù)據(jù)質(zhì)量管理管理高階流程數(shù)據(jù)質(zhì)量要求確定流程元數(shù)據(jù)管理高階流程元數(shù)據(jù)變更流程數(shù)據(jù)安全管理管理高階流程數(shù)據(jù)安全審批流程數(shù)據(jù)認責流程數(shù)據(jù)標準、質(zhì)量、元數(shù)據(jù)、安全管理流程協(xié)調(diào)會議考核流程企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)管控平臺數(shù)據(jù)管控平臺從總體上來說分為數(shù)據(jù)層、應用層、展現(xiàn)層三個主要層面,以數(shù)據(jù)層的數(shù)據(jù)庫及相關基礎系統(tǒng)為主要信息來源,通過應用層的運算處理,以不同的形式,不同的功能在展現(xiàn)層提供用戶接口首頁標準管理主菜單指標速遞待辦事項信息地圖標準瀏覽標準維護工作管理流程管理績效指標系統(tǒng)管理用戶管理權限管理規(guī)范管理數(shù)據(jù)管控平臺統(tǒng)一用戶集成界面數(shù)據(jù)標準知識庫數(shù)據(jù)管控平臺知識庫……元數(shù)據(jù)管理元數(shù)據(jù)采集……元數(shù)據(jù)知識庫質(zhì)量管理規(guī)則配置……質(zhì)量稽核庫數(shù)據(jù)層應用層展現(xiàn)層企業(yè)數(shù)字化轉型總體產(chǎn)品框架非結構化/半結構化數(shù)據(jù)管理分析平臺(X86MPP集群)業(yè)務系統(tǒng)結構化數(shù)據(jù)基礎計算平臺(貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū))(Hadoop集群+Hive)數(shù)據(jù)交換平臺(自主開發(fā)交換組件+NAS存儲)實時分析平臺(內(nèi)存數(shù)據(jù)庫)沙盤演練平臺(Hadoop集群)數(shù)據(jù)管控平臺FTPSFTP/HTTP/APICopyfromloalQueue云數(shù)據(jù)推送平臺增值產(chǎn)品平臺(Hadoop集群)歷史歸檔查詢平臺(Hadoop集群+Hive)Load(Hive)DistcpHQL+LoadDistcpDistcpHQL+LoadDistcpHQL+LoadSqoopSqoopSqoopMR流程調(diào)度平臺3企業(yè)數(shù)字化轉型頂層設計Part企業(yè)數(shù)字化轉型演進路線以基礎平臺搭建為主,配合消費企業(yè)初期業(yè)務開展,應用建設從客戶信息管理、風險管理和運營管理三方面開展搭建大數(shù)據(jù)處理平臺和實時分析平臺,應用方面開展實時分析和數(shù)據(jù)產(chǎn)品封裝開展客戶信息管理、信用風險評級和業(yè)務統(tǒng)計分析三類應用建設開展貼源數(shù)據(jù)整合,初步建立企業(yè)級數(shù)據(jù)視圖,實現(xiàn)對管理分析類應用和實時分析類應用的支撐規(guī)劃數(shù)據(jù)管控藍圖,初步實施數(shù)據(jù)質(zhì)量和技術元數(shù)據(jù)管理2013年2014年——2015年2015年以后對企業(yè)價值的創(chuàng)造應管技業(yè)務分析框架基礎數(shù)據(jù)平臺數(shù)據(jù)管控體系應技管全面開展內(nèi)部管理分析、實時分析和沙盤演練應用建設,初步展開增值數(shù)據(jù)產(chǎn)品開發(fā)工作全面開展企業(yè)數(shù)字化轉型建設,引入更多數(shù)據(jù)源,豐富并完善平臺數(shù)據(jù)區(qū)建設隨著應用體系的搭建,完善數(shù)據(jù)質(zhì)量和元數(shù)據(jù)建設,開展數(shù)據(jù)標準化工作應技管深化分析體系,形成深度智能化業(yè)務分析性能持續(xù)優(yōu)化、數(shù)據(jù)平臺持續(xù)完善、持續(xù)深化數(shù)據(jù)管控體系,形成消費企業(yè)企業(yè)級的數(shù)據(jù)管控體系應技管一期2013.10當前位置未來持續(xù)優(yōu)化提升階段第一階段第二階段第三階段企業(yè)數(shù)字化轉型演進說明——基礎數(shù)據(jù)平臺階段劃分建設內(nèi)容預期效果第一階段搭建數(shù)據(jù)交換平臺,部署NAS存儲集群,設計并實施數(shù)據(jù)庫交換組件和數(shù)據(jù)區(qū)交換組件搭建基礎計算平臺,設計并實施貼源數(shù)據(jù)區(qū),以T+1頻率整合商城和企業(yè)業(yè)務數(shù)據(jù)搭建歷史歸檔查詢平臺,歸檔商城和企業(yè)業(yè)務數(shù)據(jù)文件搭建內(nèi)部管理分析應用平臺,部署MPP集群和BI分析應用環(huán)境搭建實時分析平臺,部署內(nèi)存數(shù)據(jù)庫和實時BI分析環(huán)境實現(xiàn)了數(shù)據(jù)平臺內(nèi)部個數(shù)據(jù)區(qū)之間、數(shù)據(jù)平臺與外部系統(tǒng)間的雙向數(shù)據(jù)傳輸實現(xiàn)了業(yè)務數(shù)據(jù)按照貼源數(shù)據(jù)模整合實現(xiàn)了數(shù)據(jù)按照生命周期的歸檔管理實現(xiàn)了內(nèi)部管理分析環(huán)境搭建實現(xiàn)實時分析環(huán)境搭建第二階段數(shù)據(jù)交換平臺增強和優(yōu)化,包括:大數(shù)據(jù)交換組件設計實施基礎計算平臺增強,包括:引入更多的數(shù)據(jù)源,增強貼源數(shù)據(jù)區(qū);設計并實施主題數(shù)據(jù)區(qū),打破業(yè)務條線整合數(shù)據(jù);設計并實施大數(shù)據(jù)區(qū),實現(xiàn)企業(yè)內(nèi)外部非結構化、半結構化數(shù)據(jù)加工、處理搭建沙盤演練平臺實時分析平臺增強和優(yōu)化,包括:引入更多應用及相關數(shù)據(jù)源實現(xiàn)了基礎數(shù)據(jù)一次存儲、一次計算、多次使用建立了數(shù)據(jù)分析人員的實驗環(huán)境,實現(xiàn)了用戶自主用數(shù)為實時、準實時類分析用提供平臺為封裝、銷售數(shù)據(jù)類產(chǎn)品提供了平臺第三階段基礎計算平臺持續(xù)增強和優(yōu)化,引入更多的數(shù)據(jù)源、優(yōu)化模型和ETL處理搭建增值產(chǎn)品平臺,設計并實施增值產(chǎn)品數(shù)據(jù)區(qū)數(shù)據(jù)交換平臺、沙盤演練平臺、實時分析平臺進一步增強和優(yōu)化數(shù)據(jù)平臺納入盡可能多的企業(yè)內(nèi)外部數(shù)據(jù)數(shù)據(jù)平臺以最優(yōu)的性能支持各類數(shù)據(jù)應用企業(yè)數(shù)字化轉型演進說明——數(shù)據(jù)管控階段劃分建設內(nèi)容預期效果第一階段分析和梳理當前數(shù)據(jù)管理方面的成果和現(xiàn)狀,數(shù)據(jù)管控藍圖和路線圖設計,數(shù)據(jù)管控工作的組織、技術和流程高階設計梳理企業(yè)數(shù)字化轉型ETL流程各環(huán)節(jié)的數(shù)據(jù)質(zhì)量要求,指定數(shù)據(jù)質(zhì)量檢查規(guī)則、評價指標、管控流程,并落地實施數(shù)據(jù)質(zhì)量管理系統(tǒng)梳理企業(yè)數(shù)字化轉型包含的技術元數(shù)據(jù),如:數(shù)據(jù)字典、ETL任務、ETL流程、BI語義層等,制定相應的管控流程并落地實施元數(shù)據(jù)管理系統(tǒng)同步企業(yè)數(shù)字化轉型ETL建設,實現(xiàn)了數(shù)據(jù)質(zhì)量管理系統(tǒng)收集并整合了消費企業(yè)所有技術元數(shù)據(jù),實現(xiàn)了數(shù)據(jù)生命周管理、血緣分析和影響分析等功能第二階段隨著更多數(shù)據(jù)源的引入,進一步增強數(shù)據(jù)質(zhì)量管理系統(tǒng)隨著更多數(shù)據(jù)源的引入、更多平臺的建立,梳理并整合更多技術元數(shù)據(jù)梳理企業(yè)數(shù)字化轉型包含的業(yè)務和管理類元數(shù)據(jù),如業(yè)務術語、業(yè)務指標、業(yè)務定義等,制定相應的管控流程并落地實施元數(shù)據(jù)管理系統(tǒng)開展基礎類數(shù)據(jù)標準建設,基礎數(shù)據(jù)標準、管控流程、評價指標、落地策略完善了數(shù)據(jù)質(zhì)量管理體系,實現(xiàn)了問題及時發(fā)現(xiàn)、及時解決實現(xiàn)了消費企業(yè)全方位的元數(shù)據(jù)管理,打通了業(yè)務和技術元數(shù)據(jù)關聯(lián)關系為消費企業(yè)數(shù)據(jù)平臺建設提供了基礎類數(shù)據(jù)標準第三階段數(shù)據(jù)質(zhì)量管理持續(xù)優(yōu)化并增強元數(shù)據(jù)管理持續(xù)優(yōu)化并增強基礎類數(shù)據(jù)標準逐步落地實施開展指標類數(shù)據(jù)標準建設基礎數(shù)據(jù)標準、管控流程、評價指標、落地策略通過完善的數(shù)據(jù)管控體系,提升數(shù)據(jù)質(zhì)量、避免數(shù)據(jù)二義性、建立數(shù)據(jù)間的血緣關系,使得業(yè)務人員可以方便、有效的使用數(shù)據(jù),提高數(shù)據(jù)實用性企業(yè)數(shù)字化轉型演進說明——應用體系階段劃分建設內(nèi)容預期效果第一階段開展客戶信息管理建設,設計并實施個人客戶和供應商360°視圖、客戶目標搜索、客戶細分等功能開展風險管理建設,設計并實施供應商和個人客戶風險評級模型開展運營管理建設,設計并實施供應鏈企業(yè)、人人貸等業(yè)務條線業(yè)務量統(tǒng)計分析初步梳理實時、準實時分析需求,進行高時效分析應用試點可以方便的對個人客戶和供應商進行分群,以及全方位信息查詢和展示供應商和個人客戶風險等級評定針對目前開展的業(yè)務進行經(jīng)營情況統(tǒng)計分析搭建并驗證高時效應用體系第二階段隨著消費企業(yè)業(yè)務的展開,逐步開展內(nèi)部管理分析體系的建設,本階段重點為客戶關系管理、運營管理等高級業(yè)務人員利用沙盤演練平臺進行數(shù)據(jù)挖掘、預測和科學試驗進一步樹立實時、準實時分析需求,深化開展高時效分析應用開始梳理市場上的數(shù)據(jù)應用需求,嘗試封裝增值數(shù)據(jù)產(chǎn)品通過內(nèi)部管理分析體系的建設、滿足了消費企業(yè)日常經(jīng)營管理、決策分析和進一步提高價值創(chuàng)造力的需要實現(xiàn)了業(yè)務人員自主用數(shù)實現(xiàn)了高時效分析,與業(yè)務流程的整合實現(xiàn)了數(shù)據(jù)產(chǎn)品的封裝,提升了數(shù)據(jù)價值第三階段隨著消費企業(yè)業(yè)務的展開,進一步完善內(nèi)部管理分析體系的建設,包括:市場風險管理、操作風險管理、財務管理等收集實時分析需求,進一步增強并優(yōu)化實時分析應用體系增值數(shù)據(jù)產(chǎn)品設計逐漸成為重點,數(shù)據(jù)分析師收集企業(yè)內(nèi)外部數(shù)據(jù)需求,設計更完善的增值數(shù)據(jù)產(chǎn)品通過內(nèi)部管理分析應用體系建設進一步實現(xiàn)數(shù)據(jù)共享、業(yè)務協(xié)作與創(chuàng)新通過實時分析應用體系建設,實現(xiàn)大數(shù)據(jù)平臺業(yè)務系統(tǒng)的交互,與業(yè)務流程的融合增值數(shù)據(jù)產(chǎn)品的開發(fā)進一步發(fā)揮的數(shù)據(jù)平臺的數(shù)據(jù)價值4企業(yè)數(shù)字化轉型業(yè)務應用Part企業(yè)企業(yè)數(shù)字化轉型一期架構基礎計算平臺:基于Hadoop集群構建,按照業(yè)務條線、以貼源數(shù)據(jù)模型存儲了業(yè)務系統(tǒng)明細數(shù)據(jù)數(shù)據(jù)交換平臺:NAS集群實現(xiàn)了進出數(shù)據(jù)平臺數(shù)據(jù)的暫存,業(yè)務數(shù)據(jù)交換組件實現(xiàn)了業(yè)務系統(tǒng)每日增量數(shù)據(jù)加載,數(shù)據(jù)區(qū)數(shù)據(jù)交換組件實現(xiàn)了基礎計算平臺與管理分析平臺間的數(shù)據(jù)交換流程調(diào)度平臺:自主開發(fā)的流程調(diào)度引擎實現(xiàn)整個數(shù)據(jù)平臺的數(shù)據(jù)處理任務調(diào)度和運行管理分析平臺:由X86分析型數(shù)據(jù)庫集群、BI軟件1J2EE應用構成,實現(xiàn)了面向應用的數(shù)據(jù)加工、管理、分析服務實時分析平臺:由高檔X86服務器組成的集群,實現(xiàn)高時效、高并發(fā)的實時、準實時類管理分析需求數(shù)據(jù)交換平臺—平臺邏輯架構云數(shù)據(jù)推送平臺實現(xiàn)源系統(tǒng)數(shù)據(jù)一次獲取獲、按需分發(fā)。平臺采用GoldenGate、JBUS、Flume等技術獲取增量數(shù)據(jù),存儲在MySQL集群平臺按照接口規(guī)范生成文件,LZO壓縮后,通過FTP傳輸?shù)絅AS指定目錄POP企業(yè)企業(yè)數(shù)字化轉型NAS集群物流財務供應鏈人人貸……云數(shù)據(jù)推送平臺數(shù)據(jù)交換平臺由FTP服務器、加載服務器和NAS存儲組成,完成業(yè)務系統(tǒng)數(shù)據(jù)的獲取、加載和歸檔FTP服務器:利用LVS構成的FTP集群,接收云數(shù)據(jù)推送平臺處理后的數(shù)據(jù),存儲在NAS集群的指定目錄加載服務器:部署ETL任務,實現(xiàn)指定目錄的文件到達監(jiān)控、文件級檢核、數(shù)據(jù)加載(HiveLoad)到臨時數(shù)據(jù)區(qū),同時歸檔(copyfromlocal)歷史數(shù)據(jù)區(qū)NAS集群:按照日期和源系統(tǒng)劃分目錄,緩存數(shù)據(jù),支持日常數(shù)據(jù)交換和ETL…………LVS集群:FTP服務器#3加載服務器#1文件加載文件歸檔文件到達事件監(jiān)控文件級檢核加載服務器#4文件加載文件歸檔文件到達事件監(jiān)控文件級檢核LVS集群:FTP服務器#1LVS集群:負載均衡服務器…………數(shù)據(jù)交換平臺—參與方責任劃分設計并實施云數(shù)據(jù)推送平臺;按照消費企業(yè)接口定義,抽取業(yè)務系統(tǒng)數(shù)據(jù);按照消費企業(yè)接口規(guī)范要求,按時生成數(shù)據(jù)文件、控制文件和DDL文件,并通過FTP傳輸?shù)絅AS指定目錄;若源系統(tǒng)有變更,則要求在變更前提供變更內(nèi)容說明,升級平臺版本,根據(jù)消費企業(yè)更新接口規(guī)范提供數(shù)據(jù);應及時解決接口數(shù)據(jù)提供過程中出現(xiàn)的問題;對于未盡事宜,應同消費企業(yè)協(xié)商解決。云計算安裝部署消費企業(yè)企業(yè)數(shù)字化轉型物理環(huán)境、應用軟件,并進行基礎設施運維;在業(yè)務系統(tǒng)數(shù)據(jù)庫服務器安裝并部署云數(shù)據(jù)推送平臺客戶端,并提供數(shù)據(jù)庫訪問。運維部門制定接口規(guī)范,并提交給云數(shù)據(jù)推送項目組;梳
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 潘朝曦中醫(yī)名家故事80課件講解
- 江西省南昌縣2023-2024學年八年級下學期期中考試物理試題【含答案、解析】
- 二零二五年度瓷磚產(chǎn)品研發(fā)資金投入合同3篇
- 2025年回遷房屋買賣合同
- 2025年度個人創(chuàng)業(yè)投資貸款合同書(創(chuàng)業(yè)扶持專項)2篇
- 2025年環(huán)保項目的混合贈與合同
- 2025年房屋定金收取合同
- 房地產(chǎn)市場的風險管理
- 2025年醫(yī)藥銷售配送代理合同
- 2025年家政服務管家合同
- 課題申報書:GenAI賦能新質(zhì)人才培養(yǎng)的生成式學習設計研究
- 2024年江蘇省中醫(yī)院高層次衛(wèi)技人才招聘筆試歷年參考題庫頻考點附帶答案
- 駱駝祥子-(一)-劇本
- 全國醫(yī)院數(shù)量統(tǒng)計
- 《中國香文化》課件
- 2024年醫(yī)美行業(yè)社媒平臺人群趨勢洞察報告-醫(yī)美行業(yè)觀察星秀傳媒
- 第六次全國幽門螺桿菌感染處理共識報告-
- 天津市2023-2024學年七年級上學期期末考試數(shù)學試題(含答案)
- 經(jīng)濟學的思維方式(第13版)
- 盤錦市重點中學2024年中考英語全真模擬試卷含答案
- 提高保險公司客戶投訴處理能力的整改措施
評論
0/150
提交評論