大數(shù)據(jù)解決方案介紹ppt課件

1、1. 項目背景理解,IBM 大數(shù)據(jù)平臺解決方案,當前業(yè)務面臨的挑戰(zhàn),數(shù)據(jù)問題,慢,缺,重,散,繁,差,企業(yè)內數(shù)據(jù)定義缺失；數(shù)據(jù)項缺失；數(shù)據(jù)屬性不完整； 企業(yè)外部數(shù)據(jù)無暇顧及,數(shù)據(jù)在多個系統(tǒng)中重復采集、重復存儲,系統(tǒng)數(shù)據(jù)無法關聯(lián)、共享，數(shù)據(jù)整合困難；系統(tǒng)林立，數(shù)出多門,數(shù)據(jù)時效性差，使用者無法及時獲得所需信息,數(shù)據(jù)使用不方便，方法繁瑣；手工報表多,數(shù)據(jù)質量差，數(shù)據(jù)不完整，數(shù)據(jù)不一致,沒有準確數(shù)據(jù)支撐 難以進行深度分析 決策缺乏可靠依據(jù),IT如何推動公司運營變革,2、服務管控模式逐步完善 夯實基礎管理 管控思路由簡單支撐向精細服務轉型 全面優(yōu)化信息化服務流程實現(xiàn)分級服務,保險行業(yè)經(jīng)過多年的發(fā)展，整

2、個行業(yè)的變革越來越快，市場競爭環(huán)境也日益激烈。保險公司想要在殘酷的競爭中占得先機，就必須考慮產業(yè)的融合，并在價值鏈中占得有利的位置,1、由被動的IT支撐向主動的以數(shù)據(jù)為核心的IT服務轉型 以大數(shù)據(jù)為核心組織IT服務能力 持續(xù)完善基礎支撐能力 擁抱互聯(lián)網(wǎng) 架構體系全面云化,大數(shù)據(jù)思考,根據(jù)Gartner的定義，大數(shù)據(jù)的特征具體涵蓋了3V的內容： 數(shù)據(jù)量龐大（Volume）：從PB擴展到ZB；IT系統(tǒng)、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等每天都在產生大量新生數(shù)據(jù)，過去的兩年間產生的數(shù)據(jù)占到了所有數(shù)據(jù)的90% 數(shù)據(jù)變化快 (Velocity)：數(shù)據(jù)變化與處理的頻度由天加速到秒/毫秒；訂單、支付、欺詐、微博、監(jiān)控視頻、傳

3、感器、信令每時每刻都在不停的產生數(shù)據(jù) 數(shù)據(jù)多樣（Variety)：數(shù)據(jù)種類繁多：數(shù)據(jù)庫表，格式文本，自然語言文本，電子表格，聲音，圖片，視頻,大數(shù)據(jù)應用價值可以從公司側和客戶側體現(xiàn),客戶： 精準服務 及時響應 智能應用,透明管控,圍繞大數(shù)據(jù)應用，促使公司實現(xiàn)科學運營、價值創(chuàng)造以及透明管控，一方面能使得公司側感知到大數(shù)據(jù)帶來的管理、決策、運營效率和質量的提升；另一方面，能夠使客戶感知到大數(shù)據(jù)帶來業(yè)務開發(fā)的智能、服務及時以及與需求匹配的精準,科學運營,價值創(chuàng)造,企業(yè)： 開發(fā)便捷 分析及時 決策支持 數(shù)據(jù)準確,客戶,2. 大數(shù)據(jù)平臺需求理解,IBM 大數(shù)據(jù)平臺解決方案,大數(shù)據(jù)平臺的關鍵需求,角色,流

4、程,數(shù)據(jù)應用,數(shù)據(jù)分類,結構化了企業(yè)架構中四大架構的關鍵要素，以及要素間的承接關系，形成了一套規(guī)范、清晰的定義，從而為大數(shù)據(jù)平臺的方案設計建立了更明確的指導依據(jù)和驗證方法,柔性架構的大數(shù)據(jù)平臺 企業(yè)架構方法論和云計算技術讓建立柔性架構成為可能，基于企業(yè)架構元模型，建立柔性的架構需要實現(xiàn)業(yè)務、應用、數(shù)據(jù)、技術四個架構層面的解耦。 業(yè)務應用/數(shù)據(jù)：業(yè)務活動在業(yè)務架構和應用架構(大數(shù)據(jù)平臺)間具有承上啟下的作用，可從業(yè)務類型和業(yè)務活動類型兩個維度劃分，前者體現(xiàn)業(yè)務差異，后者更多體現(xiàn)數(shù)據(jù)平臺能力要求，且可以穩(wěn)定地分為決策類、管理類、執(zhí)行類和分析類四種，因此業(yè)務與IT的解耦可從四類業(yè)務活動支撐實現(xiàn)。 應

5、用數(shù)據(jù)：應用和數(shù)據(jù)共同承接了業(yè)務，數(shù)據(jù)實體也承接了應用交互，因此二者解耦的核心是數(shù)據(jù)實體。這可以通過建立穩(wěn)定的、彈性的企業(yè)企業(yè)級大數(shù)據(jù)模型、數(shù)據(jù)整合與存儲區(qū)域，保證未來應用對數(shù)據(jù)操作的可擴展，以及屏蔽了應用對底層數(shù)據(jù)直接訪問的數(shù)據(jù)服務加以實現(xiàn)。 應用/數(shù)據(jù)技術：系統(tǒng)組件承接了應用和數(shù)據(jù)，因此要實現(xiàn)該層面的解耦，需要解決系統(tǒng)組件對應用的依賴，可通過建立應用開發(fā)平臺、數(shù)據(jù)交換平臺和數(shù)據(jù)管控平臺來實現(xiàn)。同時基于云計算的彈性擴展和虛擬化技術實現(xiàn)系統(tǒng)組件與基礎設施的解耦,大數(shù)據(jù)平臺能力需求分析決策類業(yè)務活動,決策就是為達到某一目標而在若干個可行方案經(jīng)過分析、比較、判斷，從中選擇并賦予實施的過程據(jù)諾賓斯泰

6、（Robenstein）將決策過程定義為五個步驟 大數(shù)據(jù)平臺的核心是數(shù)據(jù)，從數(shù)據(jù)生命周期看，大數(shù)據(jù)的生成、獲取、整合、服務、應用、歸檔各個步驟分別有著不同的目標，并面臨不同的問題 從決策類活動過程和數(shù)據(jù)生命周期兩個維度，對大數(shù)據(jù)平臺的決策類活動的支撐能力需求進行分析,通過優(yōu)化技術選擇滿足約束條件的最優(yōu)方案,4V,產生,應用,獲取,整合,服務,歸檔,應用,通過仿真技術進行各種方案的預演與細化,整合,案例類、規(guī)則類知識支撐 規(guī)則制度信息查詢,實時/準實時數(shù)據(jù)捕獲 客戶行為捕獲 企業(yè)/用戶互聯(lián)網(wǎng)數(shù)據(jù)捕獲,應用,服務,獲取,整合,大數(shù)據(jù)的存儲和管理 海量數(shù)據(jù)的快速分析,海量數(shù)據(jù)的快速獲取,歸檔,整合,

7、服務,應用,歸檔,獲取,整合,服務,應用,歸檔,獲取,服務,歸檔,實時/準實時數(shù)據(jù)捕獲 互聯(lián)網(wǎng)數(shù)據(jù)捕獲,冷數(shù)據(jù)的近線訪問,快速的數(shù)據(jù)服務執(zhí)行 簡便的數(shù)據(jù)服務使用,非結構化數(shù)據(jù)的挖掘和分析,快速的數(shù)據(jù)轉儲和歸檔,高可用的數(shù)據(jù)支撐,建立柔性的架構支撐 個性化應用開發(fā)支撐,最終用戶自定制的數(shù)據(jù)服務,與生產系統(tǒng)在功能和數(shù)據(jù)分工上清晰合理,與生產系統(tǒng)的及時交互 決策執(zhí)行業(yè)務活動中的數(shù)據(jù)支撐,大數(shù)據(jù)平臺能力需求分析分析類業(yè)務活動,分析類活動是通過對數(shù)據(jù)的深入分析，力求取得更深刻業(yè)務洞察的過程，參考DM-CRISP數(shù)據(jù)挖掘方法論，包括業(yè)務理解、數(shù)據(jù)理解、數(shù)據(jù)準備、數(shù)據(jù)建模、模型評估和模型部署六個步驟,4V,

8、產生,應用,獲取,整合,服務,歸檔,應用,整合,應用,服務,獲取,整合,歸檔,整合,服務,應用,歸檔,獲取,整合,服務,應用,歸檔,獲取,服務,歸檔,模型評估,應用,整合,獲取,服務,歸檔,歷史數(shù)據(jù)探查和分析,海量數(shù)據(jù)的快速獲取 方便準確的數(shù)據(jù)抽樣能力,探索數(shù)據(jù)可方便歸檔和恢復,非結構化數(shù)據(jù)、實時數(shù)據(jù)的獲取 海量數(shù)據(jù)的獲取,非結構化數(shù)據(jù)與結構化數(shù)據(jù)的整合 流數(shù)據(jù)概要數(shù)據(jù)與結構化數(shù)據(jù)的整合 海量數(shù)據(jù)的處理能力,非結構化數(shù)據(jù)分析能力 海量數(shù)據(jù)分析能力,支撐不同分析的數(shù)據(jù)寬表,寬表數(shù)據(jù)歸檔,豐富的數(shù)據(jù)挖掘算法 建模過程中的模擬仿真 仿真結果的優(yōu)化計算 調用API進行模型訓練能力,豐富的數(shù)據(jù)計算和可視

9、化,分析模型能夠導出為可直接使用的評分條件，如SQL,評估數(shù)據(jù)能夠嵌入到模型評估中，通過外部調用發(fā)現(xiàn)已經(jīng)退化的模型,模型分析結果的快速回寫,模型評估數(shù)據(jù)集的提取,模型分析結果嵌入到生產系統(tǒng)中,模型分析源數(shù)據(jù)的預處理與獲取,大數(shù)據(jù)平臺關鍵能力需求應用開發(fā)與運行,當前總部BI系統(tǒng)的數(shù)據(jù)應用需求包括業(yè)務部門的計劃性業(yè)務支撐需求和大量的臨時性支撐需求，以及IT部門自身規(guī)劃中的計劃性支撐需求； 省公司經(jīng)分系統(tǒng)也需要支撐來自業(yè)務部門和IT部門的大量支撐需求，同時要完成集團下發(fā)的IT規(guī)范要求 未來省公司數(shù)據(jù)集中后，大數(shù)據(jù)平臺將必須承擔省分公司和總部的全部數(shù)據(jù)應用服務需求,數(shù)據(jù)應用需求急速增長,總公司IT增長

10、緩慢,省公司IT投入有限,平臺開發(fā)方面：如何支撐急速增長的數(shù)據(jù)應用需求 平臺執(zhí)行方面：如何保障海量大并發(fā)的數(shù)據(jù)訪問需求和海量數(shù)據(jù)處理的性能要求,大數(shù)據(jù)平臺將面臨兩大挑戰(zhàn),IT人力緊張 IT系統(tǒng)擴容難 IT投入效益難保障,大數(shù)據(jù)平臺關鍵能力需求更直接的決策支持,未來大數(shù)據(jù)平臺,當前BI系統(tǒng),結構化決策：庫存控制 半結構化決策：套餐設計 非結構化決策：產品外觀設計,知識庫(事實知識、規(guī)則知識、案例知識,模型的建立基于預先假設 模型所需數(shù)據(jù)事先確定已知 模型是靜態(tài)的 模型的數(shù)學形式很完善，但往往不能符合實際業(yè)務情況,DWD,DWA,ODS,DM,DM,DM,非結構化數(shù)據(jù),3. 大數(shù)據(jù)平臺定位分析,I

11、BM 大數(shù)據(jù)平臺解決方案,前期初步確立的大數(shù)據(jù)平臺目標技術架構,目標架構： 擁抱互聯(lián)網(wǎng)、運用云計算技術，建立開放的基于SOA架構的中國企業(yè)集中化云數(shù)據(jù)服務支撐平臺，面向全國各級經(jīng)營主體和總部集中平臺提供大數(shù)據(jù)、分布式、實時智能數(shù)據(jù)服務支撐與客戶響應，并注重公共數(shù)據(jù)、公共能力的一點沉淀與全網(wǎng)共享，實現(xiàn)基于特定對象、特定需求的個性化自主定制、靈活組件組裝，高效實現(xiàn)一級系統(tǒng)多維應用多級支撐,圍繞三個維度：透明管控、科學運營、價值創(chuàng)造 強調開放靈活：基于開放業(yè)務組件、應用開發(fā)平臺、公共應用模型等構建，靈活支撐個性化應用開發(fā)、部署和推廣 實施五項管控：數(shù)據(jù)模型與標準、數(shù)據(jù)質量、數(shù)據(jù)安全、元數(shù)據(jù)、數(shù)據(jù)生命

12、周期 推行五個一點：一點源頭采集、一點加工轉換、一點存儲、一點分析挖掘、一點服務提供,數(shù)據(jù)模型 標準管控,基于技術架構目標，加入大數(shù)據(jù)平臺建設的驅動力,分析類系統(tǒng)應該建立多少數(shù)據(jù)庫，多少種數(shù)據(jù)庫,保證數(shù)據(jù)從省分及時向集團提供準確唯一數(shù)據(jù),現(xiàn)存問題,在一個框架下有效支持5級體系的個性化開發(fā)和共性開發(fā),提供多種形式數(shù)據(jù)服務提供方式，并有效執(zhí)行,數(shù)據(jù)應用,數(shù)據(jù)服務,數(shù)據(jù)交換采集,數(shù)據(jù)整合,數(shù)據(jù)存儲,數(shù)據(jù)管控,新興技術,流數(shù)據(jù)處理架構和體系,桌面云管理技術,IaaS 、PaaS，SaaS，DaaS等云管理技術,內容數(shù)據(jù)處理架構和體系,提供多廠商、多系統(tǒng)的統(tǒng)一開發(fā)平臺,大數(shù)據(jù)平臺應具備的技術支撐能力,1

13、0,9,6,2,數(shù)據(jù)捕獲,數(shù)據(jù)服務,大數(shù)據(jù)產生,知識沉淀,數(shù)據(jù)消亡,清晰的整合層次和加工時效 海量數(shù)據(jù)、非結構化數(shù)據(jù)、實時流數(shù)據(jù)等多樣化的存儲與管理 Gartner于2012年7月提出大數(shù)據(jù)管理中：“列式存儲數(shù)據(jù)庫、云計算和內存數(shù)據(jù)庫在未來5年內將是3個最重要的技術,數(shù)據(jù)價值,1,0,4,數(shù)據(jù)整合,3,數(shù)據(jù)處理,14,業(yè)務信息,8,系統(tǒng)支撐,5,數(shù)據(jù)分析,11,數(shù)據(jù)冷卻,13,數(shù)據(jù)歸檔,示意,12,近線存儲,7,數(shù)據(jù)展示,大數(shù)據(jù)生命周期,時間,大數(shù)據(jù)平臺將借助云計算的快速可擴展性、標準化服務、自助服務等特征，強化大數(shù)據(jù)的獲取、處理、整合、分析、服務等技術支撐能力，促進敏捷化、個性化的數(shù)據(jù)應用開

14、發(fā)，最終助力IT對業(yè)務轉型的推動,海量數(shù)據(jù)的識別和快速裝入 數(shù)據(jù)分布流轉 互聯(lián)網(wǎng)數(shù)據(jù)和客戶行為捕獲 實時/準實時數(shù)據(jù)捕獲,大量數(shù)據(jù)服務需求的快速開發(fā)支撐 快速數(shù)據(jù)服務執(zhí)行 簡便的數(shù)據(jù)服務使用 清晰的數(shù)據(jù)服務目錄 數(shù)據(jù)服務使用記錄,針對海量數(shù)據(jù)的高性能數(shù)據(jù)分析 實時數(shù)據(jù)的即時分析 非結構化數(shù)據(jù)的智能分析（如網(wǎng)頁的標引、結構化解析，視頻、圖片的模式識別等） 高級分析算法,海量冷數(shù)據(jù)（包括實時、非結構化、結構化）的存儲和管理策略 冷數(shù)據(jù)的透明訪問 冷數(shù)據(jù)與熱數(shù)據(jù)的統(tǒng)一支撐 操作型和分析型數(shù)據(jù)的統(tǒng)一歸檔 快速的數(shù)據(jù)轉儲和歸檔,數(shù)據(jù)的展現(xiàn)策略 個性化應用開發(fā)支撐 共享應用快速部署 對外部系統(tǒng)的支撐 信息

15、提煉以及對業(yè)務的支撐 知識的組織、沉淀、管理和應用,3V,大數(shù)據(jù)平臺與周邊系統(tǒng)的關系,大數(shù)據(jù)平臺與省分系統(tǒng)和總部系統(tǒng)的關系主要體現(xiàn)在功能分工協(xié)作和數(shù)據(jù)交換兩大方面，此處將大數(shù)據(jù)平臺作為一個黑盒子，重點關注數(shù)據(jù)平臺與外部系統(tǒng)的關系,大數(shù)據(jù)平臺,總部系統(tǒng),省分系統(tǒng),功能分工與協(xié)作 生產系統(tǒng)只保留與生產直接相關的、數(shù)據(jù)稽核（比對）相關的統(tǒng)計報表，其它全部整合到分析平臺上。直接相關可以從流程和數(shù)據(jù)兩方面考察，一系列連續(xù)業(yè)務活動，使用相同數(shù)據(jù)的應用功能直接相關（耦合度高），如結算中的話單數(shù)、成本查詢，需要放在結算系統(tǒng)。 不直接相關的統(tǒng)計、分析類應用，由大數(shù)據(jù)平臺通過數(shù)據(jù)服務，并在D域中統(tǒng)一建立應用進行支

16、撐。 數(shù)據(jù)交換 一般情況下，D域中的分析類應用系統(tǒng)中不單獨存儲數(shù)據(jù)，系統(tǒng)所需的和系統(tǒng)產生的數(shù)據(jù)都存放在數(shù)據(jù)平臺的數(shù)據(jù)集市中。其中如果系統(tǒng)使用的數(shù)據(jù)較少，可以部門/省分數(shù)據(jù)集市；但如果系統(tǒng)涉及的數(shù)據(jù)很多，則需存放在應用集市中 生產系統(tǒng)使用的數(shù)據(jù)全部存放在生產系統(tǒng)中，當需要與大數(shù)據(jù)平臺發(fā)生共享數(shù)據(jù)時，則通過數(shù)據(jù)交換進行。具體交換周期模式可以是實時、準實時和分批交換 大數(shù)據(jù)平臺的數(shù)據(jù)整合策略是根據(jù)業(yè)務需求，按照數(shù)據(jù)模型定義和數(shù)據(jù)存儲周期的要求，集成生產系統(tǒng)中所需的部分私有數(shù)據(jù)和共享數(shù)據(jù)，而不是全部獲取和集成 生產系統(tǒng)的共享數(shù)據(jù)集（SID）盡管是數(shù)據(jù)中心業(yè)務職能管轄范圍，但SID不屬于大數(shù)據(jù)平臺的管轄

17、范圍，只是大數(shù)據(jù)平臺中的一個數(shù)據(jù)源，且SID與大數(shù)據(jù)平臺的數(shù)據(jù)交換是雙向的,數(shù)據(jù)讀取,數(shù)據(jù) 交換,數(shù)據(jù) 交換,大數(shù)據(jù)平臺在Cloud的位置,大數(shù)據(jù)平臺: 外圍關系：數(shù)據(jù)來源與生產系統(tǒng)的ADB，SID等； 服務對象：數(shù)據(jù)應用、反饋生產系統(tǒng)； 核心內容：數(shù)據(jù)管理、數(shù)據(jù)組織、數(shù)據(jù)管控、數(shù)據(jù)服務； 承載關系： IaaS統(tǒng)一承載構架； PaaS數(shù)據(jù)集與SID和ADB并列； PaaS技術服務集：互為補充； PaaS業(yè)務服務集：單獨形成面向分析業(yè)務服務集,大數(shù)據(jù)平臺針對異常復雜的大數(shù)據(jù)管理，而云計算為大數(shù)據(jù)管理提供了堅實的技術支撐。 Cloud以數(shù)據(jù)為核心向上提供標準的封裝服務，以業(yè)務(流程)解耦為前提支撐

18、生產經(jīng)營、數(shù)據(jù)加工分析等應用。概括的說，Cloud 是大數(shù)據(jù)平臺的載體，為其提供了基礎運行環(huán)境,4. 大數(shù)據(jù)平臺總體架構設計,IBM 大數(shù)據(jù)平臺解決方案,總體邏輯架構圖,總部系統(tǒng),基于企業(yè)大數(shù)據(jù)平臺生態(tài)系統(tǒng)框架，總體架構可分為系統(tǒng)平臺和參與人兩大部分，其中系統(tǒng)平臺可分為大數(shù)據(jù)平臺、總部IT系統(tǒng)和省分IT系統(tǒng)，參與人可分為企業(yè)內部用戶、外部用戶、系統(tǒng)建設廠商,省分系統(tǒng),圖例,邏輯庫,物理庫,數(shù)據(jù)流,控制流,數(shù)據(jù)整合與存儲,DW/DM,ODS,Cloud-i（資源,統(tǒng)一 IaaS服務接口,數(shù)據(jù)服務,數(shù)據(jù)管控,數(shù)據(jù)應用 開發(fā)平臺,標準化API,分析 模型,SDK,工具 軟件,數(shù)據(jù)獲取,非結構化數(shù)據(jù),

19、總體邏輯架構圖,數(shù)據(jù)應用,應用開發(fā)平臺,數(shù)據(jù)整合與存儲,數(shù)據(jù)獲取,大數(shù)據(jù)平臺,生產系統(tǒng),數(shù)據(jù)服務,應用集市,總部系統(tǒng),備份 文件,備份 文件,備份 文件,備份 文件,省分系統(tǒng),備份 文件,備份 文件,備份 文件,備份 文件,數(shù)據(jù)管控,數(shù)據(jù)歸檔,近線區(qū),歸檔區(qū),明細類數(shù)據(jù),快照類數(shù)據(jù),日志類數(shù)據(jù),元數(shù)據(jù),快照類數(shù)據(jù),日志類數(shù)據(jù),參數(shù)類數(shù)據(jù),元數(shù)據(jù),明細類數(shù)據(jù),參數(shù)類數(shù)據(jù),前置機,前置機,圖例,邏輯庫,物理庫,部門集市,ODS,EDSB,部門集市,應用集市,EASB,接入適配,數(shù)據(jù)交換層,數(shù)據(jù)處理層,傳輸路由,標準策略管理,交換管理,平臺管理,監(jiān)控告警,作業(yè)管理,處理邏輯定義,獲取管理層,非結構化

20、數(shù)據(jù),流數(shù)據(jù),數(shù)據(jù)抽取,數(shù)據(jù)轉換,數(shù)據(jù)裝載,省分集市,省分集市,省分集市,知識庫,DWA,DWD,部門集市,透傳通道,ADB,SID,ADB,SID,總體物理架構圖,IaaS,SaaS,PaaS,物理資源,實時流/批量ETL,海量分析平臺,歸檔區(qū)資源池,虛擬化,中低端存儲,高端存儲,小型機,X86服務器,提供能夠滿足用戶需求的各類應用程序,關注軟件架構與服務，提供應用在基礎設施中進行計算所需要的各類服務,提供系統(tǒng)運行所需的計算與存儲資源,SMP+MPP+Hadoop,小型機/X86 SMP集群,數(shù)據(jù)庫資源池,網(wǎng)絡設備,Compute Intensive Applications,Platfor

21、m Management Console,Platform Enterprise Reporting Framework,Resource Orchestrator,Low-latency Service-oriented Application Middleware,Service Instance Manager (SIM,Enhanced MapReduce Processing Framework,DATA INTENSIVE,Platform Symphony Core,大數(shù)據(jù)平臺方案設計關鍵點和相關方法論,高可用 數(shù)據(jù)提供,數(shù)據(jù)全面性 數(shù)據(jù)質量 數(shù)據(jù)快速提供與分發(fā),數(shù)據(jù)整合 分區(qū)與

22、定位,應該如何給大數(shù)據(jù)平臺劃分數(shù)據(jù)區(qū)，每個區(qū)的數(shù)據(jù)目標是什么 應該分為哪些類數(shù)據(jù)整合區(qū)，有多少個數(shù)據(jù)庫，每個數(shù)據(jù)庫的定位是什么，必要性如何,數(shù)據(jù)存儲 成本與性能,海量、多樣性、實時數(shù)據(jù)的高性價比的數(shù)據(jù)管理 在線、近線、離線數(shù)據(jù)的管理策略 易擴展的數(shù)據(jù)存儲架構,支撐大數(shù)據(jù)業(yè)務戰(zhàn)略的應用框架,自頂向下：五個一點要承接 自底向上：從大數(shù)據(jù)4V特性，如何進行創(chuàng)新，真正實現(xiàn)IT對業(yè)務的推動,IBM 行業(yè)模型 eTom與SID IBM 數(shù)據(jù)治理方法論,DW2.0方法論 企業(yè)信息工廠方法論 維度建模方法論 IBM BI方法論,維度建模方法論 IBM BI方法論 Hadoop實施方案,IBM 企業(yè)架構(EA)

23、方法論 IBM CBM業(yè)務組件模型,關鍵點,方法論,關鍵點描述,自助式 應用開發(fā),支持開發(fā)人員的敏捷化開發(fā) 支持最終用戶的自助式的查詢、分析和挖掘,IBM BI方法論 工行數(shù)據(jù)大集中經(jīng)驗,5. 分項專題關設計思想及注點,IBM 大數(shù)據(jù)平臺解決方案,數(shù)據(jù)獲取方案設計思想和關注點,采集周期,數(shù)據(jù)傳輸,采集范圍,數(shù)據(jù)模型,采集技術,采集方式,采集方式,聯(lián)動機制,傳輸技術,選擇企業(yè)現(xiàn)有數(shù)據(jù)模型+IBM行業(yè)數(shù)據(jù)模型+其它優(yōu)秀實踐， 確立企業(yè)級邏輯數(shù)據(jù)模型 結合逐步實現(xiàn)一點源頭采集、 覆蓋MBO全域全景數(shù)據(jù)，滿足橫縱向、內外部眾多數(shù)據(jù)源需要,根據(jù)系統(tǒng)中不同數(shù)據(jù)類型的時間串口（實時/準實時/日月）確定合理的

24、數(shù)據(jù)采集周期 根據(jù)管理要求，確定數(shù)據(jù)的采集周期要求，并執(zhí)行,保證采集與源系統(tǒng)聯(lián)動，避免源系統(tǒng)變化影響 根據(jù)數(shù)據(jù)類型、數(shù)據(jù)量、數(shù)據(jù)時效等特性選擇合適的傳輸技術和策略,確定數(shù)據(jù)采集和傳輸過程中的關鍵問題點，監(jiān)控采集可能出現(xiàn)的問題。 數(shù)據(jù)采集問題的排錯機制和容錯機制,系統(tǒng)現(xiàn)狀,管理需求現(xiàn)狀,系統(tǒng)時間窗口,采集管控,采集監(jiān)控,問題處置,選擇合適的采集技術，保證數(shù)據(jù)原生態(tài)、時效要求 針對結構化/非結構化、海量數(shù)據(jù)并發(fā)處理、實時數(shù)據(jù)處理等要求，確定統(tǒng)一的和標準的數(shù)據(jù)采集方式,數(shù)據(jù) 分類,數(shù)據(jù)分布傳輸,數(shù)據(jù)整合與存儲方案設計思想和關注點,數(shù)據(jù)整合,基于業(yè)界近期研究進展，討論數(shù)據(jù)整合區(qū)域的基本劃分層次 明確整

25、合數(shù)據(jù)區(qū)中應該有多少個邏輯/物理數(shù)據(jù)庫，具體定位 SA、ODS、DWD、DWA、DM數(shù)據(jù)集進一步細分的策略，實時中的建模策略、參照方法論等建設方法 操作型/分析型數(shù)據(jù)數(shù)據(jù)、結構化/非結構化數(shù)據(jù)、實時/非實時數(shù)據(jù)等不同數(shù)據(jù)類型的功能劃分和整合策略 各個數(shù)據(jù)集/庫中應該存放哪些數(shù)據(jù)，包括數(shù)據(jù)類分布和數(shù)據(jù)生命周期分布策略；數(shù)據(jù)在不同數(shù)據(jù)集間的復制策略，如數(shù)據(jù)集市是否全量保存DWD中的CDR,數(shù)據(jù)存儲,大數(shù)據(jù)的3V特征，對數(shù)據(jù)存儲與處理的要求，滿足9621的支撐要求 結構化數(shù)據(jù)、非結構化數(shù)據(jù)的特征分析，相應的存儲管理策略，不同類型數(shù)據(jù)的共用機制 非結構化數(shù)據(jù)的分類、標引等結構化信息的提取方法 內存數(shù)據(jù)

26、管理技術在實時流數(shù)據(jù)處理中的具體應用策略 結構化/非結構化數(shù)據(jù)、實時/非實時數(shù)據(jù)等不同類型數(shù)據(jù)應該使用哪些軟硬件平臺，包括DBMS管理和處理能力要求，計算、存儲、網(wǎng)絡平臺 不同數(shù)據(jù)生命周期的數(shù)據(jù)清理機制、數(shù)據(jù)存儲管理策略，數(shù)據(jù)在在線區(qū)、近線區(qū)、歸檔區(qū)的自動歸檔與自動恢復機制,數(shù)據(jù)模型,明確應該存在幾套數(shù)據(jù)模型，每類數(shù)據(jù)模型的定位和承接關系,統(tǒng)一模型和個性化模型之間的關系，如何滿足省分5級/7級要求 選擇企業(yè)現(xiàn)有數(shù)據(jù)模型+IBM行業(yè)數(shù)據(jù)模型+其它優(yōu)秀實踐， 確立企業(yè)級邏輯數(shù)據(jù)模型的主題域、數(shù)據(jù)分類和數(shù)據(jù)子類,數(shù)據(jù)模型,數(shù)據(jù)服務方案設計思想和關注點,方案設計,數(shù)據(jù)服務理解,數(shù)據(jù)服務內涵,必要性,可

27、行性,服務層次,指對大數(shù)據(jù)平臺中的各種數(shù)據(jù)進行封裝，通過各種服務方式向不同應用系統(tǒng)提供數(shù)據(jù)服務，以滿足用戶的多樣性數(shù)據(jù)請求,將數(shù)據(jù)服務劃分為3個層次，中層服務、底層服務開放給內部應用系統(tǒng)使用，高層服務向所有用戶開放； 數(shù)據(jù)應用基于數(shù)據(jù)服務，通過EAB取得數(shù)據(jù)，數(shù)據(jù)服務可復用部分數(shù)據(jù)交互進程，并依據(jù)數(shù)據(jù)標準、元數(shù)據(jù)提供服務； 建立簡單、易用的數(shù)據(jù)封裝、服務開發(fā)向導，能夠快捷的對數(shù)據(jù)進行封裝，發(fā)布新服務； 兩層服務接入安全管理，以及對服務請求優(yōu)先級管理，控制服務執(zhí)行的數(shù)量，保障系統(tǒng)安全平穩(wěn)的運行； 高層服務請求需要進行語義轉換，然后執(zhí)行服務，中層、底層服務不需要語義轉換，直接執(zhí)行服務,服務運行方式,數(shù)據(jù)服務目標,建立應用和數(shù)據(jù)之間標準化的訪問接口，能夠快速響應用戶的各種數(shù)據(jù)請求，提升與外部系統(tǒng)實時的互動與信息共享能力； 將數(shù)據(jù)與應用隔離開來，實現(xiàn)系統(tǒng)間的松耦合性，依托大數(shù)據(jù)平臺能力，對各種數(shù)據(jù)請求作出快速響應，實現(xiàn)實時的信息共享； 將各種接口技術及響應模式組合成多種服務方式，快速響應各種服務請求，用戶可根據(jù)實際情況選擇適合自己的服務方式,與其它模塊協(xié)作,服務功能劃分,數(shù)據(jù)應用方案設計思想和關注點,應用技術架構,應用開發(fā)環(huán)境,應用管理平臺,應用框架,細化補充,開放化,標準化,靈活性,集成開發(fā)環(huán)境,個性化支持,多廠商支持,應用推廣能力,應用生命