聯(lián)想大數(shù)據(jù)分析平臺方案

1、聯(lián)想大數(shù)據(jù)分析平臺方案從2011年，聯(lián)想啟動了大數(shù)據(jù)平臺建設5年！300+研發(fā)人員持續(xù)投入全球部署的超大規(guī)模集群海量數(shù)據(jù)分析與持續(xù)性業(yè)務支撐300名開發(fā)工程師60名運維工程師30名數(shù)據(jù)科學家全球8個數(shù)據(jù)中心2000臺服務器3000名操作用戶12Pb數(shù)據(jù)容量規(guī)模9Pb數(shù)據(jù)量150億條記錄天30TB天技術(shù)融合深度優(yōu)化持續(xù)演進工匠情懷工業(yè)是實體經(jīng)濟的核心，各國積極部署工業(yè)4.0大數(shù)據(jù)“智慧”貫穿始終，是工業(yè)4.0時代企業(yè)的核心資產(chǎn)德國：工業(yè)4.0戰(zhàn)略美國：先進制造業(yè)國家戰(zhàn)略計劃英國：英國工業(yè)2050戰(zhàn)略法國：新工業(yè)法國 2016 Lenovo. All rights reserved.通過各類技術(shù)的

2、共同作用，充分把握新工業(yè)時代下信息資源帶來的機遇，以數(shù)據(jù)洞察為核心驅(qū)動力，貫穿參與者、產(chǎn)品與生產(chǎn)，實現(xiàn)跨界和全球化互聯(lián)互通的協(xié)同，形成集制造和服務為一體的全球化價值網(wǎng)絡。工業(yè)4.0白皮書，IBM全球研究院海量數(shù)據(jù)，80%非結(jié)構(gòu)化，給商業(yè)分析和價值體現(xiàn)帶來的挑戰(zhàn)數(shù)據(jù)類型數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)增長數(shù)據(jù)大小數(shù)據(jù)明細數(shù)據(jù)存儲大數(shù)據(jù)技術(shù)開始替換傳統(tǒng)數(shù)據(jù)倉庫，企業(yè)商業(yè)智能升級通過診斷型分析，發(fā)現(xiàn)企業(yè)流程的問題，提出改進建議通過預測型分析，構(gòu)建敏捷型企業(yè)，快速響應用戶需求標準報告即席報告下鉆查詢儀表板記分卡解析和分割優(yōu)化發(fā)生了什么?問題究竟出在哪里?數(shù)量, 頻率, 地點發(fā)生了什么？什么是可能發(fā)生的最好的？為什么會發(fā)生

3、?智能程度競爭優(yōu)勢接下來會發(fā)生什么?預測模型預測如果這些趨勢繼續(xù)會怎樣?通過跨領域產(chǎn)業(yè)互聯(lián)，結(jié)合大數(shù)據(jù)優(yōu)化商業(yè)運作模式 大數(shù)據(jù)商業(yè)模式創(chuàng)新資源置換直接變現(xiàn)社會效應交叉營銷醫(yī)療旅游運輸銀行保險公共事業(yè)互聯(lián)網(wǎng)餐飲政府零售征信報告險種定制和費用優(yōu)化企業(yè)和產(chǎn)品保險 反欺詐和反洗錢 小額貸款授信產(chǎn)品在線銷售健康個性化需求就診便利舉措疫情監(jiān)測景區(qū)人流預警旅游產(chǎn)品推薦高端人群營銷交通路徑規(guī)劃競品分析社交媒體熱點追蹤人流熱度和影響分析用戶輿情和突發(fā)事件監(jiān)測城市規(guī)劃優(yōu)化政務流程優(yōu)化餐飲選址餐飲個性化推薦產(chǎn)品在線銷售互聯(lián)網(wǎng)營銷輿情熱點追蹤客戶留存高端用戶營銷系統(tǒng)監(jiān)控和優(yōu)化制造產(chǎn)品銷售和營銷供應鏈金融產(chǎn)品持續(xù)改進聯(lián)

4、想企業(yè)大數(shù)據(jù)分析平臺（LEAP）提供從大數(shù)據(jù)采集到商業(yè)價值呈現(xiàn)的一體化解決方案01數(shù)據(jù)04運維05價值02平臺03管理數(shù)據(jù)：整合各方數(shù)據(jù)，沉淀業(yè)務知識，LEAP將為客戶提供豐富的數(shù)據(jù)接口與強大的數(shù)據(jù)資源整合能力。平臺：LEAP將為客戶提供安全可靠的分布式的大數(shù)據(jù)平臺，解決了海量數(shù)據(jù)的計算，存儲實時數(shù)據(jù)計算等問題。管理：參與到企業(yè)運營的各環(huán)節(jié)，通過對業(yè)務數(shù)據(jù)的分析，發(fā)現(xiàn)各種規(guī)律趨勢，為策略制定提供參考依據(jù)。運維：LEAP提供集中的運維管控組件，實現(xiàn)從設備到服務的全方位監(jiān)控、管理和擴展。價值：聯(lián)想提供端到端的大數(shù)據(jù)服務，旨在發(fā)現(xiàn)數(shù)據(jù)潛在價值，幫助客戶通過大數(shù)據(jù)解決商業(yè)問題，與客戶共同成長。LEAP

5、聯(lián)想大數(shù)據(jù)分析平臺（LEAP）全景圖資源開放分析武庫數(shù)據(jù)工廠大數(shù)據(jù)能力開放平臺 GaussBig Data as a Service大數(shù)據(jù)計算平臺 Descartes大數(shù)據(jù)技術(shù)整合與深度優(yōu)化大數(shù)據(jù)分析應用套件 Nash數(shù)據(jù)資產(chǎn)管理平臺系統(tǒng)運維監(jiān)控中心EulerArchiton軟硬件一體化優(yōu)化，突破計算平臺性能瓶頸批量處理性能查詢性能實時處理性能復雜計算專利的智能調(diào)度技術(shù)，提升Hadoop計算效能5x20 x虛擬大數(shù)據(jù)系統(tǒng)，簡化異地數(shù)據(jù)中心的數(shù)據(jù)同步率先支持Spark 2.0，實時性能提升5x全面支持MPP業(yè)務場景，10 x優(yōu)于傳統(tǒng)數(shù)據(jù)倉庫數(shù)據(jù)查詢測試對比LEAP主流云平臺某廠商數(shù)據(jù)大文件加載抗

6、壓測試對比LEAP主流云平臺某廠商平臺性能評測基于TPC-DS，2016100%兼容SQL 2003，SQL 99和PL/SQL動態(tài)選擇合適的數(shù)據(jù)源和計算引擎執(zhí)行查詢請求，相對HUE查詢性能提升10 x全圖形化的任務調(diào)度工具，可每日處理上萬個獨立的數(shù)據(jù)計算任務內(nèi)嵌數(shù)據(jù)質(zhì)量校驗能力，簡化ETL任務的開發(fā)工作量LEAP全圖形化的計算平臺，便捷的大數(shù)據(jù)系統(tǒng)管理和運維一站式圖形化界面完成大數(shù)據(jù)集群的安裝，升級，系統(tǒng)監(jiān)控的工作，簡化管理創(chuàng)建各種大數(shù)據(jù)任務和查詢操作全部圖形化完成，無需命令行入口支持豐富的開源擴展，圖形化添加近百個高質(zhì)量組件，全面支持和管理各種大數(shù)據(jù)業(yè)務場景系統(tǒng)入口系統(tǒng)監(jiān)測任務調(diào)度全圖形化

7、的任務調(diào)度工具，可每日處理全球來自數(shù)百個數(shù)據(jù)分析人員的上萬個獨立的數(shù)據(jù)計算任務具備靈活多樣的部署形態(tài)，滿足不同規(guī)模企業(yè)的系統(tǒng)架構(gòu)傳統(tǒng)數(shù)據(jù)倉庫大數(shù)據(jù)平臺新型探索分析傳統(tǒng)分析應用專業(yè)探索分析集市UNIX小型機X86集群傳統(tǒng)數(shù)據(jù)倉庫大數(shù)據(jù)平臺新型探索分析/傳統(tǒng)分析應用傳統(tǒng)分析應用混搭雙中心UNIX小型機X86集群探索分析/傳統(tǒng)分析應用企業(yè)級大數(shù)據(jù)中心X86集群大數(shù)據(jù)平臺大數(shù)據(jù)平臺定位：屬于數(shù)據(jù)倉庫的補充系統(tǒng)特點：規(guī)模小，大數(shù)據(jù)創(chuàng)新試點大數(shù)據(jù)平臺定位：分擔數(shù)據(jù)倉庫的存儲和計算壓力特點：大數(shù)據(jù)平臺逐漸成為業(yè)務分析中心大數(shù)據(jù)平臺定位：支持企業(yè)所有數(shù)據(jù)計算、分析和應用。特點：企業(yè)真正成為數(shù)據(jù)驅(qū)動的企業(yè)傳統(tǒng)數(shù)

8、據(jù)倉庫全面支持海量復雜數(shù)據(jù)，構(gòu)建高質(zhì)量統(tǒng)一企業(yè)大數(shù)據(jù)倉庫智能工廠數(shù)據(jù) 供應商數(shù)據(jù) 公開數(shù)據(jù) 數(shù)據(jù)源： 政府網(wǎng)站、社交媒體等。 數(shù)據(jù)類型：TB級非結(jié)構(gòu)化數(shù)據(jù) 數(shù)據(jù)源： ERP、SRM，SCM 數(shù)據(jù)類型： TB級結(jié)構(gòu)化數(shù)據(jù) 數(shù)據(jù)源： PLM、 MES、DCS，CAM 數(shù)據(jù)類型： PB級異構(gòu)數(shù)據(jù)設備數(shù)據(jù) 業(yè)務數(shù)據(jù) 零售數(shù)據(jù) 數(shù)據(jù)源：ERP、Salesforce，Excel 數(shù)據(jù)類型：PB級異構(gòu)數(shù)據(jù) 數(shù)據(jù)源：日志、 設備參數(shù)、操作 數(shù)據(jù)類型：PB級非結(jié)構(gòu)化數(shù)據(jù) 數(shù)據(jù)源：ERP、CRM，SCM，EAI 數(shù)據(jù)類型：TB級結(jié)構(gòu)化數(shù)據(jù)企業(yè)異構(gòu)數(shù)據(jù)源異構(gòu)數(shù)據(jù)自動適配數(shù)據(jù)質(zhì)量保證統(tǒng)一數(shù)據(jù)字典統(tǒng)一數(shù)據(jù)清洗加載數(shù)據(jù)資

9、產(chǎn)管理完備的應用開發(fā)工具，全面提升數(shù)據(jù)洞察效率-無縫支持Spark 2.0, Spark R, Hive, Impala, Kylin等數(shù)據(jù)引擎，全面算法硬件優(yōu)化，提升性能5x10 x強大的SQL分析引擎Python和腳本工具箱硬件優(yōu)化的算法庫R交互式數(shù)據(jù)分析引擎回歸算法分類算法聚類算法決策樹算法可靠性預測算法集成算法智能分析套件，內(nèi)建行業(yè)解決方案，快速構(gòu)建商業(yè)智能零售賣場和推廣效率分析產(chǎn)業(yè)結(jié)構(gòu)和區(qū)域分析設備質(zhì)量關(guān)聯(lián)性分析用戶群聚類和產(chǎn)品反饋分析熱區(qū)分析全球超大規(guī)模實踐，驗證系統(tǒng)高可靠性和實時性香港 舊金山 芝加哥法蘭克福新加坡北京埃森天津總?cè)萘?12PB數(shù)據(jù)總量 9PB日新增數(shù)據(jù) 30TB日處理數(shù)據(jù) 4.3 PB99.5%的全球高可用性全球化多中心部署，2000臺服務器，3000名操作用戶在實踐中充分驗證系統(tǒng)的高可靠性企業(yè)數(shù)據(jù)本地化收集和存儲完全合規(guī)各國數(shù)據(jù)保護和隱私保護法律每隔5秒，聯(lián)想全球的新增設備信息會被實時提取和計算，實時優(yōu)化全球業(yè)務流程聯(lián)想大數(shù)據(jù)具備全球復雜業(yè)務的全面支持能力，助力企業(yè)轉(zhuǎn)型升級領先的大數(shù)據(jù)業(yè)務平臺 300+研發(fā)人員的持續(xù)投入 全面支持Spark 2.0和MPP場景, 性能提升5x20 x完備的數(shù)據(jù)遷移和數(shù)據(jù)分析工具，簡化商業(yè)智能專業(yè)的分析和業(yè)務咨詢能力 聯(lián)想大數(shù)據(jù)專家、數(shù)據(jù)科學家、行業(yè)顧問50+余人 80%海外留學背景，博士占比近70% 發(fā)表學術(shù)