物流大數(shù)據(jù)處理培訓(xùn)教材

物流大數(shù)據(jù)處理物流大數(shù)據(jù)處理采集導(dǎo)入/預(yù)處理

統(tǒng)計/分析

挖掘

1234567

潘果物流大數(shù)據(jù)處理培訓(xùn)教材第1頁淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革baidu大數(shù)據(jù)分析系統(tǒng)架構(gòu)京東大數(shù)據(jù)實時處理技術(shù)物流大數(shù)據(jù)處理介紹1234目錄物流大數(shù)據(jù)處理培訓(xùn)教材第2頁【推薦】用大數(shù)據(jù)能力找到商品之間關(guān)系物流大數(shù)據(jù)處理培訓(xùn)教材第3頁【推薦】用大數(shù)據(jù)能力找到商品之間關(guān)系物流大數(shù)據(jù)處理培訓(xùn)教材第4頁你知曉大數(shù)據(jù)在哪些方面有應(yīng)用？物流大數(shù)據(jù)處理培訓(xùn)教材第5頁3132

架構(gòu)化1950-1970數(shù)字化1970-1990

網(wǎng)絡(luò)化1990-+

物聯(lián)網(wǎng)

大數(shù)據(jù)Something

Big

is

Happening

NOW移動互聯(lián)網(wǎng)

云計算4信息技術(shù)革命小周期

智慧化物流大數(shù)據(jù)處理培訓(xùn)教材第6頁51:1

MarketingNanotargeting和Retargeting物流大數(shù)據(jù)處理培訓(xùn)教材第7頁6物流大數(shù)據(jù)處理培訓(xùn)教材第8頁2?IBM

IBM

多渠道

交通控制交易分析智慧醫(yī)療

國土安全

制造

金融

電信欺詐和風(fēng)險

日志分析

搜索質(zhì)量

零售：流失、促銷?

Copyright

Corporation大數(shù)據(jù)在各行各業(yè)都能夠取得應(yīng)用2物流大數(shù)據(jù)處理培訓(xùn)教材第9頁4?

Copyright

Corporation?IBM

IBM

取得突破性回報 了解關(guān)于客戶 一切作快速大量地創(chuàng)新產(chǎn)品和風(fēng)險利用工具化資產(chǎn)利用大數(shù)據(jù)能力能夠幫助企業(yè)取得突破性回報利用大數(shù)據(jù)獨有

技術(shù)能力

可視化和發(fā)覺Hadoop

執(zhí)行零延遲操數(shù)據(jù)倉庫流計算文本分析整合和治理多媒體內(nèi)容經(jīng)過分析仸意 大數(shù)據(jù)類型 交易/應(yīng)用數(shù) 據(jù)機(jī)器數(shù)據(jù)社交媒體數(shù)據(jù)

實時偵測欺詐4物流大數(shù)據(jù)處理培訓(xùn)教材第10頁11快雜大大數(shù)據(jù)新思維物流大數(shù)據(jù)處理培訓(xùn)教材第11頁13多數(shù)據(jù)源集成浮動車GPS:20M/day手機(jī)位置信息:18M/day居民調(diào)查:80000戶視頻/圖像數(shù)據(jù)和元數(shù)據(jù):100s

of

TB/day

GIS數(shù)據(jù)供水系統(tǒng)智能電網(wǎng)睡眠質(zhì)量出租車運(yùn)行數(shù)據(jù):1M/day

交通卡:19M/day

高速路收費數(shù)據(jù):

0.5M/day

社交網(wǎng)絡(luò)

情感分析部分?jǐn)?shù)據(jù)起源:BeijingTOCC物流大數(shù)據(jù)處理培訓(xùn)教材第12頁12

大數(shù)據(jù)新方法學(xué)數(shù)據(jù)極大豐富前提下新分析思維和技術(shù)采樣數(shù)據(jù)

全集數(shù)據(jù)

多數(shù)據(jù)源整合

基于主觀因果假設(shè)

相關(guān)關(guān)系 大數(shù)據(jù)+小算法 +上下文+知識積累 描述性分析預(yù)測性 和處方性分析實時性>絕對精確性物流大數(shù)據(jù)處理培訓(xùn)教材第13頁數(shù)據(jù)數(shù)據(jù)中介

服務(wù)生態(tài)系統(tǒng)

數(shù)據(jù)擁有者大數(shù)據(jù)數(shù)據(jù)中介

數(shù)據(jù)技術(shù)企業(yè)

數(shù)據(jù)產(chǎn)品

和服務(wù)16物流大數(shù)據(jù)處理培訓(xùn)教材第14頁大數(shù)據(jù)系統(tǒng)設(shè)計權(quán)衡大致量基于采樣查詢

實時性

流計算

批量計算準(zhǔn)確性惰性數(shù)據(jù)即席查詢

Little

data

(個人計算)19城市計算增量計算內(nèi)存計算物流大數(shù)據(jù)處理培訓(xùn)教材第15頁案例一：大數(shù)據(jù)分析系統(tǒng)架構(gòu)搭建物流大數(shù)據(jù)處理培訓(xùn)教材第16頁baidu數(shù)據(jù)規(guī)模?

100~1000PB?

10~100PB/天?

千億~萬億?

百億~千億?

十億~百億/天?

十億~百億/天?

100TB~1PB/天

數(shù)據(jù)總量數(shù)據(jù)處理量

網(wǎng)頁

索引

更新量

請求

日志物流大數(shù)據(jù)處理培訓(xùn)教材第17頁離線在線離線分析與在線試驗相結(jié)合快速迭代是互聯(lián)網(wǎng)產(chǎn)品

主要創(chuàng)新伎倆

算法A

算法B

算法B

經(jīng)過反饋來驗證算法優(yōu)劣物流大數(shù)據(jù)處理培訓(xùn)教材第18頁搜索引擎迭代5%5%Online

LearningA/B

test

策略

機(jī)器學(xué)習(xí)

平臺FeatureTraining

數(shù)據(jù)網(wǎng)頁

網(wǎng)頁庫

倒排表

Data

Mining物流大數(shù)據(jù)處理培訓(xùn)教材第19頁想法原型系統(tǒng)快速開發(fā)測試產(chǎn)品布署運(yùn)維開發(fā)框架互聯(lián)網(wǎng)產(chǎn)品迭代

A/B測試，連續(xù)優(yōu)化

數(shù)據(jù)智能驗證數(shù)據(jù)分析應(yīng)用引擎

云測試應(yīng)用引擎物流大數(shù)據(jù)處理培訓(xùn)教材第20頁數(shù)據(jù)架構(gòu)技術(shù)互聯(lián)網(wǎng)服務(wù)

enable

數(shù)據(jù)智能物流大數(shù)據(jù)處理培訓(xùn)教材第21頁IT產(chǎn)業(yè)生產(chǎn)力改變‘60‘70‘80‘90‘00‘10

硬件Mainframe軟件

PCInternet

Inf+人+數(shù)據(jù)

Cloud迭代本質(zhì)是讓人參加系統(tǒng)進(jìn)化，而Big

Data為迭代指導(dǎo)方向，Infrastructure則加速迭代。

軟件

+人物流大數(shù)據(jù)處理培訓(xùn)教材第22頁互聯(lián)網(wǎng)服務(wù)經(jīng)典技術(shù)特點超大規(guī)模快速迭代物流大數(shù)據(jù)處理培訓(xùn)教材第23頁數(shù)據(jù)智能軟件基礎(chǔ)架構(gòu)大數(shù)據(jù)數(shù)據(jù)中心、網(wǎng)絡(luò)、服務(wù)器數(shù)據(jù)中心計算云計算技術(shù)體系物流大數(shù)據(jù)處理培訓(xùn)教材第24頁DiskFlashPipeK/VFileTable

統(tǒng)一存放體系

–

平衡大容量、高并發(fā)、低延遲

–

不一樣訪問模式經(jīng)過組合滿足

統(tǒng)一訪問與傳輸數(shù)據(jù)訪問層P2PCDN分布式存放物流大數(shù)據(jù)處理培訓(xùn)教材第25頁描述能力數(shù)據(jù)流優(yōu)化控制流管理資源分配優(yōu)先級、并發(fā)控制隔離、安全執(zhí)行層模型層MapReduce表示層SQL-like

翻譯JoinSelectTop分布式計算BCDA物流大數(shù)據(jù)處理培訓(xùn)教材第26頁實時存放與計算kNN查詢

平臺向量計算引擎流式數(shù)據(jù)處理引擎PubSub

引擎機(jī)器學(xué)習(xí)算法平臺OLAP引擎

復(fù)雜事件處理引擎

分布式數(shù)據(jù)結(jié)構(gòu)超大規(guī)模數(shù)據(jù)倉庫圖查詢

平臺實時檢索

平臺物流大數(shù)據(jù)處理培訓(xùn)教材第27頁向量計算引擎VectorLayoutMap-ShuffleOperators/

CheckpointSIMDProgram物流大數(shù)據(jù)處理培訓(xùn)教材第28頁復(fù)雜事件處理average(price)trigger(?,b,c)filter(b)pattern(a->b->c)condition(func(a,b,c))物流大數(shù)據(jù)處理培訓(xùn)教材第29頁流式計算模型

windowstepboundtimeM=Stream<window,step,bound>物流大數(shù)據(jù)處理培訓(xùn)教材第30頁目標(biāo)?

1000PB?

10億維特征訓(xùn)練?

100維條件查詢?

流式?

觸發(fā)式

海量高維、多維

實時更大、更復(fù)雜、更加快!物流大數(shù)據(jù)處理培訓(xùn)教材第31頁數(shù)據(jù)智能

分布式存放與計算

大規(guī)模人工輔劣標(biāo)注系統(tǒng)人計算向量引擎MachineLearning

算法Web

Contents流式處理LogsPubSub推薦系統(tǒng)智能交通Apps

自勱評定商業(yè)智能決議輔劣物流大數(shù)據(jù)處理培訓(xùn)教材第32頁關(guān)于京東物流大數(shù)據(jù)處理培訓(xùn)教材第33頁營銷管理供給商

管理倉儲管理財務(wù)系統(tǒng)客戶數(shù)據(jù)網(wǎng)站前臺關(guān)于京東

京東擁有覆蓋企業(yè)全部價值鏈穩(wěn)定系統(tǒng)，經(jīng)過連續(xù)優(yōu)化打造開放平

臺，全方面提升用戶體驗。配送管理物流大數(shù)據(jù)處理培訓(xùn)教材第34頁大規(guī)模數(shù)據(jù)處理愈加輕易ETL/企業(yè)數(shù)據(jù)倉庫（Hive/Pig/MR）數(shù)據(jù)挖掘/建模（R、Mahout）搜索和推薦日志存放…物流大數(shù)據(jù)處理培訓(xùn)教材第35頁?????“Next

Click”運(yùn)行智能風(fēng)險控制互動分析?一些場景需要深入考量

MapReduce批量處理

=

延遲較長無法滿足用戶實時需求

調(diào)度開銷較大物流大數(shù)據(jù)處理培訓(xùn)教材第36頁批處理與分析近實時分析實時流處理實時性離線準(zhǔn)實時/實時實時處理時間分鐘到小時毫秒到秒連續(xù)不停數(shù)據(jù)量TB-PBGB-TB連續(xù)編程模型MapReduceQueriesDAG用戶分析師/開發(fā)者分析師/開發(fā)者開發(fā)者成本中高高應(yīng)用ETL/數(shù)據(jù)挖掘/預(yù)處理?數(shù)據(jù)決議分析/??大數(shù)據(jù)包含三部分物流大數(shù)據(jù)處理培訓(xùn)教材第37頁服務(wù)模型

性能大數(shù)據(jù)實時處理思索物流大數(shù)據(jù)處理培訓(xùn)教材第38頁?

模型–

海量數(shù)據(jù)?

數(shù)據(jù)量大?

并發(fā)數(shù)高–

多個數(shù)據(jù)源整合–

預(yù)定義好數(shù)據(jù)模型?

去規(guī)格化–

數(shù)據(jù)任務(wù)依賴關(guān)系簡單–

推和拉問題?

拉比推好大數(shù)據(jù)實時處理思索物流大數(shù)據(jù)處理培訓(xùn)教材第39頁?

性能–

高并發(fā)需求–

大容量需求?

GB–TB

級后臺數(shù)據(jù)處理吞吐–

高速度需求?

從數(shù)據(jù)產(chǎn)生處處理完成結(jié)果延遲要求到秒級?

計算需要在短時間內(nèi)完成–

批處理預(yù)算–

硬件支持?

內(nèi)存、CPU、網(wǎng)絡(luò)–

容錯–

水平擴(kuò)展大數(shù)據(jù)實時處理思索物流大數(shù)據(jù)處理培訓(xùn)教材第40頁––––關(guān)聯(lián)獲取價值，維度按需定制互動分析、報表等完成價值交付與其它在線生產(chǎn)系統(tǒng)進(jìn)行數(shù)據(jù)對接（數(shù)據(jù)反哺）計算即服務(wù)大數(shù)據(jù)實時處理思索?

服務(wù)物流大數(shù)據(jù)處理培訓(xùn)教材第41頁生產(chǎn)數(shù)據(jù)庫企業(yè)數(shù)據(jù)倉庫大數(shù)據(jù)實時處理架構(gòu)

財務(wù)數(shù)據(jù)集市采銷數(shù)據(jù)集市羅盤數(shù)據(jù)集市分析挖掘

數(shù)據(jù)集

數(shù)據(jù)緩沖區(qū)企業(yè)消息總線流式計算集群實時數(shù)據(jù)

同時模型日志系統(tǒng)高速存取集群

在線實時計算集群持久化PUSHPULL/PUSH訂閱ELTELT高速存取集群ETL報表應(yīng)用分析應(yīng)用推薦應(yīng)用...數(shù)據(jù)推送中心近實時分析集群近實時計算

實時計算在線服務(wù)離線計算應(yīng)用

分布式消息系統(tǒng)緩存集群物流大數(shù)據(jù)處理培訓(xùn)教材第42頁––––日志（用戶行為、?）批量同時消息隊列??

開源技術(shù)––––FlumeScribeKafka?大數(shù)據(jù)實時處理技術(shù)?

數(shù)據(jù)傳輸物流大數(shù)據(jù)處理培訓(xùn)教材第43頁?

Apache項目：/?

一個分布式公布/訂閱消息系統(tǒng)?

術(shù)語–

Topics?

消息分組–

Brokers?

消息存放–

Producers?

消息生產(chǎn)者–

Consumers?

消息消費者Kafka物流大數(shù)據(jù)處理培訓(xùn)教材第44頁–––––大數(shù)據(jù)實時處理技術(shù)?

幾個點SinkAgentAgentStorm等Broker(Topic1)

Broker(Topic2)HDFSZookeeper解耦緩沖容錯透明跨數(shù)據(jù)中心數(shù)據(jù)分發(fā)

FlumeKafka物流大數(shù)據(jù)處理培訓(xùn)教材第45頁––––––HadoopHBaseCassandraMongoDBRedis??

數(shù)據(jù)庫Sharding?

適當(dāng)就是最好大數(shù)據(jù)實時處理技術(shù)?

存放

–

大容量低速存放

–

高速存放

–

KV存放?

開源NoSQL數(shù)據(jù)存放物流大數(shù)據(jù)處理培訓(xùn)教材第46頁––––可加計算、不可加計算實時數(shù)據(jù)實時計算實時數(shù)據(jù)計算數(shù)據(jù)實時計算?

開源計算框架

–

Storm

–

Impala

–

?大數(shù)據(jù)實時處理技術(shù)?

計算物流大數(shù)據(jù)處理培訓(xùn)教材第47頁大數(shù)據(jù)實時分析明細(xì)事實表聚合表1聚合表2聚合表3物流大數(shù)據(jù)處理培訓(xùn)教材第48頁?

基本概念

–

Streams（流）

?

元組序列

–

Spouts

?

流源頭

–

Bolts

?

Functions,

Filters,

Joins,

Aggregations

–

Topologies?

優(yōu)點

–

可擴(kuò)展、容錯、易用?–

在內(nèi)存中執(zhí)行流式計算Storm?

Twitter開源分布式處理框架SpoutsBoltTopologies物流大數(shù)據(jù)處理培訓(xùn)教材第49頁?

Nimbus–

主控節(jié)點，用于任務(wù)分配，集群任務(wù)監(jiān)控等?

Zookeeper–

集群中協(xié)調(diào)，共有數(shù)據(jù)存放(如心跳信息)?

Supervisor–

對應(yīng)一臺物理機(jī)，用于開啟worker?

Worker–

工作進(jìn)程，負(fù)責(zé)開啟task，以及經(jīng)過zeromq進(jìn)行tuple分發(fā)，與接收。?

Task–

工作線程,任務(wù)處理Storm布署物流大數(shù)據(jù)處理培訓(xùn)教材第50頁Storm應(yīng)用模式用戶查詢大數(shù)據(jù)存放數(shù)據(jù)視圖集（批處理）數(shù)據(jù)流HadoopStorm

數(shù)據(jù)視圖集（實時處理）

數(shù)據(jù)流

數(shù)據(jù)視圖集（實時處理）

數(shù)據(jù)視圖集（實時處理）物流大數(shù)據(jù)處理培訓(xùn)教材第51頁流式計算物流大數(shù)據(jù)處理培訓(xùn)教材第52頁流式計算應(yīng)用事件搜集器Storm前段展現(xiàn)?

事件驅(qū)動實現(xiàn)物流大數(shù)據(jù)處理培訓(xùn)教材第53頁?

注意–

內(nèi)存泄露–

消息堆積–

算法模塊拆分流式計算物流大數(shù)據(jù)處理培訓(xùn)教材第54頁––––分析可視化數(shù)據(jù)可視化數(shù)據(jù)反哺計算即服務(wù)?

仔細(xì)思索其價值–––––實時統(tǒng)計：最流行廣告CTR預(yù)測ETL：格式轉(zhuǎn)換、重復(fù)值過濾、?運(yùn)行需求：資源調(diào)派?大數(shù)據(jù)實時處理技術(shù)?

服務(wù)和應(yīng)用?

價值展現(xiàn)物流大數(shù)據(jù)處理培訓(xùn)教材第55頁?

對系統(tǒng)壓力–

數(shù)據(jù)量–

數(shù)據(jù)展現(xiàn)–

數(shù)據(jù)讀寫和傳輸?

處理方法–

前端和后端解耦?

緩存應(yīng)用?

JS發(fā)揮前端能力–

壓縮–

排隊?

異步、非阻塞IO模型?

線程池?

事件驅(qū)動–

后端更強(qiáng)勁?

數(shù)據(jù)庫集群：分庫、分表、分區(qū)?

NoSQL數(shù)據(jù)庫：Hbase、MongoDB等數(shù)據(jù)應(yīng)用問題物流大數(shù)據(jù)處理培訓(xùn)教材第56頁淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革物流大數(shù)據(jù)處理培訓(xùn)教材第57頁淘寶數(shù)據(jù)四階段?

被動響應(yīng)–年前?

主動變革

–-?

優(yōu)化完善

–-?

引領(lǐng)驅(qū)動–-物流大數(shù)據(jù)處理培訓(xùn)教材第58頁數(shù)據(jù)系統(tǒng)變遷年前數(shù)據(jù)庫(集群)腳本簡單調(diào)度數(shù)據(jù)報表-Hadoop集群調(diào)度監(jiān)控實時日志傳輸數(shù)據(jù)門戶多維分析-Hadoop集群DXP公有云實時Storm調(diào)度監(jiān)控實時日志傳輸實時數(shù)據(jù)庫同時數(shù)據(jù)門戶自助查詢工具元數(shù)據(jù)管理-數(shù)據(jù)驅(qū)動新模式探索物流大數(shù)據(jù)處理培訓(xùn)教材第59頁調(diào)度監(jiān)控業(yè)務(wù)庫（Mysql）Log

Server外部數(shù)據(jù)數(shù)據(jù)源數(shù)據(jù)計算平臺數(shù)據(jù)門戶多維自助查詢平臺OpenAPI數(shù)據(jù)平臺架構(gòu)

數(shù)據(jù)應(yīng)用數(shù)據(jù)收集DBSyncTTDataX……HiveHDFSHbase實時計算Storm…Ocean

Base分布式集群量子恒道在云端接入數(shù)據(jù)魔方

DXP數(shù)據(jù)交換平臺冷數(shù)據(jù)

集群物流大數(shù)據(jù)處理培訓(xùn)教材第60頁數(shù)據(jù)應(yīng)用格局物流大數(shù)據(jù)處理培訓(xùn)教材第61頁對外數(shù)據(jù)產(chǎn)品?

數(shù)據(jù)魔方/淘寶指數(shù)–行業(yè)趨勢–人群特征–成交排行–市場細(xì)分?

量子恒道–銷售分析–營銷效果–起源分析?

搜索排行榜物流大數(shù)據(jù)處理培訓(xùn)教材第62頁對外數(shù)據(jù)產(chǎn)品?

淘寶時光機(jī)–/–回想感動?

排行榜物流大數(shù)據(jù)處理培訓(xùn)教材第63頁對外數(shù)據(jù)產(chǎn)品-淘寶指數(shù)物流大數(shù)據(jù)處理培訓(xùn)教材第64頁對外數(shù)據(jù)產(chǎn)品-量子恒道物流大數(shù)據(jù)處理培訓(xùn)教材第65頁數(shù)據(jù)嵌入產(chǎn)品中?

搜索匹配、排序?

廣告匹配、排序?

推薦?

商家后臺數(shù)據(jù)?

營銷效果–直通車、展示廣告、淘寶客物流大數(shù)據(jù)處理培訓(xùn)教材第66頁內(nèi)部數(shù)據(jù)服務(wù)?

淘數(shù)據(jù)門戶–用戶分析–商家云圖–活動效果分析–例行數(shù)據(jù)報表?

在云端–低門檻接入分布式集群–周活躍用戶1000+物流大數(shù)據(jù)處理培訓(xùn)教材第67頁內(nèi)部數(shù)據(jù)服務(wù)?

多維數(shù)據(jù)自助查詢平臺–數(shù)據(jù)倉庫和索引技術(shù)結(jié)合–隨意組合維度–秒級返回?

日常數(shù)據(jù)需求管理–數(shù)據(jù)接口人物流大數(shù)據(jù)處理培訓(xùn)教材第68頁數(shù)據(jù)工具?

天網(wǎng)調(diào)度?

元數(shù)據(jù)管理?

數(shù)據(jù)地圖-定位、血緣分析?

DataX異源數(shù)據(jù)傳輸?

TimeTunnel實時日志傳輸?

監(jiān)控報警?

生命周期管理物流大數(shù)據(jù)處理培訓(xùn)教材第69頁新探索?

金融服務(wù)–小微企業(yè)貸款–個人消費貸款?

全網(wǎng)精準(zhǔn)營銷–DMP