在線商城精細(xì)化業(yè)務(wù)運營系統(tǒng)方案

在線商城精細(xì)化業(yè)務(wù)運營系統(tǒng)方案在線商城精細(xì)化業(yè)務(wù)運營系統(tǒng)方案在線商城精細(xì)化業(yè)務(wù)運營系統(tǒng)建設(shè)目標(biāo)2在線商城精細(xì)化業(yè)務(wù)運營系統(tǒng)建設(shè)目標(biāo)分為兩部分：大數(shù)據(jù)平臺層和數(shù)據(jù)分析引擎（大數(shù)據(jù)應(yīng)用）。構(gòu)建一個海爾電商業(yè)務(wù)大數(shù)據(jù)平臺，收集、存儲和組織多源在線商城電子商務(wù)及相關(guān)業(yè)務(wù)數(shù)據(jù)；數(shù)據(jù)分析引擎，包括BI商業(yè)智能分析系統(tǒng)、智慧供應(yīng)鏈管理、推薦營銷系統(tǒng)，對電商業(yè)務(wù)及相關(guān)業(yè)務(wù)數(shù)據(jù)進(jìn)行監(jiān)控、分析和挖掘，并進(jìn)行可視化數(shù)據(jù)展現(xiàn)；在線商城精細(xì)化業(yè)務(wù)運營系統(tǒng)建設(shè)目標(biāo)2在線商城精細(xì)化業(yè)務(wù)運營系在線商城精細(xì)化業(yè)務(wù)運營系統(tǒng)3分布式文件系統(tǒng)（存放電商相關(guān)業(yè)務(wù)數(shù)據(jù)）結(jié)構(gòu)化數(shù)據(jù)半&非結(jié)構(gòu)化數(shù)據(jù)HBase列族數(shù)據(jù)庫Hive數(shù)據(jù)倉庫數(shù)據(jù)集市NoSQL數(shù)據(jù)庫（文檔、圖形數(shù)據(jù)庫）主動傳數(shù)據(jù)被動采數(shù)據(jù)Storm實時流式計算框架BI商業(yè)智能智能供應(yīng)鏈管理關(guān)系型數(shù)據(jù)庫可視化數(shù)據(jù)展現(xiàn)其他存儲集群告警外部數(shù)據(jù)接口中間計算結(jié)果及數(shù)據(jù)接口電商業(yè)務(wù)系統(tǒng)appO2O系統(tǒng)PC被動采數(shù)據(jù)被動采數(shù)據(jù)監(jiān)控被動采數(shù)據(jù)主動采數(shù)據(jù)推薦系統(tǒng)大數(shù)據(jù)應(yīng)用App數(shù)據(jù)接口、ETL數(shù)據(jù)抽取、數(shù)據(jù)處理電商業(yè)務(wù)大數(shù)據(jù)應(yīng)用系統(tǒng)電商業(yè)務(wù)大數(shù)據(jù)平臺結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)在線商城精細(xì)化業(yè)務(wù)運營系統(tǒng)3分布式文件系統(tǒng)（存放電商相關(guān)業(yè)務(wù)多數(shù)據(jù)源抽取并存儲4Oracle點擊流日志其他數(shù)據(jù)接口MySQLSQLServer分布式數(shù)據(jù)庫Flume&Sqoop序列化ETL清洗HDFS分布式文件系統(tǒng)電商業(yè)務(wù)結(jié)構(gòu)化數(shù)據(jù)電商業(yè)務(wù)半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)電商業(yè)務(wù)結(jié)構(gòu)化數(shù)據(jù)，通過兩種途徑抽取并存放到HDFS分布式文件系統(tǒng)中：能夠序列化的數(shù)據(jù)，直接存放到HDFS中；不能夠序列化的數(shù)據(jù)，通過數(shù)據(jù)整理后統(tǒng)一存放在分布式數(shù)據(jù)庫環(huán)境中，再經(jīng)過序列化后再存放到HDFS中，經(jīng)整理后還不能序列化的數(shù)據(jù)也直接存放到HDFS中；電商業(yè)務(wù)半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)：各種日志數(shù)據(jù)（通常序列化半結(jié)構(gòu)化數(shù)據(jù)）直接存放到HDFS中；點擊流和數(shù)據(jù)接口中的數(shù)據(jù)（通常序列化半結(jié)構(gòu)化數(shù)據(jù)）直接存放到HDFS中；非結(jié)構(gòu)化的數(shù)據(jù)直接存放到HDFS中；NoSQL多數(shù)據(jù)源抽取并存儲4Oracle點擊流日志其他數(shù)據(jù)接口MyS數(shù)據(jù)處理5OracleMySQLSQLServer分布式數(shù)據(jù)庫Flume&SqoopETL數(shù)據(jù)處理結(jié)構(gòu)化數(shù)據(jù)（電商業(yè)務(wù)數(shù)據(jù)）數(shù)據(jù)處理要解決的問題：重復(fù)的數(shù)據(jù)處理缺失的數(shù)據(jù)處理格式不統(tǒng)一的數(shù)據(jù)處理檢查數(shù)據(jù)邏輯錯誤需要進(jìn)行計算的數(shù)據(jù)處理數(shù)據(jù)處理包括數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)提取、數(shù)據(jù)計算等處理方法。數(shù)據(jù)處理最基本的目的是從大量雜亂無章、難以理解的數(shù)據(jù)中，抽取并推導(dǎo)出對解決問題有價值、有意義的數(shù)據(jù)。數(shù)據(jù)處理對收集到的數(shù)據(jù)進(jìn)行加工整理，形成適合數(shù)據(jù)分析的樣式，是數(shù)據(jù)分析前必須經(jīng)歷的過程。數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)提取數(shù)據(jù)計算數(shù)據(jù)處理5OracleMySQLSQLServer分布式數(shù)在線商城大數(shù)據(jù)組織及存儲6HDFS分布式文件系統(tǒng)中存放海量的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，合理化組織數(shù)據(jù)的存儲：電商業(yè)務(wù)結(jié)構(gòu)化數(shù)據(jù)和有一定格式關(guān)系的半結(jié)構(gòu)化的數(shù)據(jù)存放在HadoopHive數(shù)據(jù)倉庫中，并根據(jù)海爾商業(yè)的業(yè)務(wù)需求，根據(jù)業(yè)務(wù)主題進(jìn)行數(shù)據(jù)集市的構(gòu)建；在線商城業(yè)務(wù)中半結(jié)構(gòu)化的數(shù)據(jù)直接存放在HDFS分布式文件系統(tǒng)中，一定格式關(guān)系的半結(jié)構(gòu)化數(shù)據(jù)存放在HadoopHBase列族數(shù)據(jù)庫中和其他NoSQL數(shù)據(jù)庫中；分布式文件系統(tǒng)（存放電商相關(guān)業(yè)務(wù)數(shù)據(jù)）HBase列族數(shù)據(jù)庫Hive數(shù)據(jù)倉庫數(shù)據(jù)集市NoSQL數(shù)據(jù)庫（文檔、圖形數(shù)據(jù)庫）Storm實時流式計算框架監(jiān)控數(shù)據(jù)接口、ETL數(shù)據(jù)抽取、數(shù)據(jù)處理在線商城數(shù)據(jù)平臺HadoopHive數(shù)據(jù)倉庫業(yè)務(wù)主題數(shù)據(jù)集市業(yè)務(wù)主題在線商城大數(shù)據(jù)組織及存儲6HDFS分布式文件系統(tǒng)中存放海量的大數(shù)據(jù)計算框架7Storm內(nèi)存流式計算框架Hadoop離線計算框架Spark并行計算框架計算層Storm實時內(nèi)存流數(shù)據(jù)計算框架：一個分布式的、容錯的、實時的內(nèi)存流式計算系統(tǒng)；Hadoop離線大數(shù)據(jù)計算框架：大數(shù)據(jù)離線批處理系統(tǒng)，傳統(tǒng)大數(shù)據(jù)離線MapReduce計算分析；Spark并行大數(shù)據(jù)計算框架：HadoopMapReduce的通用的并行計算，擁有HadoopMapReduce所具有的優(yōu)點；但不同于MapReduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學(xué)習(xí)等需要迭代的mapreduce的算法。適用于實時查詢分析適用于離線的大數(shù)據(jù)統(tǒng)計分析適用于大數(shù)據(jù)并行計算根據(jù)在線商城數(shù)據(jù)分析的實時性和延時需求，可選擇不同的大數(shù)據(jù)計算框架構(gòu)建查詢分析業(yè)務(wù)：大數(shù)據(jù)計算框架7Storm內(nèi)存流式計算框架Hadoop離線計數(shù)據(jù)引擎--大數(shù)據(jù)應(yīng)用8行業(yè)業(yè)務(wù)屬性決定計算的邏輯，計算數(shù)學(xué)是實現(xiàn)計算邏輯的方法（利用數(shù)學(xué)領(lǐng)域的算法和理論）數(shù)據(jù)分析不僅僅指運算數(shù)據(jù)，還包括全面了解數(shù)據(jù)分析所處的背景和環(huán)境數(shù)據(jù)分析結(jié)果可以保存在多種結(jié)構(gòu)中數(shù)據(jù)也可以在不同的分布式集群之間進(jìn)行傳輸、復(fù)制、同步數(shù)據(jù)分析結(jié)果可以通過多種展現(xiàn)形式（表格、各種展現(xiàn)圖）進(jìn)行數(shù)據(jù)展現(xiàn)行業(yè)屬性+算法=大數(shù)據(jù)應(yīng)用系統(tǒng)（幫助用戶自動化數(shù)據(jù)分析：BI商業(yè)智能、個性化推薦、智能供應(yīng)鏈管理）BI商業(yè)智能智能供應(yīng)鏈管理關(guān)系型數(shù)據(jù)庫可視化數(shù)據(jù)展現(xiàn)其他存儲集群告警外部數(shù)據(jù)接口中間計算結(jié)果及數(shù)據(jù)接口推薦系統(tǒng)大數(shù)據(jù)應(yīng)用App數(shù)據(jù)引擎電商業(yè)務(wù)大數(shù)據(jù)應(yīng)用系統(tǒng)數(shù)據(jù)引擎--大數(shù)據(jù)應(yīng)用8行業(yè)業(yè)務(wù)屬性決定計算的邏輯，計算數(shù)學(xué)在線商城精細(xì)化業(yè)務(wù)營銷--數(shù)據(jù)分析9在線商城精細(xì)化業(yè)務(wù)運營數(shù)據(jù)分析描述性數(shù)據(jù)分析EDA探索性數(shù)據(jù)分析CDA驗證性數(shù)據(jù)分析常見的分析方法，統(tǒng)計商城常規(guī)性指標(biāo)。商城BI分析，KPI制訂和監(jiān)控數(shù)據(jù)分析是指用適當(dāng)?shù)慕y(tǒng)計分析方法，對收集來的大量數(shù)據(jù)進(jìn)行分析，提取出有價值的信息，總結(jié)出所研究對象的內(nèi)在規(guī)律。側(cè)重在數(shù)據(jù)之中發(fā)現(xiàn)新的特征，高級數(shù)據(jù)分析商城的智能供應(yīng)鏈管理、推薦系統(tǒng)側(cè)重于驗證已有假設(shè)是否成立，高級數(shù)據(jù)分析商城的智能供應(yīng)鏈管理、推薦系統(tǒng)在線商城精細(xì)化業(yè)務(wù)營銷--數(shù)據(jù)分析9在線商城精細(xì)化業(yè)務(wù)運營描在線商城精細(xì)化業(yè)務(wù)--BI商業(yè)智能分析10平均訂單金額=下單金額/下單單量客單價=下單金額/下單客戶數(shù)客單量=下單單量/下單客戶數(shù)客戶轉(zhuǎn)化率=下單客戶數(shù)/訪客數(shù)下單轉(zhuǎn)化率=下單單量/訪問次數(shù)提交單量，統(tǒng)計時間內(nèi)(按天、周、月統(tǒng)計)用戶成功提交的總訂單量，包括先款訂單量(在線支付、公司轉(zhuǎn)賬、郵件匯款等)和先貨訂單量(貨到付款、各類自提等)和未付款的訂單。銷售額=訪客數(shù)*轉(zhuǎn)化率*客單價，提升商城的總收入主要考核的KPI公式。當(dāng)電子商務(wù)網(wǎng)站的老客戶的比例比較高的時候，轉(zhuǎn)化率比較高，所以提升老客戶的活躍度是提升轉(zhuǎn)化率從而增加整體收入的一個有效手段。在線商城精細(xì)化業(yè)務(wù)--BI商業(yè)智能分析10平均訂單金額=內(nèi)配調(diào)撥內(nèi)配調(diào)撥內(nèi)配調(diào)撥（優(yōu)選）內(nèi)配調(diào)撥補貨補貨補貨智能供應(yīng)鏈管理—庫存模型11一級庫RDC供應(yīng)商供應(yīng)商一級庫RDC二級庫RDC二級庫RDC二級庫RDC前置庫FDC二級庫RDC二級庫RDC二級庫RDC前置庫FDC前置庫FDC補貨和內(nèi)配調(diào)撥采購補貨只能發(fā)生在一級庫、二級庫直接向供應(yīng)商采購補庫存：供應(yīng)商--》一級庫供應(yīng)商

--》二級庫內(nèi)配調(diào)撥，一級庫、二級庫和前置庫之間可以相互進(jìn)行內(nèi)配/調(diào)撥補貨：一級庫《--》二級庫《--》前置庫一級庫《--》前置庫注：前置庫優(yōu)先于主線上級二級庫進(jìn)行內(nèi)配調(diào)撥，次選上級鄰近二級庫；內(nèi)配調(diào)撥內(nèi)配調(diào)撥內(nèi)配調(diào)撥（優(yōu)選）內(nèi)配調(diào)撥補貨補貨補貨智能供應(yīng)智能供應(yīng)鏈管理12銷量預(yù)測供應(yīng)商消費者自動補貨健康庫存預(yù)知未來的營銷保證現(xiàn)貨率直銷商品處理庫存管理買賣向誰買？買什么？怎么買？定價？做促銷？如何履約？大數(shù)據(jù)驅(qū)動供應(yīng)鏈智能供應(yīng)鏈管理12銷量供應(yīng)商消費者自動健康預(yù)知未來的營銷保證銷量預(yù)測–建立模型13零星銷量匯總歷史上層持續(xù)增長穩(wěn)定線性回歸，指數(shù)平滑平穩(wěn)季節(jié)性季節(jié)性周期短歷史移動加權(quán)平均影響銷量的因素：影響因子：價格、流量、溫度各個模型的權(quán)重系數(shù)，同品類的商品可以用多種模型計算，再根據(jù)每種模型的權(quán)重進(jìn)行加權(quán)均方差的計算，計算出最終銷量預(yù)測銷量預(yù)測業(yè)務(wù)算法模型：新品模型保守模型季節(jié)性模型不動銷模型決策樹模型月均價格模型市場需求回歸模型趨勢跟隨的價格模型神經(jīng)網(wǎng)絡(luò)、機器學(xué)習(xí)、聚類模型納入促銷計劃的價格模型銷量預(yù)測–建立模型13零星銷量持續(xù)增長平穩(wěn)季節(jié)性短歷史影銷量預(yù)測—數(shù)據(jù)清洗14銷量預(yù)測結(jié)果后，需要考慮去除相關(guān)數(shù)據(jù)：促銷數(shù)據(jù)價格變動數(shù)據(jù)清倉數(shù)據(jù)在銷量預(yù)測計算過程中，凡是由價格變動引起的因素，都需將模型進(jìn)行清洗和過濾。銷量預(yù)測—數(shù)據(jù)清洗14銷量預(yù)測結(jié)果后，需要考慮去除相關(guān)數(shù)據(jù)：自動補貨—模型15根據(jù)銷量預(yù)測進(jìn)行補貨：補貨點（LOP）：安全庫存+VLT（到貨周期）天數(shù)內(nèi)的銷量備貨周期（BP）：一次采購量可滿足的銷售天數(shù)目標(biāo)庫存（TI）：補貨點+備貨周期BP天數(shù)內(nèi)的銷量0補貨點目標(biāo)庫存0補貨點目標(biāo)庫存自動補貨—模型15根據(jù)銷量預(yù)測進(jìn)行補貨：0補貨點目標(biāo)庫存0補健康庫存（庫存模擬與預(yù)測）16監(jiān)控在線商城的商品以及全國配送中心的庫存健康情況，分析庫存異常的原因并給出處理建議，提供滯銷商品報告。庫存健康模擬產(chǎn)品未來的一個時間點，提前做出滯銷、降價、退貨等處理。保證庫存不是一個最大的值而是一個最合理的值。用補貨點與安全庫存點的邏輯關(guān)系來提升整個補貨效率。健康庫存（庫存模擬與預(yù)測）16監(jiān)控在線商城的商品以及全國配送個性化推薦系統(tǒng)17個性化推薦系統(tǒng)17推薦系統(tǒng)18推薦系統(tǒng)，根據(jù)不同客戶的興趣特點和購買行為，預(yù)測客戶對某種商品感興趣的程度，向客戶推薦商品信息或提供個性化商品，引導(dǎo)客戶購買。幫助客戶找到感興趣的、愿意購買某樣商品的興奮點，形成購買行為；基于用戶的：收集用戶的信息屬性，對于每一個用戶A，找到跟他比較接近或者相似的一些用戶。根據(jù)這些相似的用戶的信息對用戶A的興趣點進(jìn)行預(yù)測，挖掘出用戶A潛在的興趣點?；谖锲罚菏占锲返男畔傩?，對每個物品X找到一些類似的物品。一個用戶如果對X有很高的興趣，那么這個用戶很可能也對X相似的其他項目感興趣?；谥R庫的：除了用戶和項目信息，還需要進(jìn)一步分析用戶的評價內(nèi)容和反饋。推薦系統(tǒng)18推薦系統(tǒng)，根據(jù)不同客戶的興趣特點和購買行為，預(yù)測用向量表示數(shù)據(jù)19編號問題1是否為男性？2一線城市的用戶？3月收入是否超過7000元？435歲以上？5最大的購物金額是否大于1000元？6購買次數(shù)大于10次？7是否寫過商品評價？8是否介紹過其他人購買商品？9客單價是否超過200元？10本周的訪問次數(shù)是否大于2次？用戶答案用戶距離A{1,1,1,1,0,0,1,0,0,0}0B{1,0,0,1,0,0,1,0,1,0}0.3C{1,1,0,0,0,0,0,0,1,0}0.4D{1,1,0,1,0,0,1,0,1,0}0.2E{1,1,1,1,0,0,1,0,0,0}0F{1,1,1,1,0,0,1,0,0,1}0.1G{1,1,1,1,0,1,1,0,0,0}0.1H{1,0,1,0,1,0,1,0,1,1}0.5I{1,1,1,1,0,1,1,0,1,0}0.2{1,1,1,1,0,0,1,0,0,0}以用戶A的屬性為基準(zhǔn)條件，進(jìn)行用戶對比，客戶距離小于等于0.1的為一個客戶群體例如：用戶B的屬性答案與基準(zhǔn)條件進(jìn)行對比，其中有3項是不同的，用戶距離就是3/10=0.3與用戶A距離小于等于0.1的有3個用戶，所以找到與用戶A“相似”的E、F、G用戶為一個相似客戶群體；如果與用戶A“相似”的用戶有1000人，其中有900人購買了海鷗五星手表，那么用戶A也非常有可能對這款商品感興趣；用向量表示數(shù)據(jù)19編號問題1是否為男性？2一線城市的用戶？3千人千面精準(zhǔn)營銷—用戶畫像20行為建模數(shù)據(jù)收集用戶畫像網(wǎng)絡(luò)日志數(shù)據(jù)用戶行為數(shù)據(jù)網(wǎng)站交易數(shù)據(jù)文本挖掘自然語言處理機器學(xué)習(xí)預(yù)測算法聚類算法協(xié)同過濾用戶屬性用戶購買能力用戶興趣行為特征心里特征性別角色千人千面精準(zhǔn)營銷—用戶畫像20行為數(shù)據(jù)收集用戶網(wǎng)絡(luò)日志數(shù)據(jù)用千人千面精準(zhǔn)營銷—用戶畫像21性別年齡教育程度星座腰圍身高體型家中是否有孕婦孩子年齡是否有孩子孩子性別是否有車是否有房用戶的關(guān)系網(wǎng)婚否收入活躍程度購物類型評價關(guān)注程度顏色偏好品牌偏好家電的潛在購買需求促銷敏感度購物忠誠度購買力消費信用水平所屬購買群體基本屬性購買能力行為特征社交網(wǎng)絡(luò)心理特征興趣愛好千人千面精準(zhǔn)營銷—用戶畫像21性別年齡教育程度星座腰圍身高體千人千面精準(zhǔn)營銷—用戶分群22海淘猶豫型理性比較型購物沖動型目標(biāo)明確型用戶瀏覽SKU數(shù)量用戶瀏覽至購買的時長學(xué)校公司家網(wǎng)吧用戶分群網(wǎng)購達(dá)人有房一族家庭用戶單身貴族時尚男女奶爸奶媽閃購用戶超級用戶電腦達(dá)人數(shù)碼潮人千人千面精準(zhǔn)營銷—用戶分群22海淘猶豫型理性比較型購物沖動型千人千面精準(zhǔn)營銷23性別：男年齡：26-35購買力：高收入：>8000需要：商務(wù)機價位：>4000顏色：黑/紅用戶畫像個性化搜索體系個性化推薦體系千人千面情感分析千人千面精準(zhǔn)營銷23性別：男需要：商務(wù)機用戶畫像個性化搜索體在線商城精細(xì)化業(yè)務(wù)運營系統(tǒng)

構(gòu)建流程24在線商城精細(xì)化業(yè)務(wù)運營系統(tǒng)

構(gòu)建流程24在線商城精細(xì)化業(yè)務(wù)運營系統(tǒng)構(gòu)建25第一，建議部署在物理服務(wù)器環(huán)境中，根據(jù)初期的數(shù)據(jù)容量和分析業(yè)務(wù)的實時性，估算硬件的配置、合理化選擇Hadoop及NoSQL的模塊、組件及規(guī)模；第二，在N個工作服務(wù)器環(huán)境中部署HDFS分布式文件系統(tǒng)，并部署Hadoop平臺的相關(guān)組件HBase、Pig、Hive、Zookeeper、序列化傳輸?shù)犬a(chǎn)品和組件；第三，部署NoSQL分布式數(shù)據(jù)庫，確認(rèn)使用的產(chǎn)品，例如MongoDB或者巨杉數(shù)據(jù)庫；第四，根據(jù)電商業(yè)務(wù)數(shù)據(jù)的格式和容量，抽取業(yè)務(wù)數(shù)據(jù)，并存放到Hadoop平臺中并合理化數(shù)據(jù)組織，根據(jù)業(yè)務(wù)需求主題，建立數(shù)據(jù)集市。第五，根據(jù)電商推薦業(yè)務(wù)分析的實時性，考慮使用實時數(shù)據(jù)分析計算還是使用大數(shù)據(jù)傳統(tǒng)切片計算框架或者并行計算框架；第六，結(jié)合業(yè)務(wù)數(shù)據(jù)的分析需求，建立BI商業(yè)智能分析、智能供應(yīng)鏈管理、電商推薦系統(tǒng)大數(shù)據(jù)引擎；第七，可視化數(shù)據(jù)展現(xiàn)，對數(shù)據(jù)實時監(jiān)控和數(shù)據(jù)分析結(jié)果以圖表等方式進(jìn)行展現(xiàn)；在線商城精細(xì)化業(yè)務(wù)運營系統(tǒng)構(gòu)建25第一，建議部署在物理服務(wù)器推薦硬件及運行環(huán)境26推薦硬件及運行環(huán)境26服務(wù)器配置建議處理器：兩顆以上（單顆8-10核心）2.6-3.0GHz

CPU內(nèi)存：64-128GB硬盤：10*2TBSATA硬盤網(wǎng)絡(luò)：萬兆網(wǎng)絡(luò)、千兆以太網(wǎng)（管理）注：NameNode管理節(jié)點可以做RAID，DataNode工作節(jié)點不能做RAID。一個tacktracker上同時運行的任務(wù)數(shù)取決于一臺機器有多少個處理器；27服務(wù)器配置建議處理器：兩顆以上（單顆8-10核心）2.6-3網(wǎng)絡(luò)拓?fù)浣ㄗh28一機架內(nèi)30臺左右服務(wù)器共享一個10GB的交換機；各機架的交換機通過上行鏈路與一個核心交換機或路由器互聯(lián)（10GB以上）；同一機架的不同服務(wù)器之間的帶寬遠(yuǎn)高于不同機架上節(jié)點間的帶寬；Hadoop分配MapReduce任務(wù)時會傾向于執(zhí)行機架內(nèi)的數(shù)據(jù)傳輸，盡量避免跨機架的數(shù)據(jù)傳輸；核心交換機交換機（1臺）……(30臺）服務(wù)器交換機（1臺）……(30臺）服務(wù)器機架1機架2網(wǎng)絡(luò)拓?fù)浣ㄗh28一機架內(nèi)30臺左右服務(wù)器共享一個10GB的交在線商城精細(xì)化業(yè)務(wù)運營系統(tǒng)配置建議NameNode+JobTrackerSecondaryNameNodeHBaseMaster+ZooKeeper生產(chǎn)集群20臺=1臺1臺1臺+Dat