系統(tǒng)的架構(gòu)設(shè)計

1、實用標(biāo)準(zhǔn)文案技術(shù)架構(gòu)技術(shù)架構(gòu)總覽業(yè)務(wù)框架技術(shù)方案運(yùn)營監(jiān)控治理安全防范接入層前后臺分離動靜分離預(yù)處理業(yè)務(wù)量監(jiān)控流量切換Https接入接口層服務(wù)網(wǎng)關(guān)，路由分發(fā)業(yè)務(wù)鏈訂單服務(wù)層產(chǎn)品資源供應(yīng)商數(shù)據(jù)層數(shù)據(jù)存儲微服務(wù)/組件MQ異步/離線MapReduceSSOAIDB水平擴(kuò)充/ 讀寫分離HDFS黑白名單API SLA日志收集調(diào)用棧服務(wù)器狀況灰度隔離/降級動態(tài)規(guī)劃Oauth認(rèn)證Hystrix 熔斷安全巡檢身份認(rèn)證IP限制精彩文檔技術(shù)方案前臺技術(shù)架構(gòu)W根據(jù)用戶設(shè)備及瀏覽器尺寸路由疋疋;義義JSCSSResourceHtml5組樣 件式*js , *.vue*sass , *cssFont, ImgFont,

2、Img系統(tǒng)構(gòu)建： Webpack , Gulp實用標(biāo)準(zhǔn)文案技術(shù)方案微服務(wù)架構(gòu)結(jié)合現(xiàn)實情況，平臺服務(wù)計劃分二個階段完成，先完成服務(wù)化，后續(xù)在服務(wù)化的基礎(chǔ)上重構(gòu)成微服務(wù)第一步：服務(wù)化Load Bala ncer服務(wù)提供者服務(wù)注冊中心服務(wù)提供者-zookeeper服務(wù)提供者服務(wù)監(jiān)控基礎(chǔ)服務(wù)框架spri ng bootWebserverWebserver業(yè)務(wù)代碼業(yè)務(wù)代碼業(yè)務(wù)代碼報警分布式RPC服務(wù)框架dubbo異構(gòu)語言服務(wù)提供者服務(wù)提供者服務(wù)提供者實時數(shù)據(jù)監(jiān)控服務(wù)注冊中心Proxy業(yè)務(wù)代碼業(yè)務(wù)代碼業(yè)務(wù)代碼zookeeper集群暫停用戶訂單商品服務(wù)發(fā)布容器服務(wù)服務(wù)服務(wù)服務(wù)提供者服務(wù)提供者服務(wù)提供者恢復(fù)d

3、ocker業(yè)務(wù)代碼業(yè)務(wù)代碼業(yè)務(wù)代碼下線持續(xù)集成工具jenkins服務(wù)治理用戶訂單商品服務(wù)依賴調(diào)用鏈路服務(wù)流量性能瓶頸SLA分析歷史信息精彩文檔技術(shù)方案動靜分離-CDN靜態(tài)數(shù)據(jù)返回用戶CDN數(shù)據(jù)庫丿ECS（服務(wù)器）動態(tài)數(shù)據(jù) 結(jié)果返回用戶動態(tài) 請求數(shù)據(jù)內(nèi)網(wǎng)訪問， 數(shù)據(jù)更新維護(hù)用戶靜態(tài) 數(shù)據(jù)請求靜態(tài)腳本附件圖片視頻音頻 OSS（云存儲服務(wù)）丄回源請求 抓取數(shù)據(jù)靜態(tài)資源訪問加速靜態(tài)資源文件（html , css , js , img等）業(yè)務(wù)靜態(tài)圖片智能壓縮對靜態(tài)資源進(jìn)行壓縮，減少傳輸大小， 加速分發(fā)效果可視化監(jiān)控可通過視化監(jiān)控管理，查看監(jiān)控日志和 統(tǒng)計分析制定合適的緩存策略，并可通 過從源站刷新緩存等

4、手段主動維護(hù)高訪 問資源的緩存實用標(biāo)準(zhǔn)文案技術(shù)方案負(fù)載均衡+彈性擴(kuò) 展四層DDoS攻擊防護(hù)，支持應(yīng)用防火墻和CC防護(hù)，提供防護(hù)統(tǒng)流量調(diào)度計頁面，實時抵御網(wǎng)絡(luò)攻擊多臺云服務(wù)器自動進(jìn)行流量分發(fā)，獲得更高水平的容錯性能擴(kuò)展性支持云服務(wù)器動態(tài)擴(kuò)展，實現(xiàn)無縫伸縮，伸縮過程不用更換任何設(shè)備，對相關(guān)調(diào)用和訪問者零影響安全精彩文檔實用標(biāo)準(zhǔn)文案前期方案(S負(fù)載均衡云服務(wù)器ECS云服務(wù)器ECS云服務(wù)器EC Si.a負(fù)載均衡云服務(wù)器ECS負(fù)載均衡云服務(wù)器ECS云服務(wù)器-ECS實用標(biāo)準(zhǔn)文案技術(shù)方案消息系統(tǒng)消息隊列采用阿里云MQ消息發(fā)送/發(fā)布方消息接收/訂閱方消息持久消息狀態(tài)TCP UDP HTTP SOAP 1 F元

5、數(shù)據(jù)消息接收器流入路由器扌二截器消息 轉(zhuǎn)換器內(nèi)部服務(wù) 組件調(diào)用H扌二截器/組件容器流出路由器消息發(fā)送器精彩文檔實用標(biāo)準(zhǔn)文案客戶接入數(shù)據(jù)客戶效果數(shù)據(jù)I推薦請求APIOTS物品實時修正表推薦處理線OTS離線計程OTS用戶實時修正表API返回技術(shù)方案推薦引擎基于阿里云的RecEng（推薦引擎）和 MaxCompute（大數(shù)據(jù)計算服務(wù)）搭建金豆云推薦引擎，實現(xiàn)千人千面推薦建模流程基本推薦流程OTS離線計算結(jié)果表算結(jié)果衣精彩文檔實用標(biāo)準(zhǔn)文案離線計算在線計算精彩文檔實用標(biāo)準(zhǔn)文案內(nèi)部系統(tǒng)內(nèi)部系統(tǒng)采單點登陸方式進(jìn)行管理JI供應(yīng)系統(tǒng)技術(shù)方案用戶認(rèn)證 SSO + 0Auth2外部系統(tǒng)!外部系統(tǒng)連接主要分為2種方式

6、：1. 通過ROF平臺實現(xiàn)數(shù)據(jù)交互2. 金豆云提供0Auth2認(rèn)證機(jī)制給第三方，實現(xiàn)頁面與數(shù)據(jù)的交互Request User Url跳轉(zhuǎn)用戶授權(quán)生成Auth Code請求 Access Token k1Request Access Url生成 Access Token請求用戶OpenIDRequest Info Url生成OpenID精彩文檔微店系統(tǒng)獲取用戶資源通過 token、openld 及 API實用標(biāo)準(zhǔn)文案實用標(biāo)準(zhǔn)文案技術(shù)方案分析平臺Spring , SpringMVC, JMS Sqoop事件監(jiān)聽定時任務(wù)數(shù)據(jù)導(dǎo)入Spark數(shù)據(jù)分析數(shù)據(jù)融合API 接口MQ肖息隊列?分析平臺基于業(yè)務(wù)數(shù)據(jù)

7、進(jìn)行數(shù)據(jù)映射與融合?整體架構(gòu)基于大數(shù)據(jù)分析框架設(shè)計，并通過模塊化 設(shè)計進(jìn)行內(nèi)部解耦，將數(shù)據(jù)收集，導(dǎo)入及分析功能 圍繞分析模型系統(tǒng)處理?業(yè)務(wù)數(shù)據(jù)收集工作通過異步消息及定時導(dǎo)入方式實現(xiàn)?底層技術(shù)實現(xiàn)?前端主要提供 REST API供產(chǎn)品平臺進(jìn)行數(shù)據(jù)獲取。同時采用Echarts或CuBI進(jìn)行報表展現(xiàn)?中臺服務(wù)邏輯層使用 Spring，SpringMVC作為應(yīng)用構(gòu)建及 對外接口發(fā)布，配合 MC隊列機(jī)制處理異步消息。Spark作 為核心數(shù)據(jù)處理引擎，進(jìn)行 MapReduce處理?持久層主要采用HBase進(jìn)行大數(shù)據(jù)存儲，同時使用Hadoop HDFS支持分布式存儲精彩文檔實用標(biāo)準(zhǔn)文案技術(shù)方案數(shù)據(jù)庫設(shè)計原則

8、統(tǒng)一數(shù)據(jù)視圖保證數(shù)據(jù)的及時性、準(zhǔn)確性、完整性數(shù)據(jù)應(yīng)用分離應(yīng)用系統(tǒng)只依賴邏輯數(shù)據(jù)庫匚業(yè)務(wù)彳數(shù)據(jù)庫*J(Master)J業(yè)務(wù)數(shù)據(jù)庫(Slave)廣1Mongo4MongoDBDBMaster、一 、一SlaveHBase數(shù)據(jù)讀寫分離應(yīng)用系統(tǒng)不直接訪問其它宿主的數(shù)據(jù)庫，只能通過服務(wù)訪問訪問量大的數(shù)據(jù)庫做讀寫分離 數(shù)據(jù)量大的數(shù)據(jù)庫做分庫分表 不同業(yè)務(wù)域數(shù)據(jù)庫做分區(qū)隔離 重要數(shù)據(jù)配置備庫；報表數(shù)據(jù)庫4合理使用緩存?產(chǎn)品平臺數(shù)據(jù)庫設(shè)計方案采用二級緩存機(jī)制? 一級緩存使用Redis副本集，對頻繁訪問數(shù)據(jù)進(jìn)行緩存。同時圍繞Redis單線程機(jī)制，針對大量并發(fā)場景設(shè)計了同一用戶的并發(fā)鎖策略。? 二級緩存使用Mon

9、goD副本集，對結(jié)構(gòu)化數(shù)據(jù)及頻繁更新數(shù)據(jù)進(jìn)行文檔化數(shù)據(jù)存儲?業(yè)務(wù)數(shù)據(jù)庫使用MySQI集群方案?分析平臺基于大數(shù)據(jù)架構(gòu)設(shè)計方案，數(shù)據(jù)庫使用區(qū)域HBase部署策略，同時采用Hadoop HDFS進(jìn)行分布式文件存實用標(biāo)準(zhǔn)文案技術(shù)架構(gòu)-運(yùn)營監(jiān)控流量控制11.分流水平 擴(kuò)展應(yīng)用：集群，無狀態(tài)，提高訪問量水平 擴(kuò)展數(shù)據(jù)：讀寫分離，提高性能業(yè)務(wù)分區(qū)應(yīng)用：按業(yè)務(wù)域劃分成不同子系統(tǒng) 數(shù)據(jù)：數(shù)據(jù)分區(qū)應(yīng)用：不同業(yè)務(wù)類型分片數(shù)據(jù)：分庫分表，提高數(shù)據(jù)容量三應(yīng)用：分層，功能與非功能分開數(shù)據(jù)：冷熱數(shù)據(jù)分離分片動靜分離無法緩解大流量1頁面降級1. 動態(tài)頁面降級到靜態(tài)2. 整體降級到其他頁面3. 頁面部分內(nèi)容Nginx前端限制

10、2.降級11業(yè)務(wù)功能降級舍棄一些非關(guān)鍵業(yè)務(wù)， 如購物車庫存狀態(tài)3.1限流應(yīng)用系統(tǒng)限流應(yīng)用系統(tǒng)降級降級一些下游系統(tǒng)，無法緩解客戶端限流i如一次拆分暫停大流量服務(wù)端限流精彩文檔數(shù)據(jù)降級遠(yuǎn)程服務(wù)降機(jī)到本 地緩存數(shù)據(jù)庫限流多線接入，0M技術(shù)架構(gòu)-運(yùn)營監(jiān)控SLA 數(shù)據(jù)持久性數(shù)據(jù)可銷毀性不低于 99.9999999%數(shù)據(jù)無法恢復(fù) 數(shù)據(jù)可遷移性數(shù)據(jù)私密性遷入遷出網(wǎng)絡(luò)層訪問控制技術(shù)實現(xiàn)對不冋用戶資源的隔離 服務(wù)可用性 數(shù)據(jù)知情權(quán)不低于99.95%對于數(shù)據(jù)、備份數(shù)據(jù)所在數(shù)據(jù)中心地理位置、數(shù)據(jù)備份數(shù)量具有知情權(quán)故障恢復(fù)能力服務(wù)資源調(diào)配能力用戶可在10分鐘內(nèi)啟用或釋放100臺云服務(wù)7X 24小時的運(yùn)行維護(hù)器，或在5

11、分鐘內(nèi)完成停機(jī)升級CPU和內(nèi)存，并支網(wǎng)絡(luò)接入性能持在線實時升級公網(wǎng)帶寬服務(wù)提供方SLA服務(wù)消費方技術(shù)架構(gòu)-治理灰度發(fā)布Clie nt老系統(tǒng)老系統(tǒng)DBA轉(zhuǎn)發(fā)新系統(tǒng) :新系統(tǒng)DB部分請求到舊系統(tǒng)上，另一部分請求到了新的灰度系統(tǒng)上.走到 舊系統(tǒng)的請求，還是照原樣處理.走到了新版灰度系統(tǒng)的請求， 需要同時將請求轉(zhuǎn)發(fā)給舊系統(tǒng)上來對應(yīng)的接口上修改舊系統(tǒng)的數(shù) 據(jù).如果走到新系統(tǒng)的請求查不到該用戶的數(shù)據(jù)，還需要首先同 步一份來新系統(tǒng)上Clie ntA服務(wù)新版A服務(wù)請求首先走到了新版本需要灰度的服務(wù)A上，在經(jīng)過該服務(wù)處理后， A,由于帶上了 tag，后續(xù)訪問的都是配套灰度 給請求打上了 tag的C服務(wù)B服務(wù)B服務(wù)Tag ATag A實用標(biāo)準(zhǔn)文案新版C服C服務(wù) 務(wù)精彩文檔實用標(biāo)準(zhǔn)文案技術(shù)架構(gòu)-安全安全策略精彩文檔2 黑白名單1 Https接入3 OAuth2 認(rèn)證使用 Spring-security-oauth2實現(xiàn)與第三方系統(tǒng)認(rèn)證授權(quán)數(shù)據(jù)傳輸入過來加密，