阿里云架構(gòu)講解

網(wǎng)站架構(gòu)阿里云1..1網(wǎng)絡(luò)架構(gòu)基礎(chǔ)常見組合常見數(shù)據(jù)庫和存儲(chǔ)類型2架構(gòu)圖八種常見架構(gòu)目錄3客戶案例北京玩蟹----大掌門網(wǎng)絡(luò)架構(gòu)根底—常見組合

一.微軟類型語言:.net或aspIISDB:access(早期，目前很少用）sqlserver(現(xiàn)在主流）開源類型語言：phpApache或nginx(二個(gè)可根據(jù)業(yè)務(wù)組合)

DB:mysql(現(xiàn)在主流）企業(yè)類型語言：javaApache還有nginx+tomcat(必用)(三個(gè)可根據(jù)業(yè)務(wù)組合)

DB:sqlserver(現(xiàn)在主流）制作網(wǎng)站三個(gè)重要元素:網(wǎng)頁開發(fā)語言,組件,數(shù)據(jù)庫

一.網(wǎng)絡(luò)架構(gòu)根底—常見數(shù)據(jù)庫和存儲(chǔ)類型存儲(chǔ)NASMOGILEFSRAID架構(gòu)圖-架構(gòu)一應(yīng)用程序文件數(shù)據(jù)庫二.1.1初始架構(gòu)最簡單的架構(gòu)就是:一個(gè)效勞器里面同時(shí)裝:應(yīng)用程序,文件,還有數(shù)據(jù)庫這三塊使用時(shí)調(diào)用效勞器相應(yīng)的資源應(yīng)用程序文件數(shù)據(jù)庫應(yīng)用服務(wù)器文件服務(wù)器數(shù)據(jù)庫服務(wù)器1.2應(yīng)用和效勞別離隨時(shí)業(yè)務(wù)的開展,會(huì)出現(xiàn)讀寫變慢,存儲(chǔ)空間變大等問題,單臺(tái)效勞器無法滿足需求,所以進(jìn)行進(jìn)一步的架構(gòu)劃分.常見的處理方法就是:應(yīng)用和數(shù)據(jù)庫進(jìn)行別離:應(yīng)用效勞器可用我們的:ECS數(shù)據(jù)庫效勞器可用我們的;RDS文件效勞器可用我們的:OSS二.架構(gòu)圖-架構(gòu)二CPU二個(gè)重要功能控制器：控制數(shù)據(jù)的先后處理順序計(jì)算器：計(jì)算相應(yīng)內(nèi)存給的數(shù)據(jù)內(nèi)存１.內(nèi)存獲取數(shù)據(jù)２.內(nèi)存將需要處理的數(shù)據(jù)給CPU３.同時(shí)存儲(chǔ)CPU返回的數(shù)據(jù)，給到硬盤或其他終端硬盤1.硬盤把數(shù)據(jù)調(diào)給內(nèi)存2.存儲(chǔ)內(nèi)存返回來的指定數(shù)據(jù)數(shù)據(jù)輸入數(shù)據(jù)輸入數(shù)據(jù)輸出回傳指令終端二.架構(gòu)圖-架構(gòu)二

計(jì)算機(jī)工作簡單原理為了更好的理解,我們可以先了解一下,一臺(tái)計(jì)算機(jī)工作的原理:架構(gòu)圖-架構(gòu)二二.注意:CPU只與內(nèi)存打交道以上只是簡單的原理，實(shí)際工作會(huì)比這個(gè)更復(fù)雜，為了好讓大家理解各個(gè)功能，簡化了原理．從這就不難看出:應(yīng)用效勞器:需要處理大量業(yè)務(wù)邏輯，因些需要強(qiáng)大的CPU,因些這臺(tái)效勞器的CPU相對(duì)來說較大數(shù)據(jù)庫:那么是用到了強(qiáng)大的數(shù)據(jù)檢索和緩存數(shù)據(jù),故內(nèi)存就要夠好,所以這臺(tái)效勞器內(nèi)存會(huì)較大文件的存儲(chǔ):硬盤的讀寫速度越快(IO),越利于數(shù)據(jù)的調(diào)取,這臺(tái)空間存儲(chǔ)空間會(huì)較大,當(dāng)然也可以用我們的OSS做存儲(chǔ)一般隨著應(yīng)用的增加:還會(huì)出現(xiàn)數(shù)據(jù)庫負(fù)載高的情況,為什么會(huì)出現(xiàn)這個(gè)問題,說白了就是IO的問題.有興趣的同學(xué),可以學(xué)習(xí)內(nèi)部的課程了解:://xue.alibaba-inc/trs/mediaDetail.htm?mediaUid=c2f2c695-83ca-4d91-af82-0b82c57ba4aa&chapterUid=05000219-5992-47f7-b8b5-23867af8d146#video1.3應(yīng)用和效勞別離效勞和數(shù)據(jù)別離，并發(fā)處理能力和數(shù)據(jù)存儲(chǔ)得到了改善．但是用戶數(shù)越來越多時(shí)，一般情況下數(shù)據(jù)庫最容易出現(xiàn)問題,比方:訪問太大導(dǎo)致訪問延遲．之所以同種情況下，數(shù)據(jù)庫容易訪問出現(xiàn)壓力，主要是數(shù)據(jù)庫的數(shù)據(jù)在不斷的讀寫，時(shí)時(shí)有變化．一般的想法的可能是：１增加數(shù)據(jù)庫臺(tái)數(shù):但是會(huì)遇到數(shù)據(jù)庫同步的問題：因?yàn)閿?shù)據(jù)庫不像應(yīng)用效勞器一樣，當(dāng)并發(fā)數(shù)增加時(shí)．增加應(yīng)用效勞器(這樣就可以提供相同的效勞請(qǐng)求)，而數(shù)據(jù)庫因?yàn)橐煌５淖x寫，當(dāng)一個(gè)數(shù)據(jù)庫進(jìn)行寫操作，如果沒有及時(shí)更新給另外一個(gè)數(shù)據(jù)庫就會(huì)出現(xiàn)，(如圖一)２.增大數(shù)據(jù)庫：但是單臺(tái)數(shù)據(jù)庫再大也是有瓶頸的，并且負(fù)載越大，也越容易導(dǎo)致數(shù)據(jù)異常(如圖二)效勞器１數(shù)據(jù)庫3效勞器2數(shù)據(jù)庫１效勞器１效勞器2擴(kuò)容后大數(shù)據(jù)庫效勞器３效勞器3數(shù)據(jù)庫2圖一:增加數(shù)據(jù)庫，要解決同步問題圖二:增大數(shù)據(jù)庫，要考慮一臺(tái)會(huì)有極限，并且高負(fù)載二.架構(gòu)圖-架構(gòu)三數(shù)據(jù)同步但是現(xiàn)實(shí)當(dāng)中,我們常使用的做法不是這樣,處理情況如下：大局部情況下，數(shù)據(jù)的訪問分布并不是平均的，即:８０％的請(qǐng)求可能集中訪問２０％的數(shù)據(jù)，所以就考慮是否可以把這２０％的數(shù)據(jù)專門放在特定的地方，如果需要這些數(shù)據(jù)時(shí)，就不要從數(shù)據(jù)庫讀，直接就從這些特定的地方調(diào)取，這個(gè)就是我們常說的緩存的概念緩存建設(shè)之后,數(shù)據(jù)只要在緩存內(nèi)有,就不需要從內(nèi)存里面提取,這樣大大加快了速度,緩存內(nèi)是幾毫秒級(jí),內(nèi)存是幾十毫秒級(jí)的.緩存是在應(yīng)用程序和數(shù)據(jù)庫中間的一層,如下:先發(fā)請(qǐng)求到緩存,有那么直接返回?cái)?shù)據(jù)無數(shù)據(jù),返回

應(yīng)用效勞器發(fā)送請(qǐng)求給數(shù)據(jù)庫然后由數(shù)據(jù)返回請(qǐng)求二.架構(gòu)圖-架構(gòu)三應(yīng)用效勞器緩存效勞器數(shù)據(jù)庫效勞器CPU二個(gè)重要功能控制器：控制數(shù)據(jù)的先后處理順序計(jì)算器：計(jì)算相應(yīng)內(nèi)存給的數(shù)據(jù)CPU現(xiàn)在一般都裝有緩存芯片：L1,L2高速緩存，直接從緩存調(diào)數(shù)據(jù),處理好數(shù)據(jù)，直接由緩存給到終端，就不通過內(nèi)存了內(nèi)存１.內(nèi)存獲取數(shù)據(jù)２.內(nèi)存將需要處理的數(shù)據(jù)給CPU３.同時(shí)存儲(chǔ)CPU返回的數(shù)據(jù)，給到硬盤或其他終端硬盤1.硬盤把數(shù)據(jù)調(diào)給內(nèi)存2.存儲(chǔ)內(nèi)存返回來的指定數(shù)據(jù)數(shù)據(jù)輸出數(shù)據(jù)輸入數(shù)據(jù)輸出回傳指令終端黃線即為緩存二.架構(gòu)圖-架構(gòu)三為了好理解,我們可以看一下一臺(tái)計(jì)算機(jī)上的緩存的使用:緩存:網(wǎng)站優(yōu)化的第一考慮,數(shù)據(jù)存儲(chǔ)在緩存內(nèi),頻繁使用的數(shù)據(jù)不需要經(jīng)過內(nèi)存,直接從緩存讀取,大大加快了CPU的處理速度,目前常用的緩存有二種:memcache和redis.同時(shí)我們阿里云對(duì)應(yīng)的產(chǎn)品:OCS注意:1.緩存常見解決的是數(shù)據(jù)訪問很不平均的問題，但是因?yàn)榫彺姹葍?nèi)存的處理速度要快很多，所以即使是平均分布的數(shù)據(jù)，但是還是有局部數(shù)據(jù)可以進(jìn)行緩存．所以這個(gè)意義上，緩存也是有一定的意義的2.緩存本身是一種功能，并不是指某個(gè)硬件,但是現(xiàn)在用的計(jì)算機(jī)是有實(shí)現(xiàn)緩存功能的硬件的：比方:CPU內(nèi)的L1,L2就是在CPU特地裝有的硬件芯片3.阿里云商業(yè)化的OCS:之前公測(cè)是用SSD(固)做緩存的,商業(yè)化后,公司用的是內(nèi)存來做緩存的4.目前緩存使用常見有二種方法(見下頁圖)

(1).本地緩存：即在應(yīng)用效勞器上,占用一局部內(nèi)存，來給效勞器做緩存,但是這個(gè)會(huì)占取應(yīng)用效勞器的資源.(2).遠(yuǎn)程分布式緩存；以使用集群的方式，部署大內(nèi)存的效勞器作為專門的緩存效勞器．加緩存后,架構(gòu)如下:二.架構(gòu)圖-架構(gòu)三應(yīng)用程序文件數(shù)據(jù)庫數(shù)據(jù)庫服務(wù)器分布式緩存服務(wù)器:n文件服務(wù)器遠(yuǎn)程分布式緩存

本地緩存應(yīng)用服務(wù)器分布式緩存服務(wù)器:1二.架構(gòu)圖-架構(gòu)三

本地緩存和分布式緩存的使用1.4使用負(fù)載均衡當(dāng)使用緩存后，數(shù)據(jù)訪問的壓力有很大的緩解決．但是一臺(tái)效勞器如果高并發(fā)時(shí)還會(huì)遇到瓶頸，這時(shí)常見的處理方法有二種：1.增大效勞器配置：隨著訪問量的上升，一臺(tái)效勞器是有瓶頸的，并且高負(fù)載也容易影響機(jī)器的性能２.增加效勞器：通過多臺(tái)效勞器，使用負(fù)載均衡處理高并發(fā)，應(yīng)用效勞分發(fā)給相應(yīng)的后端的效勞器,從而減輕應(yīng)用效勞器的壓力此時(shí)使用負(fù)載均衡的架構(gòu)如以下圖(見下頁)二.架構(gòu)圖-架構(gòu)四應(yīng)用程序文件數(shù)據(jù)庫數(shù)據(jù)庫服務(wù)器分布式緩存服務(wù)器:n文件服務(wù)器遠(yuǎn)程分布式緩存

本地緩存應(yīng)用服務(wù)器n應(yīng)用服務(wù)器1

SLB(負(fù)載均衡)分布式緩存服務(wù)器:1二.架構(gòu)圖-架構(gòu)四應(yīng)用效勞器增加多臺(tái),進(jìn)行負(fù)載均衡1.5數(shù)據(jù)庫讀寫別離當(dāng)應(yīng)用效勞器使用負(fù)載均衡高度使用時(shí),性能有了大幅的提升，之前使用緩存，使絕大多數(shù)讀操作訪問都可以不通過數(shù)據(jù)庫完成，但是還會(huì)有一局部讀操作(緩存訪問不命中，緩存過期)和全部的寫操作需要訪問數(shù)據(jù)庫，在網(wǎng)站的用戶到達(dá)一定規(guī)模后，而數(shù)據(jù)只通過緩存,還是會(huì)出現(xiàn)壓力和負(fù)載過高的情況常見處理方式是:將數(shù)據(jù)的讀和寫進(jìn)行別離:此時(shí)需要在應(yīng)用程序里面增加一個(gè)數(shù)據(jù)訪問模塊,將讀寫別離時(shí),但是這個(gè)時(shí)候還要考慮一個(gè)重要問題就是:數(shù)據(jù)同步的問題數(shù)據(jù)同步問題:目前主要用主從復(fù)制機(jī)來實(shí)現(xiàn)這個(gè)功能,另外還需要在應(yīng)用效勞器加一個(gè)數(shù)據(jù)的訪問模塊來進(jìn)行統(tǒng)一調(diào)度使用詳細(xì)架構(gòu)見下頁圖:二.架構(gòu)圖-架構(gòu)五應(yīng)用程序文件數(shù)據(jù)庫數(shù)據(jù)庫服務(wù)器(主)分布式緩存服務(wù)器:n文件服務(wù)器遠(yuǎn)程分布式緩存

本地緩存應(yīng)用服務(wù)器n

SLB(負(fù)載均衡)應(yīng)用服務(wù)器1數(shù)據(jù)訪問

模塊數(shù)據(jù)庫數(shù)據(jù)庫服務(wù)器(從)．主/從復(fù)制分布式緩存服務(wù)器:1二.架構(gòu)圖-架構(gòu)五增加訪問模塊使用主從復(fù)制機(jī)實(shí)現(xiàn)讀寫別離二.架構(gòu)圖-架構(gòu)六在中國,因?yàn)榫W(wǎng)絡(luò)環(huán)境相對(duì)復(fù)雜,不同地區(qū)的用戶訪問,網(wǎng)速會(huì)差異特別大,訪問速度越慢,客戶就越?jīng)]有耐心來訪問,這樣將大大增加了流失客戶的情況因?yàn)榫陀腥司拖氤隽朔椒?我可以把一些重要的數(shù)據(jù)放在全國各個(gè)地區(qū),客戶來訪問的時(shí)候,如果各個(gè)地區(qū)臨近的節(jié)點(diǎn)上有,這樣就不需要直接從我這里來拿了.這樣就增加了數(shù)據(jù)的返回的效率,這個(gè)就叫做CDN,其實(shí)本質(zhì)上也是緩存另外CDN一般是放在負(fù)載均衡的前端,也就是說如果結(jié)點(diǎn)有,就不需要訪問到負(fù)載均衡的機(jī)器就直接返回?cái)?shù)據(jù)了此時(shí)的架構(gòu)圖如下:應(yīng)用程序文件數(shù)據(jù)庫數(shù)據(jù)庫服務(wù)器(主)分布式緩存服務(wù)器:n文件服務(wù)器遠(yuǎn)程分布式緩存

本地緩存應(yīng)用服務(wù)器n

SLB(負(fù)載均衡)應(yīng)用服務(wù)器1數(shù)據(jù)訪問

模塊數(shù)據(jù)庫數(shù)據(jù)庫服務(wù)器(從)．主/從復(fù)制CDN服務(wù)器反向代理服務(wù)器二.架構(gòu)圖-架構(gòu)六分布式緩存服務(wù)器:1架構(gòu)圖-架構(gòu)七二.

當(dāng)業(yè)務(wù)足夠大時(shí),一臺(tái)或二臺(tái)效勞器即使再大,也無法滿足業(yè)務(wù)的需求,這個(gè)時(shí)候一般的選擇都會(huì)選擇分布式系統(tǒng),一般公司做到這個(gè)程序根本上規(guī)模就相當(dāng)大了這個(gè)時(shí)候就會(huì)有分布式應(yīng)用效勞器,分布式數(shù)據(jù)庫,分布式存儲(chǔ)等等,而在應(yīng)用程序中,會(huì)增加一個(gè)統(tǒng)一數(shù)據(jù)訪問模塊,并且所有的分布式的信息,都將通過這個(gè)模塊來進(jìn)行.此時(shí)的架構(gòu)圖如下:應(yīng)用程序文件數(shù)據(jù)庫分布式數(shù)據(jù)庫服務(wù)器n分布式緩存服務(wù)器:n分布式文件服務(wù)器n遠(yuǎn)程分布式緩存

本地緩存應(yīng)用服務(wù)器n

SLB(負(fù)載均衡)應(yīng)用服務(wù)器1統(tǒng)一數(shù)據(jù)訪問模塊CDN服務(wù)器反向代理服務(wù)器分布式數(shù)據(jù)庫服務(wù)器1分布式文件服務(wù)器1分布式緩存服務(wù)器:1二.架構(gòu)圖-架構(gòu)七此時(shí)用統(tǒng)一數(shù)據(jù)訪問模塊使各個(gè)功能效勞器均實(shí)現(xiàn)分布式系統(tǒng)架構(gòu)圖-架構(gòu)八二.

隨著業(yè)務(wù)的復(fù)雜性,有些數(shù)據(jù)之間的關(guān)系也變得越來越復(fù)雜,或者數(shù)據(jù)之間并沒有什么必然的關(guān)系,通過關(guān)系型數(shù)據(jù)庫〔rds〕,就很難解決相應(yīng)的問題,于是就有人設(shè)計(jì)了非關(guān)系型數(shù)據(jù)庫(NOSQL),或者直接將搜索引擎的的技術(shù),這樣就能加快數(shù)據(jù)的檢索的速度和效率.

根本上到這個(gè)情況下,客戶的規(guī)模和實(shí)力在行業(yè)里面就非常有名了.詳細(xì)情況如下:應(yīng)用程序文件數(shù)據(jù)庫分布式數(shù)據(jù)庫服務(wù)器n分布式緩存服務(wù)器:n分布式文件服務(wù)器n遠(yuǎn)程分布式緩存

本地緩存應(yīng)用服務(wù)器n

SLB(負(fù)載均衡)應(yīng)用服務(wù)器1統(tǒng)一數(shù)據(jù)訪問模塊CDN服務(wù)器反向代理服務(wù)器分布式數(shù)據(jù)庫服務(wù)器1分布式文件服務(wù)器1分布式緩存服務(wù)器:1搜索引擎服務(wù)器NOSQL服務(wù)器二.架構(gòu)圖-架構(gòu)八使用搜索引擎和NOSQL來解決數(shù)據(jù)庫檢索,存儲(chǔ)問題架構(gòu)圖-架構(gòu)九二.

再