項(xiàng)目9 結(jié)合Redis的MySQL運(yùn)維

數(shù)據(jù)庫(kù)運(yùn)維與管理項(xiàng)目9結(jié)合redis的MySQL運(yùn)維教學(xué)目標(biāo)知識(shí)目標(biāo)1．掌握Redis的基本結(jié)構(gòu)和讀寫(xiě)原理2．掌握Redis的安裝方法和常用命令3．掌握Redis的配置方法4．掌握RedisManager的使用方法能力目標(biāo)1．能使用redis-cli命令監(jiān)控Redis服務(wù)狀態(tài)2．能使用RedisManager創(chuàng)建集群監(jiān)控3．能使用MySQL+Redis實(shí)現(xiàn)讀寫(xiě)分離.素養(yǎng)目標(biāo)1．培養(yǎng)精益求精的工匠意識(shí)2．提高自主學(xué)習(xí)能力3．提高解決問(wèn)題能力.思政目標(biāo)民族自豪感國(guó)產(chǎn)軟件振興的使命擔(dān)當(dāng)項(xiàng)目9結(jié)合redis的MySQL運(yùn)維項(xiàng)目場(chǎng)景：近年來(lái)，在Web開(kāi)發(fā)過(guò)程中，MySQL+Redis逐漸成為常用的存儲(chǔ)方案。MySQL存儲(chǔ)著所有的業(yè)務(wù)數(shù)據(jù)，根據(jù)業(yè)務(wù)規(guī)模可采用相應(yīng)的分庫(kù)分表、讀寫(xiě)分離、主備容災(zāi)、數(shù)據(jù)庫(kù)集群等手段。MySQL使用基于磁盤(pán)的I/O訪問(wèn)，基于服務(wù)響應(yīng)性能考慮，可將業(yè)務(wù)熱數(shù)據(jù)利用Redis緩存，使高頻業(yè)務(wù)數(shù)據(jù)可以直接從內(nèi)存讀取，從而提高系統(tǒng)整體響應(yīng)速度。最近天天電器商場(chǎng)的在線商城系統(tǒng)進(jìn)行了全面升級(jí)，為了適應(yīng)高并發(fā)的“秒殺”活動(dòng)，提高查詢速度，該系統(tǒng)采用了MySQL+Redis的存儲(chǔ)方案。項(xiàng)目知識(shí)導(dǎo)入一、Redis介紹與安裝

Redis（RemoteDictionaryServer，遠(yuǎn)程字典服務(wù)）是一個(gè)開(kāi)源、使用ANSIC語(yǔ)言編寫(xiě)、支持網(wǎng)絡(luò)、可基于內(nèi)存亦可持久化的日志型、Key-Value存儲(chǔ)數(shù)據(jù)庫(kù)。

Redis是一個(gè)Key-Value存儲(chǔ)系統(tǒng)。與Memcached類(lèi)似，Redis支持的值類(lèi)型相對(duì)更多，包括string（字符串）、list（列表）、set（集合）、zset（有序集合）和hash（散列類(lèi)型）。這些數(shù)據(jù)類(lèi)型都支持push/pop、add/remove，取交集、并集、差集，以及更豐富的操作，而且這些操作都具有原子性。在此基礎(chǔ)上，Redis支持各種不同方式的排序。與Memcached一樣，為了保證效率，數(shù)據(jù)緩存在內(nèi)存中。二者的區(qū)別是Redis會(huì)周期性地把更新的數(shù)據(jù)寫(xiě)入磁盤(pán)或者把修改操作寫(xiě)入追加的記錄文件，并且在此基礎(chǔ)上實(shí)現(xiàn)Master-Slave（主從）同步。項(xiàng)目知識(shí)導(dǎo)入二、在Windows系統(tǒng)下安裝Redis

Redis支持32位和64位Windows系統(tǒng)。打開(kāi)下載頁(yè)面，根據(jù)系統(tǒng)選擇相應(yīng)的壓縮包，如圖9-1所示。項(xiàng)目知識(shí)導(dǎo)入下載完成后，將Redis-x64-5.0.10.zip壓縮包解壓到D盤(pán)的Redis目錄下。打開(kāi)命令提示符窗口，然后進(jìn)入Redis目錄，執(zhí)行如下命令以啟動(dòng)Redis服務(wù)。雖然前面啟動(dòng)了Redis服務(wù)，但是當(dāng)關(guān)閉命令提示符窗口時(shí)，Redis服務(wù)就會(huì)停止。所以要把Redis安裝成Windows系統(tǒng)服務(wù)，使Redis服務(wù)隨系統(tǒng)啟動(dòng)而啟動(dòng)。

在命令提示符窗口中執(zhí)行如下命令。

redis-server--service-installredis.windows-service.conf--loglevelverbose

命令執(zhí)行成功后，在Windows系統(tǒng)的服務(wù)管理界面上多了一個(gè)Redis服務(wù)，這表示Redis服務(wù)安裝成功，如圖9-3所示（右圖所示）。

在服務(wù)管理界面，可以啟動(dòng)和停止Redis服務(wù)。三、在Linux上安裝redis1.打開(kāi)Linux系統(tǒng)下的命令提示符窗口，執(zhí)行如下命令下載Redis源碼包。wgethttp://download.redis.io/releases/redis-5.0.10.tar.gz2.將下載的Redis源碼包解壓，命令如下。tar-zxvfredis-5.0.10.tar.gz3.切換到解壓后的目錄，命令如下。cdredis-5.0.104.進(jìn)行編譯安裝，命令如下。makemakeinstall至此，Redis安裝完畢。項(xiàng)目知識(shí)導(dǎo)入項(xiàng)目知識(shí)導(dǎo)入1．Linux系統(tǒng)下的前端啟動(dòng)

由于前面安裝過(guò)程中沒(méi)有指定目錄，所以Linux系統(tǒng)會(huì)將可執(zhí)行文件存放在/usr/local/bin目錄中。

在終端窗口執(zhí)行如下命令。

[root@mmredis-5.0.10]#cd/usr/local/bin

[root@mmbin]#./redis-server

命令執(zhí)行結(jié)果如圖9-4所示。2．Linux系統(tǒng)下的后端啟動(dòng)（1）將Redis源碼包中的redis.conf文件復(fù)制到/usr/local/bin目錄下，命令如下。[root@mmredis-5.0.10]#cpredis.conf/usr/local/bin/（2）編輯redis.conf文件，命令如下。[root@mmredis-5.0.10]#vi/usr/local/bin/redis.conf將“daemonizeno”改成“daemonizeyes”，如圖9-5所示。項(xiàng)目知識(shí)導(dǎo)入（3）啟動(dòng)Redis，命令如下。[root@mmredis-5.0.10]#/usr/local/bin/redis-serverredis.conf（4）停止Redis，命令如下。[root@mmredis-5.0.10]#/usr/local/bin/redis-clishutdown項(xiàng)目知識(shí)導(dǎo)入四、Redis結(jié)構(gòu)與讀寫(xiě)原理

（一）Redis數(shù)據(jù)庫(kù)結(jié)構(gòu)1.Redis服務(wù)器將所有數(shù)據(jù)庫(kù)都保存在服務(wù)器狀態(tài)redis.h/redisServer結(jié)構(gòu)的db數(shù)組中，db數(shù)組中每一項(xiàng)都是一個(gè)redis.h/redisDb結(jié)構(gòu)。redisServer結(jié)構(gòu)如下：2.每個(gè)Redis客戶端都有自己的目標(biāo)數(shù)據(jù)庫(kù)，每當(dāng)客戶端執(zhí)行命令時(shí)，目標(biāo)數(shù)據(jù)庫(kù)就會(huì)成為這些命令的操作對(duì)象。默認(rèn)情況下目標(biāo)數(shù)據(jù)庫(kù)為0號(hào)數(shù)據(jù)庫(kù)，可以通過(guò)SELECT語(yǔ)句切換目標(biāo)數(shù)據(jù)庫(kù)。redisClient結(jié)構(gòu)如下：（一）Redis數(shù)據(jù)庫(kù)結(jié)構(gòu)（續(xù)）Redis數(shù)據(jù)庫(kù)結(jié)構(gòu)如圖9-6所示。每一個(gè)Redis服務(wù)器內(nèi)部的數(shù)據(jù)結(jié)構(gòu)都是一個(gè)redisDb[]，該數(shù)組的大?。J(rèn)為16）可以在redis.conf文件中配置，而所有的緩存操作（set、hset、get等）都是在redisDb[]中的一個(gè)redisDb（庫(kù)）上進(jìn)行的，這個(gè)redisDb[]默認(rèn)是redisDb[0]。（二）讀寫(xiě)原理（二）讀寫(xiě)原理Redis存儲(chǔ)結(jié)構(gòu)示意如圖9-7所示。五、Redis常用命令1．redis-cliredis-cli命令用于連接本地Redis服務(wù)，執(zhí)行該命令可以進(jìn)入Redis的腳本控制臺(tái)。執(zhí)行exit（或quit）命令可以退出Redis的腳本控制臺(tái)。命令如下。2．setkeyvaluesetkeyvalue是緩存設(shè)置命令，用于設(shè)置一個(gè)鍵名為key的緩存，緩存內(nèi)容為value。例如設(shè)置一個(gè)鍵名為“key1”的緩存，其內(nèi)容為“hello,redis”，命令如下。[root@mmbin]#redis-cli:6379>:6379>exit[root@mmbin]#:6379>setkey1'hello,redis'OK五、Redis常用命令3．getkeygetkey是緩存獲取命令。keys（pattern）命令用于返回滿足給定pattern的所有key。例如：4．delkeydelkey是緩存刪除命令。例如：:6379>keys*1)"key1":6379>getkey1"hello,redis":6379>delkey1(integer)1:6379>keys*(emptylistorset):6379>五、Redis常用命令5．flushallflushall是刪除所有緩存的命令。例如：6．dbsizedbsize是查看當(dāng)前庫(kù)中的key數(shù)量的命令。例如：7．CLIENTLISTCLIENTLIST是查看客戶端列表命令。例如：:6379>flushallOK:6379>keys*(emptylistorset):6379>dbsize(integer)1:6379>CLIENTLISTid=5addr=:43179fd=8name=age=4idle=0flags=Ndb=0sub=0psub=0multi=-1qbuf=26qbuf-free=32742obl=0oll=0omem=0events=rcmd=client五、Redis常用命令

8．CLIENTKILLCLIENTKILL是關(guān)閉某個(gè)客戶端命令。例如：9．SAVESAVE用于將數(shù)據(jù)保存到磁盤(pán)文件，下次啟動(dòng)Redis服務(wù)時(shí)，自動(dòng)加載。例如六、Redis配置1、常用配置項(xiàng)

Redis的配置文件位于Redis安裝目錄下，文件名為redis.conf(Windows系統(tǒng)下名為redis.windows.conf)?？梢酝ㄟ^(guò)config命令查看或設(shè)置配置項(xiàng)。使用命令查看所有配置項(xiàng)：CONFIGGET*（*號(hào)獲取所有配置項(xiàng)）。表9-1Redis常用配置項(xiàng)說(shuō)明序號(hào)配置項(xiàng)配置項(xiàng)說(shuō)明1daemonizenoRedis默認(rèn)不是以守護(hù)進(jìn)程的方式運(yùn)行，可以通過(guò)該配置項(xiàng)修改，使用yes啟用守護(hù)進(jìn)程（在Windows系統(tǒng)中不支持守護(hù)線程的配置為no）。2pidfile/var/run/redis.pid當(dāng)Redis以守護(hù)進(jìn)程方式運(yùn)行時(shí)，Redis默認(rèn)會(huì)把pid寫(xiě)入/var/run/redis.pid文件，可以通過(guò)pidfile指定。3port6379指定Redis監(jiān)聽(tīng)端口，默認(rèn)端口為6379。4bind綁定的主機(jī)地址。5timeout300在客戶端閑置多長(zhǎng)時(shí)間（秒）后關(guān)閉連接，如果指定為0，表示關(guān)閉該功能。6loglevelnotice指定日志記錄級(jí)別，Redis總共支持四個(gè)級(jí)別：debug、verbose、notice、warning，默認(rèn)為notice。7logfilestdout日志記錄方式，默認(rèn)為標(biāo)準(zhǔn)輸出，如果配置Redis為守護(hù)進(jìn)程方式運(yùn)行，而這里又配置為日志記錄方式為標(biāo)準(zhǔn)輸出，則日志將會(huì)發(fā)送給/dev/null。8databases16設(shè)置數(shù)據(jù)庫(kù)的數(shù)量，默認(rèn)數(shù)據(jù)庫(kù)為0，可以使用SELECT命令在連接上指定數(shù)據(jù)庫(kù)id。表9-1Redis常用配置項(xiàng)說(shuō)明序號(hào)配置項(xiàng)配置項(xiàng)說(shuō)明9save<seconds><changes>

指定在多長(zhǎng)時(shí)間內(nèi)，有多少次更新操作，就將數(shù)據(jù)同步到數(shù)據(jù)文件，可以多個(gè)條件配。Redis默認(rèn)配置文件中提供了三個(gè)條件：save9001save30010save6010000分別表示900秒（15分鐘）內(nèi)有1個(gè)更改，300秒（5分鐘）內(nèi)有10個(gè)更改及60秒內(nèi)有10000個(gè)更改。10rdbcompressionyes指定存儲(chǔ)至本地?cái)?shù)據(jù)庫(kù)時(shí)是否壓縮數(shù)據(jù)，默認(rèn)為yes，Redis采用LZF壓縮，如果為了節(jié)省CPU時(shí)間，可以關(guān)閉該選項(xiàng)，但會(huì)導(dǎo)致數(shù)據(jù)庫(kù)文件變的巨大。11dbfilenamedump.rdb指定本地?cái)?shù)據(jù)庫(kù)文件名，默認(rèn)值為dump.rdb。12dir./指定本地?cái)?shù)據(jù)庫(kù)存放目錄。13replicaof<masterip><masterport>設(shè)置當(dāng)本機(jī)為slave服務(wù)時(shí)，設(shè)置master服務(wù)的IP地址及端口，在Redis啟動(dòng)時(shí)，它會(huì)自動(dòng)從master進(jìn)行數(shù)據(jù)同步。14masterauth<master-password>當(dāng)master服務(wù)設(shè)置了密碼保護(hù)時(shí)，slave服務(wù)連接master的密碼。15requirepassfoobared設(shè)置Redis連接密碼，如果配置了連接密碼，客戶端在連接Redis時(shí)需要通過(guò)AUTH<password>命令提供密碼，默認(rèn)關(guān)閉。16maxclients128設(shè)置同一時(shí)間最大客戶端連接數(shù)，默認(rèn)無(wú)限制，Redis可以同時(shí)打開(kāi)的客戶端連接數(shù)為Redis進(jìn)程可以打開(kāi)的最大文件描述符數(shù)，如果設(shè)置maxclients0，表示不作限制。當(dāng)客戶端連接數(shù)到達(dá)限制時(shí)，Redis會(huì)關(guān)閉新的連接并向客戶端返回maxnumberofclientsreached錯(cuò)誤信息。表9-1Redis常用配置項(xiàng)說(shuō)明序號(hào)配置項(xiàng)配置項(xiàng)說(shuō)明17maxmemory<bytes>指定Redis最大內(nèi)存限制，Redis在啟動(dòng)時(shí)會(huì)把數(shù)據(jù)加載到內(nèi)存中，達(dá)到最大內(nèi)存后，Redis會(huì)先嘗試清除已到期或即將到期的Key。18appendonlyno指定是否在每次更新操作后進(jìn)行日志記錄，Redis在默認(rèn)情況下是異步的把數(shù)據(jù)寫(xiě)入磁盤(pán)，如果不開(kāi)啟，可能會(huì)在斷電時(shí)導(dǎo)致一段時(shí)間內(nèi)的數(shù)據(jù)丟失。默認(rèn)為no。19appendfilenameappendonly.aof指定更新日志文件名，默認(rèn)為appendonly.aof。20appendfsynceverysec指定更新日志條件，共有3個(gè)可選值：no：表示等操作系統(tǒng)進(jìn)行數(shù)據(jù)緩存同步到磁盤(pán)（快）。always：表示每次更新操作后手動(dòng)調(diào)用fsync()將數(shù)據(jù)寫(xiě)到磁盤(pán)（慢，安全）。everysec：表示每秒同步一次（折中，默認(rèn)值）。21vm-enabledno指定是否啟用虛擬內(nèi)存機(jī)制，默認(rèn)值為no22vm-swap-file/tmp/redis.swap虛擬內(nèi)存文件路徑，默認(rèn)值為/tmp/redis.swap，不可多個(gè)Redis實(shí)例共享。23vm-max-memory0將所有大于vm-max-memory的數(shù)據(jù)存入虛擬內(nèi)存，無(wú)論vm-max-memory設(shè)置多小，所有索引數(shù)據(jù)都是內(nèi)存存儲(chǔ)的(Redis的索引數(shù)據(jù)就是keys)，也就是說(shuō)，當(dāng)vm-max-memory設(shè)置為0的時(shí)候，其實(shí)是所有value都存在于磁盤(pán)。默認(rèn)值為0。24vmsize32Redisswap文件分成了很多的page，一個(gè)對(duì)象可以保存在多個(gè)page上述，但一個(gè)page上不能被多個(gè)對(duì)象共享，vmsize是要根據(jù)存儲(chǔ)的數(shù)據(jù)大小來(lái)設(shè)定的，建議如果存儲(chǔ)很多小對(duì)象，page大小最好設(shè)置為32或者64bytes；如果存儲(chǔ)很大大對(duì)象，則可以使用更大的page，如果不確定，就使用默認(rèn)值。25vms134217728設(shè)置swap文件中的page數(shù)量，由于頁(yè)表（一種表示頁(yè)面空閑或使用的bitmap）是在放在內(nèi)存中的，在磁盤(pán)上每8個(gè)pages將消耗1byte的內(nèi)存。表9-1Redis常用配置項(xiàng)說(shuō)明序號(hào)配置項(xiàng)配置項(xiàng)說(shuō)明26vm-max-threads4設(shè)置訪問(wèn)swap文件的線程數(shù),最好不要超過(guò)機(jī)器的核數(shù),如果設(shè)置為0,則所有對(duì)swap文件的操作都是串行的，可能會(huì)造成比較長(zhǎng)時(shí)間的延遲。默認(rèn)值為4。27glueoutputbufyes設(shè)置在向客戶端應(yīng)答時(shí)，是否把較小的包合并為一個(gè)包發(fā)送，默認(rèn)為開(kāi)啟。28hash-max-zipmap-entries64hash-max-zipmap-value512指定在超過(guò)一定的數(shù)量或者最大的元素超過(guò)某一臨界值時(shí)，采用一種特殊的哈希算法。29activerehashingyes指定是否激活重置哈希算法，默認(rèn)為開(kāi)啟。30include/path/to/local.conf指定包含其他的配置文件，可以在同一主機(jī)上多個(gè)Redis實(shí)例之間使用同一份配置文件，而同時(shí)各個(gè)實(shí)例又擁有自己的特定配置文件。2、編輯配置可以通過(guò)修改redis.conf文件或使用CONFIGSET命令來(lái)修改配置。命令語(yǔ)法格式如下。redis:6379>CONFIGSETCONFIG_SETTING_NAMENEW_CONFIG_VALUE例七、Redis集群Redis支持三種集群方案：主從復(fù)制模式、Sentinel（哨兵）模式、Cluster集群模式。為了解決Redis高可用模式下集群動(dòng)態(tài)擴(kuò)容困難、寫(xiě)操作并發(fā)瓶頸問(wèn)題，在3.0之后Redis推出了Redis-Cluster集群模式。1、Redis集群的數(shù)據(jù)分片Redis集群沒(méi)有使用一致性哈希，而是引入了“哈希槽”的概念。Redis集群有16384個(gè)哈希槽，每個(gè)key通過(guò)CRC16校驗(yàn)后對(duì)16384取模來(lái)決定放置哪個(gè)槽。集群的每個(gè)節(jié)點(diǎn)負(fù)責(zé)一部分哈希槽，舉個(gè)例子，比如當(dāng)前集群有3個(gè)節(jié)點(diǎn)，那么：節(jié)點(diǎn)A包含0到5500號(hào)哈希槽。節(jié)點(diǎn)B包含5501到11000號(hào)哈希槽。節(jié)點(diǎn)C包含11001到16384號(hào)哈希槽。七、Redis集群2、Redis集群的主從復(fù)制模型為了保障在部分節(jié)點(diǎn)故障或者大部分節(jié)點(diǎn)無(wú)法通信的情況下集群仍然可用，集群使用了主從復(fù)制模型，即每個(gè)節(jié)點(diǎn)都會(huì)有N到1個(gè)復(fù)制品。在具有A、B、C三個(gè)節(jié)點(diǎn)的集群示例中,在沒(méi)有復(fù)制模型的情況下，如果節(jié)點(diǎn)B發(fā)生故障，那么整個(gè)集群就會(huì)因?yàn)槿鄙?501-11000這個(gè)范圍的哈希槽而不可用。而如果在集群創(chuàng)建的時(shí)候?yàn)槊總€(gè)節(jié)點(diǎn)添加一個(gè)從節(jié)點(diǎn)A1、B1、C1，那么整個(gè)集群便有三個(gè)Master節(jié)點(diǎn)和三個(gè)Slave節(jié)點(diǎn)組成，這樣，在節(jié)點(diǎn)B故障后，集群便會(huì)選舉B1為新的主節(jié)點(diǎn)繼續(xù)服務(wù)，整個(gè)集群便不會(huì)因?yàn)楣２壅也坏蕉豢捎谩０?、RedisManagerRedisManager是Redis一站式管理平臺(tái)，支持集群的監(jiān)控、安裝、管理、告警及基本的數(shù)據(jù)操作功能。集群監(jiān)控：支持監(jiān)控Memory、Clients等Redis重要指標(biāo)；可實(shí)時(shí)查看RedisInfo、RedisConfig和SlowLog；集群創(chuàng)建：支持Docker、Machine、Humpback方式；集群管理：支持節(jié)點(diǎn)Forget、ReplicateOf、Failover、MoveSlot、Start、Stop、Restart、Delete、修改配置等功能；集群告警：支持Memory、Clients等指標(biāo)(同監(jiān)控指標(biāo))，支持郵件、企業(yè)微信APP、企業(yè)微信Webhook、釘釘告警；工具箱：支持Query、Scan及基本的數(shù)據(jù)操作。項(xiàng)目任務(wù)分解任務(wù)9-1：使用Redis-cli監(jiān)控Redis服務(wù)狀態(tài)任務(wù)說(shuō)明

在使用Redis的過(guò)程中，可能會(huì)遇到很多問(wèn)題，需要隨時(shí)能診斷、觀察Redis的健康情況。Redis提供了info命令，可以讓數(shù)據(jù)庫(kù)管理員觀察它各方面的信息、運(yùn)行狀況。本任務(wù)要求使用info命令查看其所提供的信息。任務(wù)實(shí)施過(guò)程項(xiàng)目任務(wù)分解任務(wù)9-2：

搭建Redis