第二部分、redis實戰(zhàn)案例及總回顧大數(shù)據(jù)教程大綱

1、大數(shù)據(jù)高并發(fā)系統(tǒng)架構(gòu)實戰(zhàn)方案(LVS 負(fù)載均衡、Nginx、共享緩存)、海量數(shù)據(jù)、隊列課程講師：tom5課程分類：Java涉及項目：大數(shù)據(jù)高并發(fā)系統(tǒng)架構(gòu)用到技術(shù)：LVS 負(fù)載均衡、Nginx、共享、海量數(shù)據(jù)其他特性：隊列緩存、緩存涵蓋內(nèi)容：、代碼、ppt數(shù)量：21、主從隨著互聯(lián)網(wǎng)的發(fā)展，高并發(fā)、大數(shù)據(jù)量的要求越來越高。而這些高要求都是基礎(chǔ)的技術(shù)和細(xì)節(jié)組合而成的。本課程就從實際案例出發(fā)給大家原景重現(xiàn)高并發(fā)架構(gòu)常用詳細(xì)演練。及通過該課程的學(xué)習(xí)，普通的技術(shù)就可以快速搭建起千萬級的高并發(fā)大數(shù)據(jù)平臺。亮點一：真實環(huán)境還原，課程采用了 VM 環(huán)境重現(xiàn)大現(xiàn)。集群服務(wù)器環(huán)境，真實環(huán)境還原再亮點二：基礎(chǔ)實用，細(xì)

2、節(jié)決定成敗，課程內(nèi)容在演練過程中重點介紹各種細(xì)節(jié)，保證初級人員快速入門及高級進階。亮點三：講師豐富的海量經(jīng)驗第一章 概述（1）簡要介紹該系列課程的內(nèi)容，本章內(nèi)容如下：主流高并發(fā)大數(shù)據(jù)應(yīng)對技術(shù)介紹CDN 鏡像技術(shù)介紹靜態(tài)化技術(shù)介紹庫表水平及垂直拆分技術(shù)介紹虛擬化云計算體系介紹高并發(fā)系統(tǒng)架構(gòu)規(guī)劃高并發(fā)大型高可靠架構(gòu)圖課程安排簡介高并發(fā)大型高可靠架構(gòu)網(wǎng)絡(luò)IP 規(guī)劃搭建實戰(zhàn)環(huán)境的準(zhǔn)備工作SFTP 客戶端Filezilla 使用簡介SSH 客戶端SecureCRT 使用簡介Centos 關(guān)閉圖形界面啟動及開啟 sshd 實戰(zhàn)虛擬機clone 后網(wǎng)卡重新初始化演練 VMware 使用技巧演練第二章 LVS

3、 實現(xiàn)負(fù)載均衡軟交換實戰(zhàn)（5）本章演練的是負(fù)載均衡技術(shù)的，主要包括 LVS 的類型特點適用場景介紹，使用Piranha 安裝快速搭建 LVS 負(fù)載均衡集群及配置，LVS 負(fù)載均衡DR 模式深入安裝調(diào)試，LVS 調(diào)度策略及負(fù)載均衡原理詳細(xì)演練，LVS 深入實踐 NAT 模式集群調(diào)試。詳細(xì)內(nèi)容如下：LVS 服務(wù)器配置準(zhǔn)備關(guān)閉centos 網(wǎng)卡自動管理實踐上網(wǎng)網(wǎng)卡手動配置yum 鏡像加速 yum 安裝Piranha piranha-gui 啟動配置開通 3306 口pulse 啟動piranha 安裝效果驗證 nginx 服務(wù)器配置安裝主機名配置添加nginx 的yum 安裝源yum 安裝 ngin

4、x nginx 安裝效果驗證配置打開 80 口配置虛 IP 包轉(zhuǎn)發(fā)規(guī)則支持 LVS 的 DR 模式Piranha 配置DR 模式詳解演練global settings 公網(wǎng)IP 配置Primary servredundancy 配置 lvs 服務(wù)器的冗余，ublic ipvirtual servers 配置 Virtual IP Address 和real server主從配置 scp LVS 安裝效果驗證 ipvsadm 演練熱備切換LVS 自服務(wù)配置啟動Piranha 相關(guān)輪詢配置參數(shù)講解及效果演示Round robin：輪轉(zhuǎn)調(diào)度 輪詢 （最簡單的輪詢）Weighted least-con

5、nections：最少連接（考慮負(fù)載、服務(wù)器性能）Weighted round robin：最少連接（考慮服務(wù)器性能）Least-connection：最少連接（考慮負(fù)載） 等/etc/sysconfig/ha/lvs.cf 文件配置內(nèi)容詳細(xì)講解LVS 調(diào)度策略深入及效果演示服務(wù)器集群負(fù)載均衡簡化的整體結(jié)構(gòu)講解基于DNS 的請求調(diào)度基于前端調(diào)度器的請求調(diào)度四層交換-通過DR 實現(xiàn)報文轉(zhuǎn)發(fā)四層交換-通過IP 隧道實現(xiàn)報文轉(zhuǎn)發(fā)四層交換-通過NAT 實現(xiàn)報文轉(zhuǎn)發(fā)四層交換-三種報文轉(zhuǎn)發(fā)技術(shù)比較應(yīng)用層交換-協(xié)議支持Http 重定向應(yīng)用層交換-其他技術(shù)基于后端服務(wù)器的請求調(diào)度LVS 三種模式比較LVS 典

6、型 NAT 模式網(wǎng)絡(luò)拓?fù)鋱DClone 服務(wù)器配置安裝nginx2 及l(fā)vs2 Piranha 配置 NET 模式NAT 模式效果演示centos 配置centos 主備 LVS關(guān)閉，開啟轉(zhuǎn)發(fā)配置文件驗證LVSNAT 安裝效果第三章 Nginx 高級配置實戰(zhàn)（3）本章演練的是靜態(tài)內(nèi)容與動態(tài)內(nèi)容服務(wù)器分離，主要包括 Nginx 基礎(chǔ)安裝配置，Nginx 反向?qū)崙?zhàn)進階，Nginx 動靜分離URL 轉(zhuǎn)發(fā)實戰(zhàn)，詳細(xì)內(nèi)容如下：Hadoop，Tomcat 的安裝環(huán)境采用debian 的tomcat 最小安裝版虛擬機并初始化tomcat 服務(wù)端口修改主機名修改增加首頁 jsp 服務(wù)器識別標(biāo)志 tomcat 安

7、裝效果測試 nginx 安裝默認(rèn)目錄講解 nginx 配置文件詳細(xì)講解nginx 配置server 先后順序演練hosts 文件修改本地 dns 配置模擬Nginx 調(diào)度策略演練：nginx 的upstream 目前支持 4 種方式的分配：輪詢（默認(rèn)）、weight、ip_hash、fair、url_hashNginx 調(diào)度策略-小技巧演練等：backup，down 等演練proxy_pass 后的url 加不加/的區(qū)別演練Nginx 對URL 進行匹配語則講解Nginx 對URL 進行匹配演練實踐Nginx 對URL 進行匹配-常用規(guī)則講解Nginx 一些可用的全局變量詳解Nginx后，服務(wù)

8、端收到參數(shù)通過tomcat 上編寫info.jsp 詳細(xì)查看Nginx 對URL 重寫語法詳解：標(biāo)記，判斷文件或目錄正則表達式語法講解Nginx 對URL 重寫例子技巧演練1.簡單例子： rewrite /zixun/(0-9+)(/*).html$ /zixun/$1/ last;多目錄轉(zhuǎn)成參數(shù)目錄對換設(shè)定 nginx 在用戶使用 ie 的使用重定向到/nginx-ie 目錄下目錄自動加“/”6.7.htac多個目錄s8.文件反盜鏈并設(shè)置過期時間9.跳轉(zhuǎn)10.多轉(zhuǎn)向11.三級跳轉(zhuǎn)12.鏡向13.某個子目錄作鏡向第四章 基于共享實現(xiàn)動態(tài)內(nèi)容靜態(tài)化加速實戰(zhàn)（2）本章演練的是基于共享實現(xiàn)動態(tài)內(nèi)容靜

9、態(tài)化加速，主要包括 NFS 共享文件系統(tǒng)基礎(chǔ)安裝配置，tomcat 動態(tài)內(nèi)容靜態(tài)化加速實戰(zhàn)演練。詳細(xì)內(nèi)容如下：nginx 負(fù)載均衡雙機配置文件同步檢查 LVS 及整套集群環(huán)境運行狀態(tài)（LVS+nginx+tomcat），停掉 tomcat 檢查clone 生成服務(wù)器安裝配置 nfs 服務(wù)端centos64 位 yum 安裝服務(wù)端 nfs-utilsbind修改nfs 配置文件/etc/exports 服務(wù)端開放共享目錄，啟動nfs 相關(guān)服務(wù)端服務(wù)關(guān)閉nginx 服務(wù)器，tomcat 服務(wù)器上nfs 客戶端安裝配置并驗證共享效果配置各nfs 相關(guān)服務(wù)開機自啟動通過詳細(xì) jsp 講解演練將動態(tài)內(nèi)容

10、靜態(tài)化，提高整體系統(tǒng)性能。tomcat 服務(wù)器上目錄權(quán)限開放保證tomcat，nginx 服務(wù)動態(tài)內(nèi)容靜態(tài)化效果驗證限讀寫第五章 緩存安裝配置使用（2）本章演練的主流緩存的搭建，主要包括基于 memcached 搭建緩存編程實戰(zhàn)演練。詳細(xì)內(nèi)容如下：安裝配置,基于緩存Clone 生成服務(wù)器 mem 配置網(wǎng)卡及主機名memcached 的 rpmfyum 安裝memcachede 的yum 源 rpm 安裝包memcached 安裝效果驗證，服務(wù)自啟動配置驗證centos、win7 上安裝net 客戶端net 命令幫助檢查端口 11211 是否可關(guān)掉 11211 口限制memcached 服務(wù)器運

11、行狀態(tài)參數(shù)詳解memcached 啟動命令詳解并演練Memcached java 客戶端 jar 包memcache 客戶端測試代碼 memtest.jsp 詳解演練ss items 命令查看memcache 中每個 slab 中的 item 的一些詳細(xì)信息ss slabs 命令查看memcache 中slab 中內(nèi)存分配的情況memcache 的增刪改讀效果演練計數(shù)器代碼count.jsp 講解實戰(zhàn)部署到tomcat1 和tomcat2，不同服務(wù)器 jsp 增加服務(wù)器識別標(biāo)識，并驗證效果第六章主從安裝配置實戰(zhàn)（2）本章演練數(shù)據(jù)關(guān)鍵主流數(shù)據(jù)庫高可靠的搭建，主要包括主從基礎(chǔ)安裝配置，主從安裝配置

12、進階及結(jié)合緩存編程實戰(zhàn)演練。詳細(xì)內(nèi)容如下：Clone 生成服務(wù)器1 配置網(wǎng)卡及主機名yum 安裝修改配置服務(wù)配置字符集 utf8d 自啟動服務(wù)并啟動驗證安裝效果設(shè)置root遺忘如何重置關(guān)鍵使用技巧Clone 生成服務(wù)器2 修改主從配置開啟binlog在主服務(wù)器上建立帳戶并slave 同步權(quán)限，查詢 master 的狀態(tài)確定 binlog 文件名及登錄主服務(wù)器的偏移值配置從服務(wù)器Slave 指定上述主服務(wù)器 binlog 文件名及偏移值啟動從同步服務(wù)并檢查從服務(wù)器功能狀態(tài)詳細(xì)狀態(tài)實際講解Slave_IO_Running: Yes Slave_SQL_Running: Yes/此狀態(tài)必須 YES十

13、分關(guān)鍵外部3306 口驗證/此狀態(tài)必須 YES打開 3306 口配置高級配置解決主從服務(wù)器驗證主從主服務(wù)器中建庫建表，問題效果數(shù)據(jù)從服務(wù)器中查看同步效果若主服務(wù)器有老數(shù)據(jù)的情況初始化步驟詳解dump，source 等命令使用解決memcahe 持久化問題jdbc 驅(qū)動jar 包利用test.jsp 代碼講解小陷阱問題解決計數(shù)器表建立，計數(shù)器 jsp 代碼修改并在原有 memcache 基礎(chǔ)上增加部分代碼，間隔超過 10 秒存一次 db，并重啟 memcached 檢查代碼效果測試持久化第七章 海量數(shù)據(jù)安裝配置實戰(zhàn)（2）本章演練主流 NoSql 分布式數(shù)據(jù)引擎及MapReducehadoop 的

14、搭建，主要包括 hadoop分布計算基礎(chǔ)安裝配置，hadoop 高級管理，HDFS 分布式文件使用深入演練。詳細(xì)內(nèi)容如下：HDFS 和MapReduce 共同組成了 Hadoop 分布式系統(tǒng)體系結(jié)構(gòu)的MapReduce 分布式計算、Hadoop 分布式集群運行圖詳解Clone 出hadoop 服務(wù)器 nameNode 配置 ip 及hostname修改hosts 增加nameNode，dataNode 的 ip nameNode 增加hadoop 用戶及用戶組并設(shè)置 nameNode 配置ssh 自動登錄Clone 出hadoop 服務(wù)器 dataNode1、2 配置 ip 及hostname

15、修改hosts 增加nameNode，dataNode 的 ip dataNode 增加hadoop 用戶及用戶組并設(shè)置 dataNode1、2 配置ssh 自動登錄 Namenode 服務(wù)端同步 ssh 公鑰文件到各 dataNode1、2ssh 驗證ssh 自動登錄Hadoop 安裝，并上傳解壓縮建立文件目錄tmpHadoop 配置conf/core-site.xml 詳解演練 Hadoop 配置conf/hdfs-site.xml 詳解演練 Hadoop 配置conf/mapred-site.xml 詳解演練 Hadoop 配置conf/mastersHadoop 配置conf/slav

16、es Hadoop 到slaves 服務(wù)器啟動Hadoop首次執(zhí)行，格式化HDFS 文件系統(tǒng)hadoop namenode format驗證Hadoop 啟動java 自帶的小工具 jps 查看進程hadoop dfsadmin -report 查看服務(wù)狀態(tài)Web 管理：jobtracker、tasktracker、DFS 狀態(tài)查看。HDFS 集群、Hadoop 無法啟動可能的原因：管理HDFS 中的文件詳細(xì)演練等第八章 簡單隊列緩存安裝配置實戰(zhàn)（2）本章演練熱門的 redis 搭建簡單的隊列及緩存編程詳細(xì)演練。詳細(xì)內(nèi)容如下：，主要包括redis 安裝配置實戰(zhàn)，redis 實用Redis 是當(dāng)

17、前最熱門的高級 key-value 數(shù)據(jù)庫。它跟memcached 類似，不過數(shù)據(jù)可以持久化，而且支持的數(shù)據(jù)類型很豐富。基于redis 搭建簡單的隊列及緩存clone 服務(wù)器 redis 配置 ip 及修改主機名安裝redis-2.6.11.tar.gz編譯原代碼編譯問題編譯環(huán)境上網(wǎng)yum 安裝Redis 編譯安裝，在src 目錄下生成 5 個可執(zhí)行文件，redis-server、redis-cli、redis-benark、redis-check-aof、redis-check-dump設(shè)置內(nèi)存分配策略設(shè)置/etc/sysctl.conf 中mit_memory = 1，允許分配所有的物理內(nèi)

18、存，而不管當(dāng)前的內(nèi)存狀態(tài)如何Redis 啟動并驗證Redis配置連接 6379 口打開 6379 端口配置指定 log 及db 文件配置自啟動服務(wù):/etc/init.d/redis增限。配置自啟動服務(wù) redisRedis 配置文件redis.conf 修改，其中 daemonize: 默認(rèn)情況下，redis 不是在運行的，需要在運行，把該項的值更改為 yes。Redis 常用命令：del name，exists namng，save，redis-cli -p 6379 saveRedis 支持String 類型，能二進制安全的字符串，最大長度為 1GB。也可用來數(shù)字，并支持對數(shù)字加減操作。還支持對其部分的修改和獲取操作。List 類型操作演練集合（Sets）類型操作演練有序集合（Sort