詳解存儲集群的優(yōu)勢和應(yīng)用

詳解存儲集群的優(yōu)勢和應(yīng)用目前,存儲集群在大型網(wǎng)絡(luò)應(yīng)用環(huán)境應(yīng)用非常廣泛,用多個(gè)節(jié)點(diǎn)來代替一個(gè)節(jié)點(diǎn)完成任務(wù),毫無疑問是為了提高處理能力。其次存儲集群還可以做到高可用性,即使某個(gè)節(jié)點(diǎn)發(fā)生故障,不能再繼續(xù)參與計(jì)算,那么及集群中的其它節(jié)點(diǎn)也可以立即接替故障節(jié)點(diǎn)正常工作,下面我們來具體了解一下集群方面的知識。目前,存儲集群在大型網(wǎng)絡(luò)應(yīng)用環(huán)境應(yīng)用非常廣泛,用多個(gè)節(jié)點(diǎn)來代替一個(gè)節(jié)點(diǎn)完成任務(wù),毫無疑問是為了提高處理能力。其次存儲集群還可以做到高可用性,即使某個(gè)節(jié)點(diǎn)發(fā)生故障,不能再繼續(xù)參與計(jì)算,那么及集群中的其它節(jié)點(diǎn)也可以立即接替故障節(jié)點(diǎn)正常工作,下面我們來具體了解一下集群方面的知識。web網(wǎng)站經(jīng)常用到的負(fù)載均衡集群系統(tǒng)(lbc)web負(fù)載均衡集群系統(tǒng)通過一個(gè)流量管理的節(jié)點(diǎn)(可以是一個(gè)流量管理軟件、軟硬一體的流量管理機(jī))或帶流量管理系統(tǒng)的交換機(jī),將用戶的連接請求分配到多臺服務(wù)器,這些服務(wù)器可以完成相同的或不同的功能。通過負(fù)載均衡集群系統(tǒng),大量的負(fù)荷可以分配到多臺性能較低的服務(wù)器上,既可以保護(hù)用戶原有的投資,也可以動態(tài)地進(jìn)行擴(kuò)展,不需將原系統(tǒng)應(yīng)用暫停,同時(shí),多臺服務(wù)器共同工作,當(dāng)一臺出現(xiàn)故障時(shí),流量管理節(jié)點(diǎn)可以及時(shí)偵測到,用戶的請求將會分配到其余的健康的服務(wù)器上,用戶的使用沒有影響,管理員只需將故障服務(wù)器修復(fù)后再動態(tài)加入集群系統(tǒng)即可,應(yīng)用無須暫停。高性能集群系統(tǒng)(hpc)在進(jìn)行油田勘探、天氣預(yù)報(bào)、動畫制作、生命科學(xué)等的研究中,往往是一個(gè)大型的科學(xué)計(jì)算工程,它需要一個(gè)高性能的超級計(jì)算機(jī)才能在特定的時(shí)間內(nèi)完成大量的計(jì)算和數(shù)據(jù)的交換。這個(gè)高性能的超級計(jì)算機(jī)并不是一個(gè)通用的大型機(jī)或小型機(jī)就能滿足要求,通常根據(jù)不同的特定計(jì)算內(nèi)容和性能要求的不同由幾臺到上百臺pc服務(wù)器通過內(nèi)部高速互連設(shè)備連接而成。一個(gè)并行計(jì)算集群系統(tǒng)有一個(gè)統(tǒng)一的管理、監(jiān)控和調(diào)度節(jié)點(diǎn),通過這個(gè)單一的入口,可以對集群內(nèi)部的各服務(wù)器節(jié)點(diǎn)進(jìn)行管理、監(jiān)控和任務(wù)的調(diào)度,通過內(nèi)部的高速互聯(lián)網(wǎng)絡(luò)交換數(shù)據(jù),共同完成一個(gè)龐大的工程。數(shù)據(jù)庫集群系統(tǒng)大量的用戶產(chǎn)生的大負(fù)荷以及業(yè)務(wù)活動的繁忙所產(chǎn)生的海量數(shù)據(jù)都要求當(dāng)前的應(yīng)用系統(tǒng)必須有一個(gè)性能強(qiáng)大、高度可用的數(shù)據(jù)庫后臺支撐系統(tǒng)。數(shù)據(jù)庫的集群系統(tǒng)由多臺pc服務(wù)器和磁盤陣列柜組成。集群系統(tǒng)內(nèi)部的各臺服務(wù)器共同承擔(dān)用戶對數(shù)據(jù)的請求,共同享有數(shù)據(jù)資源,既能均衡負(fù)載提高系統(tǒng)的性能又能互相容錯(cuò),提高系統(tǒng)的可操性和可用性。集群存儲特點(diǎn)1.開放式架構(gòu)(高擴(kuò)展性)它針對集群存儲內(nèi)部構(gòu)成元素而言。一般集群存儲應(yīng)該包括存儲節(jié)點(diǎn)、前端網(wǎng)絡(luò)、后端網(wǎng)絡(luò)等三個(gè)構(gòu)成元素,每個(gè)元素都可以非常容易地采用業(yè)界最新技術(shù)而不用改變集群存儲的架構(gòu),且擴(kuò)展起來非常方便,像搭積木一樣進(jìn)行存儲的擴(kuò)展。特別是對于那些對數(shù)據(jù)增長趨勢較難預(yù)測的用戶,可以先購買一部分存儲,當(dāng)有需求的時(shí)候,隨時(shí)添加,而不會影響現(xiàn)有存儲的使用。2.分布式操作系統(tǒng)這是集群存儲的靈魂所在。所有對集群存儲的操作都經(jīng)由分布式操作系統(tǒng)統(tǒng)一調(diào)度和分發(fā),分散到集群存儲各個(gè)存儲節(jié)點(diǎn)上完成。使用分布式操作系統(tǒng)帶來的好處是各節(jié)點(diǎn)之間沒有任何區(qū)別,沒有主次、功能上的區(qū)別,所有存儲節(jié)點(diǎn)功能完全一致,這樣才能真正做到性能最優(yōu)。3.統(tǒng)一命名空間統(tǒng)一命名空間在很多廠家的存儲概念中都出現(xiàn)過。在集群存儲中,統(tǒng)一命名空間強(qiáng)調(diào)的是同一個(gè)文件系統(tǒng)下的統(tǒng)一命名空間。它同樣可以支持上pb級別的存儲空間。如果是通過將若干有空間上限的卷掛載到某一個(gè)根目錄的方式來達(dá)到統(tǒng)一命名空間,其效率和出現(xiàn)存儲熱點(diǎn)時(shí)的性能將會大大低于把上pb級別的存儲空間置于同一個(gè)文件系統(tǒng)下管理的統(tǒng)一命名空間。4.易管理性目前存儲業(yè)界的管理方式都是通過各廠商的管理工具,或通過web界面進(jìn)行管理和配置,往往客戶端還需要安裝相關(guān)軟件才能訪問到.huisheliren存儲上的空間。隨著需要管理的存儲空間逐漸增大,管理存儲的復(fù)雜度和管理人員的數(shù)量也將會隨之增加。而集群存儲應(yīng)該提供一種集中的、簡便易用的管理方式,對客戶端沒有任何影響,采用業(yè)界標(biāo)準(zhǔn)的訪問協(xié)議(比如nfs,cifs)訪問集群存儲。5.負(fù)載均衡集群存儲通過分布式操作系統(tǒng)的作用,會在前端和后端都實(shí)現(xiàn)負(fù)載均衡。前端訪問集群存儲的操作,通過幾種負(fù)載均衡策略,將訪問分散到集群存儲的各個(gè)存儲節(jié)點(diǎn)上。后端訪問數(shù)據(jù),通過開放式的架構(gòu)和后端網(wǎng)絡(luò),數(shù)據(jù)會分布在所有節(jié)點(diǎn)上進(jìn)行存放和讀取。6.高性能關(guān)于高性能領(lǐng)域,目前對集群存儲的討論還僅局限在高帶寬、高并發(fā)訪問的應(yīng)用模式下。毫無疑問,集群存儲對于該類應(yīng)用可以提供比傳統(tǒng)存儲架構(gòu)更優(yōu)的性能。但目前應(yīng)用除了高帶寬、高并發(fā)訪問類的之外,還有高iops、隨機(jī)訪問、小文件訪問以及備份歸檔等其他類的應(yīng)用,集群存儲應(yīng)該在以上領(lǐng)域同樣提供高性能的解決方案。集群的適用范圍:集群可以實(shí)現(xiàn)在系統(tǒng)路徑的任何點(diǎn)上硬件上:cpu、內(nèi)存、顯卡、顯示終端、以太網(wǎng)卡、計(jì)算機(jī)本身、以太網(wǎng)ip網(wǎng)絡(luò)設(shè)備、fc卡、fc網(wǎng)絡(luò)交換設(shè)備、磁盤陣列控制器本身、磁盤陣列控制器內(nèi)部的各個(gè)組件、磁盤本身、磁盤內(nèi)部的多片和多個(gè)磁頭。軟件上:應(yīng)用程序、文件系統(tǒng)、卷管理系統(tǒng)點(diǎn)擊圖片查看大圖集群那么什么時(shí)候我們需要實(shí)現(xiàn)集群呢?當(dāng)某個(gè)系統(tǒng)的處理能力不能滿足性能要求的時(shí)候,可以考慮使用負(fù)載均衡集群或者高性能集群;當(dāng)追求系統(tǒng)的高可用性時(shí),即希望某處故障不會影響整個(gè)系統(tǒng)的可用性的時(shí)候,使用高性能集群系統(tǒng);當(dāng)需要運(yùn)算的數(shù)據(jù)量很大的時(shí)候,運(yùn)算周期很長的時(shí)候,可以考慮實(shí)施數(shù)據(jù)庫集群系統(tǒng)。目前,各大知名網(wǎng)站一般都采用的是web負(fù)載均衡集群來均衡tcp連接請求,由于這些網(wǎng)站每天的訪問量很大,同時(shí)產(chǎn)生的tcp連接請求很多,所以如果只用一臺計(jì)算機(jī)來接受這些請求,根本滿足不了性能,甚至?xí)斐蛇@臺計(jì)算機(jī)器資源耗盡而死機(jī)?；趌inux系統(tǒng)的lvs,是由國人主持研發(fā)的一種tcp負(fù)載均衡軟件,被廣泛應(yīng)用于tcp連接壓力很大的系統(tǒng)下,lvs可以基于很多策略來將前端的請求分?jǐn)偟胶蠖说亩嗯_計(jì)算機(jī)上,其本質(zhì)就是一個(gè)基于策略的tcp包轉(zhuǎn)發(fā)引擎。對于比較重視的it建