（計算機應用技術(shù)專業(yè)論文）虛擬存儲監(jiān)視系統(tǒng)的設計與實現(xiàn).pdf

中文摘要 隨著計算機技術(shù)的飛速發(fā)展，當前的計算機系統(tǒng)對于存儲容量的要求逐步提 高，存儲系統(tǒng)逐步向磁盤虛擬存儲的方向發(fā)展。磁盤虛擬存儲技術(shù)作為一種面向 磁盤的虛擬化技術(shù)，向用戶屏蔽了物理存儲的細節(jié)問題，使得用戶的使用更方便。 由于虛擬存儲涉及到眾多的磁盤以及網(wǎng)絡性能等相關問題，所以有必要為其開發(fā) 專門的監(jiān)視系統(tǒng)，對系統(tǒng)的運行狀況進行監(jiān)視。 考慮到系統(tǒng)專注于性能監(jiān)視( c p u 利用率，內(nèi)存等) 的特點，在比較m r t g 和g a n g l i a 兩種技術(shù)的基礎上，采用了m r t g 作為其基本的監(jiān)視技術(shù)，并輔 以r r d t o o l 數(shù)據(jù)庫彌補m r t g 本身的缺點。 為了實現(xiàn)性能監(jiān)視與磁盤監(jiān)視的統(tǒng)一，在磁盤監(jiān)視方面，系統(tǒng)采用了s m a r t 作為基本的監(jiān)視技術(shù)，并解決了不同磁盤廠商的s m a r t 標準不統(tǒng)一的問題，加 入了對于磁盤監(jiān)視項的具體分析，從而更好的實現(xiàn)了系統(tǒng)的監(jiān)視功能。系統(tǒng)也實 現(xiàn)了對于虛擬存儲中的系統(tǒng)性能監(jiān)視( c p u 利用率，內(nèi)存利用率) 等和磁盤監(jiān) 視( 磁盤溫度，磁盤容量，磁頭飛行高度) 的統(tǒng)一。 總之，本系統(tǒng)在磁盤監(jiān)視方面對現(xiàn)有的監(jiān)視軟件與技術(shù)進行了擴展，并且將 用來作性能監(jiān)視的m r t g 和用來作磁盤監(jiān)視的s m a r t 進行了統(tǒng)一，使得系統(tǒng) 可以同時對系統(tǒng)的性能以及磁盤信息進行監(jiān)視。 關鍵詞：虛擬存儲監(jiān)視系統(tǒng)g a n g l i am r t gs m a r t a b s t r a c t a sl o n ga st h ec o m p u t e rs c i e n c ed e v e l o p s ，m o d e mc o m p u t e rs y s t e mr e q u i r e sa b i g g e rs t o r a g ec a p a c i t y , a f t e rt h ed e v e l o p m e n tf r o ms i n g l ed i s kt or a i ds y s t e m ，t h e s t o r a g es y s t e mt o d a yh a se n t e ran e wt i m e - - v i r t u a ls t o r a g es y s t e m v i r t u a ls t o r a g e s y s t e mi sak i n do fv i r t u a lt e c h n o l o g yb a s e do nd i s k s ，i tc o v e ru pt h ed e t a i l so f p h y s i c a ls t o r a g em e d i a ，w h i c hm a k e st h es t o r a g es y s t e me a s i e rt ou s ef o rp e o p l e v i r t u a ls t o r a g es y s t e mi sg e n e r a l l yah u g ea r r a yo fd i s k s ，w h i c hi n v o l v e sm a n y p r o b l e m so fd i s k sa n dn e t w o r kf l o w , s oam o n i t o r i n gm o d u l e ，w h i c hc a l lm a k et h e s y s t e mm nc o r r e c t l y , i sn e e d e d t h i ss y s t e mf o c u so nt h ep e r f o r m a n c em o n i t o r i n g ( c p ul o a d ，m e m o r yl o a d ，f o r e x a m p l e ) t h e r ea r et w ok i n d so ft e c h n o l o g i e st h a ta r ew i d e l yu s e di np e r f o r m a n c e m o n i t o r i n g ，a f t e rs o m ec a r e f u lc o m p a r i n g ，w ed e c i d e dt o u s em r t ga so u r m o n i t o r i n gt e c h n o l o g y ，w ea l s oa d d e dr r d t o o lt o g e t h e rw i t hm r t g , w h i c hc a l l r e m e d ys o m ed r a w b a c k so fm r t g l i nt h i sw a y , w ec a nd e v e l o pab e t t e rm o n i t o r i n g s y s t e m t h e r ea r en o ta n ym o n i t o r i n gt e c h n o l o g i e st h a tc a nm o n i t o rb o t ht h ep e r f o r m a n c e o ft h es y s t e ma n dt h ed i s kt o g e t h e r , s ow eu s es m a r tt e c h n o l o g yt om o n i t o rt h e d i s k s s i n c et h e r ea r em a n yd r a w b a c k si nc u r r e n td i s km o n i t o r i n gs o f t w a r e ，t h i s s y s t e mm a k e sa ni m p r o v e m e n ta n di n n o v m i o no v e rc u r r e n ts y s t e m ，w h i c hi n c l u d e s ： m a k i n gas i n g l ei n t e r f a c eo fd i f f e r e n td i s km a n u f a c t u r e ra n da n a l y z i n gt h es p e c i f i c r e a s o n so fd i f f e r e n td i s kp r o b l e m s t h e s et w ot a s k sc a nh e l pu sm a k eab e t t e r m o n i t o r i n gs y s t e m t h i sm o n i t o r i n gs y s t e mc o m b i n e st h ep e r f o r m a n c ea n dd i s k sm o n i t o r i n g ，a n dt h e a r c h i t e c t u r ea n dm e t h o d st h a ta r eu s e di nt h i ss y s t e mc a na l s ob eu s e dt oa d dm o r e m o n i t o r i n gi t e m st ot h es y s t e m ，i nt h i sw a y , t h i ss y s t e mc a nb ee x t e n d e de a s i l y k e yw o r d s ：v i r t u a ls t o r a g es y s t e mm o n i t o r i n gs y s t e mg a n g l i am r t g s m a r t 獨創(chuàng)性聲明 本人聲明所呈交的學位論文是本人在導師指導下進行的研究工作和取得的 研究成果，除了文中特別加以標注和致謝之處外，論文中不包含其他人已經(jīng)發(fā)表 或撰寫過的研究成果，也不包含為獲得鑫鲞盤堂或其他教育機構(gòu)的學位或證 書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均已在論文中 作了明確的說明并表示了謝意。 學位敝作者躲自缸 簽字日期一- 7 年多月，羅曰 l 學位論文版權(quán)使用授權(quán)書 本學位論文作者完全了解鑫鲞盤堂有關保留、使用學位論文的規(guī)定。 特授權(quán)垂鲞盤鱟可以將學位論文的全部或部分內(nèi)容編入有關數(shù)據(jù)庫進行檢 索，并采用影印、縮印或掃描等復制手段保存、匯編以供查閱和借閱。同意學校 向國家有關部門或機構(gòu)送交論文的復印件和磁盤。 ( 保密的學位論文在解密后適用本授權(quán)說明) 學位論文作者簽名： 餡丕 導師簽名： 簽字日期：砷年月 t b 答字醐：1 引月f 日 天津大學碩士學位論文第一章緒論 i i 問題的提出 第一章緒論 虛擬化技術(shù)并不是一件很新的技術(shù)，它的發(fā)展，應該說是隨著計算機技術(shù)的 發(fā)展而發(fā)展起來的，最早是始于7 0 年代，最典型的應用就是虛擬內(nèi)存技術(shù)。隨 著計算機技術(shù)以及相關信息處理技術(shù)的不斷發(fā)展，人們對存儲的需求越來越大。 這樣的需求刺激了各種新技術(shù)的出現(xiàn)，比如磁盤性能越來越好，容量越來越大。 但是在大量的大中型信息處理系統(tǒng)中，單個磁盤不能滿足需要，這樣的情況下存 儲虛擬化技術(shù)就發(fā)展起來了。在這個發(fā)展過程中也由幾個階段和幾種應用：首先 是磁盤條帶集( r a i d ，可帶容錯) 技術(shù)，將多個物理磁盤通過一定的邏輯關系集合 起來，成為一個大容量的虛擬磁盤。而隨著數(shù)據(jù)量不斷增加和對數(shù)據(jù)可用性要求 的不斷提高，又一種新的存儲技術(shù)應運而生，那就是存儲區(qū)域網(wǎng)絡( s a n ) 技術(shù)。 s a n 的廣域化則旨在將存儲設備實現(xiàn)成為一種公用設施，任何人員，任何主機都 可以隨時隨地獲取各自想要的數(shù)據(jù)【1 1 ；二來的是體系結(jié)構(gòu)的變化：從由小規(guī)模固 定數(shù)目的存儲介質(zhì)組成的存儲系統(tǒng)向由大規(guī)模磁盤陣列組成的虛擬存儲系統(tǒng)的 轉(zhuǎn)變。這種體系結(jié)構(gòu)的革新使得虛擬存儲的設計者們對設計規(guī)模，可靠性，層次 結(jié)構(gòu)以及管理模式這些基礎的考慮因素有了重新的認識：規(guī)模，可靠性成為系統(tǒng) 設計的關鍵因素。另外，由于今天的存儲系統(tǒng)以及網(wǎng)格系統(tǒng)都是由幾百臺，上千 臺節(jié)點組成的，管理功能也已經(jīng)成為非常重要的一個部分，而系統(tǒng)的監(jiān)視功能作 為系統(tǒng)管理的重要功能之一，其重要意義更是不言而喻【2 】。 虛擬存儲系統(tǒng)面臨的一個主要挑戰(zhàn)是可擴展的系統(tǒng)性能監(jiān)視系統(tǒng)。由于現(xiàn)在 的虛擬存儲系統(tǒng)由大規(guī)模的存儲節(jié)點組成，其上頻繁的i o 操作與網(wǎng)絡需求，使 得虛擬存儲系統(tǒng)越來越頻繁地發(fā)生錯誤。為了減少節(jié)點的損耗，以及確保整個系 統(tǒng)的可靠運行，監(jiān)視系統(tǒng)軟件必須能夠迅速診斷出錯誤發(fā)生的現(xiàn)場，從而使得系 統(tǒng)可以自動修復或者手動重新啟動。在大規(guī)模的虛擬存儲系統(tǒng)中，控制臺與存儲 設備間的相互操作非常復雜，監(jiān)視系統(tǒng)捕捉這些相互操作的部分信息并且把它們 顯示出來，使得管理員可以輕松地了解系統(tǒng)的行為?？傊?，當虛擬存儲系統(tǒng)規(guī)模 擴大以及更加分散的時候，系統(tǒng)瓶頸可能出現(xiàn)在多個部分。一個效率高的監(jiān)視系 統(tǒng)可以為管理員提供一個系統(tǒng)的整體視圖，幫助管理員定位錯誤，優(yōu)化系統(tǒng)。 虛擬存儲是一個龐大的系統(tǒng)，里邊涉及到的許多硬件設備的狀態(tài)都會對整個 天津大學碩士學位論文第一章緒論 虛擬存儲產(chǎn)生很大的影響，那么如何有效的對這些設備信息進行監(jiān)視，從而不僅 能夠直觀的看到系統(tǒng)當前的運行情況，更重要的是一可以根據(jù)設備的監(jiān)視信息估 計到可能出現(xiàn)的問題，做到防患于未然，那就可以極大的提高系統(tǒng)的可用性。 1 2 本領域研究概況 為了比較清楚的介紹當前的虛擬存儲監(jiān)視技術(shù)的發(fā)展狀況，我們有必要先簡 單的介紹一下整個虛擬存儲系統(tǒng)的架構(gòu)方式以及其體系結(jié)構(gòu)的特點，以便于我們 理解虛擬存儲的監(jiān)視系統(tǒng)的技術(shù)特點。所謂虛擬存儲，就是把多個存儲介質(zhì)模塊 ( 如硬盤，r a i d ) 通過一定的手段集中管理起來，所有的存儲模塊在一個存儲池 ( s t o r a g ep 0 0 1 ) q 丁得到統(tǒng)一管理，從主機和工作站的角度，看到就不是多個硬盤， 而是一個分區(qū)或者卷，就像是一個超大容量( 如1t 以上) 的硬盤。這種可以將多種， 多個存儲設備統(tǒng)一管理起來，為使用者提供大容量，高數(shù)據(jù)傳輸性能的存儲系統(tǒng)， 就稱之為虛擬存儲p j 。目前虛擬存儲的發(fā)展尚無統(tǒng)一標準，從虛擬化存儲的拓撲 結(jié)構(gòu)來講主要有兩種方式：即對稱式與非對稱式。對稱式虛擬存儲技術(shù)是指虛擬 存儲控制設備與存儲軟件系統(tǒng)、交換設備集成為一個整體，內(nèi)嵌在網(wǎng)絡數(shù)據(jù)傳輸 路徑中；非對稱式虛擬存儲技術(shù)是指虛擬存儲控制設備獨立于數(shù)據(jù)傳輸路徑之 外?？梢姡摂M存儲是一個對磁盤陣列以及網(wǎng)絡情況緊密依賴的系統(tǒng)，所以當前 大多的虛擬存儲監(jiān)視系統(tǒng)也專注于以上兩個方面。 1 2 1 當前的主要監(jiān)視領域 由于監(jiān)視對象的多樣性，在當前的監(jiān)視技術(shù)中，各種不同的監(jiān)視技術(shù)所監(jiān)視 的領域以及監(jiān)視的具體實現(xiàn)方式也是多種多樣的。 從監(jiān)控領域來說，分為系統(tǒng)監(jiān)控、性能監(jiān)控、應用程序監(jiān)控、進程監(jiān)控四個 方面，其監(jiān)控參數(shù)、實現(xiàn)方法也各有千秋。 系統(tǒng)監(jiān)控是比較重要的，它相當于一個虛擬的系統(tǒng)操作員，根據(jù)預先定義的 非正常事件，監(jiān)視一切潛在的系統(tǒng)故障，且撰寫系統(tǒng)日志，以頁面、郵件、信息 的方式通知顯示程序和系統(tǒng)管理員，并自動采取一些應對管理措施，( 如重啟進 程) 在保證系統(tǒng)環(huán)境的可靠和完整性方面扮演著重要的角色。n e t s a i n t 、n c s a 的監(jiān)控腳本c h e c k s y s 都屬于系統(tǒng)監(jiān)控范疇。 性能監(jiān)控專注于計算機系統(tǒng)的整體性能表現(xiàn)，監(jiān)控參數(shù)包括： 各節(jié)點的c p u 使用率( i d l e 、n i c e 、s y s t e m 、u s e r ) 。 各節(jié)點的內(nèi)存使用率( u s e d 、c a c h e d 、b u f f e r e d 、s w a p p e d 、i n c o r e 、s h a r e d ) 。 天津大學碩士學位論文 第一章緒論 各節(jié)點磁盤輸入輸出狀況、用量和空間。 各節(jié)點打開、緩存文件數(shù)。 各節(jié)點網(wǎng)絡狀況，讀寫包、字節(jié)數(shù)。 管理網(wǎng)絡使用率( 接收發(fā)送的字節(jié)) 4 1 。 如p a r m o n 、s u p e r m o n 、g a n g l i a 、m r t g 等都是性能監(jiān)控軟件。 實際監(jiān)控中不僅要收集各個節(jié)點、部件的狀態(tài)性能信息，也應該能反映應用 程序、作業(yè)隊列的運行等待情況，如各個作業(yè)的狀態(tài)、所屬隊列、所屬用戶、所 在節(jié)點、等待時間，以及不同的節(jié)點上作業(yè)占用資源情況以及資源利用率等。 c l u m o n ( o p e np b s ) 、n w p e r f 涉及到了應用程序監(jiān)控。 進程監(jiān)控與安全關系反映最明顯，因為入侵者最少需要運行一些進程才可以 進入系統(tǒng)的節(jié)點，一些非預期進程是安全危機的指示。但是進程監(jiān)控在目前的研 究中還沒有作為單獨的領域由特定的軟件來實現(xiàn)。 1 2 2 當前的主要監(jiān)視方式 根據(jù)系統(tǒng)的不同要求，監(jiān)視也可以有不同的實現(xiàn)方式，總的來說不外乎三種： 軟件實現(xiàn)、硬件實現(xiàn)和軟硬件結(jié)合實現(xiàn)。 硬件實現(xiàn)方式是通過獨立的硬件模塊( 如監(jiān)控卡) 和硬件傳輸網(wǎng)絡進行信息 的采集、判別、故障報告以及加電與斷電的控制操作等。其優(yōu)點在于不占用任何 系統(tǒng)資源，同時也可獲取一些底層硬件信息，缺點在于很難獲取操作系統(tǒng)層或應 用層的一些狀態(tài)信息，同時成本較高。 軟件實現(xiàn)方式一般都是通過基于操作系統(tǒng)之上的后臺守護程序采集系統(tǒng)內(nèi) 部各個部件的狀態(tài)信息，然后通過管理網(wǎng)絡傳遞給運行在特定的節(jié)點機器或者專 用的監(jiān)控機上的監(jiān)控程序，最后以某種特定的方式展現(xiàn)出來。其優(yōu)點在于它能比 較全面的獲取系統(tǒng)信息和應用程序運行狀態(tài)信息，同時成本相對較低；缺點在于 無法獲取底層硬件信息( 電流、電壓、風扇等) ，并占用了一定的系統(tǒng)資源，影 響用戶程序的運行。一般研究機構(gòu)和商業(yè)團體所做的只是軟件監(jiān)控的設計。 軟硬件結(jié)合的方式，將兩者優(yōu)點集與一身，彌補了單純使用軟件或者單純使 用硬件監(jiān)控方式的不足，是理想監(jiān)控系統(tǒng)的實現(xiàn)方式，但實現(xiàn)復雜性比較大，同 時帶來的成本增加也遠高于前兩者1 5 j 。 1 2 3 當前主要監(jiān)視技術(shù) 下面我們列出性能監(jiān)視方面當前一些主要的監(jiān)視技術(shù)的各自優(yōu)缺點： 天津大學碩：卜學位論文第一章緒論 s u p e r m o n & c l u m o n 1 沒有自帶數(shù)據(jù)庫。 2 持續(xù)進行數(shù)據(jù)收集的時候可能會出現(xiàn)中斷。 c a r d 1 不是很穩(wěn)定。 2 有很大的系統(tǒng)負載。 p a r m o n 6 】 1 系統(tǒng)數(shù)據(jù)收集經(jīng)常容易被中斷。 2 客戶端程序比較復雜。 m i 玎g 1 每幅圖上只限畫兩個參數(shù)。 2 監(jiān)視項的數(shù)據(jù)以l o g 形式存儲，耗費資源。 g a n g l i a ， 1 主要面向集群，結(jié)構(gòu)復雜。 2 采用自己的私有協(xié)議來收集數(shù)據(jù)，通用性不好。 s m a f 盯 s m a r t 技術(shù)與上述面向性能監(jiān)視的監(jiān)視軟件不同，它主要專注于磁盤的全 面監(jiān)視。所謂s m a r t ( s e l fm o n i t o ra n a l y s i sr e p o r tt e c h n o l o g y ) ，即自檢測診斷 分析與報告技術(shù)，它是a t a i d e 和s c s i 環(huán)境下都可使用的一種可靠性預測技術(shù)， 可以用來獲得磁盤的各項參數(shù)的數(shù)值，并對磁盤進行各種粒度的自檢掃描，它 是隨著磁盤標準a 1 r a 的不斷發(fā)展而引入的，并且在隨著a t a 標準的不斷發(fā)展而改 善川，目前的許多監(jiān)視軟件都是在s m a r t 技術(shù)的基礎上包裝而成的。s m a r t 技 術(shù)也有自身的一些不足，主要表現(xiàn)在： s m a r t 標準雖然是統(tǒng)一的，但是各個不同的利用s m a r t 技術(shù)的磁盤 監(jiān)視軟件卻沒有完全按照標準來設計，所以引起了不一致。 磁盤監(jiān)視軟件僅僅有磁盤各項參數(shù)的監(jiān)視，卻沒有針對不同參數(shù)項的分 析，不能很好的發(fā)揮監(jiān)視的作用。 1 3 研究的主要問題 針對以上對于當前虛擬存儲監(jiān)視系統(tǒng)的研究現(xiàn)狀的概述，我們看到當前的虛 擬存儲監(jiān)視軟件還存在著很大的改進余地，正是出于以上的目的，本文所描述的 是一個更完善，更實用的監(jiān)視系統(tǒng)，該系統(tǒng)的主要優(yōu)勢如下： 本系統(tǒng)利用m r t g + s n m p 協(xié)議架構(gòu)，不單可以監(jiān)視系統(tǒng)性能( c p u 利 4 天津大學碩二 ：學位論文第一章緒論 用率，網(wǎng)絡流量等) 方面的參數(shù)，而是把它和當前的磁盤監(jiān)視軟件結(jié)合 起來，使它也可以監(jiān)視磁盤溫度等磁盤的參數(shù)信息，實際上，利用本系 統(tǒng)的思路，還可以加入許多s n m p 標準庫中并沒有的監(jiān)視項，例如風扇 轉(zhuǎn)速等。 針對當前磁盤s m a r t 信息過于簡單的事實，將提取出來的s m a r t 信 息分類并根據(jù)不同信息的重要程度進行報警，并且在分析不同參數(shù)出錯 原因的基礎上給出可能的解決辦法。 針對不同廠家的磁盤s m a r t 信息格式不統(tǒng)一的現(xiàn)象以及磁盤陣列中有 磁盤通道卡或者是r a i d 卡存在的情況，采取配置文件的形式對磁盤信 息進行解析，使得用戶不必關心底層的數(shù)據(jù)獲取情況，從而統(tǒng)一了對于 磁盤信息的提取與處理。 天津大學碩士學位論文 第二章文獻綜述 第二章文獻綜述 本章主要介紹當前的監(jiān)視領域。些主流的監(jiān)視技術(shù)與監(jiān)視軟件并在對這些 軟件與技術(shù)的分析與總結(jié)的基礎之上，提出了本監(jiān)視系統(tǒng)的架構(gòu)方式，具體的包 括s n m p 協(xié)議，s o a p 協(xié)議，m r t g ，r r d t o o l ，s m a r t 技術(shù)等， 2 1s n m p 協(xié)議 簡單網(wǎng)絡管理協(xié)議( s i m p l e n e t w o r k m a n a g e m e n tp r o t o c 0 1 ) 是目前網(wǎng)絡上用最 為廣泛的網(wǎng)絡管理協(xié)議。實際上s n m p 指網(wǎng)絡管理的一系列標準，包括協(xié)議、 管理信息結(jié)構(gòu)和一系列管理對象的定義。具體而言就是被管網(wǎng)絡實體中的每個被 管理資源由一個對豫來表示，通過對各種隔絡環(huán)境t 1 所有可能崩到對象的標準化 和規(guī)范化就形成了 個樹型結(jié)構(gòu)的數(shù)據(jù)庫并命名為m i b ( m a n a g e m e n t i n f o r m a t i o nb a s e 管理信息庫) 。為了滿足協(xié)同操作的要求，s n m p 協(xié)議還提供對 m i b 庫的統(tǒng)一定義方法。通過s n m p 報文的變換，阿絡管理站對代理進程中的相 應m i b 對象進行讀( g e t 。) 、寫( s e t ) 操作，就實現(xiàn)了監(jiān)視被管理網(wǎng)絡實體的系統(tǒng)資 源和其運轉(zhuǎn)狀況，進而通過修改這些對象值來控制系統(tǒng)中資源的目的p l ，更為重 要的一點在于，s n m p 允許我們在一個指定的節(jié)點位置2f ( 通常為編號為1 9 0 4 0 的節(jié)點也被稱為私有節(jié)點) 擴展標準的m i b 庫，從而加入我們自己關心的，希 望能夠監(jiān)視的監(jiān)視項腳，圖2 - 】是個m i b 庫的結(jié)構(gòu)示意圖： 益一翻一 ，圈 圖2 - j標準m i b 庫 天津大學碩士學位論文第二章文獻綜述 我們可以在上述m i b 庫的一個指定的節(jié)點上加以擴展，從而加入我們需要 監(jiān)視的數(shù)據(jù)項( 例如磁盤溫度等) ，從而利用標準的s n m p 來實現(xiàn)對設備的監(jiān)視。 s n m p 管理的網(wǎng)絡有三個主要組成部分：管理的設備、代理和網(wǎng)絡管理系統(tǒng)。 管理設備是一個網(wǎng)絡節(jié)點，包含s n m p 代理并處在管理網(wǎng)絡之中【1 0 1 。被管理的 設備用于收集并儲存管理信息。通過s n m p ，網(wǎng)絡管理系統(tǒng)能得到這些信息。被 管理設備，有時稱為網(wǎng)絡單元，可能指路由器、訪問服務器，交換機和網(wǎng)橋、 h u b s 、主機或打印機。s n m p 代理是被管理設備上的一個網(wǎng)絡管理軟件模塊。 s n m p 代理擁有本地的相關管理信息，并將它們轉(zhuǎn)換成與s n m p 兼容的格式。 網(wǎng)絡管理系統(tǒng)運行應用程序以實現(xiàn)監(jiān)控被管理設備。此外，網(wǎng)絡管理系統(tǒng)還為網(wǎng) 絡管理提供了大量的處理程序及必須的儲存資源。任何受管理的網(wǎng)絡至少需要一 個或多個網(wǎng)絡管理系統(tǒng)，關于s n m pc l i e n t 以及s n m p a g e n t 的關系可以參 照下圖： 圖2 - 2 s n m pc l i e n t ，a g e n t 示意圖 m r t g ( m u l t ir o u t e rt r a f f i cg r a p h e r ；m r t g ) 是一個監(jiān)控網(wǎng)絡鏈路流量負載 的工具軟件，它通過s n m p 協(xié)議得到設備的流量信息，并將流量負載以包含p n g 格式的圖形的h t m l 文檔方式顯示給用戶，以非常直觀的形式顯示流量負載1 1 1 】。 m r t g 最初提出的時候確實是用于分析網(wǎng)絡流量的一些問題，但是實際上任何你 可以想到的與時間有關的參數(shù)都可以通過m r t g 來監(jiān)視，網(wǎng)絡流量，c p u 負載， 溫度，濕度，甚至是海潮等等【l2 1 ，m r t g 的工作主要由它的配置文件m r t g c 龜來 完成，m r t g c f g 指定了m r t g 工作的方方面面的細節(jié)，靈活使用m r t g 的過程，也 就是逐步掌握m r t g c f g 的配置的過程，以下是一個利用m r t g 實現(xiàn)的監(jiān)視圖像的 7 天津大學碩士學位滄文 第二- j 靄文獻綜述 示意罔 w t k + ” 二；：點：篙：蠢燕：曼愛： 圖2 - 3m r t g 顯示圈 m r t g 使用的是s n m p 作為其底層數(shù)據(jù)收集的協(xié)議，它的不足表現(xiàn)為： 只有是神ts n m p 協(xié)議的m i b ( 標準信息管理庫) 中定義的監(jiān)視項才 可以成為m r t g 監(jiān)視的內(nèi)容，否則就要對m 1 b 進行擴展。 m r t g 的數(shù)據(jù)采取l o g 的形式保存，隨著數(shù)據(jù)量的不斷增大，會急 劇的消耗系統(tǒng)資源。 m r t g 每張圖小只可以顯示兩個監(jiān)視項不利于許多個數(shù)據(jù)的比較。 所以當前使用m r t g 的監(jiān)視系統(tǒng)總是和r r d t o o l 一起使用，r r d t o o l 其實是一種特殊的數(shù)據(jù)庫它彌樸丁m r t g 的一些重要的不足。 2 3r r d t o o l 數(shù)據(jù)庫 r r d t o o l 代表“r o u n dr o b i nd a t a b a s et o o l ”作者同時也是m r t g 軟件的 開發(fā)者。 所謂的“r o u n dr o b i n ”其實是一種存儲數(shù)據(jù)的方式使用固定大小的空間來 存儲數(shù)據(jù)，并有一個指針指向最新的數(shù)據(jù)的位置。我們可以把用于存儲數(shù)據(jù)的 數(shù)據(jù)庫的空問看成一個圓，上面有很多刻度。這些刻度所在的位置就代表用于存 儲數(shù)據(jù)的地方。所謂指針可以認為是從圓心指向這些刻度的一條直線。指針會 齄著數(shù)據(jù)的讀寫自動移動。要注意的是，這個圓沒有起點和終點，所以指針可“ 一直移動，而不用擔心到達終點后就無法前進的問題。在一段時間后，當所有的 空間都存滿了致?lián)?，就又從頭開始存放。這樣整個存儲空間的大小就是一個固定 的數(shù)值。所以r r d t o o l 就是使用類似的方式來存放數(shù)據(jù)的工具，r r d t o o l 所 使用的數(shù)據(jù)庫文件的后綴名是“r r d 。 m r t g 的監(jiān)視系統(tǒng)之所以總是和r r d t o o l 一起使用，是因為它解決了 m r t g 的兩個主要問題： 天津大學碩士學位論文第二章文獻綜述 r r d t o o l 的大小有一個最大值，隨著數(shù)據(jù)庫數(shù)據(jù)的不斷增多，一些比 較老的數(shù)據(jù)會進行響應的合并，從而為新的數(shù)據(jù)的插入騰出空間，這樣， 即使隨著數(shù)據(jù)的不斷增多，也不會使得數(shù)據(jù)庫的大小無限制的增大， r r d t o o l 的這種特性，使得它很適合用來作為監(jiān)視的數(shù)據(jù)庫。 砌m t o o l 的另一個優(yōu)勢在于，它有著比m r t g 豐富的多的參數(shù)，從而 可以繪制出更為細膩和個性化的圖像，更主要的是r r d t o o l 允許在同 一張圖上繪制多個圖像，這樣就便于圖像的比較。 r r d t o o l 還有一些其余的優(yōu)勢，主要表現(xiàn)為： 首先r r d t o o l 存儲數(shù)據(jù)，扮演了一個后臺工具的角色。但同 時r r d t o o l 又允許創(chuàng)建圖表，這使得r r d t o o l 看起來又像是前端工 具。其他的數(shù)據(jù)庫只能存儲數(shù)據(jù)，不能創(chuàng)建圖表。 其他數(shù)據(jù)庫只是被動的接受數(shù)據(jù)，r r d t o o l 可以對收到的數(shù)據(jù)進行計 算，例如前后兩個數(shù)據(jù)的變化程度( r a t eo fc h a n g e ) ，并存儲該結(jié)果。 r r d t o o l 要求定時獲取數(shù)據(jù)，其他數(shù)據(jù)庫則沒有該要求。如果在一個 時間間隔內(nèi)( h e a r t b e a t ) 沒有收到值，則會用u n k n o w 代替，其他數(shù) 據(jù)庫則不會這樣1 1 4 1 。 也就是說，r r d t o o l ( r o u n dr o b i nd a t a b a s e ) 本質(zhì)上是一種數(shù)據(jù)庫，其特色 在于它的數(shù)據(jù)庫的大小有一個最大值，隨著數(shù)據(jù)庫數(shù)據(jù)的不斷增多，一些比較老 的數(shù)據(jù)會進行響應的合并，從而為新的數(shù)據(jù)的插入騰出空間，這樣，即使隨著數(shù) 據(jù)的不斷增多，也不會是的數(shù)據(jù)庫的大小無限制的增大，黜t o o l 的這種特性， 使得它很適合用來作為監(jiān)視的數(shù)據(jù)庫，而且r r d t o o l 的另一個優(yōu)勢在于，它有 著比m r t g 豐富的多的參數(shù)，從而可以繪制出更為細膩和個性化的圖像1 1 5 1 。不過 需要說明的一點是，在m r t g 和砌m t o o l 合起來使用的時候，它們是公用m r t g 的配置文件m r t g c f g 的，而關于r r d t o o l 的具體的一些參數(shù)的控制是在程序中實 現(xiàn)的，以下是利用m r t g + r r d t o o l 所繪制出來的圖像的示例，可以看到，它更 加豐富，也更加美觀： 天律大學碩士學位論文第二章文獻綜述 - 囂；：。冒 “ 一。一：、 ：= 罷i ：t： ：= ：二。：? ： 。；寰：“；：。：。：j ： 圖2 - 4r r d t o o l 顯示圖 2 4g a n g l i a 監(jiān)視技術(shù) g a n g l i a 與m r t g 是當前監(jiān)視領域使用最為廣泛的兩種監(jiān)視技術(shù)，兩種 不同的技術(shù)有各自的長處與不足： g a n g l i a 是種主要話l 對集群系統(tǒng)的監(jiān)視軟件，和m r t g 相比，它的優(yōu) 勢在于： g a n g l i a 的使用與配置比較簡單，它可以比較容易的集成在當前系統(tǒng)之中。 當系統(tǒng)的規(guī)模比較大的時候，由于g a n g l i a 有比較復雜的體系結(jié)構(gòu)，所以 比較適臺于監(jiān)視大規(guī)模的集群系統(tǒng)。 但是g a n g l i a 也有其顯著的缺點，主要表現(xiàn)為： g a n g l i a 對于低層數(shù)據(jù)采集使用的是自己的私有協(xié)議，而m r t g 采用的是通 用的s n m p 協(xié)議所以其通用性更好。 g a n g l i a 主要是針對分布式監(jiān)視開發(fā)的個監(jiān)視軟件，它的體系結(jié)構(gòu)比較復雜 i f 6 1 , 所以對系統(tǒng)資源的消耗也比較嚴重，把它作為對實時性要求掘高的虛擬 系統(tǒng)的監(jiān)視軟件，是不合適的。 天津大學碩士學位論文第二章文獻綜述 2 5 磁盤監(jiān)視技術(shù) a 鶻鈀ra l 辮k i t 圖2 - 5g a n g l 執(zhí)結(jié)構(gòu)圖 在磁盤監(jiān)視方面，當前的磁盤監(jiān)視與控制方式，主要可以分為以下幾種： 對支持s m a r t 功能的硬盤，可以定期通過s m a r t 命令查詢磁盤狀態(tài)，一 旦發(fā)現(xiàn)磁盤健康狀況異常，就產(chǎn)生報警。 在磁盤空閑時，使用s t a n d b y ，s l e e p 命令，使磁頭停轉(zhuǎn)，避免空轉(zhuǎn)造 成的磨損，在磁盤正常狀態(tài)下，磁盤內(nèi)部無論忙閑都處于高速旋轉(zhuǎn)狀態(tài)。 對支持命令隊列的磁盤和磁盤控制器，可以使用命令隊列，將執(zhí)行命令的順 序改變，減少執(zhí)行命令過程中磁頭整體的運動。 對于以上后兩條控制方式，有必要做以下說明： a t a 硬盤通常有四種運行狀態(tài)i l7 j ( 見表1 1 ) ： 表1 1磁盤狀態(tài)表 狀態(tài) 含義 a c t i v e 磁盤用電正常，盤片始終處于 高速旋轉(zhuǎn)狀態(tài) i d l e 磁頭的讀寫電流關閉，但是磁盤 并沒有停止旋轉(zhuǎn)，耗電和磨損比 n o r m a l 狀態(tài)低一鑿 天律大學碩士學位論文第二章文獻綜述 s t a n d b y 讀寫電流關閉，磁盤也停止了旋 轉(zhuǎn)，耗電和磨損更低，通常在1 瓦以下 s l e e p磁盤基本已經(jīng)不工作，只保留喚醒 電工作，處于最低耗電狀態(tài) 磁盤的四種工作狀態(tài)可以通過一組電源管理命令相互轉(zhuǎn)換，也就是說磁盤的 電源管理功能本來是為了減少功耗設置的。但是，我們可以用它來降低磁盤的磨 損，延長磁盤的使用壽命。因為關閉磁頭的讀寫電路，可以減少磁盤的耗電，而 且降低電磁方面的干擾，停止磁頭的轉(zhuǎn)動，可以減少磁盤的磨損。當然，這樣做 的前提是磁盤有一段比較長的空閑時間。如果磁盤一直都很忙，停止磁盤工作只 會使磁盤的磁頭頻繁地啟動加速停止，反而增加了磁盤的機械磨損，降 低磁盤的使用壽命。 命令隊列技術(shù) 命令隊列的方法是從s c s i 的t c q 命令借鑒發(fā)展起來的。這項技術(shù)的核心就 是將一組命令按照磁頭運動最小的原則排成隊列，在隊列中進行。這樣，命令隊 列技術(shù)可以提高磁盤的讀寫性能( 磁頭的機械運動相對于電子讀寫消耗更長的時 間) ，同時，由于減少了磁頭的運動，客觀上降低了對磁盤的磨損，有助于提高 磁盤的使用壽命。但是，由于p a t a 協(xié)議本身的局限，執(zhí)行命令隊列的效率很低， 所以很少有p a t a 磁盤支持命令隊列功能。s a t a2 的標準擴展了命令隊列的支持， 提出t n c q 的命令集，將會受到磁盤廠商比較普遍的支持。但是從現(xiàn)在的情況看 來，使用這種方式還是具有很大的局限性吲。 可以看到，以上的兩種磁盤的控制方式，從本質(zhì)上來講都是由一些單獨的管 理命令來實現(xiàn)的，這種監(jiān)控方式的缺陷在于它們并不能全面的反映磁盤的各種參 數(shù)的數(shù)值大小，而且由于電源管理功能的使用必須要求磁盤有一定時間的空閑時 間之后，而如何判別磁盤是否空閑，這本身就需要磁盤s m a r t 技術(shù)的支持，而 且我們也提到，命令隊列的方法由于其協(xié)議的局限性，也沒有被普遍使用。所以 當前的磁盤監(jiān)控系統(tǒng)主要還是以基于s m a r t 的磁盤監(jiān)視的軟件眾多，比較常用 的有a c t i v es m a r t ，s m a r tm o n t o o l s 等，但是各種各樣的軟件其基本原 理都是一樣的，就是利用s m a r t 技術(shù)將磁盤的各種參數(shù)提取出來，然后以頁面 的形式顯示出來，所謂s m a r t ( s e l f - m o n i t o r i n g ，a n a l y s i sa n dr e p o r t i n g t e c h n o l o g y ) 技術(shù)，是一種磁盤的自我監(jiān)視，分析與報告技術(shù)，由于硬盤的容量 越來越大，為了保證數(shù)據(jù)的安全性，硬盤廠商都在努力尋求一種硬盤安全監(jiān)測機 制，s m a r t 技術(shù)便應運而生。s m a r t 即“自我監(jiān)測、分析及報告技術(shù)”。它 天津大學碩士學位論文第二章文獻綜述 可以監(jiān)控磁頭、磁盤、電機、電路等部件，由硬盤的監(jiān)測電路和主機上的監(jiān)測軟 件對被監(jiān)控對象的運行情況與歷史記錄和預設的安全值進行分析、比較，一旦出 現(xiàn)安全值范圍以外的情況，它就會自動向用戶發(fā)出警告。而更先進的技術(shù)還可以 自動降低硬盤的運行速度，把重要數(shù)據(jù)文件轉(zhuǎn)存到其它安全扇區(qū)，通過s m a r t 技術(shù)可以對硬盤潛在故障進行有效預測，提高數(shù)據(jù)的安全性，它是a t a i d e 和 s c s i 環(huán)境下都可使用的一種可靠性預測技術(shù)，可以用來獲得磁盤的各項參數(shù)的數(shù) 值，并對磁盤進行各種粒度的自檢掃描，它是隨著磁盤標準a r a 的不斷發(fā)展而 引入的，并且在隨著a t a 標準的不斷發(fā)展而改善【l9 】，下面我們簡單的介紹一下 s m a r t 技術(shù)( 見表l - 2 ) ： s m a r t 技術(shù)有各種各樣的命令，比較重要的有以下幾條： 表1 - 2s m a r t 命令表 狀態(tài)含義 s m a r te n a b l e使能所有s m a r t 操作 o p e r a t i o n s s m a r td l s a b l e禁止所有s m a r t 操作 o p e r a t i o n s s 【a r tr e a dd a t a讀取設備的s m a r t 數(shù)據(jù)，在這個 命令中，可以通過p i o d a t a i n 的 協(xié)議獲得5 1 2 字節(jié)的s m a r t 信息 s m a i u r e a dl o g讀取設備的s m a r t 錯誤日志 s m a r te n a b l e使能所有s m a r t 操作 o p e r a t i o n s s m a r tr e t u r ns t a t u s 可以直接判斷硬盤運轉(zhuǎn)是否正常 利用s m a r t 命令，可以得到磁盤自檢測的結(jié)果，配合監(jiān)控報警系統(tǒng)，可以 檢測磁盤的狀態(tài)，形成報警，提醒用戶及時換盤。但是，s m a r t 信息各個廠商 定義的不同，需要分別獲取。 現(xiàn)在市場上有不少利用s m a r t 技術(shù)做成的軟件，用來對磁盤的運行狀況進 行監(jiān)視，以下是一種叫做a c t i v es m a r t 的軟件的運行界面1 2 0 1 ： 天津大學碩士學位論文 筇一章文獻綜述 罔2 - 6 a c t i v es m a r t 運行陶 從上邊的運行界面中我們可以看到，a c t i v es m a r t 列出了磁盤的許多重 要屬性的當前值以及參考值，這些值就足我們進行磁盤信息提取與解析的基礎。 但是與此同時我們也發(fā)現(xiàn)當前比較流行的s m a r t 工具( 例如a c t i v e s m a r t ) 基本上都具有如下的缺陷： 當前磁盤工具只是給出了簡單的參數(shù)信息名稱，而對于這個參數(shù)的具體 含義并、沒有說明。 磁盤的信息是可以根據(jù)其不同的含義而進行分類的，并且對于不同的磁 盤信息，我們實際上應該在出錯之后采取不同的措施。 各個磁盤制造商之問雖然可能都采用了s a m r t 技術(shù)忭為其磁盤監(jiān)控保 護的一種方式，但是磁盤商之間的標準并不統(tǒng)，可能對f 磁盤的同一 個屬性卻采用了不同的名稱，不利于對各類的磁盤進行統(tǒng)一處理。 虛擬存儲往往是一個r a i d 系統(tǒng)，所以有磁盤通道卡或者是r a i d 卡存 在這類卡片禁j e 了外界通過s m a r t 命令與r a i d 陣列里的磁盤直接 交互而是提供了自己的一套磁盤監(jiān)控保護的命令，外界的必須使用磁 盤卡的命令來得到陣列內(nèi)磁盤的s m a r t 信息這就更造成了不統(tǒng)一。 本系統(tǒng)正是要從這些不足之處入手，通過對磁盤陣列的底層接u 的統(tǒng)一以及 封于不同的s m a r t 參數(shù)的具體分析來構(gòu)建一個更為有效的j 晦視系統(tǒng)。 2 6s o a p 協(xié)議 簡單對象訪問協(xié)議( s o a p ) 是一種輕量的、簡單的、基于x m l 的協(xié)議， 它被設計成在w e b 上交換結(jié)構(gòu)化的和同化的信息。s o a p 可以和現(xiàn)1 竽的許多因 天津大學碩士學位論文第二章文獻綜述 特網(wǎng)協(xié)議和格式結(jié)合使用，包括超文本傳輸協(xié)議( h t t p ) ，簡單郵件傳輸協(xié)議 ( s m t p ) ，多用途網(wǎng)際郵件擴充協(xié)議( m i m e ) 。它還支持從消息系統(tǒng)到遠程過 程調(diào)用( r p c ) 等大量的應用程序。簡單對象訪問協(xié)議是在分散或分布式的環(huán)境 中交換信息的簡單的協(xié)議，它包括四個部分： s o a p 封裝( e n v e l o p ) ，封裝定義了一個描述消息中的內(nèi)容是什么，是誰發(fā)送 的，誰應當接受并處理它，以及如何處理它們的框架。 s o a p 編碼規(guī)貝j j ( e n c o d i n gr u l e s ) ，用于表示應用程序需要使用的數(shù)據(jù)類型的實 例。 s o a pr d c ( r p cr e p r e s e n t a t i o n ) ，表示遠程過程調(diào)用和應答的協(xié)定。 s o a p 綁定( b i n d i n g ) ，使用底層協(xié)議交換信息【2 1 1 。 本系統(tǒng)中為了在整個系統(tǒng)中保持數(shù)據(jù)的一致性，防止數(shù)據(jù)冗余，在初始化磁 盤對象的時候，采用的都是s o a p 協(xié)議的遠程對象方式，這樣就很好的保持了數(shù) 據(jù)的一致性。 2 7c g i 技術(shù) c g i ( c o m m o ng a t e w a yi n t e r f a c e ) 是h r 印服務器與你的或其它機器上的程序 進行“交談”的一種工具；其程序必須運行在網(wǎng)絡服務器上，絕大多數(shù)的c g i 程序 被用來解釋處理來自表單的輸入信息，并在服務器產(chǎn)生相應的處理，或?qū)⑾鄳?信息反饋給瀏覽器，也就說c g i 程序使網(wǎng)頁具有交互功能。c g i 的具體處理步 驟如下： ( 1 ) 通過i n t e m e t 把用戶請求送到服務器。 ( 2 ) 服務器接收用戶請求并交給c g i 程序處理。 ( 3 ) c g i 程序把處理結(jié)果傳送給服務器。 ( 4 ) 服務器把結(jié)果送回到用戶瞄】。 本監(jiān)視系統(tǒng)所要實現(xiàn)的功能之一就是允許管理員在w e b 頁面上選擇監(jiān)視圖 像的各種類型( 日，月，年等) ，所以需要c g i 技術(shù)來在服務器上運行相關的程 序來返回管理員所希望得到的圖像。需要強調(diào)的一點是：c g i 程序不是放在服務 器上就能順利運行，如果要想使其在服務器上順利的運行并準確的處理用戶的請 求，則須對所使用的服務器進行必要的設置，在本系統(tǒng)中采用的是a p a c h e 服 務器，所以也有必要對a p a c h e 服務器的一些參數(shù)進行具體的配置與修改。 天津大學碩士學位論文 第三章系統(tǒng)的基本結(jié)構(gòu) 3 1 監(jiān)視模式的選擇 第三章系統(tǒng)的基本架構(gòu) 3 1 1 監(jiān)視的實現(xiàn)方式 在監(jiān)視的實現(xiàn)方式方面，采取軟件監(jiān)視的策略，主要依據(jù)如下： 考慮到對于虛擬存儲的監(jiān)視主要是對其系統(tǒng)的性能的監(jiān)視，包括( c p u ， m e m o r y ，d i s k ，n e t f l o w 等) ，而并不關心其底層的諸如電流、電壓、 風扇等硬件信息，所以并不需要采取硬件監(jiān)視的方式。 虛擬存儲是對實時性要求很高的系統(tǒng)，所以其監(jiān)視系統(tǒng)必須是相對簡單，消 耗系統(tǒng)資源少的一個系統(tǒng)，雖然軟硬件結(jié)合的方式在理論上來講是理想的監(jiān) 控系統(tǒng)的實現(xiàn)方式，但是其復雜性太大，成本過高。 虛擬存儲的監(jiān)視系統(tǒng)只是其管理系統(tǒng)中的一個子模塊，必須考慮與管理系統(tǒng) 中的其余模塊的兼容性，由于本監(jiān)視子系統(tǒng)將依附的虛擬存儲管理模塊完全 采取了軟件實現(xiàn)的方式，所以本監(jiān)視子系統(tǒng)也采取了軟件的實現(xiàn)方式。 3 1 2 監(jiān)視領域 在監(jiān)視領域的選擇上，我們專注于性能監(jiān)視。因為虛擬存儲系統(tǒng)是一個對節(jié) 點的c p u 使用率，網(wǎng)絡流量情況和磁盤陣列情況比較敏感的系統(tǒng)，所以我們有 必要重點監(jiān)視系統(tǒng)各個節(jié)點的性能如何，以便于我們及時的發(fā)現(xiàn)系統(tǒng)的性能瓶 頸，從而采取不同的應對措施。至于監(jiān)視領域中的應用程序監(jiān)控，進程監(jiān)控等方 面，由于并不是虛擬存儲系統(tǒng)所關注的要點所在，所以在本系統(tǒng)中并沒有實現(xiàn)。 3 1 3 監(jiān)視軟件 在監(jiān)視軟件的選擇上，我們采取m r t g + r r d l o o l 的架構(gòu)方式。當前可以對 于系統(tǒng)性能進行監(jiān)視的比較流行的軟件主要有兩種：g a n g l i a 與m r t g 。在對比 兩種監(jiān)視軟件各自的特點之后，本系統(tǒng)采取m r t g 作為系統(tǒng)的實現(xiàn)方式，具體 原因如下： g a n g l i a 對于低層數(shù)據(jù)采集使用的是自己的私有協(xié)議，而m r t g 采用的 1 6 大律人學碩j 學位論文 第三章景統(tǒng)的基本結(jié)構(gòu) 是通用的s n m p 阱議所以其通用性更好。 g a n g l i a 主要是針對分布式監(jiān)視開發(fā)的個監(jiān)桃軟件它的體系結(jié)構(gòu)比較 復雜把它作為對實時性要求根高的虛擬系統(tǒng)的監(jiān)視軟件不臺適。 監(jiān)視子系統(tǒng)h 是虛擬存儲管理系統(tǒng)的子模塊必須考慮到它與已有系統(tǒng) 的兼容性而已有系統(tǒng)的數(shù)據(jù)聚集與數(shù)據(jù)交換，基奉上是在s n m p 的協(xié) 議f 開發(fā)的所以采用m r t g + s n