軟件可靠性測評

軟件可靠性測評提要軟件可靠性測試軟件可靠性模型軟件可靠性評估測試—統(tǒng)計規(guī)則IBM關(guān)于缺陷與故障的統(tǒng)計研究數(shù)據(jù)客戶所看到的57%以上的故障是由占缺陷總數(shù)2%以下的缺陷引起的；超過總數(shù)61%的缺陷只引起低于3%的客戶將會經(jīng)歷的故障；不同的缺陷在所引發(fā)的故障率上存在高達(dá)4個數(shù)量級的巨大差異。測試—定義一種為了滿足用戶對軟件的可靠性要求，通過對軟件進(jìn)行測試，發(fā)現(xiàn)并糾正軟件中的缺陷，提高軟件的可靠性水平，并驗證它能否達(dá)到用戶可靠性要求的軟件測試方法。測試—優(yōu)點需求確認(rèn)資源和進(jìn)度預(yù)測有效并高效地測試量化測試管理可靠性預(yù)測測試—目的驗證軟件可靠性滿足給定的要求評估軟件可靠性水平預(yù)計軟件可靠性水平實現(xiàn)軟件可靠性增長測試—時機軟件系統(tǒng)測試后期軟件可靠性測試與系統(tǒng)測試的關(guān)系測試—類別軟件可靠性增長測試(SoftwareReliabilityGrowthTesting)在軟件交付前進(jìn)行，通過可靠性測試暴露軟件缺陷，采取有效地措施排除失效率較大的缺陷，以提高交付軟件的可靠性軟件可靠性驗證測試(SoftwareReliabilityDemonstrationTesting)在軟件確認(rèn)階段進(jìn)行，驗證軟件需求規(guī)范中軟件可靠性目標(biāo)的滿足情況，在測試過程中不進(jìn)行軟件缺陷消除測試—驗證方案無失效運行時間間隔測試(Failure-FreeExecutionIntervalTest)要求在指定時間內(nèi)測試給定數(shù)量的樣品。如果在測試期間沒有失效發(fā)生，則認(rèn)為軟件或系統(tǒng)滿足可靠性要求定時截尾可靠性驗證測試(Fixed-LengthReliabilityDemonstrationTest)序貫可靠性驗證測試(Probability-RationSequentialReliabilityDemonstrationTest)測試—演示圖12010862416140246810規(guī)格化的單位失效數(shù)繼續(xù)接受拒絕Fail.No.McallsatFailureNormalizedUnits1230.003750.006250.0250.751.255

Failureintensityobjective:200failures/Mcalls測試—特征用系統(tǒng)的預(yù)期使用域作為模型來指導(dǎo)測試用例的選擇或生成根據(jù)故障率的等級、功能使用頻度和重要性來檢測軟件產(chǎn)品錯誤可靠性測試是面向故障的測試方法可靠性測試既有助于軟件可靠性增長也可用于軟件可靠性評價測試—方法基于統(tǒng)計模型的可靠性測試測試用Markov鏈描述軟件的使用結(jié)構(gòu)構(gòu)造和統(tǒng)計分配依據(jù)Markov模型上每個狀態(tài)出邊所關(guān)聯(lián)的遷移概率，通過遍歷使用模型的狀態(tài)可以生成測試用例測試—方法基于操作剖面的可靠性測試方法用操作剖面描述軟件的使用分層建立操作剖面：客戶剖面、用戶剖面、系統(tǒng)模式剖面、功能剖面和操作剖面每個操作對應(yīng)若干個運行測試—過程定義“必要的”可靠性開發(fā)測試模型準(zhǔn)備測試執(zhí)行測試應(yīng)用失效數(shù)據(jù)得到結(jié)論需求分析設(shè)計與實現(xiàn)集成與測試測試—定義指標(biāo)失效嚴(yán)重程度分類一組單個出現(xiàn)時對用戶產(chǎn)生相同影響的失效對失效指定嚴(yán)重程度，主要是為了結(jié)合失效頻率來解決失效的優(yōu)先級失效強度測試—失效分類舉例1失效嚴(yán)重程度定義(經(jīng)濟損失)1>100000210000~10000031000~100004<1000測試—失效分類舉例2失效嚴(yán)重程度定義(對操作的影響)1用戶不能進(jìn)行一項或多項關(guān)鍵操作2用戶不能進(jìn)行一項或多項重要操作3用戶不能進(jìn)行一項或多項操作，但是有補救辦法4一項或多項操作中的小缺陷測試—操作剖面開發(fā)操作剖面是二維向量的集合，定義為：profile={(item1，p1)，(item2，p2)，…(itemn，pn)}itemi代表操作剖面中所包含的互不相交的元素中的一個，item1∩item2∩……∩itemn＝Φpi代表第i個元素的權(quán)值或是發(fā)生的概率。測試—建立操作剖面用操作剖面描述軟件的使用分層建立操作剖面客戶剖面(CP，CustomerProfile)用戶剖面(UP，UserProfile)系統(tǒng)模式剖面(SP，SystemmodeProfile)功能剖面(FP，F(xiàn)unctionProfile)操作剖面(OP，OperationalProfile)測試—建立操作剖面建立客戶剖面CP={(c1,pc1),(c2,pc2),……,(cn,pcn)}為客戶剖面中的客戶構(gòu)建用戶剖面UPc1={(u1,pc1_u1),(u2,pc1_u2),……,(um,pc1_um)}UPc2={(u1,pc2_u1),(u2,pc2_u2),……,(um,pc2_um)}……Upcn={(u1,pcn_u1),(u2,pcn_u2),……,(um,pcn_um)}測試—建立操作剖面對相同類型的用戶進(jìn)行合并，若用戶ui有m個同類，則用戶ui出現(xiàn)的概率為：得到用戶剖面UP={(u1,pu1)，(u2pu2)，……，(umpum)}測試—建立操作剖面同理，可以得到系統(tǒng)模式剖面、功能剖面和操作剖面SP={(s1,ps1)，(s2,ps2)，……，(sn,psn)}FP={(f1,pf1)，(f2,pf2)，……，(fn,pfn)}OP={(o1,po1)，(o2po2)，……，(on,pon)}測試—操作剖面實例確定操作模式確定操作的發(fā)起者選擇表示方法(表格/圖形)創(chuàng)建操作表確定出現(xiàn)率確定出現(xiàn)概率考慮特殊情況測試—操作表例子操作發(fā)起者操作用戶電話號碼輸入系統(tǒng)管理員增加用戶刪除用戶電話網(wǎng)處理語音呼叫，無尋呼，有應(yīng)答處理語音呼叫，無尋呼，無應(yīng)答處理語音呼叫，有尋呼，有應(yīng)答處理語音呼叫，有尋呼，有對尋呼的應(yīng)答處理語音呼叫，有尋呼，無對尋呼的應(yīng)答處理傳真呼叫系統(tǒng)控制器審計電話號碼數(shù)據(jù)庫恢復(fù)硬件失效測試—操作出現(xiàn)率操作出現(xiàn)率(每小時操作個數(shù))電話號碼輸入10000增加訂戶50刪除訂戶50處理語音呼叫，無尋呼，有應(yīng)答18000處理語音呼叫，無尋呼，無應(yīng)答17000處理語音呼叫，有尋呼，有應(yīng)答17000處理語音呼叫，有尋呼，有對尋呼的應(yīng)答12000處理語音呼叫，有尋呼，無對尋呼的應(yīng)答10000處理傳真呼叫15000審計電話號碼數(shù)據(jù)庫900恢復(fù)硬件失效0.1測試—出現(xiàn)概率操作出現(xiàn)概率電話號碼輸入0.10增加訂戶0.0005刪除訂戶0.0005處理語音呼叫，無尋呼，有應(yīng)答0.18處理語音呼叫，無尋呼，無應(yīng)答0.17處理語音呼叫，有尋呼，有應(yīng)答0.17處理語音呼叫，有尋呼，有對尋呼的應(yīng)答0.12處理語音呼叫，有尋呼，無對尋呼的應(yīng)答0.10處理傳真呼叫0.15審計電話號碼數(shù)據(jù)庫0.009恢復(fù)硬件失效0.000001測試—準(zhǔn)備測試用例估計當(dāng)前版本所需新測試用例的數(shù)量通過隨機選取測試的操作，為每個操作對應(yīng)若干個運行在被測系統(tǒng)之間分配新測試用例的數(shù)量在每個系統(tǒng)的操作之間分配新測試用例的數(shù)量指定新的測試用例將新測試用例加入測試用例集測試—充分性準(zhǔn)則依據(jù)可靠性要求和評估的置信度確定的執(zhí)行時間測試剖面和操作剖面吻合需求的覆蓋測試—操作剖面特點優(yōu)點通過分解，可以處理規(guī)模較大的系統(tǒng)測試用例的規(guī)模較均勻不足測試執(zhí)行缺乏連續(xù)性高使用概率的功能被重復(fù)測試測試—Markov模型未激活終止準(zhǔn)備狀態(tài)1狀態(tài)2狀態(tài)3狀態(tài)4S,1.00G,0.50B,0.30R,0.20G,1.00A,0.50B,0.40R,0.10R,0.30C,0.25D,0.50E,0.25F,0.70測試—建立Markov模型用Markov鏈描述軟件的使用結(jié)構(gòu)構(gòu)造統(tǒng)計分配測試—結(jié)構(gòu)構(gòu)造空裝載滿Pop/EmptyStackExceptionPop[n>1]/returntop(x)Pop[n==1]/returntop(x)push(x)push(x)[n<max-1]Push/FullStackExceptionpush(x)[n==max-1]Pop/returntop(x)測試—統(tǒng)計分配空裝載滿Pop/EmptyStackException,0.05Pop[n>1]/returntop(x),0.40Pop[n==1]/returntop(x),0.10push(x),0.95push(x)[n<max-1],0.40Push/FullStackException,0.05push(x)[n==max-1],0.10Pop/returntop(x),0.95測試—生成測試用例通過觸發(fā)當(dāng)前狀態(tài)上的事件，完成期望的動作，產(chǎn)生狀態(tài)轉(zhuǎn)移，來遍歷使用模型，生成測試用例遍歷使用模型時，依據(jù)當(dāng)前狀態(tài)上每個出邊所關(guān)聯(lián)的遷移概率，來確定需要觸發(fā)的事件確定需要觸發(fā)的事件時，需要同時考慮防護的作用測試—充分性準(zhǔn)則依據(jù)可靠性要求和評估的置信度確定的執(zhí)行時間測試剖面和操作剖面吻合滿足對狀態(tài)圖的覆蓋要求測試—狀態(tài)圖覆蓋要求所有狀態(tài)至少訪問一次所有事件至少觸發(fā)一次所有轉(zhuǎn)換至少遍歷一次(包括隱含)所有基本路徑至少覆蓋一次(循環(huán))對防護(guard)進(jìn)行測試(MMC/DC、邊界)測試—Markov模型特點優(yōu)點便于自動化每次測試都是新的不足狀態(tài)圖的空間爆炸問題以正常測試為主測試—對模型的改進(jìn)對于操作剖面分類剖面：功能剖面、數(shù)據(jù)剖面、環(huán)境剖面對于Markov模型多層狀態(tài)圖測試—對模型的改進(jìn)將UML用于刻畫使用模型對UML進(jìn)行改進(jìn)，加入統(tǒng)計分布特征用例圖與類圖、狀態(tài)圖、時序圖等相結(jié)合，刻畫嵌入式軟件的各種運行特性，用于指導(dǎo)測試設(shè)計測試—測試準(zhǔn)備測試用例準(zhǔn)備估計當(dāng)前版本所需新測試用例的數(shù)量在被測系統(tǒng)之間分配新測試用例的數(shù)量在每個系統(tǒng)的操作之間分配新測試用例的數(shù)量指定新的測試用例將新測試用例加入測試用例集測試過程準(zhǔn)備測試—測試執(zhí)行分配測試時間按次序執(zhí)行測試標(biāo)識系統(tǒng)失效分析測試輸出的偏離確定哪些偏離是失敗估計失效出現(xiàn)的時間測試記錄的考慮測試—決策可靠性驗證測試可靠性增長測試特殊情況失效數(shù)據(jù)計算缺陷掩蓋問題測試—加速測試有效測試與無效測試通過測試分類優(yōu)化測試用例集稀有操作和關(guān)鍵操作非稀有關(guān)鍵操作稀有非關(guān)鍵操作稀有關(guān)鍵操作測試—稀有關(guān)鍵操作組合或縮減稀有操作根據(jù)操作的關(guān)鍵程度加權(quán)處理操作剖面按照關(guān)鍵類別將操作分類為稀有關(guān)鍵操作分配指定數(shù)量的測試用例測試—幾個問題測試記錄重復(fù)抽樣充分性準(zhǔn)則模型—基本情況基于對軟件失效特征的理解，建立軟件可靠性模型，試圖量化軟件可靠性自1970年代以來，已經(jīng)開發(fā)了超過200種模型，但是在軟件可靠性定量評價方面仍然遺留著大量未解決的問題沒有一個適應(yīng)所有情況的單一模型，也沒有任何模型是完備的，甚至是典型的模型—建模的基本思想測試時間失效強度失效率目標(biāo)值計劃完成時間當(dāng)前時間當(dāng)前失效率說明失效過程對影響它的主要因素的通用依賴形式。模型—影響失效的因素錯誤引入錯誤消除操作環(huán)境模型—軟件失效的統(tǒng)計特性時間失效率硬件軟件(理論)軟件(實際)模型—失效的隨機性隨機性的含義變量的值不確定，有許多可能的值，每個值都有相應(yīng)的發(fā)生概率精確值不可預(yù)知，平均值和離差時可知的不與特定的概率分布相聯(lián)系受測試強度和使用剖面等因素的影響模型—對不同類別失效處理分別評估每類失效的強度和其他參數(shù)根據(jù)失效的嚴(yán)重程度對各類失效間的時間間隔加權(quán)，然后對數(shù)據(jù)集中處理評估總失效強度時不考慮各類失效的嚴(yán)重程度，用總失效強度乘以每類失效出現(xiàn)的比例來確定每類失效的失效強度模型—建模的目的預(yù)測達(dá)到規(guī)定目標(biāo)還需要多少測試時間預(yù)測測試結(jié)束時軟件的期望可靠性模型—用途項目預(yù)計估計時機開發(fā)早期測試運行期目的初始可靠性和失效率連續(xù)可靠性評價失效數(shù)據(jù)不依賴依賴輸入數(shù)據(jù)過程或產(chǎn)品數(shù)據(jù)失效數(shù)據(jù)輸出數(shù)據(jù)錯誤密度，總錯誤數(shù)全部可靠性相關(guān)度量性質(zhì)靜態(tài)動態(tài)推斷方法直接換算直接可測實時性早期晚期精確度不確定更好模型—模型的典型構(gòu)成模型假設(shè)模型因素數(shù)學(xué)函數(shù)描述可靠性與因素之間的關(guān)系通常為高階指數(shù)或?qū)?shù)模型—參數(shù)估計方式評估通過系統(tǒng)失效數(shù)據(jù)進(jìn)行統(tǒng)計推導(dǎo)預(yù)計根據(jù)軟件產(chǎn)品屬性和開發(fā)過程確定參數(shù)值模型—參數(shù)估計方法估計類別點估計區(qū)間估計估計方法最大似然法最小二乘法貝葉斯法LimitLimit模型—模型的評價論斷的有效性—能給出未來失效行為的良好預(yù)測能力—計算出的量值是有用的測量參數(shù)的簡易性基于合理的假設(shè)簡單性被廣泛使用對噪音的不敏感性模型—一般特性隨機過程有錯誤清除和無錯誤清除確定參數(shù)模型—分類時間域(Timedomain)日歷或執(zhí)行時間類別(Category)在無限時間內(nèi)發(fā)生的失效是有限的還是無限的類型(Type)到指定時間發(fā)生的失效數(shù)分布類(Class,僅適應(yīng)于有限失效)失效強度的時間函數(shù)形式族(Family,僅適應(yīng)于無限失效)失效強度的預(yù)期出現(xiàn)失效數(shù)的函數(shù)形式模型—有限失效模型舉例Yamada-Ohba-Osaki(1983)GammaLittlewood(1981)ParetoSchick-Wlverton(1978)C1Schick-Wolverton(1973)Wagoner(1973)WeibullGoel-Okumoto(1978)Musa(1979)Keiller等(1983)Jelinski-Moranda(1972)Shooman(1972)Musa(1975)Moranda(1975)Schneidewind(1975)Goel-Okumoto(1979)指數(shù)其他二項式泊松

類型類模型—無限失效模型舉例泊松T3T2T1

類型族Littlewood-Verrall(1973)線性倒數(shù)Littlewood-Verrall(1973)多項式倒數(shù)(二次)Crow(1974)冪Musa-Okumoto(1984)Moranda(1975)幾何模型—應(yīng)用的考慮沒有普遍適用的可靠性增長模型可靠性增長與具體應(yīng)用相關(guān)使用多個增長模型擬合觀測數(shù)據(jù)，選取與數(shù)據(jù)最匹配的模型模型—推薦模型基本執(zhí)行時間模型(Musa)（簡稱：基本模型）對數(shù)泊松執(zhí)行時間模型(Musa-Okumoto)（簡稱：對數(shù)模型）評估—模型基本假設(shè)故障是獨立的，并且被遇到的概率是均勻分布測試空間覆蓋了使用空間(測試從完整的使用輸入集中選取)每個運行的輸入集是隨機選取的所有的失效有明確的定義并易于觀察導(dǎo)致失效的錯誤立即被修正,否則重復(fù)出現(xiàn)的失效不計算在內(nèi)評估—基本模型評估—對數(shù)泊松模型評估—失效強度比較(m)l0l0平均預(yù)期失效數(shù)m失效強度l(m)對數(shù)泊松模型基本模型λ:失效強度λ0:初始失效強度μ:在給定時間點上失效的總平均數(shù)v0:在無限時間范圍內(nèi)總失效數(shù)評估—失效強度比較(t)l0l0執(zhí)行時間t失效強度l(m)基本模型對數(shù)泊松模型λ:失效強度λ0:初始失效強度t:執(zhí)行時間v0:在無限時間范圍內(nèi)總失效數(shù)評估—平均失效數(shù)比較(t)tmv0基本模型對數(shù)泊松模型t:執(zhí)行時間μ:在給定時間點上失效的總平均數(shù)v0:在無限時間范圍內(nèi)總失效數(shù)評估—模型參數(shù)參數(shù)模型基本模型對數(shù)模型初始失效強度λ0λ0失效強度變化總失效數(shù)υ0—失效強度衰減率—θ評估—模型參數(shù)預(yù)測(1/3)初始失效強度λ0λ0＝?Kω0總失效數(shù)υ0

υ0＝ω0/B失效強度衰減率θ評估—模型參數(shù)預(yù)測(2/3)程序的線性執(zhí)行頻率?

程序的平均執(zhí)行率γ/目標(biāo)指令數(shù)I錯誤暴露率K導(dǎo)致失效的“程序段”所占的時間比評估—模型參數(shù)預(yù)測(3/3)固有錯誤數(shù)ω0錯誤播種通過測試確定錯誤密度，參照軟件規(guī)模、復(fù)雜度，根據(jù)經(jīng)驗公式推算錯誤衰減因子B錯誤將減少數(shù)/出現(xiàn)的失效數(shù)評估—例1(基本模型)題：假定程序在無限的執(zhí)行時間里將經(jīng)歷100次失效，在最近的t時間單位期間，發(fā)生50次失效。初始失效強度為10次失效/CPU小時。計算當(dāng)前(在t)的失效強度:解：評估—例2(基本模型)題：設(shè)0=10次失效/CPU小時，v0=100(在無限的執(zhí)行時間里的失效數(shù))，求當(dāng)=10CPU小時和=100CPU小時的失效數(shù)?解：評估—例3(基本模型)題：設(shè)0=10次失效/CPU小時，v0=100(在無限的執(zhí)行時間里的失效數(shù))，求=10CPU小時