嵌入式軟件測試方法

1、1、引言隨著經(jīng)濟的發(fā)展和科技的進步,信息技術(shù)的發(fā)展使人類進入數(shù)字時代,而伴隨著計算機技術(shù)發(fā)展起來 的嵌入式技術(shù)得到了巨大的發(fā)展,改變了人們的日常 。隨著對嵌入式產(chǎn)品對各方面的要求越來越高, 對嵌入式產(chǎn)品的性能有著決定性影響的嵌入式軟件的 測試 顯得尤為重要。嵌入式 的目的是保證軟件滿足需求規(guī)格說明,與非嵌入式軟件的測試目的是一樣的。系統(tǒng)失 效是系統(tǒng)沒有滿足 個或多個正式需求規(guī)范中所要求的需求項,嵌入式軟件有其特殊的失效判定準則。而且嵌入式軟件對可靠性的要求比較高。安全性的缺陷往往會導(dǎo)致災(zāi)難性的后果,即使是非安全性系 統(tǒng),由于大批量生產(chǎn)也會導(dǎo)致嚴重的經(jīng)濟損失。這就要求對嵌入式系統(tǒng),包括嵌入式軟件

2、、嵌入式硬件進 行嚴格的測試、確認和驗證。一般來說,軟件測試有 7個基本階段,即單元或模塊測試、集成測試、外部 、回歸測試、 統(tǒng)測試 、驗收測試、安裝測試。嵌入式軟件測試在 4個階段上進行,即模塊測試、集成測試、系統(tǒng)測試、 硬件 /軟件集成測試。前 3個階段適用于任何軟件的測試,硬件 /軟件集成測試階段是嵌入式軟件所特有的, 目的是驗證嵌入式軟件與其所控制的硬件設(shè)備能否正確地交互。2、嵌入式軟件測試環(huán)境嵌入式軟件測試的測試環(huán)境主要有兩種:1目標(biāo)環(huán)境測試:基于目標(biāo)的測試測試全面有效,但是消耗較多的經(jīng)費和時間。2宿主環(huán)境測試:基于宿主的測試代價較小,但是有些對環(huán)境要求高的功能和性能宿主機無法模擬,

3、 測試無法實現(xiàn)。目前的趨勢是把更多的測試轉(zhuǎn)移到宿主環(huán)境中進行,把宿主環(huán)境測試無法實現(xiàn)的復(fù)雜和獨特功能放在 目標(biāo)環(huán)境測試。我們的 重點是基于宿主環(huán)境的測試,基于目標(biāo)環(huán)境的測試作為補充。在兩個環(huán)境中可以出現(xiàn)不同的軟件缺陷,重要的是目標(biāo)環(huán)境和宿主環(huán)境的測試內(nèi)容有所選擇。在宿主 環(huán)境中,可以進行邏輯或界面的測試、以及與硬件無關(guān)的測試。在模擬或宿主環(huán)境中的測試消耗時間通常 相對較少,用調(diào)試工具可以更快地完成調(diào)試和測試任務(wù)。而與定時問題有關(guān)的 、中斷測試、硬件 接口測試只能在目標(biāo)環(huán)境中進行。在軟件測試周期中,基于目標(biāo)的測試是在較晚的 “ 硬件 /軟件集成測試 ” 階 段開始的,如果不更早地在模擬環(huán)境中進行

4、白盒測試,而是等到 “ 硬件 /軟件集成測試 ” 階段進行全部的白盒 測試,將耗費更多的財力和人力。3、白盒測試與白盒測試或基本代碼的測試主要任務(wù)為檢查程序的內(nèi)部設(shè)計,或者在開發(fā)環(huán)境中進行硬件仿真,一般 不必在目標(biāo)硬件上進行。根據(jù)源代碼的組織結(jié)構(gòu)查找軟件缺陷,要求測試人員對軟件的結(jié)構(gòu)和功能有詳細 深入的了解。白盒測試與代碼覆蓋率密切相關(guān),可以在測試中計算出代碼的覆蓋率,保證測試的充分性。 嵌入式軟件測試通常要求有較高的代碼覆蓋率,要選擇最重要的代碼進行白盒測試。黑盒測試在某些情況下也稱為功能測試。這類測試方法根據(jù)軟件的用途和外部特征查找軟件缺陷,不 需要了解程序的內(nèi)部結(jié)構(gòu)。 黑盒測試不依賴代碼

5、,從實際使用的角度進行測試。 黑盒測試與需求緊密相關(guān),需求規(guī)格說明的質(zhì)量會直接影響測試的結(jié)果。在進行嵌入式軟件黑盒測試時,要把系統(tǒng)的預(yù)期用途作為重 要依據(jù),根據(jù)需求中對負載、定時、性能的要求,判斷軟件是否滿足這些需求規(guī)范。4、 內(nèi)容嵌入式軟件測試的內(nèi)容主要為:軟件代碼測試、編程規(guī)范標(biāo)準符合性測試、 代碼編碼規(guī)范符合性測試、 開發(fā)維護文檔規(guī)范符合性測試、用戶文檔測試。其中軟件測試服務(wù)范圍包括:系統(tǒng)級測試、應(yīng)用測試、中間件測試、 BSP 及驅(qū)動程序測試、嵌入式硬 件設(shè)計測試。其中,按照嵌入式軟件有無 將嵌入式系統(tǒng)分為兩大類:無操作系統(tǒng)的嵌入式軟件、有操作系 統(tǒng)的嵌入式軟件。4.1無操作系統(tǒng)的嵌入式

6、軟件無操作系統(tǒng)的嵌入式軟件主要包括 C 語言代碼、匯編語言代碼、 Apa 代碼等。C 語言模式軟件測試:硬件設(shè)備及 宏定義(編譯階段處理、 API 函數(shù)測試、模塊初始化(包括 系統(tǒng)初始化、中間功能件測試、功能模塊測試、中斷處理測試、任務(wù)調(diào)度測試、區(qū)域功能測試、總體功 能測試。匯編語言模式軟件測試:硬件設(shè)備及其他宏定義(編譯階段處理、模塊初始化(包括系統(tǒng)初始化、 中間功能件測試、功能模塊測試、中斷處理測試、區(qū)域功能測試、總體功能測試。4.2基于操作系統(tǒng)的嵌入式軟件基于操作系統(tǒng)的嵌入式軟件主要包括應(yīng)用軟件測試、系統(tǒng)軟件測試、整體性能測試。應(yīng)用軟件測試:模塊初始化(包括系統(tǒng)初始化、中間功能件測試、功

7、能模塊測試、區(qū)域功能測試、 總體功能測試。系統(tǒng)軟件測試:硬件設(shè)備及其他宏定義(編譯階段處理、 API 函數(shù)測試、模塊初始化(包括系統(tǒng)初 始化、中間功能件測試、功能模塊測試、中斷處理測試、區(qū)域功能測試、總體功能測試、標(biāo)準符合性測 試。其中,操作系統(tǒng)的標(biāo)準符合性測試的標(biāo)準依據(jù)主要包括:IEEE POSIX 1003.1-1990(VSX4-PSE IEEE POSIX 1003.1b-1993/1003.1i-1995Realtime extension (VSRT-PSE IEEE Std POSIX 1003.1c-1995Threads (pthreads extension (VSTH-P

8、SE IEEE POSIX 1003.13-1998Profile 52(VSPSE52VSPSE52:2003-A conformance test suite for IEEE Std 1003.13-2003Profile PSE52整體性能測試:基于操作系統(tǒng)之上的嵌入式系統(tǒng)整體軟件測試,主要采用應(yīng)用軟件測試,著重分析性 能、內(nèi)存分配、代碼覆蓋率、軟件執(zhí)行流程,并采用仿真器、邏輯分析儀的硬件測試工具進行整體性能的 測試。5、嵌入式軟件的測試工具用于輔助嵌入式軟件測試的工具很多,下面對幾類比較有用的有關(guān)嵌入式軟件的測試工具加以介紹和 分析。5.1內(nèi)存分析工具在嵌入式系統(tǒng)中,內(nèi)存約束通常是有

9、限的。內(nèi)存分析工具用來處理在動態(tài)內(nèi)存分配中存在的缺陷。當(dāng) 動態(tài)內(nèi)存被錯誤地分配后,通常難以再現(xiàn),可能導(dǎo)致的失效難以追蹤,使用內(nèi)存分析工具可以避免這類缺 陷進入功能測試階段。目前有兩類內(nèi)存分析工具 軟件和硬件的。基于軟件的內(nèi)存分析工具可能會對代 碼的性能造成很大影響,從而嚴重影響實時操作;基于硬件的內(nèi)存分析工具價格昂貴,而且只能在工具所 限定的運行環(huán)境中使用。5.2性能分析工具在嵌入式系統(tǒng)中, 程序的性能通常是非常重要的。經(jīng)常會有這樣的要求, 在特定時間內(nèi)處理一個中斷, 或生成具有特定定時要求的一幀。開發(fā)人面臨的問題是決定應(yīng)該對哪一部分代碼進行優(yōu)化來改進性能,常 常會花大量的時間去優(yōu)化那些對性能

10、沒有任何影響的代碼。性能分析工具會提供有關(guān)的數(shù)據(jù),說明執(zhí)行時 間是如何消耗的,是什么時候消耗的,以及每個例程所用的時間。根據(jù)這些數(shù)據(jù),確定哪些例程消耗部分 執(zhí)行時間,從而可以決定如何優(yōu)化軟件,獲得更好的時間性能。對于大多數(shù)應(yīng)用來說,大部分執(zhí)行時間用 在相對少量的代碼上,費時的代碼估計占所有軟件總量的 5%-20%。性能分析工具不僅能指出哪些例程花 費時間,而且與調(diào)試工具聯(lián)合使用可以引導(dǎo)開發(fā)人員查看需要優(yōu)化的特定函數(shù),性能分析工具還可以引導(dǎo) 開發(fā)人員發(fā)現(xiàn)在系統(tǒng)調(diào)用中存在的錯誤以及程序結(jié)構(gòu)上的缺陷。5.3GUI 測試工具很多嵌入式應(yīng)用帶有某種形式的圖形用戶界面進行交互,有些系統(tǒng)性能測試足根掘用戶輸

11、入響應(yīng)時間 進行的。 GUI 測試工具可以作為腳本工具有開發(fā)環(huán)境中運行測試用例,其功能包括對操作的記錄和回放、 抓取屏幕顯示供以后分析和比較、設(shè)置和管理測試過程。很多嵌入式設(shè)備沒有 GUI ,但常常可以對嵌入式 設(shè)備進行插裝來運行 GUI 測試腳本,雖然這種方式可能要求對被測代碼進行更改,但是節(jié)省了功能測試和 回歸測試的時間。5.4覆蓋分析工具在進行白盒測試時,可以使用代碼覆蓋分析工具追蹤哪些代碼被執(zhí)行過。分析過程可以通過插裝來完 成,插裝可以是在測試環(huán)境中嵌入硬件,也可以是在可執(zhí)行代碼中加入軟件,也可以是二者相結(jié)合。測試 人員對結(jié)果數(shù)據(jù)加以總結(jié),確定哪些代碼被執(zhí)行過,哪些代碼被巡漏了。覆蓋分

12、析工具一般會提供有關(guān)功 能覆蓋、分支覆蓋、條件覆蓋的信息。對于嵌入式軟件來說,代碼覆蓋分析工具可能侵入代碼的執(zhí)行,影響實時代碼的運行過程?；谟布拇a覆蓋分析工具的侵入程度要小一些,但是價格一般比較昂貴,而 且限制被測代碼的數(shù)量。6、國內(nèi)外的嵌入式測試服務(wù)嵌入式軟件測試要提供嵌入式軟件及硬件的端到端測試服務(wù), 橫跨工具 /設(shè)備、 實時操作系統(tǒng) (RTOS 、 開發(fā)平臺和編程語言。服務(wù)內(nèi)容包括嵌入式軟件和硬件的測試策略和代碼級測試,以及覆蓋分析,功能測 試,壓力測試,代碼審查,調(diào)試和代碼維護。測試服務(wù)覆蓋從設(shè)備驅(qū)動,中間件 /協(xié)議和系統(tǒng)及應(yīng)用水平測 試。主要解決如通信、汽車電子行業(yè)、消費電子及

13、多媒體、工業(yè)自動化、網(wǎng)絡(luò)、存儲、計算機硬件和外設(shè) 的嵌入式系統(tǒng)測試。6.1國外嵌入式軟件測試服務(wù)國外的嵌入式軟件測試服務(wù)有:黑盒測試、功能測試、單元測試、回歸測試、配置測試、壓力測試、 UI 測試、安裝測試、模塊化測試、集成測試、手動黑盒測試、負載測試、驗收測試。提供給用戶的測試結(jié)果主要為:測試規(guī)劃、測試用例、驗收測試用例、用戶手冊、缺陷報告、改進建 議等。6.2國內(nèi)嵌入式軟件測試服務(wù)國內(nèi)的嵌入式軟件測試服務(wù)還處于起步階段,并且主要限于嵌入式應(yīng)用軟件、工業(yè)控制軟件,測試的 主要內(nèi)容包括:1功能測試依據(jù) ISO/IEC9126-1質(zhì)量模型,驗證系統(tǒng)是否滿足明確和隱含要求功能。功能測試覆蓋實用性、

14、準 確性、互操作性、互用性、保密安全性、功能依從性。2可靠性測試依據(jù) ISO/IEC9126-1質(zhì)量模型,測試在指定條件使用時,軟件產(chǎn)品維持規(guī)定的性能級別的能力?？?靠性測試覆蓋成熟性、容錯性、易恢復(fù)性等質(zhì)量特性。3性能測試依據(jù) ISO/IEC9126-2質(zhì)量模型,檢測在規(guī)定條件下,軟件產(chǎn)品執(zhí)行其功能時,提供適當(dāng)?shù)捻憫?yīng)和處 理時間以及吞吐量的能力以及使用合適的數(shù)量和類型的資源的能力。4安全性測試依據(jù) ISO/IEC9126-3質(zhì)量模型,測試在指定條件使用時,軟件產(chǎn)品維持規(guī)定的性能級別的能力?？?靠性測試覆蓋成熟性、容錯性、易恢復(fù)性等質(zhì)量特性。5易用性測試依據(jù) ISO/IEC9126-4質(zhì)量模型

15、,測試在指定條件使用時,軟件產(chǎn)品被理解、學(xué)習(xí)、使用和吸引用戶 的能力。測試覆蓋易理解性、易學(xué)性、易操作性、吸引性。6可移植性測試依據(jù) ISO/IEC9126-5質(zhì)量模型,測試軟件產(chǎn)品從一種環(huán)境遷移到另外一種環(huán)境的能力,測試覆蓋適 應(yīng)性 7、嵌入式培訓(xùn)課程嵌入式軟件測試的培訓(xùn)在國內(nèi)還沒有相成規(guī)模,絕大部分是在軟件測試中穿插幾個課時進行嵌入式軟 件測試的簡單培訓(xùn),并且主要集中于以下幾個方面:1嵌入式領(lǐng)域軟件工程與軟件質(zhì)量的保證:嵌入式軟件危機與軟件缺陷,軟件質(zhì)量的過程與控制, 嵌 入式軟件的特點,嵌入式軟件的開發(fā)過程。2嵌入式軟件測試技術(shù):掌握白盒測試、黑盒測試、灰盒測試,測試覆蓋率、回歸測試等重

16、要概念, 掌握單測試、集成測試、系統(tǒng)測試等測試過程,測試的誤區(qū)和經(jīng)驗。3嵌入式測試過程與測試管理:了解測試過程及測試管理的主要內(nèi)容,掌握測試需求確立、測試計劃 和測試大綱制定、測試用例設(shè)計、測試用例執(zhí)行、測試結(jié)果收集和測試結(jié)果分析,以及測試錯誤反饋和測 試報告生成等工作。掌握測試過程輔助支持工具的使用。4結(jié)合目前主流應(yīng)用,了解嵌入式測試工具支持及操作和使用,搭建嵌入式軟件的測試平臺,掌握嵌 入式測試的思想和方法:軟件工程與質(zhì)量保證支撐系統(tǒng)(Panorama+、測試自動化工具(Vectorcast 、 硬件輔助的實時在線白盒測試工具(Codetest 、黑盒測試工具(GESTE 、基于全數(shù)字仿真

17、的嵌入式軟 件綜合測試工具(CRESTS/ATAT,與 CRESTS/TESS、嵌入式軟件仿真工具 Eurosim 。5通過經(jīng)典嵌入式測試安全分析,學(xué)會設(shè)計嵌入式軟件測試的解決方案。鑒于嵌入式測試的特殊要求,嵌入式測試課程應(yīng)側(cè)重以下幾個主要內(nèi)容:1嵌入式系統(tǒng)概要:主要包括嵌入式發(fā)展、特點、行業(yè)涵蓋、新技術(shù)趨勢等;2嵌入式硬件平臺:主要包括 ARM 、 DSP 、 FPGA 、 CPLD 、單片機、 SSI 、 I2C 、 I2S 、 EPI 、 DMA、 UART 、 IrDA 、 USB 、 Ethernet 、 MCI 、 SD 、 CAN 、 PWM 、 QEI 、 GPIO 、 JTA

18、G 等;3 嵌入式編程語言和環(huán)境概要:主要包括 C 、 C+、 Ada 、 匯編、 Java 、 KEIL 、 IAR Embedded Workbench 、 Sourcery G+、 Code Red Technoloigy 、 CCstudio IDE 等;4嵌入式測試的內(nèi)容:主要包括設(shè)計方案測試、嵌入式軟件代碼測試、專項要求測試、嵌入式軟件標(biāo) 準、嵌入式軟件測試標(biāo)準、嵌入式文檔規(guī)范評測等;5 嵌入式測試工具使用:主要包括 CodeTest 、 VectorCAST 、 CRESTS/ATAT、 LOGISCOPE 、 Logic Analyzer 、 Oscilloscope 等;6嵌入式測試過程管理與報告生成:主要包括測試規(guī)劃、人員管理、測試用例、驗收測試用例、用戶 手冊、缺陷報告、改進建議等。其中，嵌入式測試的內(nèi)容、工具使用