仿真模型的校核驗證與確認

1、第章仿真模型的校核驗證與確認第一頁，共38頁。第7章 輸入數(shù)據(jù)的分析 7. 1 VV&A概述 7.2 VV&A的過程、技術與方法 第二頁，共38頁?；疽?了解VV&A的研究歷史、現(xiàn)狀、基本概念、基本原則 。 理解VV&A的過程、技術與方法 。 第三頁，共38頁。 通過前面介紹，可以看出、應用仿真技術對生產(chǎn)系統(tǒng)進行分析和研究的一個通過前面介紹，可以看出、應用仿真技術對生產(chǎn)系統(tǒng)進行分析和研究的一個基礎性和關鍵性的問題是將系統(tǒng)模型化。系統(tǒng)模型化是系統(tǒng)仿真的核心問題，基礎性和關鍵性的問題是將系統(tǒng)模型化。系統(tǒng)模型化是系統(tǒng)仿真的核心問題，也就是說由建模目的出發(fā)，根據(jù)相似

2、原理。建立正確、可靠、有效的仿真模型也就是說由建模目的出發(fā)，根據(jù)相似原理。建立正確、可靠、有效的仿真模型是保證仿真結(jié)果具有較高可信度的關鍵和前提。為此，系統(tǒng)仿真模型建立與驗是保證仿真結(jié)果具有較高可信度的關鍵和前提。為此，系統(tǒng)仿真模型建立與驗證的理論和方法的研究一直受到國內(nèi)外仿真界的高度重視。仿真模型的校核、證的理論和方法的研究一直受到國內(nèi)外仿真界的高度重視。仿真模型的校核、驗證與確認驗證與確認(Verification,Validation and Accreditation)簡稱簡稱VVA是提高是提高仿真結(jié)果置信度的重要方法，是仿真領域的一個重要的前沿課題。仿真結(jié)果置信度的重要方法，是仿真領

3、域的一個重要的前沿課題。引言第四頁，共38頁。v 仿真系統(tǒng)是否具有設計系統(tǒng)的特點,能否反應實際系統(tǒng)的真實的特征,必須經(jīng)過一定的置信度確認。VV&A技術是保證仿真置信度的保證。 校核 Verification 驗證 Validation 確認 Accreditation 簡記為VV&A。 第五頁，共38頁。7. 1 VV&A概述v為了保證應用上的有效性(Validity)和可信度（Credibility)，通仿真模型必須滿足下列三個條件: 仿真模型與系統(tǒng)原型之間具有一定程度上的相似關系，以保證兩者之間的可類比性。這是仿真模型能夠得以存在的基礎。 仿真模型在一定程度上應該能

4、夠代替系統(tǒng)原型，即具有代表性。這是能夠利用仿真模型來進行實驗研究，也是仿真過程能夠得以進行的前提條件。 通過對仿真模型的研究，能夠得到關于系統(tǒng)原型的一些準確信息，即仿真模型具有外推性。這是仿真技術要實現(xiàn)的目標。第六頁，共38頁。7. 1 VV&A概述v仿真模型的VV&A ,可以達到以下目的: 保證所建立的仿真模型能夠足夠精確地表達真實系統(tǒng)的行為，從而可以用這一仿真模型來代替真實系統(tǒng)進行實驗研究，在此基礎上，分析真實系統(tǒng)的行為，并對其性能指標進行預測。 將仿真模型的可信度提高到一個能夠為人們所接受的水平，以使得該仿真模型可被管理者及其他決策者來使用。第七頁，共38頁。7. 1 V

5、V&A概述vVV&A的研究歷史 1、國外對仿真模型VV&A的研究最早可追溯到20世紀60年代仿真應用的初期 ； 2、20世紀70年代，一些學者和學術組織開始倡導將v&v問題納入仿真模型可信度的研究中。； 3、自20世紀80年代以來，每年的夏季計算機仿真會議和冬季仿真會議等都安排了一些關于模型V&V的專題討論; 4、進入20世紀90年代以后，對仿真模型VV&A研究的重點開始由以仿真模型的校核方法研究為主轉(zhuǎn)向如何更加全面地對仿真模型進行VV&A上來。第八頁，共38頁。7. 1 VV&A概述vVV&A的基本概念 校核校核(Ver

6、fication),是指確定模型的實施及其相關數(shù)據(jù)是否精確地表達了開發(fā)者的概念描述及相關技術規(guī)范的過程。 驗證驗證(Validation ),是指根據(jù)模型開發(fā)和應用的預期目的，來確定模型和相關的數(shù)據(jù)對真實世界進行描述的精確程度的過程。 確認確認(Accreditation ),是指官方對某一模型、仿真系統(tǒng)或者一系列的模型和仿真系統(tǒng)及其相關數(shù)據(jù)能夠適用于特定仿真目的的一種認證活動。 第九頁，共38頁。7. 1 VV&A概述vVV&A的基本概念 模型測試模型測試(Model Testing)。是指對仿真模型中是否存在錯誤進行判斷的過程。通常是借助于給定的某些數(shù)據(jù)和案例來判斷模型輸出

7、的結(jié)果是否與實際系統(tǒng)(原型)相吻合。 仿真精度仿真精度(Simulation Accuracy)。是指仿真模型能夠達到的性能指標與所規(guī)定或期望的參考值之間的誤差。 第十頁，共38頁。7. 1 VV&A概述vVV&A的基本概念 仿真置信度仿真置信度(Simulation Fidelity)。是指在特定的建模目的和意義下，模型系統(tǒng)逼近實際系統(tǒng)(原型)的程度。 第十一頁，共38頁。7. 1 VV&A概述vVV&A的基本概念 模型校核、驗證與確認實質(zhì)上是進行模型模型校核、驗證與確認實質(zhì)上是進行模型有效性分析，它發(fā)生在模型發(fā)展的每個階有效性分析，它發(fā)生在模型發(fā)展的每個階段

8、，與建模過程的關系如圖所示。段，與建模過程的關系如圖所示。問題實體問題實體(Problem Entity) 研究對象，可以是一個系統(tǒng)研究對象，可以是一個系統(tǒng)(真實的真實的或假想的或假想的)。也可以是一種構(gòu)思，一種。也可以是一種構(gòu)思，一種概念，一種情景，一項決策或政策，概念，一種情景，一項決策或政策，或者是其它等待研究的事物或現(xiàn)象?；蛘呤瞧渌却芯康氖挛锘颥F(xiàn)象。概念模型概念模型(Conceptual Model) 指在問題分析和建模階段，針對某一指在問題分析和建模階段，針對某一特定的研究目的，對問題實體所作出的特定的研究目的，對問題實體所作出的數(shù)學的、邏輯的或自然語言的表述，以數(shù)學的、邏輯的或

9、自然語言的表述，以便于最終的仿真實現(xiàn)。便于最終的仿真實現(xiàn)。計算模型計算模型(Computerized Model) 是指通過程序設計，在仿真設備是指通過程序設計，在仿真設備(主要主要是指計算機是指計算機)上對概念模型的實現(xiàn)。上對概念模型的實現(xiàn)。第十二頁，共38頁。7. 1 VV&A概述vVV&A的基本概念 由圖可知，由圖可知，概念模型概念模型是在是在問題分析問題分析和和建模階段建模階段建建立起來的立起來的;計算模型計算模型是在是在概念模型概念模型的基礎上通過程序的基礎上通過程序設計和實現(xiàn)階段建立起來的；關于問題實體設計和實現(xiàn)階段建立起來的；關于問題實體(研究對研究對象象)的一些

10、結(jié)論，則是在仿真實驗過程中通過運行計的一些結(jié)論，則是在仿真實驗過程中通過運行計算模型而獲得的。算模型而獲得的。第十三頁，共38頁。7. 1 VV&A概述vVV&A的基本概念 系統(tǒng)建模與仿真過程的中， VV&A分別對應了對如下三個問題的回答: 校核正確地建立了仿真模型嗎? 驗證建立了正確的仿真模型嗎? 確認仿真模型可以使用嗎? 第十四頁，共38頁。7. 1 VV&A概述vVV&A的基本概念 仿真模型的校核、驗證與確認三者之間的 聯(lián)系: 第一，校核側(cè)重于對建模過程的檢驗，為模型系統(tǒng)的驗收提供依據(jù); 第二，驗證側(cè)重于對仿真結(jié)果的檢驗，為模型系統(tǒng)的有效性評估提供

11、依據(jù); 第三，確認則是建立在校核與驗證的基礎上，指的是由權(quán)威機構(gòu)來確定仿真模型對某一特定應用對象是否可以被接受的過程。 第十五頁，共38頁。7. 1 VV&A概述vVV&A的基本原則 原則1:VV&A活動必須貫穿于系統(tǒng)建模與仿真的整個生命周期 原則2:在模型系統(tǒng)中，不存在絕對意義上的正確或錯誤，不應將VV&A活動的結(jié)果看做是一個非對即錯的二值變量 原則3:仿真模型是根據(jù)建模與仿真的目標而建立的，其可信度也應由建模與仿真的相應目標來評判 第十六頁，共38頁。7. 1 VV&A概述vVV&A的基本原則 原則4:應在一定的程度卜保證仿真模型VV&

12、;A活動的獨立性，以避開模型開發(fā)人員對VV&A結(jié)果的影響 原則5:仿真模型的VV&A活動需要評估人員具備足夠的創(chuàng)造力和洞察力 原則6:仿真模型的可信度僅僅是針對VV&A活動的特定條件而言的 原則7:完全的仿真模型測試是不可能的 第十七頁，共38頁。7. 1 VV&A概述vVV&A的基本原則 原則8:必須制訂仿真模型VV&A計劃并進行相應的文檔記錄 原則9:在VV&A活動中，應盡力避免三類錯誤的發(fā)生 原則10:應盡可能早地發(fā)現(xiàn)仿真生命周期中存在的錯誤 原則11:必須認識到多響應問題的存在并加以恰當?shù)亟鉀Q 第十八頁，共38頁。7. 1 VV&

13、amp;A概述vVV&A的基本原則 原則12:所有子模型(模塊)的成功測試并不意味著整個模塑的可信度 原則13:必須認識到雙驗證問題的存在并加以恰當解決 原則14:仿真模型的驗證井不能保證仿真結(jié)果的可信度和可接受性 原則15:問題描述的準確性會大大影響仿真結(jié)果的可接受性和可信度 第十九頁，共38頁。7. 2 VV&A的過程、技術與方法vVV&A的過程 VV&A的過程指的是開展VV&A活動的流程。 1. 需求定義與校核需求定義與校核2.啟動啟動VV&A計劃計劃3.數(shù)據(jù)的校核與驗證數(shù)據(jù)的校核與驗證4.概念模型驗證概念模型驗證5.設計過程的校核設計過程

14、的校核6.執(zhí)行過程驗證執(zhí)行過程驗證7.結(jié)果驗證結(jié)果驗證8.對校核驗證結(jié)果進行確認對校核驗證結(jié)果進行確認9. VV&A過程信息整理并歸檔過程信息整理并歸檔 第二十頁，共38頁。7. 2 VV&A的過程、技術與方法vVV&A的過程v 1. 需求定義與校核 VV&A活動的實施始于確定VV&A需求，完整、正確的需求定義是仿真模型VV&A的基礎和前提。 需求校核與驗證階段的主要活動包括對需要報告進行重新審核和明確模型逼真度( Fidelity)的可接受標準。 第二十一頁，共38頁。7. 2 VV&A的過程、技術與方法vVV&A的過程 2.啟

15、動VV&A計劃 VV&A計劃的主要內(nèi)容一般包括:記錄仿真模型的預期應用，確定對建模與仿真結(jié)果的要求等，將用戶提出的仿真模型可接受性標準形成文檔，以及確定能夠達到可接受性標準的VV&A方法等。 第二十二頁，共38頁。7. 2 VV&A的過程、技術與方法vVV&A的過程 3.數(shù)據(jù)的校核與驗證 數(shù)據(jù)校核的主要目的是保證對仿真應用而言，所選擇的數(shù)據(jù)確實是最合適的，數(shù)據(jù)驗證則主要是為了保證數(shù)據(jù)確實能夠比較精確地反映真實系統(tǒng)某些方面的特性。 主要內(nèi)容應包括:元數(shù)據(jù)的精度校核;各階段數(shù)據(jù)轉(zhuǎn)化方式的校核;概念模型、編碼模型和集成模型的輸入數(shù)據(jù)校核及輸出數(shù)據(jù)驗證;輸出數(shù)據(jù)

16、的有效性校核等。 第二十三頁，共38頁。7. 2 VV&A的過程、技術與方法vVV&A的過程 4.概念模型驗證 概念模型表述的是仿真模型設計中的前提假設、算法、數(shù)據(jù)以及各階段之間的結(jié)構(gòu)關系 。 目的:說明建模與仿真從功能上可以完整、精確地反映系統(tǒng)設計的需求，以保證所有的項目參與人員都能夠清晰、準確地了解仿真模型的預期用途，也能夠進一步地明確一些假設或限定條件對仿真模型應用的影響。 第二十四頁，共38頁。7. 2 VV&A的過程、技術與方法vVV&A的過程 5.設計過程的校核 指為保證設計轉(zhuǎn)化過程相對于概念模型的一致性和精確性，在軟件代碼編寫或硬件環(huán)境構(gòu)造之前，對

17、整個詳細設計過程的審核過程。 主要工作是對一些規(guī)范和功能上的設計方案進行檢查。 第二十五頁，共38頁。7. 2 VV&A的過程、技術與方法vVV&A的過程 6.執(zhí)行過程驗證 主要工作:借助于已經(jīng)驗證過的數(shù)據(jù)，對軟件代碼、硬件結(jié)構(gòu)以及二者的集成體進行測試 。 目的：從功能的角度來保證系統(tǒng)的軟/硬件及其集成體能夠精確地代表開發(fā)人員以及概念規(guī)范和設計的預期需求。 第二十六頁，共38頁。7. 2 VV&A的過程、技術與方法vVV&A的過程 7.結(jié)果驗證 結(jié)果驗證是指通過對仿真結(jié)果與已知的或者是所期望的數(shù)值進行比較，來確定仿真結(jié)果是否滿足應用上的需求。 目的:確定仿真模型

18、滿足需求的程度;確定仿真輸出的逼真程度;確定仿真模型適合于預期用途的好壞程度等。 第二十七頁，共38頁。7. 2 VV&A的過程、技術與方法vVV&A的過程 8.對校核驗證結(jié)果進行確認 指的是使用者在仿真模型適合預期的應用能力和限定，而不會影響到正確結(jié)論等方面獲得的一種官方認可的過程。 主要內(nèi)容:依據(jù)在計劃過程中給定的確認標準，對VV&A過程中每一階段的校核、驗證結(jié)果和記錄進行評估。 第二十八頁，共38頁。7. 2 VV&A的過程、技術與方法vVV&A的過程 9. VV&A過程信息整理并歸檔 VV&A文檔中應至少包括確認計劃、V&

19、V計劃、V&V報告、確認報告以及確認決定說明等。 第二十九頁，共38頁。7. 2 VV&A的過程、技術與方法vVV&A的技術與方法 VV&A的技術與方法是指在系統(tǒng)建模與仿真的過程中，為了達到VV&A活動的各階段目的而采取的各種技術、方法和工作策略等的總稱。 非正式方法 正式方法 靜態(tài)方法 動態(tài)方法第三十頁，共38頁。7. 2 VV&A的過程、技術與方法vVV&A的技術與方法 1.非正式元法 “非正式”并不是說這些技術的運用缺乏特定的組織性或正式的指導原則，而是指所利用的工具和方法比較多地依賴個人的主觀性和推理，而沒用很強的數(shù)學形式。 常用

20、的非正式方法:審核、檢查、表面驗證和圖靈測試等。第三十一頁，共38頁。7. 2 VV&A的過程、技術與方法vVV&A的技術與方法 2.正式方法 正式方法主要基于對正確性的較為正式的數(shù)學證明。 常用的正式方法:歸納、推理、邏輯演繹、謂詞運算、謂詞變換和正確性證明等。 第三十二頁，共38頁。7. 2 VV&A的過程、技術與方法vVV&A的技術與方法 3靜態(tài)方法 靜態(tài)方法廣泛應用于評估靜態(tài)模型設計和源代碼的情況。 常用的靜態(tài)方法:語法分析、語義分析、結(jié)構(gòu)分析、因果圖、控制分析和數(shù)據(jù)流分析等。第三十三頁，共38頁。7. 2 VV&A的過程、技術與方法vVV&A的技術與方法 4. 動態(tài)方法 動態(tài)方法是一類在實際中相對較為有效的方法，主要應用于校核和驗證建模與仿真的動態(tài)方面。 常用的動態(tài)方