第7章--仿真模型的校核、驗(yàn)證與確認(rèn).

1、生產(chǎn)系統(tǒng)建模與仿真生產(chǎn)系統(tǒng)建模與仿真Modeling and Simulation of Production System 第第7章章 仿真模型的校核、驗(yàn)證與確認(rèn)仿真模型的校核、驗(yàn)證與確認(rèn)第7章 輸入數(shù)據(jù)的分析 7. 1 VV&A概述 7.2 VV&A的過程、技術(shù)與方法 基本要求 了解VV&A的研究歷史、現(xiàn)狀、基本概念、基本原則 。 理解VV&A的過程、技術(shù)與方法 。 通過前面介紹，可以看出、應(yīng)用仿真技術(shù)對生產(chǎn)系統(tǒng)進(jìn)行分析通過前面介紹，可以看出、應(yīng)用仿真技術(shù)對生產(chǎn)系統(tǒng)進(jìn)行分析和研究的一個(gè)基礎(chǔ)性和關(guān)鍵性的問題是將系統(tǒng)模型化。系統(tǒng)模型和研究的一個(gè)基礎(chǔ)性和關(guān)鍵性的問

2、題是將系統(tǒng)模型化。系統(tǒng)模型化是系統(tǒng)仿真的核心問題，也就是說由建模目的出發(fā)，根據(jù)相似化是系統(tǒng)仿真的核心問題，也就是說由建模目的出發(fā)，根據(jù)相似原理。建立正確、可靠、有效的仿真模型是保證仿真結(jié)果具有較原理。建立正確、可靠、有效的仿真模型是保證仿真結(jié)果具有較高可信度的關(guān)鍵和前提。為此，系統(tǒng)仿真模型建立與驗(yàn)證的理論高可信度的關(guān)鍵和前提。為此，系統(tǒng)仿真模型建立與驗(yàn)證的理論和方法的研究一直受到國內(nèi)外仿真界的高度重視。仿真模型的校和方法的研究一直受到國內(nèi)外仿真界的高度重視。仿真模型的校核、驗(yàn)證與確認(rèn)核、驗(yàn)證與確認(rèn)(Verification,Validation and Accreditation)簡稱簡稱VV

3、A是提高仿真結(jié)果置信度的重要方法，是仿真領(lǐng)域的一個(gè)重要是提高仿真結(jié)果置信度的重要方法，是仿真領(lǐng)域的一個(gè)重要的前沿課題。的前沿課題。引言v 仿真系統(tǒng)是否具有設(shè)計(jì)系統(tǒng)的特點(diǎn),能否反應(yīng)實(shí)際系統(tǒng)的真實(shí)的特征,必須經(jīng)過一定的置信度確認(rèn)。VV&A技術(shù)是保證仿真置信度的保證。 校核 Verification 驗(yàn)證 Validation 確認(rèn) Accreditation 簡記為VV&A。 7. 1 VV&A概述v為了保證應(yīng)用上的有效性(Validity)和可信度（Credibility)，通仿真模型必須滿足下列三個(gè)條件: 仿真模型與系統(tǒng)原型之間具有一定程度上的相似關(guān)系，以保證兩者之間的

4、可類比性。這是仿真模型能夠得以存在的基礎(chǔ)。 仿真模型在一定程度上應(yīng)該能夠代替系統(tǒng)原型，即具有代表性。這是能夠利用仿真模型來進(jìn)行實(shí)驗(yàn)研究，也是仿真過程能夠得以進(jìn)行的前提條件。 通過對仿真模型的研究，能夠得到關(guān)于系統(tǒng)原型的一些準(zhǔn)確信息，即仿真模型具有外推性。這是仿真技術(shù)要實(shí)現(xiàn)的目標(biāo)。7. 1 VV&A概述v仿真模型的VV&A ,可以達(dá)到以下目的: 保證所建立的仿真模型能夠足夠精確地表達(dá)真實(shí)系統(tǒng)的行為，從而可以用這一仿真模型來代替真實(shí)系統(tǒng)進(jìn)行實(shí)驗(yàn)研究，在此基礎(chǔ)上，分析真實(shí)系統(tǒng)的行為，并對其性能指標(biāo)進(jìn)行預(yù)測。 將仿真模型的可信度提高到一個(gè)能夠?yàn)槿藗兯邮艿乃?，以使得該仿真模型可被管?/p>

5、者及其他決策者來使用。7. 1 VV&A概述vVV&A的研究歷史 1、國外對仿真模型VV&A的研究最早可追溯到20世紀(jì)60年代仿真應(yīng)用的初期 ； 2、20世紀(jì)70年代，一些學(xué)者和學(xué)術(shù)組織開始倡導(dǎo)將v&v問題納入仿真模型可信度的研究中。； 3、自20世紀(jì)80年代以來，每年的夏季計(jì)算機(jī)仿真會(huì)議和冬季仿真會(huì)議等都安排了一些關(guān)于模型V&V的專題討論; 4、進(jìn)入20世紀(jì)90年代以后，對仿真模型VV&A研究的重點(diǎn)開始由以仿真模型的校核方法研究為主轉(zhuǎn)向如何更加全面地對仿真模型進(jìn)行VV&A上來。7. 1 VV&A概述vVV&A的基本概念

6、校核校核(Verfication),是指確定模型的實(shí)施及其相關(guān)數(shù)據(jù)是否精確地表達(dá)了開發(fā)者的概念描述及相關(guān)技術(shù)規(guī)范的過程。 驗(yàn)證驗(yàn)證(Validation ),是指根據(jù)模型開發(fā)和應(yīng)用的預(yù)期目的，來確定模型和相關(guān)的數(shù)據(jù)對真實(shí)世界進(jìn)行描述的精確程度的過程。 確認(rèn)確認(rèn)(Accreditation ),是指官方對某一模型、仿真系統(tǒng)或者一系列的模型和仿真系統(tǒng)及其相關(guān)數(shù)據(jù)能夠適用于特定仿真目的的一種認(rèn)證活動(dòng)。 7. 1 VV&A概述vVV&A的基本概念 模型測試模型測試(Model Testing)。是指對仿真模型中是否存在錯(cuò)誤進(jìn)行判斷的過程。通常是借助于給定的某些數(shù)據(jù)和案例來判斷模型輸出的

7、結(jié)果是否與實(shí)際系統(tǒng)(原型)相吻合。 仿真精度仿真精度(Simulation Accuracy)。是指仿真模型能夠達(dá)到的性能指標(biāo)與所規(guī)定或期望的參考值之間的誤差。 7. 1 VV&A概述vVV&A的基本概念 仿真置信度仿真置信度(Simulation Fidelity)。是指在特定的建模目的和意義下，模型系統(tǒng)逼近實(shí)際系統(tǒng)(原型)的程度。 7. 1 VV&A概述vVV&A的基本概念 模型校核、驗(yàn)證與確認(rèn)實(shí)質(zhì)上是進(jìn)行模型模型校核、驗(yàn)證與確認(rèn)實(shí)質(zhì)上是進(jìn)行模型有效性分析，它發(fā)生在模型發(fā)展的每個(gè)階有效性分析，它發(fā)生在模型發(fā)展的每個(gè)階段，與建模過程的關(guān)系如圖所示。段，與建模過

8、程的關(guān)系如圖所示。問題實(shí)體問題實(shí)體(Problem Entity) 研究對象，可以是一個(gè)系統(tǒng)研究對象，可以是一個(gè)系統(tǒng)(真實(shí)的真實(shí)的或假想的或假想的)。也可以是一種構(gòu)思，一種。也可以是一種構(gòu)思，一種概念，一種情景，一項(xiàng)決策或政策，概念，一種情景，一項(xiàng)決策或政策，或者是其它等待研究的事物或現(xiàn)象?；蛘呤瞧渌却芯康氖挛锘颥F(xiàn)象。概念模型概念模型(Conceptual Model) 指在問題分析和建模階段，針對某指在問題分析和建模階段，針對某一特定的研究目的，對問題實(shí)體所作一特定的研究目的，對問題實(shí)體所作出的數(shù)學(xué)的、邏輯的或自然語言的表出的數(shù)學(xué)的、邏輯的或自然語言的表述，以便于最終的仿真實(shí)現(xiàn)。述，以便

9、于最終的仿真實(shí)現(xiàn)。計(jì)算模型計(jì)算模型(Computerized Model) 是指通過程序設(shè)計(jì)，在仿真設(shè)備是指通過程序設(shè)計(jì)，在仿真設(shè)備(主主要是指計(jì)算機(jī)要是指計(jì)算機(jī))上對概念模型的實(shí)現(xiàn)。上對概念模型的實(shí)現(xiàn)。7. 1 VV&A概述vVV&A的基本概念 由圖可知，由圖可知，概念模型概念模型是在是在問題分析問題分析和和建模階建模階段段建立起來的建立起來的;計(jì)算模型計(jì)算模型是在是在概念模型概念模型的基礎(chǔ)上通的基礎(chǔ)上通過程序設(shè)計(jì)和實(shí)現(xiàn)階段建立起來的；關(guān)于問題實(shí)過程序設(shè)計(jì)和實(shí)現(xiàn)階段建立起來的；關(guān)于問題實(shí)體體(研究對象研究對象)的一些結(jié)論，則是在仿真實(shí)驗(yàn)過程的一些結(jié)論，則是在仿真實(shí)驗(yàn)過程中通過

10、運(yùn)行計(jì)算模型而獲得的。中通過運(yùn)行計(jì)算模型而獲得的。7. 1 VV&A概述vVV&A的基本概念 系統(tǒng)建模與仿真過程的中， VV&A分別對應(yīng)了對如下三個(gè)問題的回答: 校核正確地建立了仿真模型嗎? 驗(yàn)證建立了正確的仿真模型嗎? 確認(rèn)仿真模型可以使用嗎? 7. 1 VV&A概述vVV&A的基本概念 仿真模型的校核、驗(yàn)證與確認(rèn)三者之間的 聯(lián)系: 第一，校核側(cè)重于對建模過程的檢驗(yàn)，為模型系統(tǒng)的驗(yàn)收提供依據(jù); 第二，驗(yàn)證側(cè)重于對仿真結(jié)果的檢驗(yàn)，為模型系統(tǒng)的有效性評估提供依據(jù); 第三，確認(rèn)則是建立在校核與驗(yàn)證的基礎(chǔ)上，指的是由權(quán)威機(jī)構(gòu)來確定仿真模型對某一特定應(yīng)用對象是否

11、可以被接受的過程。 7. 1 VV&A概述vVV&A的基本原則 原則1:VV&A活動(dòng)必須貫穿于系統(tǒng)建模與仿真的整個(gè)生命周期 原則2:在模型系統(tǒng)中，不存在絕對意義上的正確或錯(cuò)誤，不應(yīng)將VV&A活動(dòng)的結(jié)果看做是一個(gè)非對即錯(cuò)的二值變量 原則3:仿真模型是根據(jù)建模與仿真的目標(biāo)而建立的，其可信度也應(yīng)由建模與仿真的相應(yīng)目標(biāo)來評判 7. 1 VV&A概述vVV&A的基本原則 原則4:應(yīng)在一定的程度卜保證仿真模型VV&A活動(dòng)的獨(dú)立性，以避開模型開發(fā)人員對VV&A結(jié)果的影響 原則5:仿真模型的VV&A活動(dòng)需要評估人員具備足夠的創(chuàng)造力和洞察力

12、 原則6:仿真模型的可信度僅僅是針對VV&A活動(dòng)的特定條件而言的 原則7:完全的仿真模型測試是不可能的 7. 1 VV&A概述vVV&A的基本原則 原則8:必須制訂仿真模型VV&A計(jì)劃并進(jìn)行相應(yīng)的文檔記錄 原則9:在VV&A活動(dòng)中，應(yīng)盡力避免三類錯(cuò)誤的發(fā)生 原則10:應(yīng)盡可能早地發(fā)現(xiàn)仿真生命周期中存在的錯(cuò)誤 原則11:必須認(rèn)識(shí)到多響應(yīng)問題的存在并加以恰當(dāng)?shù)亟鉀Q 7. 1 VV&A概述vVV&A的基本原則 原則12:所有子模型(模塊)的成功測試并不意味著整個(gè)模塑的可信度 原則13:必須認(rèn)識(shí)到雙驗(yàn)證問題的存在并加以恰當(dāng)解決 原則14:仿真模型

13、的驗(yàn)證井不能保證仿真結(jié)果的可信度和可接受性 原則15:問題描述的準(zhǔn)確性會(huì)大大影響仿真結(jié)果的可接受性和可信度 7. 2 VV&A的過程、技術(shù)與方法vVV&A的過程 VV&A的過程指的是開展VV&A活動(dòng)的流程。 1. 需求定義與校核需求定義與校核2.啟動(dòng)啟動(dòng)VV&A計(jì)劃計(jì)劃3.數(shù)據(jù)的校核與驗(yàn)證數(shù)據(jù)的校核與驗(yàn)證4.概念模型驗(yàn)證概念模型驗(yàn)證5.設(shè)計(jì)過程的校核設(shè)計(jì)過程的校核6.執(zhí)行過程驗(yàn)證執(zhí)行過程驗(yàn)證7.結(jié)果驗(yàn)證結(jié)果驗(yàn)證8.對校核驗(yàn)證結(jié)果進(jìn)行確認(rèn)對校核驗(yàn)證結(jié)果進(jìn)行確認(rèn)9. VV&A過程信息整理并歸檔過程信息整理并歸檔 7. 2 VV&A的過程、技術(shù)

14、與方法vVV&A的過程v 1. 需求定義與校核 VV&A活動(dòng)的實(shí)施始于確定VV&A需求，完整、正確的需求定義是仿真模型VV&A的基礎(chǔ)和前提。 需求校核與驗(yàn)證階段的主要活動(dòng)包括對需要報(bào)告進(jìn)行重新審核和明確模型逼真度( Fidelity)的可接受標(biāo)準(zhǔn)。 7. 2 VV&A的過程、技術(shù)與方法vVV&A的過程 2.啟動(dòng)VV&A計(jì)劃 VV&A計(jì)劃的主要內(nèi)容一般包括:記錄仿真模型的預(yù)期應(yīng)用，確定對建模與仿真結(jié)果的要求等，將用戶提出的仿真模型可接受性標(biāo)準(zhǔn)形成文檔，以及確定能夠達(dá)到可接受性標(biāo)準(zhǔn)的VV&A方法等。 7. 2 VV&A

15、的過程、技術(shù)與方法vVV&A的過程 3.數(shù)據(jù)的校核與驗(yàn)證 數(shù)據(jù)校核的主要目的是保證對仿真應(yīng)用而言，所選擇的數(shù)據(jù)確實(shí)是最合適的，數(shù)據(jù)驗(yàn)證則主要是為了保證數(shù)據(jù)確實(shí)能夠比較精確地反映真實(shí)系統(tǒng)某些方面的特性。 主要內(nèi)容應(yīng)包括:元數(shù)據(jù)的精度校核;各階段數(shù)據(jù)轉(zhuǎn)化方式的校核;概念模型、編碼模型和集成模型的輸入數(shù)據(jù)校核及輸出數(shù)據(jù)驗(yàn)證;輸出數(shù)據(jù)的有效性校核等。 7. 2 VV&A的過程、技術(shù)與方法vVV&A的過程 4.概念模型驗(yàn)證 概念模型表述的是仿真模型設(shè)計(jì)中的前提假設(shè)、算法、數(shù)據(jù)以及各階段之間的結(jié)構(gòu)關(guān)系 。 目的:說明建模與仿真從功能上可以完整、精確地反映系統(tǒng)設(shè)計(jì)的需求，以保證所有的

16、項(xiàng)目參與人員都能夠清晰、準(zhǔn)確地了解仿真模型的預(yù)期用途，也能夠進(jìn)一步地明確一些假設(shè)或限定條件對仿真模型應(yīng)用的影響。 7. 2 VV&A的過程、技術(shù)與方法vVV&A的過程 5.設(shè)計(jì)過程的校核 指為保證設(shè)計(jì)轉(zhuǎn)化過程相對于概念模型的一致性和精確性，在軟件代碼編寫或硬件環(huán)境構(gòu)造之前，對整個(gè)詳細(xì)設(shè)計(jì)過程的審核過程。 主要工作是對一些規(guī)范和功能上的設(shè)計(jì)方案進(jìn)行檢查。 7. 2 VV&A的過程、技術(shù)與方法vVV&A的過程 6.執(zhí)行過程驗(yàn)證 主要工作:借助于已經(jīng)驗(yàn)證過的數(shù)據(jù)，對軟件代碼、硬件結(jié)構(gòu)以及二者的集成體進(jìn)行測試 。 目的：從功能的角度來保證系統(tǒng)的軟/硬件及其集成體能夠精確

17、地代表開發(fā)人員以及概念規(guī)范和設(shè)計(jì)的預(yù)期需求。 7. 2 VV&A的過程、技術(shù)與方法vVV&A的過程 7.結(jié)果驗(yàn)證 結(jié)果驗(yàn)證是指通過對仿真結(jié)果與已知的或者是所期望的數(shù)值進(jìn)行比較，來確定仿真結(jié)果是否滿足應(yīng)用上的需求。 目的:確定仿真模型滿足需求的程度;確定仿真輸出的逼真程度;確定仿真模型適合于預(yù)期用途的好壞程度等。 7. 2 VV&A的過程、技術(shù)與方法vVV&A的過程 8.對校核驗(yàn)證結(jié)果進(jìn)行確認(rèn) 指的是使用者在仿真模型適合預(yù)期的應(yīng)用能力和限定，而不會(huì)影響到正確結(jié)論等方面獲得的一種官方認(rèn)可的過程。 主要內(nèi)容:依據(jù)在計(jì)劃過程中給定的確認(rèn)標(biāo)準(zhǔn)，對VV&A過程中每一

18、階段的校核、驗(yàn)證結(jié)果和記錄進(jìn)行評估。 7. 2 VV&A的過程、技術(shù)與方法vVV&A的過程 9. VV&A過程信息整理并歸檔 VV&A文檔中應(yīng)至少包括確認(rèn)計(jì)劃、V&V計(jì)劃、V&V報(bào)告、確認(rèn)報(bào)告以及確認(rèn)決定說明等。 7. 2 VV&A的過程、技術(shù)與方法vVV&A的技術(shù)與方法 VV&A的技術(shù)與方法是指在系統(tǒng)建模與仿真的過程中，為了達(dá)到VV&A活動(dòng)的各階段目的而采取的各種技術(shù)、方法和工作策略等的總稱。 非正式方法 正式方法 靜態(tài)方法 動(dòng)態(tài)方法7. 2 VV&A的過程、技術(shù)與方法vVV&A的技術(shù)與方法 1.

19、非正式元法 “非正式”并不是說這些技術(shù)的運(yùn)用缺乏特定的組織性或正式的指導(dǎo)原則，而是指所利用的工具和方法比較多地依賴個(gè)人的主觀性和推理，而沒用很強(qiáng)的數(shù)學(xué)形式。 常用的非正式方法:審核、檢查、表面驗(yàn)證和圖靈測試等。7. 2 VV&A的過程、技術(shù)與方法vVV&A的技術(shù)與方法 2.正式方法 正式方法主要基于對正確性的較為正式的數(shù)學(xué)證明。 常用的正式方法:歸納、推理、邏輯演繹、謂詞運(yùn)算、謂詞變換和正確性證明等。 7. 2 VV&A的過程、技術(shù)與方法vVV&A的技術(shù)與方法 3靜態(tài)方法 靜態(tài)方法廣泛應(yīng)用于評估靜態(tài)模型設(shè)計(jì)和源代碼的情況。 常用的靜態(tài)方法:語法分析、語義分析、結(jié)構(gòu)分析、因果圖、控制分析和數(shù)據(jù)流分析等。7. 2 VV&A的過程、技術(shù)與方法vVV&A的技術(shù)與方法 4. 動(dòng)態(tài)方法 動(dòng)態(tài)方法是一類在實(shí)際中相對較為有效的方法，主要應(yīng)用于校核和驗(yàn)證建模與仿真的動(dòng)態(tài)方面。 常用的動(dòng)態(tài)方法:自頂向下、自底向上、黑自頂向下、自底向上、黑盒法、白盒法、執(zhí)行追蹤、執(zhí)行接受測試盒法、白盒法、執(zhí)行追蹤、