信息系統(tǒng)開發(fā)評價方法課件

信息系統(tǒng)評價方法第一節(jié)系統(tǒng)評價概述第二節(jié)信息系統(tǒng)評價指標體系第三節(jié)信息系統(tǒng)評價方法第四節(jié)層次分析法（AHP）信息系統(tǒng)評價方法第一節(jié)系統(tǒng)評價概述第二節(jié)信息系統(tǒng)評價1第一節(jié)系統(tǒng)評價概述1系統(tǒng)評價的定義使用某種方法和相關指標體系對一個系統(tǒng)或系統(tǒng)建設的某一周期進行全面的估計、檢查、測試分析和評審的過程。第一節(jié)系統(tǒng)評價概述22評價的目的上級部門系統(tǒng)評價開發(fā)部門用戶單位評價機構開發(fā)部門：促使開發(fā)單位對系統(tǒng)建設全過程加強管理和控制。上級部門：可對系統(tǒng)的投資目標完成情況做出準確的判斷，以便于對后期系統(tǒng)建設進行決策。用戶單位：通過評價，可對系統(tǒng)功能、性能情況有較深入了解，以利于系統(tǒng)后期的運行、擴展、改進。2評價的目的上級部門系統(tǒng)評價開發(fā)部門用戶單位評價機構開發(fā)部33系統(tǒng)開發(fā)不同階段的評價活動事先評估這是一種預測性評價，通常與項目的可行性論證、系統(tǒng)招標評審等活動結合在一起。

可行性研究是通過了解和掌握系統(tǒng)所處的環(huán)境、約束等條件，分析新系統(tǒng)開發(fā)和運行的投入，以及可能產生的效益，達到研究建立信息系統(tǒng)的必要性、可行性和收益性的目的。步驟：△對現有系統(tǒng)進行分析，了解基本情況及不足之處，提出建立新系統(tǒng)的設想，明確建立新系統(tǒng)的必要性；△從新系統(tǒng)可能采取的新技術和運行模式出發(fā)，對技術、運行內外環(huán)境、資源條件等進行分析，明確建立新系統(tǒng)的可行性；△對信息系統(tǒng)的經濟效益做出預測，明確建立新系統(tǒng)的收益性。3系統(tǒng)開發(fā)不同階段的評價活動4這些構成了新系統(tǒng)開發(fā)的基本評估的量化數據，也是今后評估的主要依據。如果是外包項目，可行性研究中的主要內容和數據應構成經濟技術合同書的重要組成部分?？尚行匝芯拷洺Ｅc招投標過程相結合，在可行性研究報告中，除包含必要性、可行性和收益性分析外，還要闡述系統(tǒng)開發(fā)、系統(tǒng)運行的基本保障數據，主要評估的量化數據有：這些構成了新系統(tǒng)開發(fā)的基本評估的量化數據，也是今后評估的主要5中期評估中期評估也稱為工作階段的評估。目的是將已實現的部分開發(fā)工作與計劃目標相比較,及時找出差距，糾正偏差，將錯誤消除在早期。同時階段評估又含有階段考核、評審的重要意義。具體可分為：邏輯設計評估：（系統(tǒng)分析）總體結構的先進性和合理性；系統(tǒng)功能對用戶需求的滿足程度；數據流圖、數據結構等的規(guī)范性、完整性。系統(tǒng)硬件配置方案設計；系統(tǒng)軟件平臺（系統(tǒng)軟件、工具軟件）方案設計；數據庫和文件系統(tǒng)設計；I/O、網絡通信方案設計；算法、處理邏輯設計。

物理設計評估：（詳細設計）系統(tǒng)實施評估：（編程）硬件系統(tǒng)的測試及評估；應用軟件的測試與質量評估。中期評估中期評估也稱為工作階段的評估。目的是將已實現的部分6事后評估根據新系統(tǒng)所產生的一系列設計規(guī)格說明書，對照實際開發(fā)和運行的情況，對系統(tǒng)進行全面、綜合的測試、分析、檢查和評估，往往需要組織一支專門的隊伍，用專門的時間進行細致的考核，或稱鑒定，或稱驗收。

功能度評估：功能度評估是對系統(tǒng)能力的評價，主要包含：對企業(yè)業(yè)務覆蓋情況、輔助企業(yè)管理的能力、輔助企業(yè)決策的能力，系統(tǒng)功能的質量如何，所蘊含的管理思想是否合理等。性能度評估：性能度評估是對系統(tǒng)運行質量的考核，其主要包含:系統(tǒng)運行的穩(wěn)定性、數據的精確性、安全保密性、共享性、使用的靈活方便性、系統(tǒng)的可擴充性、可維護性、經濟性等。事后評估根據新系統(tǒng)所產生的一系列設計規(guī)格說明書，對照實際開發(fā)7績效評估：信息系統(tǒng)的績效可以定義為：信息系統(tǒng)對企業(yè)目標實現的貢獻度，績效是信息系統(tǒng)對企業(yè)價值的綜合表現。為了評價企業(yè)信息系統(tǒng)績效，必須設立績效指標，利用績效指標來監(jiān)控信息系統(tǒng)的開發(fā)過程和行為，從而優(yōu)化系統(tǒng)的績效指標。常用的績效指標有：系統(tǒng)投資回收期、系統(tǒng)收益與系統(tǒng)費用比率、內部收益率、系統(tǒng)使用率、功能應用率等?？冃гu估：8第二節(jié)信息系統(tǒng)評價的指標體系系統(tǒng)評價指標體系系統(tǒng)性能評價指標系統(tǒng)建設評價指標系統(tǒng)應用評價指標規(guī)劃目標實現程度先進性經濟性資源利用率開發(fā)方法與效率管理模式的科學性系統(tǒng)建設的規(guī)范性……系統(tǒng)的可靠性系統(tǒng)效率性系統(tǒng)可維護性系統(tǒng)可擴充性系統(tǒng)可移植性系統(tǒng)可恢復性系統(tǒng)的安全保密性……經濟效益社會效益管理科學性用戶滿意度系統(tǒng)功能應用程度……系統(tǒng)功能評價指標功能的完整性系統(tǒng)容錯能力信息的準確性信息的一致性信息的實時性操作的友好性……第二節(jié)信息系統(tǒng)評價的指標體系系統(tǒng)評價指標體系系統(tǒng)性能評價指9⑴系統(tǒng)建設評價指標●目標實現程度：評價系統(tǒng)的規(guī)劃目標與用戶的期望目標的差異度，該指標通常由專家、用戶、同行等根據系統(tǒng)規(guī)劃的目標樹進行打分，經加權統(tǒng)計得到?！裣冗M性：評價系統(tǒng)從總體設計、開發(fā)方法、系統(tǒng)結構、軟硬件配置、算法設計、網絡通信技術等，該指標通常由專家組進行綜合評議。●經濟性：該指標根據實際系統(tǒng)的性能、功能與系統(tǒng)投資比及系統(tǒng)運行所產生的收益加以分析而獲得?！褓Y源利用率：該指標主要考核系統(tǒng)設備使用率、數據使用率、應用模塊的使用率等，目的為考核系統(tǒng)的使用狀況。⑴系統(tǒng)建設評價指標●目標實現程度：評價系統(tǒng)的規(guī)劃目標與用戶10●開發(fā)效率：開發(fā)效率與開發(fā)者的經驗、開發(fā)方法、資金投入、用戶支持度及項目管理水平等因素密切相關，該指標可用軟件功能點方法或代碼行法等計算。●管理模式科學性：該指標通常使用組織機構健全情況、系統(tǒng)人員的配備情況、各種規(guī)章制度的完備與執(zhí)行情況等。●系統(tǒng)建設規(guī)范性：該指標考核系統(tǒng)開發(fā)過程是否遵循國際標準、國家標準、規(guī)范程度及文檔的標準化、齊全度?！耖_發(fā)效率：開發(fā)效率與開發(fā)者的經驗、開發(fā)方法、資11⑵系統(tǒng)功能評價指標●功能的完整性：該指標表示系統(tǒng)覆蓋企業(yè)業(yè)務的情況，通常用系統(tǒng)已包含業(yè)務總和與企業(yè)業(yè)務總和之比?！裣到y(tǒng)容錯能力：該指標反映系統(tǒng)各功能對用戶誤操作后的系統(tǒng)處理能力。●信息的準確性：該指標反映系統(tǒng)各功能對數據的處理的正確程度，該指標是考核系統(tǒng)功能的重要指標?！裥畔⒌囊恢滦裕涸撝笜朔从诚到y(tǒng)各功能對數據的處理的一致性程度，該指標是考核系統(tǒng)功能的重要指標。⑵系統(tǒng)功能評價指標●功能的完整性：該指標表示系統(tǒng)覆蓋企業(yè)業(yè)12●信息的實時性：該指標表示系統(tǒng)功能對企業(yè)數據處理的實時能力，該指標對于實時性要求較高的系統(tǒng)，十分重要?！癫僮鞯挠押眯裕涸撝笜朔从诚到y(tǒng)各功能對用戶操作中的系統(tǒng)系統(tǒng)提供的操作流的合理性。●信息的實時性：該指標表示系統(tǒng)功能對企業(yè)數據處理的實時能13⑶系統(tǒng)性能評價指標●系統(tǒng)的可靠性：該指標是對系統(tǒng)軟硬件、網絡平臺的綜合評價，可利用系統(tǒng)測試及試運行結果數據綜合分析其公式為：可靠性=MTBF/（MTBF+MTTR）

MTBF：平均故障間隔時間MTTR：平均修復時間●系統(tǒng)效率：該指標通常用系統(tǒng)的周轉時間（對批處理作業(yè)的速度）、響應時間（對交互操作的應答速度）、吞吐量（單位時間系統(tǒng)完成作業(yè)數）。通常響應時間對一般交互操作應大于0.5秒小于3秒?！裣到y(tǒng)可維護性：該指標根據實際系統(tǒng)模塊結構的合理程度、模塊內聚性、模塊的重用性及技術文檔的齊備程度和提供維護工具的功能完備程度等，考核系統(tǒng)可維護性。⑶系統(tǒng)性能評價指標●系統(tǒng)的可靠性：該指標是對系統(tǒng)軟硬件、網14●系統(tǒng)可擴充性：該指標主要考核系統(tǒng)對新增設備及新增功能的能力，其反映了系統(tǒng)結構、軟硬件平臺及網絡平臺設計的合理性?！裣到y(tǒng)可移植性：該指標評價系統(tǒng)的軟硬件配置特性、平臺的通用性及系統(tǒng)設計的合理程度?！裣到y(tǒng)可恢復性：該指標評價系統(tǒng)對系統(tǒng)出現故障時，系統(tǒng)的恢復能力（包括自動、人工恢復），反映系統(tǒng)設計的合理性?！裣到y(tǒng)的安全保密性：該指標考核系統(tǒng)運行中出現意外事件，系統(tǒng)的抵御能力及恢復能力，保密性是指系統(tǒng)對數據在存儲、加工、使用、傳輸中的保密處理能力?！裣到y(tǒng)可擴充性：該指標主要考核系統(tǒng)對新增設備及新增功能的能力15⑷系統(tǒng)應用評價指標●經濟效益：該指標考核由于系統(tǒng)運行而帶來的直接、間接效益，如控制進貨渠道、合理庫存、節(jié)省人力、提高企業(yè)競爭力、增加市場占有率等所獲得的經濟效益?！裆鐣б妫涸撝笜丝己擞捎谙到y(tǒng)運行給企業(yè)帶來的社會效益，如實現現代化管理、增加企業(yè)知名度、改善工作環(huán)境等?！窆芾砜茖W性：該指標考核由于系統(tǒng)運行對企業(yè)管理水平、管理方法、管理規(guī)范帶來的變化，同時促進人員素質的提高等。⑷系統(tǒng)應用評價指標●經濟效益：該指標考核由于系統(tǒng)運16●用戶滿意度：該指標主要考核用戶對系統(tǒng)的功能的完備性及性能的達標率，如：人機界面的友好程度、操作的方便性、系統(tǒng)的容錯能力、系統(tǒng)的靈活性等。●功能應用程度：該指標評價系統(tǒng)在企業(yè)實際運行的情況，其方法可以將各系統(tǒng)功能分解為若干功能點，再分析各功能點在企業(yè)運行中的使用率，將功能點使用率進行加權統(tǒng)計而獲得?！裼脩魸M意度：該指標主要考核用戶對系統(tǒng)的功能的完備性及性17第三節(jié)信息系統(tǒng)的評價方法以定性為主的方法評估技術擬定量方法以定量為主的方法因素分解法邏輯方法歷史比較法專家評議法德爾菲法交叉影響分析法關聯(lián)樹法內容分析法層次分析法成本效益分析法回歸模型因子分析法聚類分析法引文分析法主成分分析法機助信息分析…………圖評估分析方法的總框架第三節(jié)信息系統(tǒng)的評價方法以定性為主的方法評估技術擬定量方法18目前我國對信息系統(tǒng)進行評價時，常用采用的方法主要有：專家評議法、成本效益分析法、層次分析法（AHP）。⑴專家評議法專家評議法是一種以定性分析法為主的評價方法，該方法通常由下面步驟組成：▲項目評審準備：項目評審申請、審批、材料準備等?！⒃u議專家組:由計算機專業(yè)和涉及行業(yè)專家兩方面人員構成?！贫ㄏ到y(tǒng)評價方案：由專家組制定評議方法、步驟、評價指標或標準，指標可以是定性的，也可以是定量的?！F場考察

：專家對系統(tǒng)進行系統(tǒng)現場考察如：聽取系統(tǒng)開發(fā)報告、現場系統(tǒng)演示、測試等，對系統(tǒng)進行分項打分，再進行加權統(tǒng)計?！鴮＜以u議：由專家組給出系統(tǒng)的定性的系統(tǒng)評價分析報告。

目前我國對信息系統(tǒng)進行評價時，常用采用的方法主要有：專家評議19

專家評議法的主要優(yōu)點是操作簡單、省時，評價結果具有一定的權威性和可信性。主要缺點是理論依據不足，評價結果受人為的影響太大。建立評議專家組制定系統(tǒng)評價方案現場考察專家評議項目評審準備評議申請報告議程、指標評議結果報告考察過程記錄專家評議法的主要優(yōu)點是操作簡單、省時，評價結果具有一定的20⑵成本—效益分析法成本-效益分析法是面向經濟的擬定量分析方法。評價過程中的量綱主要是貨幣單位。評價的目的通過分析信息系統(tǒng)經濟性從而判斷系統(tǒng)的得失和可取性，最終作出結論。該方法關心的問題是：在信息系統(tǒng)建成的若干年內或生命周期內，收益率的情況。①信息系統(tǒng)項目的成本構成:

Ct=Cd+Cr其中:Cd:系統(tǒng)開發(fā)建設成本Cr:系統(tǒng)運行維護成本⑵成本—效益分析法成本-效益分析法是面向經濟的擬定量分析方21信息系統(tǒng)成本開發(fā)成本運行維護成本分析、設計費系統(tǒng)實施費管理費用系統(tǒng)規(guī)劃系統(tǒng)分析系統(tǒng)設計系統(tǒng)設計成本編程與調試硬件平臺費用系統(tǒng)軟件費用網絡施工費用數據整理錄入系統(tǒng)運行費用行政管理費用維護費用人員費用消耗材料費用固定資產折舊硬件維護費用軟件維護費用系統(tǒng)版本升級技術資料獲取人員培訓費用系統(tǒng)實施成本二次開發(fā)費用系統(tǒng)通信費系統(tǒng)運行成本系統(tǒng)維護成本信息系統(tǒng)成本構成示意圖：信息系統(tǒng)成本開發(fā)成本運行維護成本分析、設計費系統(tǒng)實施費管理費22②信息系統(tǒng)項目的機時成本計算:Cp=(s+d+m+p)*(1+h%)/t*k

人員工資費設備折舊費耗材支出費能源、通信費間接費用率系統(tǒng)正常運行時數設備利用系數②信息系統(tǒng)項目的機時成本計算:人員工資費設備折舊費耗材支出23③簡單收益率和系統(tǒng)回收期指標

簡單收益率R又稱為投資效果系數，其計算公式如下：

R=F/C

公式中F為：標準年度的凈收益，其值為年收益與系統(tǒng)年運行成本之差既：F=年收益-年運行成本公式中C為：系統(tǒng)的先期投入

系統(tǒng)回收期指標P是考核信息系統(tǒng)效益的重要參數，計算公式如下：P=C/F或P=1/R

P為系統(tǒng)回收期（以年為計量單位）例：150（萬元）/25（萬元）=6（年）

一般信息系統(tǒng)的P值應≤五年，因此簡單收益率R應≥20%。③簡單收益率和系統(tǒng)回收期指標24上述公式中凈收益（F）中的年收益值的估算：信息系統(tǒng)的收益估算是一個復雜的問題，通常以下列幾個方面進行考慮：信息系統(tǒng)的運行節(jié)省的人員。系統(tǒng)彌補了企業(yè)漏洞，避免的損失。減少庫存資金占有，使企業(yè)獲得更高的利潤。系統(tǒng)支持企業(yè)快速、準確的決策信息帶來的效益。系統(tǒng)促進企業(yè)管理的規(guī)范化，使企業(yè)加強了市場競爭力。帶來市場效應。系統(tǒng)的產品化（獨立開發(fā)、合作開發(fā)方式）后的市場收益。

……上述公式中凈收益（F）中的年收益值的估算：25④現金流量表與凈現值凈現值NPV（NetPresentValue）財務指標可用于考核一個系統(tǒng)在未來幾年的價值，NPV參數與時間有關的關鍵因素是折現率r。r可以用銀行貸款利率來確定，也可以用行業(yè)的投資平均回報率來給定。目前通常做法是采用國家規(guī)定的銀行貼現率來確定。現值與n年后的終值有如下關系:終值=現值×（1+r)n或：現值=終值÷（1+r)n如：今天的100元存入銀行，在利率r=5%時，明年此時100元成為：100×（1+0.05)1＝105(元)同理，明年得到的100元，在利率r=5%時，在今天只相當于存款：100÷（1+0.05)2＝90.70(元)④現金流量表與凈現值凈現值NPV（NetPresent26現金流量表是反映一個系統(tǒng)不同時間段內各種資金流入（收回）和流出（付出）的二維表格。

凈現值NPV（NetPresentValue）：若NPV大于零，則該系統(tǒng)經濟上有效益或系統(tǒng)具有未來價值。若有兩個項目，NPV1大于NPV2，則NPV1代表的項目或方案要好于NPV2代表的項目。20042005……2008流出COF0COF1……COFn流入CIF0CIF1……CIFn凈收益(流入-流出)NCF0NCF1……NCFn年度項目現金流量表是反映一個系統(tǒng)不同時間段內各種資金流入（收回）和流27⑤內部收益率IRR（InternalRateofReturn）：內部收益率IRR是根據系統(tǒng)累計成本的現值和系統(tǒng)累計收益的現值情況計算出系統(tǒng)實際可接受的內部貼現率值r,通常r≥i時(i為國家實際貸款利率或貼現率),則系統(tǒng)從經濟上是可以接受的。其計算公式如下：其中：It為第t年系統(tǒng)支出成本額Bt為第t年系統(tǒng)運行收益額內部收益率的r值求解時可將上列公式推導為以下形式：由于：NCFt=COFt-CIFt因此上面公式可推導為下式：⑤內部收益率IRR（InternalRateofR28以上公式是當NPV=0時，公式中只有一個未知量r值，常用插入法求得r值：取相鄰且精度適宜的兩個插入值I1和I2代入f（r）的r中，并計算f(I1)和f(I2)，使f(I1)>0，f(I2)<0。用插入公式求IRR：以上公式是當NPV=0時，公式中只有一個未知量r值，29

成本效益分析法是可行性研究中常用的評價方法，特別是現金流量表與凈現值的分析方法基本上是不可少的。得到了現金流量表，也就可以得到NPV和IRR，再利用IRR與國家規(guī)定的內部貼現率值r進行比較，即可得出系統(tǒng)的建設價值。

現金流量表包括流入和流出（收益和成本）兩大部分，建立現金流量表并不難，難點是對信息系統(tǒng)效益的量化分析，這需要參與系統(tǒng)評價人員的經驗和具體項目的分析。I1I2F(I2)F(I1)xF(x)IRR成本效益分析法是可行性研究中常用的評價方法，特別是現30層次分析法AHP(AnalyticHierarchyProcess)以下簡稱AHP,目前AHP方法是一種國際上普遍采用的評估方法，在評估技術中占有特殊的地位。自70年代中期以來，AHP方法得到了較大的發(fā)展，在我國AHP方法的應用和研究也十分廣泛，許多國家重大科技課題、工程項目都采用AHP方法進行評估或評價。第四節(jié)層次分析法層次分析法是定性與定量相結合的分析方法，或稱擬量化（虛擬量化，準量化）的分析方法，可以廣泛用于信息系統(tǒng)建設評價的各個方面。人們普遍認為，層次分析法是一種科學的，有較強實際意義的分析方法。層次分析法AHP(AnalyticHierarchyPr31AHP力圖模擬人在思維決策過程中的三個基本特征，即分解、判斷和綜合?；静襟E如下：分解：將待評估問題分解為由若干層次指標構成的遞階層次模型；判斷：構造該層次模型對應的數學模型即：層次指標關系比較矩陣；綜合：計算單一準則下，其各評判元素的相對權重并檢查一致性；計算各層各元素對總目標的組合權重，并檢查一致性。AHP力圖模擬人在思維決策過程中的三個基本特征，即分解、判斷32一、分解一個復雜的評估問題，可以逐層分解為若干個稱之為元素的組成體。決策目標準則1……準則2準則k目標層準則層……子準則2子準則m子準則1子準則層方案層1方案層1……方案層2方案層n方案層……………………一、分解一個復雜的評估問題，可以逐層分解為若干個稱之為元素的33例：

如果任一個上層元素都可以支配全部下層元素，則稱之為完全的層次關系，若其中某些上層元素不能支配下層全部元素，則稱之為非完全的層次關系。系統(tǒng)綜合評估用戶滿意度規(guī)范性系統(tǒng)效率可移植性先進性可擴充性經濟性可靠性目標層準則層系統(tǒng)B系統(tǒng)A系統(tǒng)C方案層例：如果任一個上層元素都可以支配全部下層元素，則稱之為完全34二、判斷判斷的目的是：評估各個底層元素對總目標的重要程度，構造該層次模型對應的數學模型即：層次指標關系比較矩陣；其具體方法是：針對評估模型建立與其相對應的數學模型（既判斷矩陣），判斷矩陣逐層建立。矩陣的建立過程是：在確定的上層元素支配下，下層元素兩兩做重要性的比較，通過兩兩比較，可以得到對上層元素的一個比較矩陣，如果同層有n個元素兩兩比較，矩陣就是一個n階矩陣。如上面的評估模型將需建立9個判斷矩陣。二、判斷判斷的目的是：評估各個底層元素對總目標的重要程度，構35比例標度賦值的三個特點：aii=1；aij>0；aij=1/aji比例標度：判斷約定采用1―9的比例標度賦值。含義如下：比例標度賦值的三個特點：aii=1；aij>0；aij=1/36準則準則A1A2A3A4A5A6A7A8A11A1/A2A1/A3A1/A4A1/A5A1/A6A1/A7A1/A8A2A2/A11A2/A3A2/A4A2/A5A2/A6A2/A7A2/A8A3A3/A1A3/A21"""""A4A4/A1A4/A2"1""""A5A5/A1A5/A2""1"""A6A6/A1A6/A2"""1""A7A7/A1A7/A2""""1A7/A8A8A8/A1A8/A2""""A8/A71如前例中有8個評價指標，其兩兩比較結果為：上表中元素滿足：aii=1；aij>0；aij=1/aji準則A1A2A3A4A5A6A7A8A11A37構造的比較矩陣：從數學上講可以有：特征向量判斷矩陣構造的比較矩陣：從數學上講可以有：特征向量判斷矩陣38目標元素1元素2……元素n我們的目的是測出各元素對于目標的權重，這里假設元素1對于目標的權重為w1；元素2對于目標的權重為w2；……元素n對于目標的權重為wn，記為：特征向量在AHP方法中的含義：目標元素1元素2……元素n我們的目的是測出各元素對于目標39根據矩陣特征根的原理，若矩陣滿足上式，則說明n是矩陣A的唯一非零的、同時又是最大的特征根；而W是矩陣A的與最大特征根n相對應的特征向量。有兩個問題需要解答：怎樣得到權重向量—W？在數學上，當A矩陣元素aij=aikakj=aik/ajk時，說明A矩陣具有完全一致性，（λmax=n，其余特征根為0）。但是在實際中會有偏差，需要知道偏差有多大？可否接受？根據矩陣特征根的原理，若矩陣滿足上式，則說明n是矩陣A的唯40

求W：有三種方法：和積法，求冪法，和方根法。1）對判斷矩陣A每一列正規(guī)化2）每一列經正規(guī)劃后的判斷矩陣按行相加3）對向量正規(guī)化（i，j=1，2，3……，n）（i，j=1，2，3……，n）（i=1，2，3……，n）和積法三、綜合綜合階段的工作可分為求解單一準則下的相對權重、一致性檢查、層次總排序三個步驟。第一步：求解單一準則下的相對權重。求W：1）對判斷矩陣A每一列正規(guī)化2）每一列經正規(guī)劃后的判41求冪法1）設一個與判斷矩陣同階的正規(guī)化初始向量:W0=(1/n,1/n,1/n,…1/n)T2）對于k=0,1,2,…計算3）令計算k=0，1，2……4）對于給定精確度ε當成立實則停止計算，取，W為求得的特征向量。求冪法1）設一個與判斷矩陣同階的正規(guī)化初始向量:2）對于422）計算的n次方根；其中n為每一行元素的個數3）對向量進行歸一化，即算出：方根法1）計算判斷矩陣A每一行元素的乘積；（i，j=1，2，3……，n）（i，j=1，2，3……，n）（i=1，2，3……，n）2）計算的n次方根；其中n為每一行元素的個數3）43例：有一個評估問題遞階結構如下，用戶滿意度A方案B方案C方案兩兩比較構成判斷矩陣為：用方根法：1、計算A中每一行元素的乘積M1=1*1/5*1/3=1/15M2=5*3*1=15M3=3*1/3*1=1例：有一個評估問題遞階結構如下，用戶滿意度A方案B方案C方案442、求M1，M2，M3的三次方根（n=3）3、對向量歸一化這一步驟是求得單一準則下的特征向量W，即得到了各元素之間的相對權重，這組數字是否合理，必須進行一致性檢查。特征向量：2、求M1，M2，M3的三次方根（n=3）3、對向量45第二步：一致性檢查

層次分析法的一致性檢驗是來保證判斷結果的合理性和可信性。一致性檢驗主要是利用最大特征根來判別。這是由于矩陣最大特征根與判斷矩陣一致性具有內在的聯(lián)系。判斷矩陣的元素應滿足如下條件:

aij=aik

/ajk

(i,j,k=1,2,3,…n)當矩陣滿足上述完全一致性條件，矩陣具有唯一非零的最大的特征根λmax=n，其余的特征根均為零；當判斷矩陣具備滿意一致性（接近完全滿足上述條件）時，λmax會稍大于n，其余的特征根趨于零；

第二步：一致性檢查層次分析法的一致性檢驗46當矩陣偏離完全一致性，其特征根會發(fā)生相應的變化，可以利用判斷矩陣的變化來校驗其完全一致性程度。求最大非零特征根：例：當矩陣偏離完全一致性，其特征根會發(fā)生相應的變化，可以利用判47若有λmax=n，其余特征根均為零，則判斷矩陣具備完全一致性。若λmax≠n，為大于n的數值，則其余特征根之和為一個負值。因此檢查一致性，實質上是檢查其余特征根的負平均值。用除λmax之外的其余特征根的負平均值，作為衡量判斷矩陣偏離完全一致性的指標(CI)即用：作為檢驗判斷一致性的指標。CI的值越小，說明λmax與n相差得越小，即判斷矩陣根接近完全一致性。若有λmax=n，其余特征根均為零，則判斷矩陣具備完全一致48

由于矩陣階數越大，完全一致性越難達到，為測量不同階的判斷矩陣的一致性，通常給出平均隨機一致性指標RI，RI值可以通過下表查出。

當階數大于2時，判斷矩陣一致性指標CI與同階平均隨機一致性指標RI之比，即CI/RI的值稱為隨機一致性比率，記為CR。當隨機一致性比率CR=CI/RI<0.10時，判斷矩陣的一致性檢查通過，即認為具有滿意的一致性。否則應考慮并調整判斷矩陣的元素值。由于矩陣階數越大，完全一致性越難達到，為測量不同階的49其余特征根之和：求其負平均值，取正值為一致性指標：偏離完全一致性的指標：隨機一致性比率因為CR<0.1，可以認為該矩陣的一致性可以接受。查表獲得其余特征根之和：求其負平均值，取正值為一致性指標：因為CR<50在求得各層元素對于上一層元素的相對權重之后，第三步的工作是要求得到底層元素相對總目標的組合權重，其計算步驟是第三步:層次總排序總目標A1A2Am……B1B2Bn……k層元素k-1層元素……由上而下逐層進行在求得各層元素對于上一層元素的相對權重之后，第三步的工作是要51求第k層上的組合權重Wk應由本層相對權重Bk與上一層的組合權重Wk-1（當k=1時，Wk-1就是第一層對總目標的相對權重）的乘積求得，即：Wk就是k層上的各元素對于總目標的組合權重。Bk為第K層相對權重矩陣

Wk-1為第K-1層組合權重矩陣

求第k層上的組合權重Wk應由本層相對權重Bk與上一層的組合權52舉例：總目標準則1準則2準則3子準則1子準則2子準則3子準則4方案1方案2方案3子準則5第K層第K-1層第K-2層目標層設第K-2層對目標層的單一準則下的權重為a1,a2,a3，既為組合權重。設第K-1層對上一層的單一準則下的權重為b1,b2,b3,b4,b5,b6,b7,b8則組合權重為:

b100a1b1*a1+0*a2+0*a3c1

b2b30*a2=b2*a1+b3*a2+0*a3=c2

0b4b6a30*a1+b4*a2+b6*a3c3

0b5b70*a1+b5*a2+b7*a3c4

00b80*a1+0*a2+b8*a3c5逐層計算相對總目標的組合權重，直到方案層。舉例：總目標準則1準則2準則3子準則1子準則2子準則3子準則53最后一步，計算k層的一致性比率：k層一致性指標：k層平均隨機一致性指標：當CRk<0.1時，認為可以接受。其中：為k-1層相對目標層得組合權重向量。Cij為k層單一準則下的偏離完全一致性的指標其中：為k-1層相對目標層得組合權重向量。RIj為k層單一準則下的平均隨機一致性指標最后一步，計算k層的一致性比率：k層一致性指標：k層平均隨機54設上例層次模型的三層組合權重向量分別為：第K-2層：W1[w11,w12w13]第K-1層：W2[w21,w22,

w23,w24,

w25]第K層：W3[w31,w32,

w33

]其九個判斷矩陣單一準則下的偏離完全一致性的指標分別為CI1,[CI2,CI3,CI4],[CI5,CI6,CI7,CI8,CI9];總目標準則1準則2準則3子準則1子準則2子準則3子準則4方案1方案2方案3子準則5舉例：第K層第K-1層第K-2層目標層第1層第2層第3層設上例層次模型的三層組合權重向量分別為：總目標準則1準則2準55

第K-2層的一致性的指標CI1既為CI1；第K-1層的一致性的指標CI2為:

CI2=w11*CI2+w12*CI3+w13*CI4第K層的一致性的指標CI3

為:CI3=w21*CI5+w22*CI6+w23*CI7+w24*CI8+

w25*CI9第K層的CI值既為偏離完全一致性指標的最終結果;

用同樣方法可以求出平均隨機一致性指標RI和一致性比率CR?？偰繕藴蕜t1準則2準則3子準則1子準則2子準則3子準則4方案1方案2方案3子準則5第K層第K-1層第K-2層目標層第K-2層的一致性的指標CI1既為CI1；總目標準則156第五節(jié)AHP應用中的幾點說明層次模型的建立指標集的建立權重集的確定無量綱化方法綜合評估第五節(jié)AHP應用中的幾點說明層次模型的建立571、層次模型的建立

指標體系應是一個定性與定量相結合、具有層次對應關系的量標系統(tǒng)，它由指標集和權重集有機組成。指標集是由能反映評價客體某種特質的因素組成、定性與定量相結合的標準系列。權重集是指按指標的層次對應性有序排列而成的權重值表，而權重值則是與每一指標相對應的加權值。

1、層次模型的建立指標體系應是一個定性與定量581）建立指標集的基本原則方向性原則：是指評價對評價對象應具有指引、導向的作用，即評價的指標體系，特別是其中多項指標權重的確定，具有較強的導向作用、目的明確?？茖W性原則：要力求客觀、真實、準確地反映評價對象的本質屬性?？尚行栽瓌t：即可操作性，要求評價指標條目有限、內容簡潔、適合實際和方法可行?？杀刃栽瓌t：主要體現在兩個方面。一是層次性，二是可量化性，即指在對兩個以上對象進行評價時，其指標和評價結果必須具有可比較的性質。1）建立指標集的基本原則59單項評價與綜合評價結合的原則：在評價時，既要考慮被評價對象各個側面，又要考慮到這些側面之間的相互關系，從總體上對被評價對象進行分析評價，評價指標的選取要比較全面。定性與定量相結合的原則：既要把握被評對象“質”的一面，對其進行定性分析，又要把握住被評對象“量”的一面，對其進行量的分析，并從量和質統(tǒng)一的角度，對評價對象做出科學的結論。靜態(tài)與動態(tài)相結合的原則：既要立足于被評對象的現有狀態(tài)（已達到的水平或具備的條件），又要充分考慮到它的過去和未來的發(fā)展。單項評價與綜合評價結合的原則：在評價時，既要考慮被評價對象各602）權重集的確定選擇專家，專家的質量將直接影響到結果的準確性、可信性。一般情況下，選本專業(yè)領域中既有實際工作經驗又有較深理論修養(yǎng)的專家5到10人。將待定權值的指標和有關資料以及統(tǒng)一的確定權值的規(guī)則發(fā)給選定的各位專家，請他們獨立地給出各指標的權值?；厥战Y果并計算專家填寫判斷矩陣的有效率及各指標權值的均值。2）權重集的確定選擇專家，專家的質量將直接影響到結果的準確61將計算的結果及補充資料返還給各位專家，請專家重新確定權值。重復上述3、4步，直至專家給定權值的有效率符合預先給定的標準為止。以此時各位專家給定的指標權值的均值作為該指標的權值。將計算的結果及補充資料返還給各位專家，請專家重新確定權值。623、無量綱化

一個指標體系中的指標通常存在著異量綱的情況，直接將它們加權平均是不合理的，也沒有實際意義，因此考慮將指標值轉化為無量綱的相對數——比重，同時數值大小范圍在[0，1]內，這種去掉指標量綱的過程，稱為數據的無量綱化（也稱為數據的規(guī)格化），它是指標綜合的前提。如果我們把指標無量綱化后的數值稱為指標評價值，那么無量綱化過程就是指標實際值轉化為指標評價值的過程。3、無量綱化一個指標體系中的指標通常存在著異量綱的63無量綱化方法可歸結為三類：直線型、折線型和曲線型無量綱化方法。1)直線型無量綱化方法常用的直線型無量綱化方法有：閥值法、標準化方法和比重法，其特點是簡單、直觀。閥值法：閥值也稱臨界值，是衡量事物發(fā)展變化的一些特殊指標值，比如極大值、極小值、滿意值、不允許值等。閥值法使用指標實際值與閥值相比得到指標評價值。無量綱化方法可歸結為三類：直線型、折線型和曲線型無量綱化方法64比重法：是將指標實際值轉化為它在指標值總和中所占的比重，其公式為：前者適合指標值均為正數的情況，而后者適合于指標值有負值的情況。

直線型無量綱化方法的實質是假定指標評價值與實際值成線性關系，評價值隨實際值等比例變化，即在事物發(fā)展的前期和后期指標值相同的變化量引起評價值的變化量是相同的。而這一點與事物發(fā)展變化的實際情況可能不符合，這也就是直線型無量綱化方法的最大缺陷。比重法：是將指標實際值轉化為它在指標值總和中所占的比652)折線型無量綱化方法這種方法適合于事物發(fā)展呈現階段性，指標值在不同階段變化對事物總體水平影響是不同的。構造折線型無量綱化方法與直線型不同之處在于必須合理地找出事物發(fā)展的轉折點的指標值并確定其為評價值。3)曲線型無量綱化方法有些事物發(fā)展階段性的分解點不很明顯，而前中后各期發(fā)展情況又截然不同，也就是說指標值變化對事物總體水平的影響是逐漸變化的，而非突變的，這種情況下，曲線型無量綱化公式更為適合。2)折線型無量綱化方法66

有了層次模型中各項評價指標的權值和統(tǒng)計而得的指標值就可以進行綜合評估了，最常見的綜合算法都是與平均值有關的，加權算術平均、加權幾何平均，以及算術平均與幾何平均聯(lián)合使用等。3、綜合評估例:科研能力（A）國家科技項目北京市科技項目省部委科技項目其它縱向科技項目橫向項目個數B1個數B2個數B3個數B4個數B5有了層次模型中各項評價指標的權值和統(tǒng)計而得的指標值就67填寫判斷矩陣對上述模型設有專家填寫了如下判斷矩陣：專家001專家002填寫判斷矩陣專家00268判斷矩陣的一致性檢查專家001最大特征值=5一致性指標值=一致性比率=專家002最大特征值=5一致性指標值=一致性比率=判斷矩陣的一致性檢查最大特征值=5一致性指標值=69

經單層判斷一致性檢查通過后，還應繼續(xù)進行總層一致性檢查。若要進行總層一致性檢查需對層次模型中的所有判斷矩陣進行舉例填寫，并逐一進行單層一致性檢查后再進行總層一致性檢查?？紤]到科技管理信息系統(tǒng)的整個層次模型較大，數據過多，若一一進行陳列過于繁瑣，因此，在此不再描述?，F任定兩位專家填寫的判斷矩陣通過了總層一致性檢查，其單層層次計算的結果可用于綜合評估計算?？倢右恢滦詸z查經單層判斷一致性檢查通過后，還應繼續(xù)進行總層一致性檢70確定權值用算術平均發(fā)求得最終權值。其結果如下：數據提取

設提取了5個院系的數據：確定權值用算術平均發(fā)求得最終權值。其結果如下：數據提取71無量綱化采用直線型無量綱化方法的比重法既：將所以未量綱數據求其比重值，如一系B1項為6，其比重值是6/29=20.69%。綜合評估:將無量綱化后的數據與權值先相乘，再對各個院系按準則求和，得到綜合的擬量值和最終的排名結果。無量綱化綜合評估:將無量綱化后的數據與權值先相乘，再對各個院72

評估技術是一類應用性很強的軟技術,為了保證評估質量、提高評估水平、對多種復雜的對象進行科學的評估需使用多種評估方法。近年來，圍繞著多指標綜合評價其他領域的相關知識不斷滲入，使得多指標綜合評價方法不斷豐富，例如：5、評估方法的研究現狀20世紀60年代產生的模糊數學在綜合評價中得到了較為成功的應用，產生了適合于對主觀或定性指標進行評價的模糊綜合評價法。多指標綜合評價中比較難以解決的是綜合時各指標間信息的重復問題，近幾十年來迅速發(fā)展的多元統(tǒng)計分析為解決這一問題提供了可能性，因而產生了主成分、因子評價法。評估技術是一類應用性很強的軟技術,為了保證評估質量73由于評價對象的多樣性及評價的決策作用，多目標決策方法也溶入到綜合評價中來，比如功效系數法，層次分析法等，開闊了評價方法的思路。運籌學的發(fā)展，將投入和產出指標分離開來評價部門間相對有效性的數據包絡分析方法，在對非單純盈利部門進行評價時可取得較好的效果。信息論、灰色系統(tǒng)理論等也滲透到綜合評價中來，產生了熵值法、灰色關聯(lián)度評價法等。多維標度分析及空間統(tǒng)計學的發(fā)展提高了統(tǒng)計分析技術上的整合能力，使多目標綜合評價方法的應用更加深入。由于評價對象的多樣性及評價的決策作用，多目標決策方法也溶入到74在評估過程中往往存在大量模糊的概念，比如方案的優(yōu)劣、水平的高低、成績的好壞等等，這類評估結果（優(yōu)與劣、高與低、好與壞）之間并沒有涇渭分明的界限。評估過程常常與這些模糊信息打交道，因此，目前評估方法多用擬定量方法為主。在評估過程中往往存在大量模糊的概念，比如方75信息系統(tǒng)評價方法第一節(jié)系統(tǒng)評價概述第二節(jié)信息系統(tǒng)評價指標體系第三節(jié)信息系統(tǒng)評價方法第四節(jié)層次分析法（AHP）信息系統(tǒng)評價方法第一節(jié)系統(tǒng)評價概述第二節(jié)信息系統(tǒng)評價76第一節(jié)系統(tǒng)評價概述1系統(tǒng)評價的定義使用某種方法和相關指標體系對一個系統(tǒng)或系統(tǒng)建設的某一周期進行全面的估計、檢查、測試分析和評審的過程。第一節(jié)系統(tǒng)評價概述772評價的目的上級部門系統(tǒng)評價開發(fā)部門用戶單位評價機構開發(fā)部門：促使開發(fā)單位對系統(tǒng)建設全過程加強管理和控制。上級部門：可對系統(tǒng)的投資目標完成情況做出準確的判斷，以便于對后期系統(tǒng)建設進行決策。用戶單位：通過評價，可對系統(tǒng)功能、性能情況有較深入了解，以利于系統(tǒng)后期的運行、擴展、改進。2評價的目的上級部門系統(tǒng)評價開發(fā)部門用戶單位評價機構開發(fā)部783系統(tǒng)開發(fā)不同階段的評價活動事先評估這是一種預測性評價，通常與項目的可行性論證、系統(tǒng)招標評審等活動結合在一起。

可行性研究是通過了解和掌握系統(tǒng)所處的環(huán)境、約束等條件，分析新系統(tǒng)開發(fā)和運行的投入，以及可能產生的效益，達到研究建立信息系統(tǒng)的必要性、可行性和收益性的目的。步驟：△對現有系統(tǒng)進行分析，了解基本情況及不足之處，提出建立新系統(tǒng)的設想，明確建立新系統(tǒng)的必要性；△從新系統(tǒng)可能采取的新技術和運行模式出發(fā)，對技術、運行內外環(huán)境、資源條件等進行分析，明確建立新系統(tǒng)的可行性；△對信息系統(tǒng)的經濟效益做出預測，明確建立新系統(tǒng)的收益性。3系統(tǒng)開發(fā)不同階段的評價活動79這些構成了新系統(tǒng)開發(fā)的基本評估的量化數據，也是今后評估的主要依據。如果是外包項目，可行性研究中的主要內容和數據應構成經濟技術合同書的重要組成部分。可行性研究經常與招投標過程相結合，在可行性研究報告中，除包含必要性、可行性和收益性分析外，還要闡述系統(tǒng)開發(fā)、系統(tǒng)運行的基本保障數據，主要評估的量化數據有：這些構成了新系統(tǒng)開發(fā)的基本評估的量化數據，也是今后評估的主要80中期評估中期評估也稱為工作階段的評估。目的是將已實現的部分開發(fā)工作與計劃目標相比較,及時找出差距，糾正偏差，將錯誤消除在早期。同時階段評估又含有階段考核、評審的重要意義。具體可分為：邏輯設計評估：（系統(tǒng)分析）總體結構的先進性和合理性；系統(tǒng)功能對用戶需求的滿足程度；數據流圖、數據結構等的規(guī)范性、完整性。系統(tǒng)硬件配置方案設計；系統(tǒng)軟件平臺（系統(tǒng)軟件、工具軟件）方案設計；數據庫和文件系統(tǒng)設計；I/O、網絡通信方案設計；算法、處理邏輯設計。

物理設計評估：（詳細設計）系統(tǒng)實施評估：（編程）硬件系統(tǒng)的測試及評估；應用軟件的測試與質量評估。中期評估中期評估也稱為工作階段的評估。目的是將已實現的部分81事后評估根據新系統(tǒng)所產生的一系列設計規(guī)格說明書，對照實際開發(fā)和運行的情況，對系統(tǒng)進行全面、綜合的測試、分析、檢查和評估，往往需要組織一支專門的隊伍，用專門的時間進行細致的考核，或稱鑒定，或稱驗收。

功能度評估：功能度評估是對系統(tǒng)能力的評價，主要包含：對企業(yè)業(yè)務覆蓋情況、輔助企業(yè)管理的能力、輔助企業(yè)決策的能力，系統(tǒng)功能的質量如何，所蘊含的管理思想是否合理等。性能度評估：性能度評估是對系統(tǒng)運行質量的考核，其主要包含:系統(tǒng)運行的穩(wěn)定性、數據的精確性、安全保密性、共享性、使用的靈活方便性、系統(tǒng)的可擴充性、可維護性、經濟性等。事后評估根據新系統(tǒng)所產生的一系列設計規(guī)格說明書，對照實際開發(fā)82績效評估：信息系統(tǒng)的績效可以定義為：信息系統(tǒng)對企業(yè)目標實現的貢獻度，績效是信息系統(tǒng)對企業(yè)價值的綜合表現。為了評價企業(yè)信息系統(tǒng)績效，必須設立績效指標，利用績效指標來監(jiān)控信息系統(tǒng)的開發(fā)過程和行為，從而優(yōu)化系統(tǒng)的績效指標。常用的績效指標有：系統(tǒng)投資回收期、系統(tǒng)收益與系統(tǒng)費用比率、內部收益率、系統(tǒng)使用率、功能應用率等?？冃гu估：83第二節(jié)信息系統(tǒng)評價的指標體系系統(tǒng)評價指標體系系統(tǒng)性能評價指標系統(tǒng)建設評價指標系統(tǒng)應用評價指標規(guī)劃目標實現程度先進性經濟性資源利用率開發(fā)方法與效率管理模式的科學性系統(tǒng)建設的規(guī)范性……系統(tǒng)的可靠性系統(tǒng)效率性系統(tǒng)可維護性系統(tǒng)可擴充性系統(tǒng)可移植性系統(tǒng)可恢復性系統(tǒng)的安全保密性……經濟效益社會效益管理科學性用戶滿意度系統(tǒng)功能應用程度……系統(tǒng)功能評價指標功能的完整性系統(tǒng)容錯能力信息的準確性信息的一致性信息的實時性操作的友好性……第二節(jié)信息系統(tǒng)評價的指標體系系統(tǒng)評價指標體系系統(tǒng)性能評價指84⑴系統(tǒng)建設評價指標●目標實現程度：評價系統(tǒng)的規(guī)劃目標與用戶的期望目標的差異度，該指標通常由專家、用戶、同行等根據系統(tǒng)規(guī)劃的目標樹進行打分，經加權統(tǒng)計得到。●先進性：評價系統(tǒng)從總體設計、開發(fā)方法、系統(tǒng)結構、軟硬件配置、算法設計、網絡通信技術等，該指標通常由專家組進行綜合評議?！窠洕裕涸撝笜烁鶕嶋H系統(tǒng)的性能、功能與系統(tǒng)投資比及系統(tǒng)運行所產生的收益加以分析而獲得。●資源利用率：該指標主要考核系統(tǒng)設備使用率、數據使用率、應用模塊的使用率等，目的為考核系統(tǒng)的使用狀況。⑴系統(tǒng)建設評價指標●目標實現程度：評價系統(tǒng)的規(guī)劃目標與用戶85●開發(fā)效率：開發(fā)效率與開發(fā)者的經驗、開發(fā)方法、資金投入、用戶支持度及項目管理水平等因素密切相關，該指標可用軟件功能點方法或代碼行法等計算。●管理模式科學性：該指標通常使用組織機構健全情況、系統(tǒng)人員的配備情況、各種規(guī)章制度的完備與執(zhí)行情況等?！裣到y(tǒng)建設規(guī)范性：該指標考核系統(tǒng)開發(fā)過程是否遵循國際標準、國家標準、規(guī)范程度及文檔的標準化、齊全度?！耖_發(fā)效率：開發(fā)效率與開發(fā)者的經驗、開發(fā)方法、資86⑵系統(tǒng)功能評價指標●功能的完整性：該指標表示系統(tǒng)覆蓋企業(yè)業(yè)務的情況，通常用系統(tǒng)已包含業(yè)務總和與企業(yè)業(yè)務總和之比。●系統(tǒng)容錯能力：該指標反映系統(tǒng)各功能對用戶誤操作后的系統(tǒng)處理能力?！裥畔⒌臏蚀_性：該指標反映系統(tǒng)各功能對數據的處理的正確程度，該指標是考核系統(tǒng)功能的重要指標?！裥畔⒌囊恢滦裕涸撝笜朔从诚到y(tǒng)各功能對數據的處理的一致性程度，該指標是考核系統(tǒng)功能的重要指標。⑵系統(tǒng)功能評價指標●功能的完整性：該指標表示系統(tǒng)覆蓋企業(yè)業(yè)87●信息的實時性：該指標表示系統(tǒng)功能對企業(yè)數據處理的實時能力，該指標對于實時性要求較高的系統(tǒng)，十分重要。●操作的友好性：該指標反映系統(tǒng)各功能對用戶操作中的系統(tǒng)系統(tǒng)提供的操作流的合理性。●信息的實時性：該指標表示系統(tǒng)功能對企業(yè)數據處理的實時能88⑶系統(tǒng)性能評價指標●系統(tǒng)的可靠性：該指標是對系統(tǒng)軟硬件、網絡平臺的綜合評價，可利用系統(tǒng)測試及試運行結果數據綜合分析其公式為：可靠性=MTBF/（MTBF+MTTR）

MTBF：平均故障間隔時間MTTR：平均修復時間●系統(tǒng)效率：該指標通常用系統(tǒng)的周轉時間（對批處理作業(yè)的速度）、響應時間（對交互操作的應答速度）、吞吐量（單位時間系統(tǒng)完成作業(yè)數）。通常響應時間對一般交互操作應大于0.5秒小于3秒?！裣到y(tǒng)可維護性：該指標根據實際系統(tǒng)模塊結構的合理程度、模塊內聚性、模塊的重用性及技術文檔的齊備程度和提供維護工具的功能完備程度等，考核系統(tǒng)可維護性。⑶系統(tǒng)性能評價指標●系統(tǒng)的可靠性：該指標是對系統(tǒng)軟硬件、網89●系統(tǒng)可擴充性：該指標主要考核系統(tǒng)對新增設備及新增功能的能力，其反映了系統(tǒng)結構、軟硬件平臺及網絡平臺設計的合理性。●系統(tǒng)可移植性：該指標評價系統(tǒng)的軟硬件配置特性、平臺的通用性及系統(tǒng)設計的合理程度?！裣到y(tǒng)可恢復性：該指標評價系統(tǒng)對系統(tǒng)出現故障時，系統(tǒng)的恢復能力（包括自動、人工恢復），反映系統(tǒng)設計的合理性?！裣到y(tǒng)的安全保密性：該指標考核系統(tǒng)運行中出現意外事件，系統(tǒng)的抵御能力及恢復能力，保密性是指系統(tǒng)對數據在存儲、加工、使用、傳輸中的保密處理能力?！裣到y(tǒng)可擴充性：該指標主要考核系統(tǒng)對新增設備及新增功能的能力90⑷系統(tǒng)應用評價指標●經濟效益：該指標考核由于系統(tǒng)運行而帶來的直接、間接效益，如控制進貨渠道、合理庫存、節(jié)省人力、提高企業(yè)競爭力、增加市場占有率等所獲得的經濟效益?！裆鐣б妫涸撝笜丝己擞捎谙到y(tǒng)運行給企業(yè)帶來的社會效益，如實現現代化管理、增加企業(yè)知名度、改善工作環(huán)境等?！窆芾砜茖W性：該指標考核由于系統(tǒng)運行對企業(yè)管理水平、管理方法、管理規(guī)范帶來的變化，同時促進人員素質的提高等。⑷系統(tǒng)應用評價指標●經濟效益：該指標考核由于系統(tǒng)運91●用戶滿意度：該指標主要考核用戶對系統(tǒng)的功能的完備性及性能的達標率，如：人機界面的友好程度、操作的方便性、系統(tǒng)的容錯能力、系統(tǒng)的靈活性等?！窆δ軕贸潭龋涸撝笜嗽u價系統(tǒng)在企業(yè)實際運行的情況，其方法可以將各系統(tǒng)功能分解為若干功能點，再分析各功能點在企業(yè)運行中的使用率，將功能點使用率進行加權統(tǒng)計而獲得?！裼脩魸M意度：該指標主要考核用戶對系統(tǒng)的功能的完備性及性92第三節(jié)信息系統(tǒng)的評價方法以定性為主的方法評估技術擬定量方法以定量為主的方法因素分解法邏輯方法歷史比較法專家評議法德爾菲法交叉影響分析法關聯(lián)樹法內容分析法層次分析法成本效益分析法回歸模型因子分析法聚類分析法引文分析法主成分分析法機助信息分析…………圖評估分析方法的總框架第三節(jié)信息系統(tǒng)的評價方法以定性為主的方法評估技術擬定量方法93目前我國對信息系統(tǒng)進行評價時，常用采用的方法主要有：專家評議法、成本效益分析法、層次分析法（AHP）。⑴專家評議法專家評議法是一種以定性分析法為主的評價方法，該方法通常由下面步驟組成：▲項目評審準備：項目評審申請、審批、材料準備等?！⒃u議專家組:由計算機專業(yè)和涉及行業(yè)專家兩方面人員構成?！贫ㄏ到y(tǒng)評價方案：由專家組制定評議方法、步驟、評價指標或標準，指標可以是定性的，也可以是定量的?！F場考察

：專家對系統(tǒng)進行系統(tǒng)現場考察如：聽取系統(tǒng)開發(fā)報告、現場系統(tǒng)演示、測試等，對系統(tǒng)進行分項打分，再進行加權統(tǒng)計?！鴮＜以u議：由專家組給出系統(tǒng)的定性的系統(tǒng)評價分析報告。

目前我國對信息系統(tǒng)進行評價時，常用采用的方法主要有：專家評議94

專家評議法的主要優(yōu)點是操作簡單、省時，評價結果具有一定的權威性和可信性。主要缺點是理論依據不足，評價結果受人為的影響太大。建立評議專家組制定系統(tǒng)評價方案現場考察專家評議項目評審準備評議申請報告議程、指標評議結果報告考察過程記錄專家評議法的主要優(yōu)點是操作簡單、省時，評價結果具有一定的95⑵成本—效益分析法成本-效益分析法是面向經濟的擬定量分析方法。評價過程中的量綱主要是貨幣單位。評價的目的通過分析信息系統(tǒng)經濟性從而判斷系統(tǒng)的得失和可取性，最終作出結論。該方法關心的問題是：在信息系統(tǒng)建成的若干年內或生命周期內，收益率的情況。①信息系統(tǒng)項目的成本構成:

Ct=Cd+Cr其中:Cd:系統(tǒng)開發(fā)建設成本Cr:系統(tǒng)運行維護成本⑵成本—效益分析法成本-效益分析法是面向經濟的擬定量分析方96信息系統(tǒng)成本開發(fā)成本運行維護成本分析、設計費系統(tǒng)實施費管理費用系統(tǒng)規(guī)劃系統(tǒng)分析系統(tǒng)設計系統(tǒng)設計成本編程與調試硬件平臺費用系統(tǒng)軟件費用網絡施工費用數據整理錄入系統(tǒng)運行費用行政管理費用維護費用人員費用消耗材料費用固定資產折舊硬件維護費用軟件維護費用系統(tǒng)版本升級技術資料獲取人員培訓費用系統(tǒng)實施成本二次開發(fā)費用系統(tǒng)通信費系統(tǒng)運行成本系統(tǒng)維護成本信息系統(tǒng)成本構成示意圖：信息系統(tǒng)成本開發(fā)成本運行維護成本分析、設計費系統(tǒng)實施費管理費97②信息系統(tǒng)項目的機時成本計算:Cp=(s+d+m+p)*(1+h%)/t*k

人員工資費設備折舊費耗材支出費能源、通信費間接費用率系統(tǒng)正常運行時數設備利用系數②信息系統(tǒng)項目的機時成本計算:人員工資費設備折舊費耗材支出98③簡單收益率和系統(tǒng)回收期指標

簡單收益率R又稱為投資效果系數，其計算公式如下：

R=F/C

公式中F為：標準年度的凈收益，其值為年收益與系統(tǒng)年運行成本之差既：F=年收益-年運行成本公式中C為：系統(tǒng)的先期投入

系統(tǒng)回收期指標P是考核信息系統(tǒng)效益的重要參數，計算公式如下：P=C/F或P=1/R

P為系統(tǒng)回收期（以年為計量單位）例：150（萬元）/25（萬元）=6（年）

一般信息系統(tǒng)的P值應≤五年，因此簡單收益率R應≥20%。③簡單收益率和系統(tǒng)回收期指標99上述公式中凈收益（F）中的年收益值的估算：信息系統(tǒng)的收益估算是一個復雜的問題，通常以下列幾個方面進行考慮：信息系統(tǒng)的運行節(jié)省的人員。系統(tǒng)彌補了企業(yè)漏洞，避免的損失。減少庫存資金占有，使企業(yè)獲得更高的利潤。系統(tǒng)支持企業(yè)快速、準確的決策信息帶來的效益。系統(tǒng)促進企業(yè)管理的規(guī)范化，使企業(yè)加強了市場競爭力。帶來市場效應。系統(tǒng)的產品化（獨立開發(fā)、合作開發(fā)方式）后的市場收益。

……上述公式中凈收益（F）中的年收益值的估算：100④現金流量表與凈現值凈現值NPV（NetPresentValue）財務指標可用于考核一個系統(tǒng)在未來幾年的價值，NPV參數與時間有關的關鍵因素是折現率r。r可以用銀行貸款利率來確定，也可以用行業(yè)的投資平均回報率來給定。目前通常做法是采用國家規(guī)定的銀行貼現率來確定?，F值與n年后的終值有如下關系:終值=現值×（1+r)n或：現值=終值÷（1+r)n如：今天的100元存入銀行，在利率r=5%時，明年此時100元成為：100×（1+0.05)1＝105(元)同理，明年得到的100元，在利率r=5%時，在今天只相當于存款：100÷（1+0.05)2＝90.70(元)④現金流量表與凈現值凈現值NPV（NetPresent101現金流量表是反映一個系統(tǒng)不同時間段內各種資金流入（收回）和流出（付出）的二維表格。

凈現值NPV（NetPresentValue）：若NPV大于零，則該系統(tǒng)經濟上有效益或系統(tǒng)具有未來價值。若有兩個項目，NPV1大于NPV2，則NPV1代表的項目或方案要好于NPV2代表的項目。20042005……2008流出COF0COF1……COFn流入CIF0CIF1……CIFn凈收益(流入-流出)NCF0NCF1……NCFn年度項目現金流量表是反映一個系統(tǒng)不同時間段內各種資金流入（收回）和流102⑤內部收益率IRR（InternalRateofReturn）：內部收益率IRR是根據系統(tǒng)累計成本的現值和系統(tǒng)累計收益的現值情況計算出系統(tǒng)實際可接受的內部貼現率值r,通常r≥i時(i為國家實際貸款利率或貼現率),則系統(tǒng)從經濟上是可以接受的。其計算公式如下：其中：It為第t年系統(tǒng)支出成本額Bt為第t年系統(tǒng)運行收益額內部收益率的r值求解時可將上列公式推導為以下形式：由于：NCFt=COFt-CIFt因此上面公式可推導為下式：⑤內部收益率IRR（InternalRateofR103以上公式是當NPV=0時，公式中只有一個未知量r值，常用插入法求得r值：取相鄰且精度適宜的兩個插入值I1和I2代入f（r）的r中，并計算f(I1)和f(I2)，使f(I1)>0，f(I2)<0。用插入公式求IRR：以上公式是當NPV=0時，公式中只有一個未知量r值，104

成本效益分析法是可行性研究中常用的評價方法，特別是現金流量表與凈現值的分析方法基本上是不可少的。得到了現金流量表，也就可以得到NPV和IRR，再利用IRR與國家規(guī)定的內部貼現率值r進行比較，即可得出系統(tǒng)的建設價值。

現金流量表包括流入和流出（收益和成本）兩大部分，建立現金流量表并不難，難點是對信息系統(tǒng)效益的量化分析，這需要參與系統(tǒng)評價人員的經驗和具體項目的分析。I1I2F(I2)F(I1)xF(x)IRR成本效益分析法是可行性研究中常用的評價方法，特別是現105層次分析法AHP(AnalyticHierarchyProcess)以下簡稱AHP,目前AHP方法是一種國際上普遍采用的評估方法，在評估技術中占有特殊的地位。自70年代中期以來，AHP方法得到了較大的發(fā)展，在我國AHP方法的應用和研究也十分廣泛，許多國家重大科技課題、工程項目都采用AHP方法進行評估或評價。第四節(jié)層次分析法層次分析法是定性與定量相結合的分析方法，或稱擬量化（虛擬量化，準量化）的分析方法，可以廣泛用于信息系統(tǒng)建設評價的各個方面。人們普遍認為，層次分析法是一種科學的，有較強實際意義的分析方法。層次分析法AHP(AnalyticHierarchyPr106AHP力圖模擬人在思維決策過程中的三個基本特征，即分解、判斷和綜合?；静襟E如下：分解：將待評估問題分解為由若干層次指標構成的遞階層次模型；判斷：構造該層次模型對應的數學模型即：層次指標關系比較矩陣；綜合：計算單一準則下，其各評判元素的相對權重并檢查一致性；計算各層各元素對總目標的組合權重，并檢查一致性。AHP力圖模擬人在思維決策過程中的三個基本特征，即分解、判斷107一、分解一個復雜的評估問題，可以逐層分解為若干個稱之為元素的組成體。決策目標準則1……準則2準則k目標層準則層……子準則2子準則m子準則1子準則層方案層1方案層1……方案層2方案層n方案層……………………一、分解一個復雜的評估問題，可以逐層分解為若干個稱之為元素的108例：

如果任一個上層元素都可以支配全部下層元素，則稱之為完全的層次關系，若其中某些上層元素不能支配下層全部元素，則稱之為非完全的層次關系。系統(tǒng)綜合評估用戶滿意度規(guī)范性系統(tǒng)效率可移植性先進性可擴充性經濟性可靠性目標層準則層系統(tǒng)B系統(tǒng)A系統(tǒng)C方案層例：如果任一個上層元素都可以支配全部下層元素，則稱之為完全109二、判斷判斷的目的是：評估各個底層元素對總目標的重要程度，構造該層次模型對應的數學模型即：層次指標關系比較矩陣；其具體方法是：針對評估模型建立與其相對應的數學模型（既判斷矩陣），判斷矩陣逐層建立。矩陣的建立過程是：在確定的上層元素支配下，下層元素兩兩做重要性的比較，通過兩兩比較，可以得到對上層元素的一個比較矩陣，如果同層有n個元素兩兩比較，矩陣就是一個n階矩陣。如上面的評估模型將需建立9個判斷矩陣。二、判斷判斷的目的是：評估各個底層元素對總目標的重要程度，構110比例標度賦值的三個特點：aii=1；aij>0；aij=1/aji比例標度：判斷約定采用1―9的比例標度賦值。含義如下：比例標度賦值的三個特點：aii=1；aij>0；aij=1/111準則準則A1A2A3A4A5A6A7A8A11A1/A2A1/A3A1/A4A1/A5A1/A6A1/A7A1/A8A2A2/A11A2/A3A2/A4A2/A5A2/A6A2/A7A2/A8A3A3/A1A3/A21"""""A4A4/A1A4/A2"1""""A5A5/A1A5/A2""1"""A6A6/A1A6/A2"""1""A7A7/A1A7/A2""""1A7/A8A8A8/A1A8/A2""""A8/A71如前例中有8個評價指標，其兩兩比較結果為：上表中元素滿足：aii=1；aij>0；aij=1/aji準則A1A2A3A4A5A6A7A8A11A112構造的比較矩陣：從數學上講可以有：特征向量判斷矩陣構造的比較矩陣：從數學上講可以有：特征向量判斷矩陣113目標元素1元素2……元素n我們的目的是測出各元素對于目標的權重，這里假設元素1對于目標的權重為w1；元素2對于目標的權重為w2；……元素n對于目標的權重為wn，記為：特征向量在AHP方法中的含義：目標元素1元素2……元素n我們的目的是測出各元素對于目標114根據矩陣特征根的原理，若矩陣滿足上式，則說明n是矩陣A的唯一非零的、同時又是最大的特征根；而W是矩陣A的與最大特征根n相對應的特征向量。有兩個問題需要解答：怎樣得到權重向量—W？在數學上，當A矩陣元素aij=aikakj=aik/ajk時，說明A矩陣具有完全一致性，（λmax=n，其余特征根為0）。但是在實際中會有偏差，需要知道偏差有多大？可否接受？根據矩陣特征根的原理，若矩陣滿足上式，則說明n是矩陣A的唯115

求W：有三種方法：和積法，求冪法，和方根法。1）對判斷矩陣A每一列正規(guī)化2）每一列經正規(guī)劃后的判斷矩陣按行相加3）對向量正規(guī)化（i，j=1，2，3……，n）（i，j=1，2，3……，n）（i=1，2，3……，n）和積法三、綜合綜合階段的工作可分為求解單一準則下的相對權重、一致性檢查、層次總排序三個步驟。第一步：求解單一準則下的相對權重。求W：1）對判斷矩陣A每一列正規(guī)化2）每一列經正規(guī)劃后的判116求冪法1）設一個與判斷矩陣同階的正規(guī)化初始向量:W0=(1/n,1/n,1/n,…1/n)T2