信用風(fēng)險(xiǎn)量化模型

1、精選優(yōu)質(zhì)文檔-傾情為你奉上精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)專心-專注-專業(yè)精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)【風(fēng)控知識(shí)】如何搭建信用風(fēng)險(xiǎn)量化模型當(dāng)前，大型金融機(jī)構(gòu)已被監(jiān)管機(jī)構(gòu)批準(zhǔn)使用內(nèi)部模型來計(jì)量風(fēng)險(xiǎn)和監(jiān)管資本；中小金融機(jī)構(gòu)的積極性也很高，力求借鑒資本管理高級(jí)法，調(diào)整資產(chǎn)組合，提高資本使用效率，推進(jìn)管理流程再造，由“干了再算”向“算了再干”轉(zhuǎn)變。以上趨勢(shì)令人鼓舞。我們看到，強(qiáng)化風(fēng)險(xiǎn)量化管理的理念正在對(duì)中國金融業(yè)提高識(shí)別、計(jì)量和控制風(fēng)險(xiǎn)的能力產(chǎn)生重要的影響,中國金融業(yè)風(fēng)險(xiǎn)量化管理水平正在迅速提升。如何更好地“算了再干”？為了回答這一問題，本文談一談金融機(jī)構(gòu)的風(fēng)險(xiǎn)量化模型。為保證

2、風(fēng)險(xiǎn)量化模型的開發(fā)質(zhì)量和實(shí)施效果，金融機(jī)構(gòu)所有的風(fēng)險(xiǎn)量化模型都應(yīng)該參考模型建設(shè)和管理技術(shù)行業(yè)標(biāo)準(zhǔn)進(jìn)行開發(fā)、評(píng)估和文檔歸檔。下文總結(jié)了國內(nèi)外信用風(fēng)險(xiǎn)量化模型建設(shè)和管理的先進(jìn)經(jīng)驗(yàn)，全面遵循這些要求有利于模型的建設(shè)、使用、監(jiān)控、審批、上線。模型的設(shè)計(jì)模型的設(shè)計(jì)對(duì)模型最終是否能實(shí)現(xiàn)其目標(biāo)起著舉足輕重的作用。為了保證模型的設(shè)計(jì)可以滿足模型的目標(biāo)，審批人員應(yīng)需要關(guān)注的是從哪些方面對(duì)模型的設(shè)計(jì)進(jìn)行評(píng)估?？偨Y(jié)來說，以下方面要特別留意。要解決的業(yè)務(wù)問題建模人員應(yīng)該用簡(jiǎn)單易懂的語言對(duì)模型要解決的業(yè)務(wù)問題進(jìn)行描述。這些描述應(yīng)該包括一個(gè)或多個(gè)已達(dá)成共識(shí)的業(yè)務(wù)原則或核心價(jià)值，如客戶的行為、銀行員工的參與度、競(jìng)爭(zhēng)對(duì)手的動(dòng)

3、作、經(jīng)濟(jì)形勢(shì)的變動(dòng)、合規(guī)的需要、公司戰(zhàn)略的考慮等。例如，信用卡部門要設(shè)計(jì)一個(gè)申請(qǐng)?jiān)u分模型來測(cè)算新客戶出現(xiàn)不良貸款的風(fēng)險(xiǎn)。這個(gè)模型在新客戶審批過程的應(yīng)用中，需要審批人員和客戶進(jìn)行溝通，手動(dòng)輸入一些關(guān)鍵的模型變量數(shù)值，在很多情況下還需要對(duì)模型的評(píng)分結(jié)果進(jìn)行覆蓋。這種模型在業(yè)務(wù)中的應(yīng)用方式就需要在模型設(shè)計(jì)開發(fā)的過程中，考慮如何解決驗(yàn)證客戶提供信息的真實(shí)性、員工手動(dòng)輸入數(shù)據(jù)的可靠性、對(duì)模型評(píng)分結(jié)果覆蓋的審批案例如何進(jìn)行表現(xiàn)監(jiān)控等問題。目標(biāo)變量的定義建模人員應(yīng)該對(duì)目標(biāo)變量的定義進(jìn)行如下描述：明確描述目標(biāo)變量的定義，并說明為何這樣的定義與要解決的任務(wù)問題是相關(guān)的；明確定義目標(biāo)變量的表現(xiàn)時(shí)間窗（perfor

4、mance window）和觀察時(shí)間窗：例如，目標(biāo)變量可以定義為未來12個(gè)月貸款出現(xiàn)至少一次60天或60天以上逾期的概率。在這個(gè)定義里，“未來12個(gè)月”為表現(xiàn)時(shí)間窗，“貸款出現(xiàn)至少一次60天或60天以上逾期”為觀察時(shí)間窗。如果模型需要滿足監(jiān)管部門的要求，此定義是否滿足監(jiān)管部門的要求；為何選擇這樣的定義而不是其他定義；對(duì)定義可能產(chǎn)生的誤解進(jìn)行澄清，如定義是在客戶層面還是賬號(hào)層面的，定義是在觀察期之間的表現(xiàn)還是在觀察期結(jié)束的時(shí)間點(diǎn)的表現(xiàn)等。樣本的選擇建模人員應(yīng)該對(duì)建模樣本的選擇進(jìn)行如下描述：樣本選擇的方法，如有隨機(jī)抽樣和非隨機(jī)抽樣（有目的抽樣），其中隨機(jī)抽樣方法包括簡(jiǎn)單隨機(jī)抽樣、等距抽樣、分層隨機(jī)

5、抽樣、整群抽樣幾種常用類型；非隨機(jī)抽樣也稱為有目的抽樣，包括全面抽樣、最大差異抽樣、極端個(gè)案抽樣、典型個(gè)案抽樣幾種常用類型；樣本的大小，為了增強(qiáng)可測(cè)性和檢驗(yàn)的準(zhǔn)確性，應(yīng)該盡量增大樣本容量，但同時(shí)還應(yīng)考慮可行性和經(jīng)濟(jì)成本；建模樣本、保留樣本、驗(yàn)證樣本的劃分；樣本可能有的偏差，如必須通過審批的條件限制、經(jīng)過客戶自然流失后的樣本、外部因素的變化對(duì)樣本的影響如產(chǎn)品特征、競(jìng)爭(zhēng)對(duì)手的策略、經(jīng)濟(jì)周期、季節(jié)性因素等。分析的方法分析方法的描述應(yīng)該包括以下內(nèi)容：數(shù)據(jù)獲取渠道的描述，主要分為直接渠道和間接渠道：直接渠道主要指通過統(tǒng)計(jì)調(diào)查獲得的第一手統(tǒng)計(jì)數(shù)據(jù)，如辦理信用卡業(yè)務(wù)時(shí)客戶填寫的個(gè)人信息資料、當(dāng)下十分流行的大

6、數(shù)據(jù)方法等；間接渠道通常指通過查閱資料或者通過其他網(wǎng)站、平臺(tái)獲取的二手?jǐn)?shù)據(jù)，如通過WIND或Bloomberg獲得數(shù)據(jù)；模型的結(jié)構(gòu)，根據(jù)所作的假設(shè)分析對(duì)象的因果關(guān)系，利用對(duì)象的內(nèi)在規(guī)律和適當(dāng)?shù)臄?shù)學(xué)工具，構(gòu)建各個(gè)變量間的等式關(guān)系或其他的數(shù)學(xué)結(jié)構(gòu)。同時(shí)，在建模過程中還應(yīng)注意細(xì)節(jié)問題，如客戶的分群、子模型的架構(gòu)等；建模技術(shù)，在建模過程中常用到的數(shù)學(xué)方法和計(jì)算機(jī)技術(shù)，如logistic回歸、決策樹、普通線性回歸、分層分析、聚類分析、時(shí)間序列等；變量的處理，如變量的剔除、轉(zhuǎn)換、最大最小值的設(shè)置、缺失值的處理、變量相關(guān)性的處理等。模型驗(yàn)證過程驗(yàn)證模型是否有效的描述應(yīng)包括：隨機(jī)保留樣本的描述，如選取記錄集中

7、的一部分（通常是2/3）作為訓(xùn)練集，保留剩余的部分用作測(cè)試集。選取隨機(jī)保留樣本的標(biāo)準(zhǔn)、比例、特征等方面的描述；Bootstrap驗(yàn)證，是非參數(shù)統(tǒng)計(jì)中的一種重要的統(tǒng)計(jì)方法，在執(zhí)行上常需借助計(jì)算機(jī)技術(shù)得以實(shí)現(xiàn)。舉例來說，當(dāng)總體可用正態(tài)分布描述時(shí)，其sampling distribution服從正態(tài)分布或服從t分布；但當(dāng)總體不服從正態(tài)分布或未知時(shí)，我們采用計(jì)算機(jī)模擬或用漸進(jìn)分析的方法更加有效；交叉驗(yàn)證，基本思想是在某種意義下將原始數(shù)據(jù)進(jìn)行分組，一部分作為訓(xùn)練集，另一部分作為驗(yàn)證集，首先用訓(xùn)練集進(jìn)行測(cè)試，再利用驗(yàn)證集來測(cè)試得到的模型，以此作為評(píng)價(jià)模型的性能指標(biāo)。常見方法有Hold-Out Method

8、，K-fold Cross Validation，Leave-One-Out Cross Validation；外來樣本的驗(yàn)證，通過外部獲取的樣本對(duì)已有的模型進(jìn)行檢驗(yàn)，判斷模型的有效性。模型的局限性一般來說，模型的局限性可以分為客觀的、不能加以修正的局限性和可以通過人為修正的局限性。驗(yàn)證客觀局限性的描述主要包括：系統(tǒng)的局限性；模型的局限性等；驗(yàn)證主觀局限性的描述主要包括：建模時(shí)間的規(guī)劃；建模人員的配置、人員水平等；業(yè)務(wù)和數(shù)據(jù)的理解上的局限性；樣本的局限性；外部因素對(duì)模型的影響，如競(jìng)爭(zhēng)對(duì)手的壓力、合規(guī)時(shí)限的壓力等。模型的進(jìn)度主要包括有限資源的有效配置，在可以利用的資源數(shù)量一定的條件下，通過調(diào)配進(jìn)

9、度使項(xiàng)目工期盡可能短；建模時(shí)間的規(guī)劃，幾個(gè)有效時(shí)間節(jié)點(diǎn)的把控，如是否有外部競(jìng)爭(zhēng)或合規(guī)方面的壓力而需要在短時(shí)間內(nèi)完成建模等。數(shù)據(jù)處理如何進(jìn)行數(shù)據(jù)處理，是一個(gè)非常關(guān)鍵的環(huán)節(jié)。對(duì)于該環(huán)節(jié)，綜觀國內(nèi)外經(jīng)驗(yàn)，可以從以下八個(gè)方面給予關(guān)注。建模原數(shù)據(jù)源的描述分析建模數(shù)據(jù)的評(píng)估主要包括：數(shù)據(jù)的獲取渠道，如內(nèi)部數(shù)據(jù)集市、歷史數(shù)據(jù)存檔、第三方公司提供的數(shù)據(jù)等；數(shù)據(jù)的樣本記錄數(shù)及每一條記錄所代表的含義；數(shù)據(jù)的變量的個(gè)數(shù)；數(shù)據(jù)的收集時(shí)間。模型變量的描述模型變量的描述應(yīng)該包括對(duì)每一個(gè)變量定義的準(zhǔn)確描述及變量的值所對(duì)應(yīng)的含義。定義和使用變量時(shí)，通常要把變量名定義為容易使用閱讀和能夠描述所含數(shù)據(jù)用處的名稱，而不要使用一些難

10、懂的縮寫如A或B2等。例如:編寫一個(gè)銷售蘋果的軟件時(shí)，我們需要兩個(gè)變量來存儲(chǔ)蘋果的價(jià)格和銷量。此時(shí)，可以定義兩個(gè)名為Apple_Price和Apple_Sold的變量。每次運(yùn)行程序時(shí)，用戶就這兩個(gè)變量提供具體值，這樣看起來就非常直觀。建模樣本的大小和目標(biāo)變量的分布對(duì)此部分的描述應(yīng)該包括：建模樣本的大小是如何決定的；如何獲得各個(gè)細(xì)度的數(shù)據(jù)記錄并有效的控制成本；目標(biāo)變量的分布，包括異常值、多峰性分布、負(fù)值的處理等。數(shù)據(jù)時(shí)間窗定義對(duì)此部分的描述應(yīng)該包括：目標(biāo)變量表現(xiàn)的觀察時(shí)間：采用滾動(dòng)時(shí)間窗或固定時(shí)間窗的方法；模型獨(dú)立變量的觀察時(shí)間；模型目標(biāo)變量和獨(dú)立變量數(shù)據(jù)是否有時(shí)間不足的情況，如有些樣本的目標(biāo)變

11、量表現(xiàn)觀察期不足，模型變量的觀察時(shí)間不足等。數(shù)據(jù)源有效數(shù)據(jù)的頻率和缺失值處理對(duì)此部分的描述應(yīng)該包括：樣本變量數(shù)據(jù)的有效頻率；樣本記錄中有效記錄的頻率；某些變量或記錄數(shù)據(jù)缺失的原因，這些缺失原因是否會(huì)對(duì)模型產(chǎn)生影響或偏差；在建模過程中，如何對(duì)數(shù)據(jù)源的各種數(shù)據(jù)缺失原因進(jìn)行考慮。建模人員應(yīng)該用簡(jiǎn)單易懂的語言對(duì)模型要解決的業(yè)務(wù)問題進(jìn)行描述。這些描述應(yīng)該包括一個(gè)或多個(gè)已達(dá)成共識(shí)的業(yè)務(wù)原則或核心價(jià)值，如客戶的行為、銀行員工的參與度、競(jìng)爭(zhēng)對(duì)手的動(dòng)作、經(jīng)濟(jì)形勢(shì)的變動(dòng)、合規(guī)的需要、公司戰(zhàn)略的考慮等每個(gè)模型獨(dú)立變量的缺失值頻率；模型獨(dú)立變量的缺失值是否有具體的含義；缺失值出現(xiàn)的頻率是否穩(wěn)定；有缺失值的變量在模型中

12、的重要性及表現(xiàn)的穩(wěn)定性；每一個(gè)變量對(duì)缺失值的處理方法，包括采用中位數(shù)、平均數(shù)、最大或最小值、最好或最壞值替代，單變量處理，多變量處理，以變量減少、建?；蛟u(píng)分、或拒絕原因算法為目標(biāo)的處理等。變量最大、最小值處理對(duì)此部分的描述應(yīng)該包括：每個(gè)變量的最大或最小值；對(duì)最大或最小值的處理方法；處理后對(duì)這些變量取值范圍的影響以及數(shù)據(jù)記錄表現(xiàn)的影響；以變量減少、建模或評(píng)分、或拒絕原因算法為目標(biāo)的最大或最小值設(shè)置；這些設(shè)置是否能防止所有可能出現(xiàn)的取值錯(cuò)誤。變量轉(zhuǎn)換對(duì)此部分的描述應(yīng)該包括：?jiǎn)巫兞哭D(zhuǎn)換，如反正弦、對(duì)數(shù)、開方、Box-Cox等；多變量轉(zhuǎn)換，如變量之間相除、相減、相加、相乘等；變量取值的劃分或歸成大類；

13、變量轉(zhuǎn)換的處理程序及編程方法；這些設(shè)置是否能防止所有可能出現(xiàn)的取值；采用Weight of Evidence（WoE）方法（該方法在生態(tài)風(fēng)險(xiǎn)評(píng)估ERA領(lǐng)域使用多年，能結(jié)合多方面數(shù)據(jù)給出總體風(fēng)險(xiǎn)評(píng)估）進(jìn)行分欄并計(jì)算Information Value來驗(yàn)證。數(shù)據(jù)的外部因素可能影響目標(biāo)變量表現(xiàn)的外部因素主要有：國家或區(qū)域的經(jīng)濟(jì)環(huán)境；宏觀經(jīng)濟(jì)指標(biāo)；產(chǎn)品特征；獲客渠道；主要競(jìng)爭(zhēng)對(duì)手的策略；天氣因素；季節(jié)性周期因素等。模型的選擇模型審批人員應(yīng)該對(duì)建模的方法及模型的表現(xiàn)是否能夠到達(dá)預(yù)期的目標(biāo)進(jìn)行診斷和評(píng)估，這是一個(gè)至關(guān)重要的步驟。從具體實(shí)施的角度而言，評(píng)估應(yīng)該至少包含以下九個(gè)方面內(nèi)容。子模型分割方法模型分割

14、（子模型）的方法應(yīng)該包括以下內(nèi)容：分割優(yōu)化的標(biāo)準(zhǔn)及目的：如對(duì)無數(shù)據(jù)記錄的處理、模型表現(xiàn)的連續(xù)性考慮、變量相關(guān)性的區(qū)格、變量預(yù)測(cè)能力的區(qū)格等；選擇分割的手段，如歷史數(shù)據(jù)分析、CART分析、貝葉斯樹等；采用分割后對(duì)模型的表現(xiàn)所帶來的提升的數(shù)據(jù)支持，尤其要說明表現(xiàn)的提升足以覆蓋由于分割所帶來的模型復(fù)雜度增加的負(fù)擔(dān)。變量剔除模型獨(dú)立變量剔除或合并的考慮因素包括：變量缺失的頻率；變量的波動(dòng)性；變量組合；變量聚類，將集合分成由類似的對(duì)象組成的多個(gè)類；變量之間的相關(guān)性檢驗(yàn)，如采用相關(guān)系數(shù)矩陣，Pearson 相關(guān)系數(shù)或者Spearman 相關(guān)系數(shù)方法；不同分割模型（子模型）變量的同質(zhì)性檢驗(yàn)，用卡方統(tǒng)計(jì)量驗(yàn)證

15、不同子模型是否來自同一總體；變量選擇的方式：如向前選擇、向后選擇、逐步選擇等；變量的交叉驗(yàn)證。模型優(yōu)化的標(biāo)準(zhǔn)對(duì)此部分的描述應(yīng)該明確定義模型優(yōu)化的標(biāo)準(zhǔn)，進(jìn)而說明為何候選模型是最佳的選擇。如果選擇多個(gè)指標(biāo)，應(yīng)說明多個(gè)指標(biāo)的選擇標(biāo)準(zhǔn)，例如：KS值, 決策邊際變現(xiàn)等。對(duì)于需要滿足監(jiān)管要求的模型，要將監(jiān)管要求融入到選擇模型優(yōu)化的過程中。模型參數(shù)的確定對(duì)此部分的描述應(yīng)該明確模型選擇的方法，包括：如何確定模型的參數(shù)；如何從眾多的候選模型中選擇最終的模型；VIF（Variance Inflation Factor）檢驗(yàn)，判斷模型是否存在多重共線性問題，經(jīng)驗(yàn)判斷方法表明：當(dāng)0VIF10，不存在多重共線性；當(dāng)10

16、VIF100，存在較強(qiáng)的多重共線性；當(dāng)VIF100，存在嚴(yán)重多重共線性，此時(shí)模型效率低；如何對(duì)模型的參數(shù)進(jìn)行平滑處理；如何確定模型的變量及結(jié)構(gòu)是簡(jiǎn)單適用的；如何防止擬合不足或擬合過度。建模程序的結(jié)構(gòu)對(duì)此部分的描述應(yīng)該說明建模使用的程序的結(jié)構(gòu)，包括：處理原始數(shù)據(jù)的所有的程序，從開始到結(jié)束；程序是否具有恰當(dāng)?shù)臉?biāo)注和結(jié)構(gòu)說明，如數(shù)據(jù)處理部分，變量選擇部分，候選模型比較部分等；程序是否被妥善統(tǒng)一存檔，存檔是否可以被訪問，程序是否可以被其他人運(yùn)行這些具體備注說明。建模程序細(xì)節(jié)對(duì)此部分的描述應(yīng)該選擇一段建模程序進(jìn)行評(píng)估，評(píng)估內(nèi)容包括：程序的標(biāo)注是否充分，程序的結(jié)構(gòu)是否容易理解；變量的名稱、標(biāo)識(shí)是否簡(jiǎn)單易懂

17、；容易誤解或復(fù)雜的部分是否有特殊標(biāo)注；程序引用的模塊是否有相應(yīng)的文檔；程序格式是否恰當(dāng)使用縮進(jìn)和空格；程序的作者是否標(biāo)注；在程序的開發(fā)、運(yùn)行和程序的重復(fù)使用之間是否保持恰當(dāng)?shù)钠胶?。模型的表現(xiàn)對(duì)此部分的描述應(yīng)該評(píng)價(jià)模型對(duì)目標(biāo)行為預(yù)測(cè)的能力，主要包括：建模樣本的表現(xiàn)；非建模樣本的表現(xiàn)：如果和建模樣本表現(xiàn)不同，要解釋表現(xiàn)不同的原因；對(duì)未來樣本表現(xiàn)的預(yù)期；對(duì)所有未來可能影響模型表現(xiàn)的不確定性因素是如何考慮的。模型是否擬合不足或擬合過度任何模型都可能會(huì)有擬合不足或擬合過度的問題，對(duì)擬合度的評(píng)估可以在幾個(gè)不同的層面展開，如使用可決系數(shù)對(duì)模型進(jìn)行擬合優(yōu)度檢驗(yàn)，使用模擬數(shù)據(jù)或其他歷史數(shù)據(jù)對(duì)模型進(jìn)行再次驗(yàn)證，是

18、否有以往的經(jīng)驗(yàn)或數(shù)據(jù)來驗(yàn)證模型等。殘差分析殘差分析主要是：用殘差證實(shí)模型的假定,如用殘差圖判斷模型效果與樣本數(shù)據(jù)的質(zhì)量，檢驗(yàn)?zāi)Ｐ褪欠駶M足基本假定，以便對(duì)模型作進(jìn)一步的修改；用殘差檢測(cè)異常值和有影響的觀測(cè)值，如果異常值是一個(gè)錯(cuò)誤數(shù)據(jù)，如是由記錄錯(cuò)誤造成，應(yīng)該修正數(shù)據(jù)，以便改善模型效果；如果是由于模型的假定不合理，使得標(biāo)準(zhǔn)化殘差偏大，應(yīng)該考慮修正模型；如果完全是由于隨機(jī)因素造成的，則應(yīng)該將該數(shù)據(jù)視為有效觀測(cè)值，予以保留。同時(shí)應(yīng)注意的問題有:殘差是否是隨機(jī)分布的；一個(gè)或幾個(gè)記錄的變化是否會(huì)對(duì)整個(gè)模型有較大的影響；不同的取樣方法是否會(huì)產(chǎn)生不同的模型或不同的殘差分布。模型的最終審批模型審批人員在最終批準(zhǔn)

19、模型之前，應(yīng)對(duì)以下三個(gè)方面進(jìn)行評(píng)估。1、模型替換分析任何模型都會(huì)有幾個(gè)不同的版本，如原有模型，簡(jiǎn)單的業(yè)務(wù)邏輯替代的模型，和第三方公司的模型。模型審批人員應(yīng)該就最終的模型版本和其他版本進(jìn)行比較，進(jìn)行優(yōu)劣分析，包括：如果不用這個(gè)模型，業(yè)務(wù)模式會(huì)如何展開？對(duì)原來被否決，新模型會(huì)批準(zhǔn)的樣本進(jìn)行分析并評(píng)估對(duì)業(yè)務(wù)的影響；待審批的模型和其他模型相比，有哪些優(yōu)勢(shì)？這些優(yōu)勢(shì)是如何獲得的，它們是否符合基本的業(yè)務(wù)邏輯；模型在應(yīng)用的目標(biāo)客戶群內(nèi)的主要的獨(dú)立變量的分布是否符合業(yè)務(wù)邏輯？和其他模型的版本相比，它們是否和上述的新版本的模型優(yōu)勢(shì)相吻合？應(yīng)用測(cè)試技術(shù)對(duì)現(xiàn)有模型進(jìn)行挑戰(zhàn)，模型上線的版本策略如過度階段和原模型或其他

20、規(guī)則共用等。2、監(jiān)控策略模型的監(jiān)控策略應(yīng)包括以下內(nèi)容：監(jiān)控的主要指標(biāo)，頻率；監(jiān)控報(bào)告的審閱人員及存檔流程；對(duì)于監(jiān)控的指標(biāo)來講，穩(wěn)定性指標(biāo)和準(zhǔn)確性指標(biāo)通常只是最低標(biāo)準(zhǔn)；穩(wěn)定性指標(biāo)應(yīng)該包括模型目標(biāo)變量和獨(dú)立變量的穩(wěn)定性監(jiān)控；模型指標(biāo)的參考客群是如何定義的；模型的目標(biāo)應(yīng)用客群如果發(fā)生變化，如何能夠識(shí)別目標(biāo)客群的變化？如何對(duì)模型的表現(xiàn)進(jìn)行有效的跟蹤？監(jiān)控程序是否經(jīng)過調(diào)試和驗(yàn)證；如果數(shù)據(jù)導(dǎo)入出錯(cuò)，如何對(duì)錯(cuò)誤信息進(jìn)行識(shí)別和報(bào)警？如果模型運(yùn)行失敗，業(yè)務(wù)開展的備用方案是什么？識(shí)別模型失敗的流程和重新啟動(dòng)模型運(yùn)行的流程各是什么？在什么情況下，建模人員需要對(duì)模型進(jìn)行重新評(píng)估或重新建模？明確定義這些情況下主要表現(xiàn)指標(biāo)的