誤差分析 數(shù)據(jù)判別分析

誤差分析課件數(shù)據(jù)判別分析第1頁(yè)，共52頁(yè)，2023年，2月20日，星期日判別分析概念及應(yīng)用概念應(yīng)用第2頁(yè)，共52頁(yè)，2023年，2月20日，星期日判別分析概念在自然科學(xué)與社會(huì)科學(xué)等眾多領(lǐng)域中,研究對(duì)象往往用某種方式已劃分為若干類(lèi)型,當(dāng)?shù)玫揭粋€(gè)新的樣品,要確定該樣品屬于已知類(lèi)型的哪一類(lèi),這類(lèi)問(wèn)題就屬于判別分析.第3頁(yè)，共52頁(yè)，2023年，2月20日，星期日判別分析的應(yīng)用在工業(yè)生產(chǎn)中判斷產(chǎn)品的等級(jí);在經(jīng)濟(jì)發(fā)展中判斷一個(gè)國(guó)家經(jīng)濟(jì)發(fā)展程度;醫(yī)學(xué)中根據(jù)化驗(yàn)結(jié)果判斷病人的疾病類(lèi)型等.第4頁(yè)，共52頁(yè)，2023年，2月20日，星期日相似性測(cè)度判斷樣品之間的相似性常采用近鄰準(zhǔn)則，就是把待分類(lèi)樣品與標(biāo)準(zhǔn)模版進(jìn)行比較，看和哪個(gè)模版匹配程度更好，從而確定待測(cè)樣品的分類(lèi)。計(jì)算模式相似性測(cè)度有歐式距離、馬氏距離、夾角余弦距離、Tanimoto測(cè)度等多種距離算法。第5頁(yè)，共52頁(yè)，2023年，2月20日，星期日近鄰準(zhǔn)測(cè)分類(lèi)的兩種計(jì)算方法1通過(guò)與樣品庫(kù)所有樣品特征分別作相似性測(cè)度，找出最接近的樣品，取該樣品所屬類(lèi)別作為待測(cè)樣品的類(lèi)別。2待測(cè)樣品與樣品庫(kù)中不同類(lèi)別的中心或重心作相似性測(cè)度，找出最接近類(lèi)的中心，以該類(lèi)作為待測(cè)樣品的類(lèi)別。第6頁(yè)，共52頁(yè)，2023年，2月20日，星期日距離算法樣品與樣品之間的距離樣品與類(lèi)之間的距離類(lèi)內(nèi)距離類(lèi)與類(lèi)之間的距離第7頁(yè)，共52頁(yè)，2023年，2月20日，星期日樣品間距離示意圖同類(lèi)內(nèi)樣品間的距離不同類(lèi)內(nèi)樣品間的距離第8頁(yè)，共52頁(yè)，2023年，2月20日，星期日樣品與樣品之間的距離A:B:第9頁(yè)，共52頁(yè)，2023年，2月20日，星期日樣品間的距離計(jì)算公式第10頁(yè)，共52頁(yè)，2023年，2月20日，星期日樣品與類(lèi)之間的距離W為代表某類(lèi)樣品的集合，其中有n個(gè)樣品，x為待測(cè)樣品。第11頁(yè)，共52頁(yè)，2023年，2月20日，星期日樣品與類(lèi)的距離的計(jì)算方法1計(jì)算待測(cè)樣品和類(lèi)中每個(gè)樣品之間的距離后求平均值。2計(jì)算類(lèi)的中心點(diǎn)，以類(lèi)中所有的樣品特征的平均值作為類(lèi)的中心，然后計(jì)算待測(cè)樣品到中心點(diǎn)的距離。第12頁(yè)，共52頁(yè)，2023年，2月20日，星期日類(lèi)內(nèi)距離同一個(gè)類(lèi)內(nèi)任意樣品之間距離之和的平均值第13頁(yè)，共52頁(yè)，2023年，2月20日，星期日類(lèi)與類(lèi)之間的距離最短距離法、最長(zhǎng)距離法、重心法、平均距離法第14頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別的方法——模版匹配把未知樣品和一個(gè)標(biāo)準(zhǔn)模版相比，看它們是否相同或者相似。兩類(lèi)別多類(lèi)別第15頁(yè)，共52頁(yè)，2023年，2月20日，星期日兩類(lèi)別有兩個(gè)標(biāo)準(zhǔn)樣品模版為A和B，其特征向量分別為X和Y，任何一個(gè)待識(shí)別的樣品為M,可以用距離判別來(lái)判斷它屬于A或者B,如果M和A的距離近則屬于A，否則屬于B。這就是最小距離判別法。第16頁(yè)，共52頁(yè)，2023年，2月20日，星期日多類(lèi)別多種類(lèi)別，每類(lèi)有N個(gè)樣品，計(jì)算待測(cè)樣品到各類(lèi)中心的馬氏距離，比較各距離，取最小的距離值，則待測(cè)樣品就屬于該類(lèi)。第17頁(yè)，共52頁(yè)，2023年，2月20日，星期日馬氏距離在判別分析中最常用到馬氏距離，此方法考慮到了歐式分布中沒(méi)有考慮到的總體分布的分散性信息。設(shè)x，y是來(lái)自均值向量為、協(xié)方差矩陣的總體G的兩個(gè)樣品，則x，y之間的馬氏距離是而兩個(gè)總體G1和G2,其均值向量分別為和，G1和G2的協(xié)方差距陣相等，皆為，則總體G1和G2間的馬氏距離是第18頁(yè)，共52頁(yè)，2023年，2月20日，星期日馬氏距離的性質(zhì)123第19頁(yè)，共52頁(yè)，2023年，2月20日，星期日馬氏距離判別的合理性設(shè)G1為正態(tài)總體它們的概率密度為：G2為正態(tài)總體第20頁(yè)，共52頁(yè)，2023年，2月20日，星期日馬氏距離判別的合理性?xún)蓚€(gè)總體的協(xié)方差矩陣相等，對(duì)于新產(chǎn)品X，要判別X屬于哪個(gè)總體，根據(jù)統(tǒng)計(jì)學(xué)似然比準(zhǔn)則，很自然應(yīng)將X判歸在該樣品觀測(cè)處其概率密度較大的那個(gè)總體。即有下列判別準(zhǔn)則：第21頁(yè)，共52頁(yè)，2023年，2月20日，星期日馬氏距離判別的合理性而的充分必要條件是：即，（馬氏距離）因此，當(dāng)兩個(gè)總體G1和G2為正態(tài)總體且其協(xié)方差矩陣相等時(shí)，采用馬氏距離判別準(zhǔn)則和似然比準(zhǔn)則時(shí)一致的。第22頁(yè)，共52頁(yè)，2023年，2月20日，星期日具體討論兩個(gè)總體協(xié)方差矩陣相等或不等的情況1當(dāng)兩個(gè)總體協(xié)方差矩陣相等時(shí)，考慮樣品X到兩總體的馬氏平方距離的差：第23頁(yè)，共52頁(yè)，2023年，2月20日，星期日具體討論兩個(gè)總體協(xié)方差矩陣相等或不等的情況記則第24頁(yè)，共52頁(yè)，2023年，2月20日，星期日具體討論兩個(gè)總體協(xié)方差矩陣相等或不等的情況這樣，距離判別準(zhǔn)則化為其中W1和W2都是線(xiàn)性判別函數(shù)，在實(shí)際問(wèn)題中，通常以來(lái)自總體的訓(xùn)練樣本的均值和協(xié)方差來(lái)估計(jì)線(xiàn)性判別函數(shù)。第25頁(yè)，共52頁(yè)，2023年，2月20日，星期日具體討論兩個(gè)總體協(xié)方差矩陣相等或不等的情況2當(dāng)兩個(gè)總體協(xié)方差矩陣不等的時(shí)候第26頁(yè)，共52頁(yè)，2023年，2月20日，星期日多個(gè)總體的距離判別N個(gè)總體均值向量和協(xié)方差矩陣已知，計(jì)算待測(cè)樣品X到各總體的馬氏距離，比較這N個(gè)距離，判斷X屬于其馬氏距離最小的總體，如果最小距離在不止一個(gè)總體達(dá)到，則可將X判給具有最小距離總體的任何一個(gè)。第27頁(yè)，共52頁(yè)，2023年，2月20日，星期日判別準(zhǔn)則的評(píng)價(jià)1誤判率回代估計(jì)法2誤判率的交叉確認(rèn)估計(jì)法第28頁(yè)，共52頁(yè)，2023年，2月20日，星期日誤判率回代估計(jì)法設(shè)G1和G2為兩個(gè)總體，容量分別為n1、n2，以全體訓(xùn)練樣本作為n1＋n2個(gè)新樣品，逐個(gè)代入已建立的判別準(zhǔn)則中判別其歸屬。第29頁(yè)，共52頁(yè)，2023年，2月20日，星期日誤判率回代估計(jì)法其中n12是將屬于G1的樣品誤判為屬于G2的個(gè)數(shù)，n21是將屬于G2的樣品誤判為屬于G1的個(gè)數(shù)，總的誤判個(gè)數(shù)是n12＋n21，而總體n1＋n2，誤判率回代估計(jì)為第30頁(yè)，共52頁(yè)，2023年，2月20日，星期日誤判率的交叉確認(rèn)估計(jì)法誤判率的交叉估計(jì)確認(rèn)估計(jì)是每次剔除訓(xùn)練樣本中的一個(gè)樣品，利用其余容量為n1+n2-1的訓(xùn)練樣本建立相應(yīng)的判別準(zhǔn)則，再用所建立的判別準(zhǔn)則對(duì)剔除的那個(gè)樣品作判別。對(duì)訓(xùn)練樣本中的每個(gè)樣品作上述分析，以其誤判的比例作為誤判概率的估計(jì)。第31頁(yè)，共52頁(yè)，2023年，2月20日，星期日誤判率的交叉確認(rèn)估計(jì)法－步驟從總體G1的容量為n1的訓(xùn)練樣本開(kāi)始，依次剔除其中一個(gè)樣品，用剩余的容量為n1－1的訓(xùn)練樣本和總體G2的容量為n2的訓(xùn)練樣本建立相應(yīng)的判別函數(shù)。用建立的判別函數(shù)對(duì)剔除的那個(gè)樣品作判別重復(fù)以上步驟，直到G1的訓(xùn)練樣本中的n1的樣品依次被剔除，記錄其誤判的樣品個(gè)數(shù)對(duì)G2重復(fù)以上步驟，確定誤判率。第32頁(yè)，共52頁(yè)，2023年，2月20日，星期日兩種誤判率確認(rèn)方法的比較誤判率的交叉確認(rèn)估計(jì)法，所得到的估計(jì)稱(chēng)為誤判率的交叉確認(rèn)估計(jì)，此方法較回代法更合理，但計(jì)算量較大。誤判率的回代估計(jì)法作出的誤判率是建立判別函數(shù)的數(shù)據(jù)反過(guò)來(lái)用作評(píng)價(jià)準(zhǔn)則的數(shù)據(jù)得到，因此由此得出的估計(jì)往往比真實(shí)誤判率小，當(dāng)訓(xùn)練樣本較大的時(shí)候，此法可以作為真實(shí)誤判率的一種近似估計(jì)。第33頁(yè)，共52頁(yè)，2023年，2月20日，星期日其他分類(lèi)判別準(zhǔn)則基于概率統(tǒng)計(jì)的貝葉斯分類(lèi)準(zhǔn)則判別函數(shù)分類(lèi)設(shè)計(jì)（線(xiàn)性、非線(xiàn)性、支持向量機(jī)……）神經(jīng)網(wǎng)絡(luò)分類(lèi)決策樹(shù)分類(lèi)粗糙集分類(lèi)第34頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別分析

第二部分實(shí)例分析——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用主講人：吳佳歡第35頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用研究意義

工程巖體質(zhì)量反映了巖體結(jié)構(gòu)固有的物理力學(xué)特性，為工程穩(wěn)定分析、巖體的合理利用以及正確選擇各類(lèi)巖體力學(xué)參數(shù)等提供了可靠的依據(jù)。第36頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用對(duì)象特征在巖石力學(xué)與工程系統(tǒng)中，許多情況下由于系統(tǒng)具有1.復(fù)雜性2.模糊性3.高度非線(xiàn)性數(shù)據(jù)分布形式和變量之間的關(guān)系是難以準(zhǔn)確獲知的第37頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用發(fā)展趨勢(shì)1.單因素定性分級(jí)2.由于應(yīng)用和分析側(cè)重點(diǎn)不同，相應(yīng)地采用不同的評(píng)價(jià)指標(biāo)和分級(jí)標(biāo)準(zhǔn)3.采用靜態(tài)和動(dòng)態(tài)等多種評(píng)價(jià)方法從不同側(cè)面進(jìn)行巖體質(zhì)量的綜合評(píng)價(jià)4.巖體質(zhì)量評(píng)價(jià)與巖體穩(wěn)定性分析的有機(jī)結(jié)合多因素定性分級(jí)多因素定量綜合模式第38頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用發(fā)展概況1.早期方法（統(tǒng)計(jì)方法、回歸方法等）2.RMR分類(lèi)3.馬氏距離判別分析法第39頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用馬氏距離判別分析法第40頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用馬氏距離判別分析法==注釋?zhuān)篠第41頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用巖體質(zhì)量等級(jí)判定的距離判別分析模型1.判別參數(shù)的確定巖體質(zhì)量等級(jí)的影響因素

（1）巖石性質(zhì)（2）巖體結(jié)構(gòu)（3）儲(chǔ)存環(huán)境以單軸抗壓強(qiáng)度（X1）巖體聲波縱波速度(X2)體積節(jié)理數(shù)(X3)節(jié)理面粗糙度系數(shù)(X4)節(jié)理面風(fēng)化變異系數(shù)(X5)透水性系數(shù)(X6)第42頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用巖體質(zhì)量等級(jí)判定的距離判別分析模型2.距離判別分析模型的建立距離判別分析模型示意圖第43頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用巖體質(zhì)量等級(jí)判定的距離判別分析模型2.距離判別分析模型的建立

第44頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用巖體質(zhì)量等級(jí)判定的距離判別分析模型3.判別結(jié)果的檢驗(yàn)

第45頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用巖體質(zhì)量等級(jí)判定的距離判別分析模型4.結(jié)論

采用距離判別分析法能夠解決傳統(tǒng)分類(lèi)方法中考慮的因素不夠、實(shí)用性窄以及使用起來(lái)有局限性等缺陷。該模型在判別分類(lèi)中具有較強(qiáng)的判別能力，為解決巖體質(zhì)量等級(jí)判定和分類(lèi)提供了一條新的途徑。

第46頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用

謝謝大家！第47頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用發(fā)展概況早期方法的不足：

這些方法需要已知數(shù)據(jù)分布形式和對(duì)變量之間關(guān)系的假定，分級(jí)效果的好壞很大程度上取決于對(duì)模型的認(rèn)識(shí)，人為因素很大。

返回第48頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用發(fā)展概況RMR分類(lèi)：R1：巖石抗壓強(qiáng)度R2：巖石質(zhì)量指標(biāo)R3：節(jié)理間距R4：節(jié)理狀態(tài)R5：地下水狀態(tài)第49頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用發(fā)展概況RMR分類(lèi)：

第50頁(yè)，共52頁(yè)，2023年，2月20日，星期日數(shù)據(jù)判別實(shí)例分析

——距離判別分析法在巖體質(zhì)量等級(jí)分類(lèi)中的應(yīng)用發(fā)展概況RMR分類(lèi)的不足：

實(shí)用性窄，使用起來(lái)有局限性，對(duì)采集數(shù)據(jù)依賴(lài)較大。