基于潛在語義的多類文本分類模型研究

1、基于隨機森林的文本分類模型研究張華偉 王明文 江西師范大學(xué)計算機信息工程學(xué)院8/5/2022提綱 研究背景 相關(guān)工作 隨機森林模型 實驗 進一步工作研究背景泛化能力：設(shè)計分類器的中心目標(biāo)是能夠?qū)π聵颖咀龀稣_的分類，即“泛化能力”。目前，大多數(shù)分類器盡可能地降低同一算法在特定訓(xùn)練樣本集上的經(jīng)驗風(fēng)險 -經(jīng)驗風(fēng)險最小化 。當(dāng)前做的較好的方法：統(tǒng)計學(xué)習(xí)理論：vc維-svm 。隨機森林：誤差上界Decision Trees基本思想：Divide-and-Conquer基本算法（貪心算法）自上而下分而治之的方法開始時，所有的數(shù)據(jù)都在根節(jié)點所有記錄用所選屬性遞歸的進行分割屬性的選擇是基于一個啟發(fā)式規(guī)則或者

2、一個統(tǒng)計的度量 (如, information gain)集成機器學(xué)習(xí)起源于Hebb 對于神經(jīng)細(xì)胞工作方式的假設(shè)：信息加工是由神經(jīng)集合體共同完成的.1990 年，Schapire 證明了一個關(guān)鍵定理：一個學(xué)習(xí)方法可以提升為強可學(xué)習(xí)的充要條件是其為弱可學(xué)習(xí)由此，派生了弱分類器的概念，即，比隨機猜想稍好的分類器。它告訴我們：多個弱分類器可以集成為一個強分類器。集成機器學(xué)習(xí)幾乎所有成功的決策樹集成都用了隨機模型應(yīng)用隨機的主要目的是離散化模型各模型結(jié)果的集成比單個模型的預(yù)測精度要好集成機器學(xué)習(xí)給定K個分類器 和隨機向量x、y，定義邊緣函數(shù)（mg）如下： 其中，I()是示性函數(shù)。該邊緣函數(shù)刻畫了對向量X

3、正確分類y的平均得票數(shù)超過其它任何類平均得票數(shù)的程度?？梢钥闯?，邊際越大分類的置信度就越高。于是，分類器的泛化誤差定義如下： 隨機森林和其理論背景 將上面的結(jié)論推廣到隨機森林 。 邊緣函數(shù)如下： 隨著樹的數(shù)目增加， 趨向于 分類器 的強度 假設(shè) ，根據(jù)切比雪夫不等式，（1）,（2）可以得到： 根據(jù)引文6可知： 于（4）、（5）我們可以得到以下結(jié)論：隨機森林的泛化誤差上界 集成學(xué)習(xí)的文本分類過程新文本預(yù)處理訓(xùn)練文本預(yù)處理特征項抽取訓(xùn)練文本再處理構(gòu)造集成分類器訓(xùn)練過程分類過程分類結(jié)果同集成分類器權(quán)重組合成最終結(jié)果計算集成分類器權(quán)重集成學(xué)習(xí)的文本分類算法試驗設(shè)計及初步結(jié)果文檔集：Reuters-21578，共135類，保留訓(xùn)練集和測試集都有正例的90個類。文檔類別分布不均勻，最多時一篇文檔屬于14個類。類別矩陣構(gòu)造：特征提?。?統(tǒng)計。權(quán)重：LTC權(quán)重。性能指標(biāo)：宏平均F1和微平均F1Reuters-21578上特征維數(shù)下的微平均和宏平均指標(biāo)各模型在Reuters-21578上前