基于weka的數(shù)據(jù)分類分析實(shí)驗(yàn)報(bào)告

1、數(shù)據(jù)挖掘?qū)嶒?yàn)報(bào)告 xxx 201021030483基于weka的數(shù)據(jù)分類分析實(shí)驗(yàn)報(bào)告1實(shí)驗(yàn)基本內(nèi)容本實(shí)驗(yàn)的基本內(nèi)容是通過使用weka中的三種常見分類方法（樸素貝葉斯，KNN和決策樹C4.5）分別在訓(xùn)練數(shù)據(jù)上訓(xùn)練出分類模型，并使用校驗(yàn)數(shù)據(jù)對(duì)各個(gè)模型進(jìn)行測試和評(píng)價(jià)，找出各個(gè)模型最優(yōu)的參數(shù)值，并對(duì)三個(gè)模型進(jìn)行全面評(píng)價(jià)比較，得到一個(gè)最好的分類模型以及該模型所有設(shè)置的最優(yōu)參數(shù)。最后使用這些參數(shù)以及訓(xùn)練集和校驗(yàn)集數(shù)據(jù)一起構(gòu)造出一個(gè)最優(yōu)分類器，并利用該分類器對(duì)測試數(shù)據(jù)進(jìn)行預(yù)測。2數(shù)據(jù)的準(zhǔn)備及預(yù)處理2.1格式轉(zhuǎn)換方法原始數(shù)據(jù)是excel文件保存的xlsx格式數(shù)據(jù)，需要轉(zhuǎn)換成Weka支持的arff文件格式或cs

2、v文件格式。由于Weka對(duì)arff格式的支持更好，這里我們選擇arff格式作為分類器原始數(shù)據(jù)的保存格式。轉(zhuǎn)換方法：在excel中打開“movie_given.xlsx”，選擇菜單文件->另存為，在彈出的對(duì)話框中，文件名輸入“total_data”，保存類型選擇“CSV（逗號(hào)分隔）”，保存，我們便可得到“total_data.csv”文件；然后，打開Weka的Exporler，點(diǎn)擊Open file按鈕，打開剛才得到的“total_data”文件，點(diǎn)擊“save”按鈕，在彈出的對(duì)話框中，文件名輸入“total_data”，文件類型選擇“Arff data files（*.arff）”，這樣

3、得到的數(shù)據(jù)文件為“total_data.arff”。2.2如何建立數(shù)據(jù)訓(xùn)練集，校驗(yàn)集和測試集數(shù)據(jù)的預(yù)處理過程中，為了在訓(xùn)練模型、評(píng)價(jià)模型和使用模型對(duì)數(shù)據(jù)進(jìn)行預(yù)測能保證一致性和完整性，首先要把movie_given.xslx和test.xslx合并在一起，因?yàn)樵谏蒩rff文件的時(shí)候，可能會(huì)出現(xiàn)屬性值不一樣的情況，否則將為后來的測試過程帶來麻煩。通過統(tǒng)計(jì)數(shù)據(jù)信息，發(fā)現(xiàn)帶有類標(biāo)號(hào)的數(shù)據(jù)一共有100行，為了避免數(shù)據(jù)的過度擬合，必須把數(shù)據(jù)訓(xùn)練集和校驗(yàn)集分開，目前的拆分策略是各50行。類標(biāo)號(hào)為female的數(shù)據(jù)有21條，而類標(biāo)號(hào)為male的數(shù)據(jù)有79條，這樣目前遇到的問題是，究竟如何處理僅有的21條fe

4、male數(shù)據(jù)？為了能在訓(xùn)練分類模型時(shí)有更全面的信息，所以決定把包含21條female類標(biāo)號(hào)數(shù)據(jù)和29條male類標(biāo)號(hào)數(shù)據(jù)作為模型訓(xùn)練數(shù)據(jù)集，而剩下的另49條類標(biāo)號(hào)類male的數(shù)據(jù)將全部用于校驗(yàn)數(shù)據(jù)集，這是因?yàn)樵谛ｒ?yàn)的時(shí)候，兩種類標(biāo)號(hào)的數(shù)據(jù)的作用區(qū)別不大，而在訓(xùn)練數(shù)據(jù)模型時(shí)，則更需要更全面的信息，特別是不同類標(biāo)號(hào)的數(shù)據(jù)的合理比例對(duì)訓(xùn)練模型的質(zhì)量有較大的影響。2.3預(yù)處理具體步驟第一步：合并movie_given.xlsx和test.xlsx，保存為total_data.xlsx；第二步：在total_data.xlsx中刪除多余的ID列信息；第三步：在excel中打開“total_data.xl

5、sx”，選擇菜單文件->另存為，在彈出的對(duì)話框中，文件名輸入“total_data”，保存類型選擇“CSV（逗號(hào)分隔）”；第四步：使用UltraEdit工具把total_data.csv中的數(shù)據(jù)缺失部分補(bǔ)上全局常量？；第五步：打開Weka的Exporler，點(diǎn)擊Open file按鈕，打開剛才得到的“total_data.csv”文件，點(diǎn)擊“save”按鈕，在彈出的對(duì)話框中，文件名輸入“total_data”，文件類型選擇“Arff data files（*.arff）”，這樣得到的數(shù)據(jù)文件為“total_data.arff”。第六步：從total_data.arff文件里面剪切所有沒有

6、分類標(biāo)號(hào)的數(shù)據(jù)作為預(yù)測數(shù)據(jù)集（test.arff），共26項(xiàng)。第七步：把剩下含有類標(biāo)號(hào)數(shù)據(jù)的total_data.arff文件復(fù)制一份，作為總的訓(xùn)練數(shù)據(jù)集。文件名稱為build_model.arff。第八步：從total_data.arff文件中剩下的數(shù)據(jù)里面選取所有分類標(biāo)號(hào)為male的49行數(shù)據(jù)作為校驗(yàn)數(shù)據(jù)集（validate_data.arff）。第九步：從把剩下的total_data.arff文件改名為train_data.arff。3. 實(shí)驗(yàn)過程及結(jié)果截圖3.1決策樹分類用“Explorer”打開剛才得到的“train-data.arff”，并切換到“Class”。點(diǎn)“Choose”按

7、鈕選擇“tree (weka.classifiers.trees.j48)”，這是WEKA中實(shí)現(xiàn)的決策樹算法。選擇Cross-Validatioin folds=10，然后點(diǎn)擊“start”按鈕：訓(xùn)練數(shù)據(jù)集訓(xùn)練決策樹得出的結(jié)果使用不同配置訓(xùn)練參數(shù)，得到的實(shí)驗(yàn)數(shù)據(jù)：配置不同的葉子節(jié)點(diǎn)的實(shí)例個(gè)數(shù)實(shí)例數(shù)/葉節(jié)點(diǎn)23456準(zhǔn)確率54%60%56%56%56%結(jié)果分析：使用決策樹時(shí)，每個(gè)葉子節(jié)點(diǎn)最優(yōu)的實(shí)例個(gè)數(shù)為3。校驗(yàn)數(shù)據(jù)集校驗(yàn)決策樹得出的結(jié)果初步結(jié)果分析：使用決策樹進(jìn)行分類，對(duì)于已知的49個(gè)類標(biāo)號(hào)為male的數(shù)據(jù)都進(jìn)行了準(zhǔn)確的分類，并且達(dá)到100%；雖然是個(gè)很好的數(shù)據(jù)，但是完美背后隱藏了缺陷，是以對(duì)f

8、emale類的低準(zhǔn)確率作為代價(jià)的，因?yàn)檫@樣會(huì)說明該分類器很有可能偏向male類。3.2 K最近鄰算法分類點(diǎn)“Choose”按鈕選擇“l(fā)aze->ibk”，這是WEKA中實(shí)現(xiàn)的決策樹算法。選擇Cross-Validatioin folds=10，然后點(diǎn)擊“start”按鈕：訓(xùn)練數(shù)據(jù)集訓(xùn)練KNN得出的結(jié)果使用不同配置訓(xùn)練參數(shù)，得到的實(shí)驗(yàn)數(shù)據(jù)：配置不同的葉子節(jié)點(diǎn)的實(shí)例個(gè)數(shù)K值12345678910準(zhǔn)確率52%54%56%58%60%58%60%68%62%62%結(jié)果分析：使用KNN算法分類時(shí)，K最優(yōu)值為8。校驗(yàn)數(shù)據(jù)集校驗(yàn)KNN得出的結(jié)果初步結(jié)果分析：對(duì)使用k=8訓(xùn)練出來的分類模型進(jìn)行校驗(yàn)的結(jié)果

9、，準(zhǔn)確率達(dá)到77.6%，算是一個(gè)比較合理的分類結(jié)果。3.3 樸素貝葉斯分類點(diǎn)“Choose”按鈕選擇“bayes”，這是WEKA中實(shí)現(xiàn)的決策樹算法。選擇Cross-Validatioin folds=10，然后點(diǎn)擊“start”按鈕：訓(xùn)練數(shù)據(jù)集訓(xùn)練Naïve Bayes得出的結(jié)果校驗(yàn)數(shù)據(jù)集校驗(yàn)Naïve Bayes得出的結(jié)果初步結(jié)果分析：評(píng)價(jià)結(jié)果中準(zhǔn)確率僅僅達(dá)到59.1%，結(jié)果不是很讓人滿意。3.4 三類分類方法的校驗(yàn)結(jié)果比較決策樹K最近鄰樸素貝葉斯校驗(yàn)準(zhǔn)確率100%77.55%59.18%訓(xùn)練混淆矩陣校驗(yàn)混淆矩陣標(biāo)準(zhǔn)誤差0.420.46540.5918比較結(jié)果分析： 根據(jù)

10、上述數(shù)據(jù)，雖然決策樹有最高的完美的準(zhǔn)確率和相對(duì)較好的標(biāo)準(zhǔn)誤差，但是這種完美的背后，很有可能是以類標(biāo)號(hào)female的較大錯(cuò)誤率作為代價(jià)，這點(diǎn)可以從訓(xùn)練混淆矩陣中得到印證；而樸素貝葉斯分類算法的準(zhǔn)確率相對(duì)較低，而標(biāo)準(zhǔn)誤差也較高，綜合評(píng)價(jià)可以得知，當(dāng)前最好的分類算法是KNN算法，并且它是最優(yōu)設(shè)置參數(shù)為k=8。3.5 訓(xùn)練最優(yōu)模型使用預(yù)處理中的buildmodel_data.arff數(shù)據(jù)文件訓(xùn)練分類模型，算法為k=8的KNN。數(shù)據(jù)集訓(xùn)練KNN得出的結(jié)果使用最終模型對(duì)測試集進(jìn)行預(yù)測結(jié)果4.三種算法在進(jìn)行測試的性能比較 4.1實(shí)驗(yàn)結(jié)果決策樹的測試結(jié)果：KNN測試結(jié)果：樸素貝葉斯測試結(jié)果：比較分析結(jié)論： 性能分析應(yīng)該包括兩個(gè)部分，一個(gè)部分是測試速度，另一個(gè)部分是測試的質(zhì)量。由于本次使用所使用的數(shù)據(jù)量太少，在測試速度的對(duì)比上相差太少，無法進(jìn)行準(zhǔn)確的分析。而在測試質(zhì)量上，可以從上述數(shù)據(jù)中得到，決策樹依然是由于它對(duì)與male類標(biāo)號(hào)的偏愛，導(dǎo)