均值填補(bǔ)法之均值填充

均值填補(bǔ)法之均值填充學(xué)習(xí)目標(biāo)2知識(shí)目標(biāo)●數(shù)據(jù)缺失簡(jiǎn)介●數(shù)據(jù)缺失的處理方法●均值填補(bǔ)法-均值填充能力目標(biāo)●了解數(shù)據(jù)缺失●掌握數(shù)據(jù)缺失的處理方法●了解均值填補(bǔ)法-均值填充學(xué)習(xí)任務(wù)3初步探索什么是數(shù)據(jù)缺失值初步探索數(shù)據(jù)缺失值的處理方法初步探索均值填補(bǔ)法了解均值填補(bǔ)法-均值填充均值填補(bǔ)法-均值填充數(shù)據(jù)缺失的處理方法數(shù)據(jù)缺失簡(jiǎn)介4均值填補(bǔ)法目錄5數(shù)據(jù)缺失簡(jiǎn)介數(shù)據(jù)缺失是指在數(shù)據(jù)采集時(shí)由于某種原因應(yīng)該得到而沒(méi)有得到的數(shù)據(jù)。它指的是現(xiàn)有數(shù)據(jù)集中某個(gè)或某些屬性的值是不完全的。統(tǒng)計(jì)調(diào)查中能否按設(shè)計(jì)要求獲得被調(diào)查單位的詳全資料是衡量數(shù)據(jù)質(zhì)量的一個(gè)重要標(biāo)準(zhǔn),但實(shí)際調(diào)查中經(jīng)常遇到數(shù)據(jù)缺失的情況。無(wú)回答有2種表現(xiàn)形式:單位無(wú)回答(unitnon-response)和項(xiàng)目無(wú)回答(itemnon-response)?！皢挝粺o(wú)回答”——被調(diào)查者不愿意或者不能夠回答整張的問(wèn)卷;“項(xiàng)目無(wú)回答”——被調(diào)查者拒絕回答個(gè)別的調(diào)查項(xiàng)目。6數(shù)據(jù)缺失簡(jiǎn)介缺失原因（Reason）在統(tǒng)計(jì)調(diào)查過(guò)程中，數(shù)據(jù)缺失是不可避免的，造成這種現(xiàn)象的原因是多方面的，主要有以下幾種：1.在存儲(chǔ)數(shù)據(jù)的過(guò)程中，由于機(jī)器的損壞造成數(shù)據(jù)存儲(chǔ)失??；2.調(diào)查員在采集數(shù)據(jù)過(guò)程中，由于主觀因素人為地認(rèn)為數(shù)據(jù)不重要或無(wú)用，而私自丟棄數(shù)據(jù)；4.受訪者拒絕透露被調(diào)查信息，或回答錯(cuò)誤信息；3.調(diào)查員信息錄入失誤；5.受訪者選取失誤。例如調(diào)查工資情況，選取的受訪者是嬰幼兒7數(shù)據(jù)缺失簡(jiǎn)介產(chǎn)生機(jī)制（Mechanism）Little和Rubin針對(duì)缺失數(shù)據(jù)，探討缺失數(shù)據(jù)與目標(biāo)變量是否有關(guān)，定義了3種不同的缺失機(jī)制。MCAR完全隨機(jī)缺失(MissingCompletelyAtRandom)：數(shù)據(jù)的缺失與不完全變量以及完全變量都是無(wú)關(guān)的。MAR隨機(jī)缺失(MissingAtRandom)：數(shù)據(jù)的缺失僅僅依賴于完全變量。MNAR非隨機(jī)缺失(NotMissingAtRandom)：不完全變量中數(shù)據(jù)的缺失，依賴于不完全變量本身。這種缺失是不可忽略的。8數(shù)據(jù)缺失簡(jiǎn)介產(chǎn)生機(jī)制（Mechanism）9數(shù)據(jù)缺失簡(jiǎn)介缺失模式（Pattern）數(shù)據(jù)缺失模式主要研究哪些變量缺失，更確切的說(shuō)，關(guān)注的是缺失數(shù)據(jù)矩陣R的分布。當(dāng)一維目標(biāo)變量出現(xiàn)缺失數(shù)據(jù)時(shí)，我們?cè)跀?shù)據(jù)處理過(guò)程中首先要考慮缺失數(shù)據(jù)產(chǎn)生機(jī)制，而對(duì)于多維目標(biāo)變量而言，除了考慮缺失數(shù)據(jù)產(chǎn)生機(jī)制外，還要判斷數(shù)據(jù)的缺失模式。10數(shù)據(jù)缺失簡(jiǎn)介缺失模式（Pattern）假設(shè)完全數(shù)據(jù)資料陣y是由m個(gè)觀測(cè)、n個(gè)變量組成的m×n矩陣，通過(guò)分析這個(gè)矩陣的特點(diǎn)，可以推斷出數(shù)據(jù)缺失模式。11數(shù)據(jù)缺失的處理方法基本方法基于完整觀測(cè)單位的方法刪除法加權(quán)調(diào)整法列表刪除個(gè)案刪除（配對(duì)刪除）基于填補(bǔ)的方法單一填補(bǔ)法多重填補(bǔ)法隨機(jī)回歸填補(bǔ)法（PMM法）趨勢(shì)得分法人工填補(bǔ)法均值填補(bǔ)法回歸填補(bǔ)法不處理貝葉斯網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)12均值填補(bǔ)法數(shù)據(jù)的屬性定性數(shù)據(jù)和定量數(shù)據(jù)。如果缺失值是定量的，就以該字段存在值的平均值來(lái)插補(bǔ)缺失的值；如果缺失值是定性的，就根據(jù)統(tǒng)計(jì)學(xué)中的眾數(shù)原理，用該屬性的眾數(shù)(即出現(xiàn)頻率最高的值)來(lái)補(bǔ)齊缺失的值。13均值填補(bǔ)法-均值填充優(yōu)點(diǎn)1、標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法2、對(duì)公眾應(yīng)用數(shù)據(jù)庫(kù)，程序