spss之統(tǒng)計挖掘第11章缺失值分析課件

1、IBM-SPSS第11章 缺失值分析IBM-SPSS第11章 缺失值分析 背景在資料收集過程中，由于各種原因可能導致數(shù)據(jù)收集不全，就會產生缺失值，且這種情況往往無法避免。因此，缺失值分析是數(shù)據(jù)處理工作中常見的問題之一，如果處理不當，會導致部分分析過程簡單地從分析中丟棄這些有缺失的個案；也可能會使分析結果精度降低,出現(xiàn)偏倚甚至是錯誤的結論；另外，很多統(tǒng)計過程背后的假設都基于完整的個案，而缺失值可能使所需的理論復雜化，部分分析過程無法完成。缺失值分析有助于解決由不完整的數(shù)據(jù)造成的若干問題，盡可能全面、有效地利用整個數(shù)據(jù)庫。 背景在資料收集過程中，由于各種原因可能導致數(shù)據(jù)收集不全 分類按照數(shù)據(jù)缺失形

2、式分單元缺失：指針對需調查的個案進行調查而沒有得到個案信息。這種缺失在數(shù)據(jù)分析階段常常無能為力。項目缺失：指在調查內容中某些變量的觀測結果有缺失。 分類按照數(shù)據(jù)缺失形式分 分類按照缺失機制與方式分 完全隨機缺失（Missing Completely at Random，MCAR）指已評價的結果或即將要進行的評價結果中，研究對象的缺失率是獨立的。即缺失現(xiàn)象完全隨機發(fā)生，與自身或其他變量的取值無關。 隨機缺失（Missing at Random，MAR）指缺失數(shù)據(jù)的發(fā)生與數(shù)據(jù)庫中其他無缺失變量的取值有關。某一觀察值缺失的概率僅依賴已有的觀察結果，不依賴未觀察到的結果。MAR是最常見的缺失機制。 非

3、隨機缺失（Missing Not at Radom，MNAR）指數(shù)據(jù)的缺失不僅與其他變量的取值有關，缺失率與缺失數(shù)據(jù)有關，也和自身有關。這種缺失大都不是由偶然因素所造成的，常常是不可忽略的。 分類按照缺失機制與方式分 SPSS中的缺失值處理方法1刪除缺失值 最常見、最簡單的處理缺失數(shù)據(jù)的方法，使用這種方法時，如果任何個案在某一變量含有缺失數(shù)據(jù)的話，就把相對應的個案從分析中剔除。如果缺失值所占比例比較小的話，這一方法十分有效。然而，這種方法卻有很大的局限性，它是以減少樣本量來換取信息的完備，會造成資源的大量浪費，丟棄了大量隱藏在這些對象中的信息。 SPSS中的缺失值處理方法1刪除缺失值 SPSS

4、中的缺失值處理方法2缺失值替代 即“轉換”選項卡中的“替換缺失值”菜單過程。此過程將所有的記錄看成一個序列，然后采用某種指標對缺失值進行填充，它實際上專門用于解決時間序列模型中的缺失值問題。雖然其中的一些填充方法也可以用于普通數(shù)據(jù)，但相比之下，如果在非序列數(shù)據(jù)中使用該過程可能得不償失，應當謹慎使用。常用的填充方式有算術均數(shù)，缺失值鄰近點的算術均數(shù)，中位數(shù)，線性插入等。 SPSS中的缺失值處理方法2缺失值替代 SPSS中的缺失值處理方法3缺失值分析 缺失值的描述和快速診斷：用靈活的診斷報告來評估缺失值問題的嚴重性，用戶可以觀察到它們在哪些變量中出現(xiàn)，比例為多少，是否與其他變量取值有關，從而得知這

5、些缺失值出現(xiàn)是否會影響分析結論。 得到更精確的統(tǒng)計量：提供了多種方法用于估計含缺失值數(shù)據(jù)的均值、相關矩陣或協(xié)方差矩陣,通過這些方法計算出的統(tǒng)計量將更加可靠。 用估計值替換缺失值：使用或回歸法，用戶可以從未缺失數(shù)據(jù)的分布情況中推算出缺失數(shù)據(jù)的估計值，從而能有效地使用所有數(shù)據(jù)進行分析，來提高統(tǒng)計結果的可信度。 SPSS中的缺失值處理方法3缺失值分析 模塊解讀1進入缺失值分析單擊“分析”|“缺失值分析”命令，彈出缺失值分析對話框，如圖11-1所示。定量變量：選入待分析的定量變量。將“年齡”，“住院天數(shù)”，“受傷至入院的間隔時間”三個變量納入定量變量框中。 模塊解讀1進入缺失值分析分類變量：選入待分析

6、的分類變量，選入分類變量后，還可以在下方的最大類別處設置允許的最大分類數(shù)，超過此臨界值的分類變量將不再進入分析，軟件默認25。將“性別”納入分類變量框。個案標簽：用以選入標簽變量用于對結果進行標識。使用所有變量：單擊此按鈕，左側源變量列表的所有變量將進行特定的分析列表框，數(shù)值型變量將全部進入定量變量框，字符型等變量全部進入分類變量列表框。分類變量：選入待分析的分類變量，選入分類變量后，還可以在下方模塊解讀2“模式”按鈕單擊“模式”按鈕，彈出圖11-2所示的“缺失值分析：模式”對話框，此對話框是用于設置顯示輸出表格中的缺失數(shù)據(jù)模式和范圍。模塊解讀2“模式”按鈕模塊解讀3“描述”按鈕單擊“描述”按

7、鈕，彈出圖11-3所示的“缺失值分析：描述統(tǒng)計”對話框，設置要顯示的缺失值描述統(tǒng)計變量。模塊解讀3“描述”按鈕模塊解讀4“估計”選項框：“EM”按鈕單擊“EM”按鈕，彈出“缺失值分析:EM”對話框，如圖11-4所示。此對話框用于設置EM算法的相關參數(shù)。模塊解讀4“估計”選項框：“EM”按鈕（3）“回歸”按鈕單擊“回歸”按鈕，彈出“缺失值分析:回歸”對話框，如圖11-5所示。此對話框用于設置回歸法的相關參數(shù)?？梢赃x擇殘差、普通變量、Studentt變量或無調節(jié)。（3）“回歸”按鈕（4）“變量”按鈕單擊“變量”按鈕，彈出“缺失值分析:EM的變量和回歸”對話框。如圖11-6所示，用于選擇指定變量的方

8、式，默認使用所有定量變量。（4）“變量”按鈕實例詳解例11.1：對某種疾病住院患者的部分調查數(shù)據(jù)，見例11-1.sav。1操作步驟（1）選擇“分析”|“缺失值分析”命令，如圖11-7所示，彈出圖11-1所示的對話框；（2）將“年齡，住院天數(shù)，受傷至入院的間隔時間”選入定量變量框，“性別”選入分類變量框；（3）單擊“模式”按鈕，彈出如圖11-2所示，選中輸出選項組中的“按照缺失值模式分組的表格個案”復選框，從缺失值模式列表框中選中住院天數(shù)和性別兩個變量進入附加信息框，其他采取默認設置。單擊“繼續(xù)”，返回主對話框。實例詳解例11.1：對某種疾病住院患者的部分調查數(shù)據(jù)，見例（4）單擊“描述”按鈕，彈

9、出如圖11-3所示，選擇單變量統(tǒng)計量復選框及指示變量統(tǒng)計量選項組中的“使用有指示變量形成的分組進行的t檢驗”，為分類變量和指示變量生成交叉表。（5）選中“估計”選項框中的“EM和回歸”，其余采用默認設置。（6）單擊“確定”按鈕運行，輸出結果。（4）單擊“描述”按鈕，彈出如圖11-3所示，選擇單變量統(tǒng)計spss之統(tǒng)計挖掘第11章-缺失值分析表11-1所示的“單變量統(tǒng)計”表給出了所有分析變量未缺失數(shù)據(jù)的頻數(shù)，定量變量的均值、標準差，同時給出了各變量的缺失數(shù)量和缺失百分比。提供了數(shù)據(jù)的一般特征，以住院天數(shù)為例，均值為18.88天，標準差為11.258，7.4%的個案缺失住院天數(shù)信息，且擁有26個極大值。表11-1所示的“單變量統(tǒng)計”表給出了所有分析變量未缺失數(shù)據(jù)spss之統(tǒng)計挖掘第11章-缺失值分析圖11-9、圖11-10所示是使用EM法和回歸法進行缺失值的估計和替換后，總體數(shù)據(jù)的均值和標準差的變化情況，其中“所有值”為原始數(shù)據(jù)特征，另兩行分別是采用EM法、回歸法得到的統(tǒng)計參數(shù)。圖11-9、圖11-10所示是使用EM法和回歸法進行缺失值的spss之統(tǒng)計挖掘第11章-缺失值分析圖11-11所示通過單