（概率論與數(shù)理統(tǒng)計(jì)專業(yè)論文）廣義線性模型中的變量選擇.pdf

摘要 本論文主要由兩部分構(gòu)成 第一部分給出了廣義線性模型中的一種變量選擇方法 并從理論上證明了它的弱相合性 文章的第二部分則是對(duì)此方法做了數(shù)據(jù)模擬的工作 本文第一章里 我們主要介紹了廣義線性模型以及變量選擇的相關(guān)背景知識(shí) 本文的第二章 是此篇論文的主體部分 在這一章中 我們主要針對(duì)廣義線性模型 k 蘆 矗 f 1 2 討論g h 1 為自然聯(lián)系函數(shù)下 k 為單變量的情 形 我們首先利用w a l d 檢驗(yàn)和似然比檢驗(yàn)準(zhǔn)則 給出了d o 女 1 k p 讎 0 的 兩個(gè)估計(jì) d 七 1 k s p 訪 女 w d k 1 ks p i 女 a 更進(jìn)一步地 我們證明了這兩個(gè)估計(jì)在一定條件下對(duì)d o 的弱相合性 在論文的最后一章里 我們利用統(tǒng)計(jì)軟件s p l u s 對(duì)第二章中給出的變量選擇的方法 做了具體的數(shù)據(jù)模擬 關(guān)鍵詞 廣義線性模型 變量選擇 w a l d 檢驗(yàn) 似然比檢驗(yàn) abstract t h i st h e s i sc o n s i s t so ft w ot o p i c s o n e g i v e sam e t h e d o fv a r i a b l es e l e c t i o ni ng e n e r a l i z e d l i n e rm o d e l sa n da l s op r o v e si t sw e a kc o n s i s t e n c y t h eo t h e ri ss i m u l a t i o na b o u tt h i sm e t h e d i nc h a p t e r1 w ei n t r o d u c es o m e k n o w l e d g e o fg e n e r a l i z e dl i n e rm o d e l sa n dv a r i a b l es e l e c t h e2 n dc h a p t e ri st h em a i np a r to ft h i st h e s i s t h eg e n e r a l i z e dl i n e rm o d e l sw h i c hw e d i s c u s si s m 盧 e i 1 2 n h e r e 9 h 一1i sn a t u r a ll i n kf u n c t i o na n d k a r es i n g l ev a r i a t e s w ew i l lg i v et w oe s t i m a t i o n so fd o k 1 k p 艘 0 a st h e f o l l o w i n g d k 1 p 訪i n k w d 女 1sk p j a n dw ea l s op r o v ei t sw e a kc o n s i s t e n c y i nc h a p t e r3 w ec o n d u c ts o m es i m u l a t i o n sa b o u tt h em e t h o do fv a r i a b l es e l e c t i o ni nc h a p t e r2 a l lo ft h e s es i m u l a t i o n sa r ea c c o m p l i s h e db yu s i n gs p l u s k e y w o r d s g e n e r a l i z e dl i n e a rm o d e l s v a r i a b l es e l e c t i o n w a l dt e s t l i k e l i h o o dr a t i o t e s t 致謝 本文是在我的導(dǎo)師吳耀華教授的悉心指導(dǎo)下完成的 三年來 我非常有幸的在吳老 師的的直接指導(dǎo)下工作學(xué)習(xí) 他從各個(gè)方面都給予了我耐心的教授和講解 他嚴(yán)謹(jǐn)?shù)闹?學(xué)態(tài)度 循循善誘的教導(dǎo) 也讓我受益匪淺 在此我想對(duì)吳老師表示最衷心的感謝 其次 我要感謝趙林城教授 蘇淳教授 繆柏其教授 胡太忠教授和韋來生教授 他 們通過為我們講授各門專業(yè)課程帶領(lǐng)我們真正進(jìn)入了概率論與數(shù)理統(tǒng)計(jì)這一領(lǐng)域 并幫 助我們掌握了許多進(jìn)行科研工作的工具與方法 此外 在我的研究生階段 還得到了來 自系里許多老師 包括臧紅老師和夏紅衛(wèi)老師的不少有益的幫助和建議 在此一并向他 們表示我最誠摯的謝意 同時(shí) 我還要向高啟兵博士 曹毅碩士 金曼碩士以及所有我身邊的同學(xué)表示衷心 的感謝 他們不僅是我學(xué)習(xí)中的師兄與同學(xué) 更是我生活中的良師益友 曾多次無私的 給予我及時(shí)的幫助 最后 我要感謝我的父母家人和我的夫人陳靜 感謝他們多年來從未間斷地給予我 鼓勵(lì)和關(guān)懷 這些永遠(yuǎn)是我前進(jìn)路上最大的動(dòng)力 第一章綜述 廣義線性模型的個(gè)別特例起源很早 f i s h e r 在1 9 1 9 年就曾用過它重要的l o g i s t i c 模 型 在2 0 世紀(jì)四 五十年代也曾由b e r k s o n d y k e 和p a t t e r s o n 等人使用過 1 9 7 2 年 n e l d e re ta 1 1 1 1 首次提出了廣義線性模型這個(gè)概念 1 9 8 5 年l f a h a r m e i re ta 1 2 2 證明 了廣義線性模型中極大似然估計(jì)的相合性和漸近正態(tài)性 面且l f a h a r m e i r 3 在1 9 8 7 年 又給出了廣義線性模型中的漸近檢驗(yàn)理論 所謂變量選擇 指的是自變量的選擇 它主 要是從實(shí)際考慮 從專業(yè)或經(jīng)驗(yàn)的角度選擇出對(duì)目標(biāo)y 有重要影響的變量 當(dāng)可能的候 選者太多而希望從中挑出為數(shù)不多的最有影響的變量時(shí) 除了專業(yè)的考慮外 就還需要 運(yùn)用一些統(tǒng)計(jì)方法 這樣的方法有許多 比如常見的向前法 向后法以及逐步選擇法 a i c 準(zhǔn)則 b i c 準(zhǔn)則 c p 準(zhǔn)則 i t c 準(zhǔn)則等等 當(dāng)然 還有其他像利用決策樹進(jìn)行變 量選擇的方法等 本文則是主要討論廣義線性模型中的變量選擇 給出了一種變量選擇的方法 并證 明了它的弱相合性 在文章的后部 還對(duì)此進(jìn)行了數(shù)據(jù)模擬 1 1 廣義線性模型 廣義線性模型是常見的正態(tài)線性模型的直接推廣 它可適用于連續(xù)數(shù)據(jù)和離散數(shù)據(jù) 特別是后者 如屬性數(shù)據(jù) 計(jì)數(shù)數(shù)據(jù) 這在實(shí)用上 尤其是生物 醫(yī)學(xué)和經(jīng)濟(jì) 社會(huì)數(shù)據(jù) 的統(tǒng)計(jì)分析上 有重要的意義 我們考慮一維的情況 定義1 1 1 設(shè)有因變量y 自變量zy 為一維 一般為多維 通常的線性模型有 以下幾個(gè)特征 1 e y 蘆 z 2 蘆 其中z z 為 的已知向量函數(shù) z 表示轉(zhuǎn)置 z z 常 簡記為z j 2 亂z z y 都是取連續(xù)值的變量 如農(nóng)作物產(chǎn)量 人的身高體重之類 3 y 的分布為正態(tài) 或接近正態(tài)之分布 廣義線性模型則是從以下幾方面加以推廣 1 e y p 盧 其中h 為一嚴(yán)格單調(diào) 充分光滑的函數(shù) h 已知 9 h 1 h 的反函數(shù) 稱為聯(lián)系函數(shù) 1 i n kf u n c t i o n 有9 p z 盧 1 第一章綜述 2 2 z z y 可取連續(xù)或離散值 且在應(yīng)用上更多見的情況為離散值 如 o 1 o 1 2 等 3 y 的分布屬于指數(shù)型 正態(tài)是其中的一個(gè)特例 這里考慮y 為一維 故屬于 一維指數(shù)型 其形式為 f u l o c v e 砷 v k o 這里口為參數(shù) 稱為自然參數(shù) b 口 為0 的已知函數(shù) 關(guān)于廣義線性模型的文獻(xiàn)很多 這里要提到m c c u n a g h p n e l d e r j a 所著g e n e r a l i z e dl i n e a rm o d e l c h a p m a n h i u 1 9 8 9 年 第二版 一書 此書對(duì)廣義線性模型有較系 統(tǒng)的論述 對(duì)于了解廣義線性模型的一些基礎(chǔ)知識(shí)和基本理論很有幫助 不過 所有結(jié) 果都未給出證明 而且應(yīng)用也不是很多 而l f a h r m e i r 等所著的m u l t i v a r i a t es t a t i s t i c a l m o d e l l i n gb a s e d o ng e n e r a l i z e dl i n e a rm o d e l s s p r i n g e r 1 9 9 4 一書則主要著力于建模 應(yīng)用 頗多 本文的理論基礎(chǔ)則主要是參考以下兩篇文章t 1 1 9 8 5 年l f a h r m e ra n dh e i n zk a u f i n a n n c o n s i s t e n c ya n da s y m p t o t i cn o r m a l i t y o ft h em l ei ng e n e r a l i z e dl i n e a rm o d e l s a n n s t a t i s t i c s v 0 1 1 3 n o 1 3 4 2 3 6 8 2 1 9 8 7 年l f a h r m e i r a s y m p t o t i ct e s t i n gt h e o r yf o rg e n e r a l i z e dl i n e a rm o d e l s s a t i s t i c s1 8 1 8 5 7 6 前者在一定條件下 詳見文獻(xiàn) 2 證明了盧的m 工e 磊的強(qiáng)相合性 即贏一 盧 一 以及m l e 畫n 的漸近正態(tài)性 即磚 磊一盧 馬n o 1 其中晶 c o t 島 盧 品 盧 籌 f 盧 為對(duì)數(shù)似然函數(shù) 后者則是在一定條件下 詳見文獻(xiàn) 3 給出了廣義線性模型中最常見的三個(gè)檢驗(yàn)統(tǒng) 計(jì)量 分別是似然比檢驗(yàn)統(tǒng)計(jì)量h w a l d 檢驗(yàn)統(tǒng)計(jì)量 s c o r e 檢驗(yàn)統(tǒng)計(jì)量s 在原假設(shè) 和局部對(duì)立假設(shè)下的漸近分布 由于證明過程和一些條件的不同 所以本文也詳細(xì)給出 并證明了似然比檢驗(yàn)統(tǒng)計(jì)量 w a l d 檢驗(yàn)統(tǒng)計(jì)量在原假設(shè)下的漸近分布 另外本文在做模擬時(shí) 采用了l o g i s t i c 模型 因而也參考了王濟(jì)川等編著的 l o g i s t i c 回歸模型一一方法與應(yīng)用 書 由高教出版社出版 此書主要關(guān)注2 值變量的l o g i s t i c 模型 對(duì)使用s a s 處理l o g i s t i c 模型致力頗多 不過此書并未涉及有關(guān)數(shù)學(xué)理論 而是主 要著眼于應(yīng)用 第一章綜述 1 2 變量選擇 3 變量選擇是一種特殊的常見的模型選擇問題 也就是選擇重要變量 在統(tǒng)計(jì)學(xué)中有 著重要的意義 一般說來 根據(jù)問題本身的專業(yè)理論以及有關(guān)經(jīng)驗(yàn) 人們羅列出來的可能 與因變量有關(guān)的自變量往往太多 其中有一些變量對(duì)因變量根本沒有影響或影響很小 如果模型把這樣一些變量都包含進(jìn)來 不但計(jì)算量大 而且估計(jì)和預(yù)測的精度也會(huì)下降 因此 對(duì)模型的自變量選擇做一些理論分析 是很有必要的 本節(jié)里 統(tǒng)一以z 記自變量 常見的挑選自變量的方法是向前法 向后法以及逐步選擇法 第一 向前法 從開始只包含常數(shù)項(xiàng)出發(fā) 設(shè)在某個(gè)時(shí)候已有釓 z 被選入 尚 有z 十1 1 z 待選 此模型的對(duì)數(shù)似然函數(shù)最大值記為f l 如果在釓 研 的基礎(chǔ)上加進(jìn) 0 r i m 則將有z a j 竺l t 一 r j 一f 1 r 0 n 越大 表示因x j 的加入 此模型與數(shù)據(jù)擬合程度的改善越多 因而就越有被選入的資 格 由此可知 下一步應(yīng)取有最大a j 的那個(gè) 加入巧 以z 1 為起點(diǎn) 再按 剛才的作法 在剩下的m 一 r 1 個(gè)中挑出一個(gè) 挑選何時(shí)結(jié)束 有2 種處理方法 一是事先定下一個(gè)適當(dāng)?shù)臄?shù)字k 到挑出k 個(gè)為止 二是不事先定數(shù)目 而是要在每一步考察新加入一個(gè)變量的收益如何 以上介紹的是向前法 向后法則方向相反 起始將全部變量收入 再一個(gè)一個(gè)剔除 設(shè)在某一階段還剩下釓 研 其余的已剔除出局 去考慮哪一個(gè)該在下一步剔除或停 止 計(jì)算 a j l 1 一 r z l 一 j l j 1 一 r j 1 r a j 越大 表示剔除 后模型擬合的程度下降越多 因而它越不應(yīng)該被剔除 由此可知 可能剔除的對(duì)象 是使q 最小的那個(gè)蜘 而逐步選擇法則是上述兩種操作交替使用 設(shè)剛接納一個(gè)新變量而得 釓 研 則下一步看釓 z 中有否可剔除者 如果有 則剔除它 否則維持扣 斷 不 動(dòng) 而下一步看余下的z l z 中有否可進(jìn)入者 如有 則納入它 否則維持不動(dòng) 然后看已進(jìn)入者中有否可被剔除者 一直進(jìn)行到 既無可進(jìn) 也無可出 時(shí)為止 在變量選擇問題上有一個(gè)基本的共識(shí)t 既要使模型與數(shù)據(jù)擬合得好 叉要使變量的數(shù) 第一章綜述4 目不太多 對(duì)于如何進(jìn)行變量選擇 不同的統(tǒng)計(jì)學(xué)家提出不同的準(zhǔn)則 比如 1 9 7 3 年a k a i k e 提出的a i c 準(zhǔn)則 它可以表達(dá)為使 a i c 一2 l o g 1 i k e l i h o o d 2 k 達(dá)到最小的那組參數(shù)是最 優(yōu)的參數(shù)選擇 其中k 表示選擇的變量個(gè)數(shù) 還有c p 準(zhǔn)則 即使 o 雩產(chǎn)一 n 一2 達(dá) 到最小的準(zhǔn)則 以及b i c 準(zhǔn)則 即使 b i c 2 l o g 1 i k e l i h o o d k l o g n 達(dá)到最小的準(zhǔn)則 然而 在很多準(zhǔn)則之下進(jìn)行的變量選擇不是相合的 z h a o l c 等 1 9 8 6 1 0 在解 決信號(hào)處理變量選擇的時(shí)候 于著名的a k a l k e 的a i c 準(zhǔn)則和s c h w a r t z r i s s a n e n 的m d l m i n i m u md e s c r i p t i o nl e n g t h 準(zhǔn)則的基礎(chǔ)上 提出了一種具有相合性的準(zhǔn)則 他們稱之 為信息論準(zhǔn)則 i n f o r m a t i o nt h e o r e t i cc r i t e r i a i e i t c 具體工作見文章 o nr a t e so f c o n v e r g e n c eo fe f f i c i e n td e t e c t i o n c r i t e r i ai ns i g n a lp r o c e s s i n gw i t hw h i t en o i s e 1 9 8 9 1 1 在此我簡單的介紹一下他們的此項(xiàng)工作 他們的工作是在模型選擇的架構(gòu)之下 在p 個(gè)備擇模型凰 皿 緝一1 中按照某種 準(zhǔn)則選取一個(gè) 凰是表示挑選了 個(gè)變量 真實(shí)的變量個(gè)數(shù)是p 0 要定出這個(gè)階p o 之 前 w a xa n dk a i l a t h 1 9 8 5 把a(bǔ) i c 準(zhǔn)則和m d l 準(zhǔn)則用于這一模型選擇問題 按照a i c 準(zhǔn)則 自由參數(shù)的真值p 0 的估計(jì)聲 滿足 其中 a i c o m i n a i c o a i c p 一1 1 2 1 a i c k 2 l o g l k 2 v k p 1 2 2 此處反表示在模型風(fēng)中似然函數(shù)的最大值 v k p 表示在風(fēng)之下待估的自由參數(shù)的 數(shù)目 按照m d l 準(zhǔn)則 p o 的估計(jì)如滿足 其中 m d l 聲o m i n m d l o m d l p 一1 1 2 3 m d l k 一l o g l k p c l o g n 2 1 2 4 按照他們提出的一般的i t c 準(zhǔn)則 有時(shí)也稱為e d c 準(zhǔn)則 可選取p o 的估計(jì)量o 使之滿足 其中 j 瞄o m i n l o c n t p 一1 1 2 5 m 一l o g p p 1 2 6 第一章綜述5 而g n 滿是 c n 斗0 c n il o g l o g n o o l 1 2 1 當(dāng) o o 正如w a x 和k a i l a t h 1 9 8 5 指出的 a i c 準(zhǔn)則是不相合的 它一般傾向于高 估信號(hào)的數(shù)目 但他們在證明m d l 準(zhǔn)則的 弱 相合性時(shí) 認(rèn)為當(dāng)r k 時(shí)l o g 似然比 一2 1 0 9 厶一l o g 三 的極限分布為x 2 分布 并利用了這一論斷 z h a o k r i s h n a l a ha n db a i 指出 保證此論斷成立的規(guī)則性條件不滿足 并舉出了極限分布不是x 2 分布的反例 因 此這個(gè)論斷不對(duì) 而且 z h a o k r i s h n a i a ha n db a i 證明了 在c k 的上述選擇之下 如 為如的強(qiáng)相合估計(jì) 而m d l 的強(qiáng)相合性只是它的一個(gè)特例 z h a o k r i s h n a i a ha n db a i 1 9 8 6 提出的這種方法 因?yàn)樗南嗪闲赃@個(gè)優(yōu)點(diǎn) 被用到 很多領(lǐng)域 r a oa n dw u 1 9 8 9 把這個(gè)準(zhǔn)則應(yīng)用到回歸模型中的變量選擇 b a i k r i s h n a l a h a n dz h a o 1 9 9 1 把它應(yīng)用到l o g i s t i c 回歸模型中的變量選擇 b a i k r i s h n a i a h s a m b a m o o r t h a n dz h a o 1 9 9 2 把它應(yīng)用到l o g 線性模型中的變量選擇 本論文則是參照i t c 準(zhǔn)則提供的方法 推廣到自然聯(lián)系函數(shù)下的廣義線性模型 利 用似然比檢驗(yàn)統(tǒng)計(jì)量和w a l d 檢驗(yàn)統(tǒng)計(jì)量給出d o k 1 冬k p 讎 o 的一種估 計(jì) 即廣義線性模型中的一種變量選擇方法 第二章廣義線性模型中的變量選擇 2 1 引言 考慮一般的廣義線性模型 k 反p e i t i n 2 1 1 這里m 為g 維的第i 次觀測向量 五 為已知的p q 維設(shè)計(jì)矩陣 盧為未知的p 維回 歸參數(shù)向量 h 是一嚴(yán)格單調(diào) 充分光滑的函數(shù) 它是r q r q 的映射 稱g h 1 為 聯(lián)系函數(shù) q 為口維試驗(yàn)誤差向量 且e i 的均值為0 方差有限 設(shè)q 維隨機(jī)變量y 服從指數(shù)型分布 密度函數(shù)為以下形式t f v c u e x p e v 一6 日 c 0 可測 其中日 0 c r q 0 為一凸集 且0 非空 我們易知 胛 e y 警 c o v y 裟 在此 給出一些假定 i 量五 是滿秩的 且s u p 歷j j 0 為常數(shù) 對(duì)任意口e0 我們主要討論自然聯(lián)系函數(shù)下 m 為單變量的情形 對(duì)于多維情形可采用類似的方 法 對(duì)于非自然聯(lián)系函數(shù)形式 情況較復(fù)雜 本文暫不做研究 下面如不做特殊說明i 都 是在自然聯(lián)系函數(shù)下和k 為單變量的情形 設(shè)樣本g 9 相互獨(dú)立 密度函數(shù)為 f w c v i e x p o i y i 一6 壤 乏盧 它們的對(duì)數(shù)似然函數(shù)為 f 盧 o i y l 6 鞏 注 c 軌 不依賴于盧 對(duì)估計(jì)盧無影響 故可略去 跚 警 耋酏刊娜 第二章廣義線性模型中的變量選擇 易知在自然聯(lián)系函數(shù)下 r 盧 c o v 晶 盧 蜀e 盧 互 i l 礎(chǔ) 等 日 盧 j 二 盧 在模型 2 1 1 下 我們常常要考慮以下的假設(shè)檢驗(yàn)問題 h g 盧 4 k g 盧 n 7 2 1 2 2 1 3 這里c 為已知的秩為r 的r p 的矩陣 n 為已知的r 維向量 為了檢驗(yàn)假設(shè) 2 1 3 我 們使用比較常見的w a l d 檢驗(yàn)準(zhǔn)貝 麗 和似然比檢驗(yàn)準(zhǔn)則x 礬 a 磊一o c f j l 贏 g 1 c 磊一n i 2 f 磊 一f 良 這里盧 為盧的真值 磊為盧 不受任何約束的m l e 晟為盧 在c 侈 o 約束下的m l e l f a h a r m e i r 1 9 8 7 3 給出了在一定條件下 識(shí)和i 在h 之下的極限分布 這些 條件確保了m l e 的一些漸近性質(zhì) f a h r m e i r e ta 1 1 9 8 5 2 本文將分別利用w a l d 檢驗(yàn) 準(zhǔn)則和似然比檢驗(yàn)準(zhǔn)則 給出一種變量選擇方法 2 2 變量選擇 如果我們記伊 盧a 臻 盧8 則我們只對(duì)下面集合中的分量有興趣 d o 1s p 椎 o 2 2 1 對(duì)d o 的估計(jì) 稱為變量選擇問題 下面我們利用w a l d 檢驗(yàn)準(zhǔn)貝 和似然比檢驗(yàn)準(zhǔn)則給出 d o 的一種估計(jì) 首先 考慮以下的假設(shè)檢驗(yàn)問題 凰 盧 0 凰 曝 0 2 2 2 此檢驗(yàn)問題可寫為 丑 盧o 0 k j j 盧o 0 2 2 3 第二章廣義線性模型中的變量選擇 其中c 為p 維向量 第七個(gè)元素為1 其余為零 w a l d 檢驗(yàn)準(zhǔn)則和似然比檢驗(yàn)準(zhǔn)則分別為 氟女 c 反 j 巧1 贏 c c j 反 爻 女 2 k 喊 一k 磊 其中贏為盧 不受任何約束下的m l e 磊為伊在盧 0 約束下的m l e 定義 n 6 伊 i i 庸 盧o 一盧o 怪d 6 o 引入以下條件 a m i n 妻墨 d j 卜 c 2 c 2 0 為一常數(shù) 當(dāng)以 0 0 對(duì)所有的6 0 m 胙 6 0k 盧 一i 0 這里k 盧 巧 盧o r 盧 再 礦 存在盧 的一鄰域 常數(shù)c 0 及自然數(shù) 使得 a m l n r 盧 c m 晶 盧o 6 盧 n 扎 禮1 上面的a m 和a a x 分別為矩陣的最小和最大特征值 而后 我們構(gòu)造d o 的兩個(gè)估計(jì)定義為t d 1 s p 麗k 女 矸0 d n 1sk p x a 其中 w 0 h 為一列滿足下列條件的函數(shù) 溉警扎 l i m w n n 幾n l i m a n n o 熙h o 對(duì)于鼠和風(fēng) 我們有以下定理 8 2 2 4 2 2 5 2 2 6 2 2 7 定理 在 d 和 n 以及 條件下 如果w 滿足式 2 2 6 則由式 2 2 4 所定 義的上 n 為d 0 的一個(gè)弱相合估計(jì) 如果 滿足式 2 2 7 則由式 2 2 5 所定義的d n 也為d o 的一個(gè)弱相合估計(jì) 第二章廣義線性模型中的變量選擇 2 3 引理 9 引理2 8 1 在 d 和 以及 條件下 有 贏 盧o a 8 f n 一 礦 品 盧o r 盧o 露一3 0 o pc 1 3n o 1 證 由 d 且e 日 有下界 易推出a n t i f n 盧o m 當(dāng)n o 故此引理的證明參 見文獻(xiàn) 2 中的引理1 和定理3 引理2 8 2 設(shè)在模型 2 1 1 下 d 和 n 以及 成立 且其真參數(shù)盧 滿足 c 3 0 a 則當(dāng)n o o 時(shí) 有 識(shí)sx i 證 先考慮引理2 3 2 的條件下 識(shí) g 磊一口 g 昂一1 盧o g 1 g 磊一o 的分布 諦j g 贏一盧o c f 9 1 盧o g 一1 g 磊一p o 皤1 盧 忍一礦 m g 再 礦 g 萬 盧 卯一 礦 一 g 巧 礦 毒 盧o 磊一盧o 壘q b 其中 q j 淳 j 日o 磊一盧o b g j i 盧o i g e 5 1 盧o g f 一 盧o 一1 g 只 1 1 盧o 由引理2 3 1 有 咖3n o 再令b 壘a a a 一1 a p a 為投影陣 因而為冪等陣 其中 g 雨 盧o 秩為r 敵有 識(shí)馬x 注意到 礎(chǔ) 宴硒如耋磊警五 e 口 五e(cuò) i 歷 磊蘭嵩筍五 i ll j 妻蜀掣礬 第二章廣義線性模型中的變量選擇 由引理2 3 1 知 反為口 的相合估計(jì) 又由h 的充分光槽性 我們可以得到 晶 贏 r 礦 4 d p 1 所以 唧 1 1 0 即有 識(shí)鳥x 2 引理2 3 3 在模型 2 1 1 下 d 和 n 以及 島 成立 且其真參數(shù)盧 滿足 g 盧o o 則當(dāng)n o o 時(shí) 有 x jx 2 證 不失普遍性 假設(shè)g 僻 o 若設(shè)盧 曷 即 為r 維向量 那么 日可寫為 盧 1 口 記f n 筆 筆 r 1 寡筆 品c 鉚 善 其中f 1 1 吒均為r r 維矩陣 盈t 盧 為r 維向量 事實(shí)上 對(duì)于一般的情形 我們可以通過以下的變量 因?yàn)榫仃噂 行滿秩 不妨設(shè) q g 0 l r洲 睦 fa 1 c 1 d e ti l o ig g c l l 一c 1 r c 1 p i 種2 卜 ro 這里盧 盧l 島 7 7 那么p 可逆 且盧 p r 飾 2 3 1 第二章廣義線性模型中的變量選擇 原模型 2 1 1 可變?yōu)?m h z v 一1 7 e i i 1 n 2 3 2 原模型 2 1 1 中的檢驗(yàn)問題在新模型 2 3 2 下變?yōu)?h 0 7 0 o h k 7 0 故只需考慮c 餌10 這個(gè)情形即可 似然比統(tǒng)計(jì)量天 2 1 贏 一k 反 由t a y l o r 展開和 2 1 2 式 可以得到 支 2 z 贏 一l n 贏 贏一盧o 一 忍一礦 r 盧o 良一b 0 一 瓦一礦 o a i i 磊一礦n o p 1 a a o p j 2 3 3 由引理2 3 1 我們有 磊一盧o f 孑1 盧o 晶 盧o 1 此時(shí)贏為在盧 1 o 約束下盧 的m l e 就是在b 0 o 下 找反2 之值 使l n a 盧 2 最大 由引理2 3 1 同樣可以得到 玨伊2 礎(chǔ)盧 d p 1 2 s 5 由 2 3 4 和 2 3 5 式 得到 c 腳o 一c 種崢 黜 篙 2 揉繁 礎(chǔ) 刪巾枷 若記 m 囂 礎(chǔ)挈 啊 仁 易知m 為對(duì)稱陣 且r a n k m r 綜合 2 3 3 2 3 6 和 2 3 7 i 文 礦 m f f l o m s n b o 第二章廣義線性模型中的變量選擇 由引理2 3 1 我們有晶 盧o 3n 0 r 伊 且易知 m f n f l o m f n 盧o m f n 盧o m m r 盧o m r n m f n 盧o m r 故有 爻 馬x 由盧 b b 為一緊集 可知x o p 1 所以有 爻 支 十o p 1 馬x 引理2 3 3 得證 2 4 定理的證明 回到最初的定理 先證明第一部分 當(dāng)碾 0 時(shí) 即k e d o 時(shí) 由引理2 3 2 我們知 識(shí)k 馬媛 n 斗o o 任取m 0 p 豌t p 識(shí)r m u n m 識(shí) p 氟 m 豌女 p 鼠k m 氟 當(dāng)n 足夠大時(shí) 使得 m 則上式第二項(xiàng)為0 第一項(xiàng)墨p 竹k m 即 p 識(shí) p 甌 m 先令n o 則霄 馬x 再令m 則p 識(shí) m 0 故 p 氟女 0 n 從而 p 訪 o 有 易知 故 即有 故 而已知 1 i m 訾 o 故 靠1 盧o c 靠1 盧o c 一1 c i l 五 i l c l 磊 1 c 1 n n c j z z 3 1 c 一1 i z i i li 1 又識(shí) 識(shí)女 0 p 1 所以 n 識(shí)女 c 1 m i n z 穗 i 1 宰獨(dú)銥 半 撬學(xué) c l c 2 盧孫 n 一 n 7 k p 識(shí)女 1 n o 結(jié)合 2 4 1 和 2 4 2 知日 為d o 的弱相合估計(jì) 再證明第二部分 同樣 當(dāng)曝 0 時(shí) 即k e d o 時(shí) 由引理2 3 3 知 i k3 婿 n o 1 3 2 4 2 第二章廣義線性模型中的變量選擇 故類似前面的證明 易知 p x n 1 n o o 當(dāng)盧 0 時(shí) 即k d o 時(shí) i t 2 i 怠 一k 聲 2 t 伊 一z 尻 2 鞏 一晚 忍 m 乏礦 q 一 鞏 盧o 一6 仇 尻 在自然聯(lián)系函數(shù)下 有鼠 蘆 聲 h 掣 故 知 耋 z 艫z 跏 礦 6 妒 6 砷 i 礦一磊 e t a h 又 b 磊 b z l z 磊一盧0 h 盧 忍一礦 磊e 曩口 瓦一盧 其中礦在瓦與盧 的連線上 故 j 磊一盧0 磊 乏盧 尿一盧o t 1 導(dǎo) 瓦一伊 五z 菇一蘆o 一 t 1 魯a m m 磊 o 磊一盧 i 2 而e e 0 且v a t q o 則 壹?jí)欘鲁?壹盟 繾慚 厶一 t z 耋掣 又s u p i l z d l w n d m k 1 卜k i i i i i i v v 注 i 本模擬的最終結(jié)果就是希望能得到這樣的一個(gè)m 3 的矩陣d 其中m 1 0 0 表示重復(fù)做了1 0 0 次模擬 矩陣d 第一列的取值是1 或者n a 第二列的取值是2 或者 n a 第三列的取值是3 或者n a d 的每一行所列出的數(shù)字即為估計(jì)d 中的元素 例如 若d 其中一行為 1 n a 3 則表示d 1 3 第三章數(shù)據(jù)模擬1 8 注 i i 讓模型 2 2 3 中的常數(shù)c 分別取 1 0 o 0 1 o 注 i i i 該式中的晶 贏 曼磊 盧 其中 口 c o v y 即 e 翻 高 注 i v 滿足第二章 2 2 4 式 即 熙等 0 0 0 n l i m o o o o n n 故可以取w n l o g n 其中n 1 0 0 0 為樣本量 注 v 當(dāng)滿足條件識(shí) w 么時(shí) 由 2 2 5 知k 為d n 中的元素 9 m 捌 k 見 注 i 這樣我們就對(duì)樣本量為1 0 0 0 模型為l o g i s t i c 的模型做了1 0 0 次模擬 3 3 模擬結(jié)果 通過第二節(jié)的模擬 我們得到一個(gè)1 0 0 3 的矩陣d 詳見附錄 按上節(jié)注 1 由于d o 1 3 故其中值為 1 n a 3 的行 即為我們希望得到的 d 統(tǒng)計(jì)個(gè)數(shù)為8 7 也就是說 這1 0 0 次模擬中有8 7 次得到的估計(jì)d 與d o 相同 說明 模擬得教好 出現(xiàn)與d 0 不同的估計(jì)d 中 絕大部分是多選了 而出現(xiàn)漏選的次數(shù)只有 1 次 這個(gè)結(jié)果還是比較令人滿意的 通過第三章的模擬 我們從實(shí)踐中證明了第二章所給出的變量選擇方法的合理性和 可行性 n a n a n a 2 n a n a n a n a n a n a n a n a n a n a n a n a 2 n a n a n a 2 n a n a n a n a n a n a n a 2 n a n a n a 2 n a 附錄 n a n a n a n a n a 2 2 n a n a n a n a n a n a n a n a 2 n a n a n a n a n a n a 2 n a n a n a 2 n a n a n a n a n a n a n a 6 9 7 0 7 1 7 2 7 3 7 4 7 5 7 6 7 7 7 8 7 9 8 0 1 8 1 8 2 f 8 3 f 8 4 8 5 8 6 8 7 8 8 8 9 9 0 9 1 9 2 9 3 94 9 5 9 6 9 7 l 9 8 9 9 1 0 0 1 n a n a n a n a n a n a n a n a n a n a n a 2 n a n a n a n a 2 n a n a n a n a n a n a 2 n a n a n a n a n a n a n a n a 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 1 1 i 1 1 i i 11 i 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 l 1 1 i i i 1 1 1 1 1 1 1 1 1 1 州m m刪 嗍 m 剛嘲嘲剛嘲 m例刪 川嘲 嘲m例 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 o 3 3 3 3 3 3 3 3 3 3 3 3 3 m 3 i i i 1 1 1 1 1 1 1 1 1 1 嗍吲問嘲嘲吲嘲嘲 叫 m 剛 剮m m吲 刪 參考文獻(xiàn) 1 n e l d e ra n dw e d d e r b u r n 1 9 7 2 g e n e r a l i z e dl i n e a rm o d e l s j o u r n a lo fr o y a ls t a t i s t i c a ls o c i e t y a 1 3 5 3 7 0 3 8 4 2 f a h r m e i ra n dh e i n zk a u f m a r m 1 9 8 5 c o n s i s t e n c ya n da s y m p t o t i cn o r m a l i t yo ft h em l ei ng e n e r a l i z e dl i n e a rm o d e l s a n n s t a t i s t i c s v o l 1 3 n o 1 3 4 2 3 6 8 3 1 3l f a h a r m e k 1 9 8 7 a s y m p t o t i ct e s t i n gt h e o r yf o rg e n e r a l i z e dl i n e a rm o d e l s s t a t i s t i c s1 8 1 6 5 7 6 4 w e d d e r b u r n r w m 1 9 7 6 o nt h ee x i s t e n c ea n du n i q u e n e s so f t h em a x i m u m l i k e l i h o o de s t i m a t e s f o rg e n e r a l i z e dl i n e a rm o d e l s b i o m e t r i k a6 3 2 7 3 2 5 m c c u l l a g h p n e l d e r j a 1 9 8 92 de d g e n e r a l i z e dl i n e a rm o d e l s n e wy o r k c h a p m a na n d 6 l f a h r m e i ra n dg t u t z 1 9 9 4 m u l t i v a r i a t es t a t i s t i c a lm o d e l l i n gb a s e do ng e n e r a l i z e dl i n e a r m o d e l s s p r i n g 7 1h o c k i n g r r 1 9 7 6 t h ea n a l y s i sa n ds e l e c t i o no fv a r i a b l e si nl i n e a rr e g r e s s i o n b i o m e t r i c s 3 2 1 4 9 8 b a i lz d k r i s h n a i a h p r z h a n l c 1 9 8 7 v a r i a b l es e l e t i o ni nl o g i s t i cr e g r e s s i o n t e c h n i c a l r e p o r t n o 8 7 2 3 c e n t e rf o rm u l t i v a r i a t ea n a l y s i s u n i v e r s i t yo fp i t t s b u r g h 9 a k a i k e h 1 9 7 3 i n f o r m a t i o nt h e o r ya n de x t e n s i o no ft h em a x i m u m l i k e l i h o o dp r i n c i p l e i n b n p e t r o w f c z h k i e d s 2 u di n t s y m p o ni n f o r m a t i o nt h e o r y a k a d e m i a ik i a d b b u d a p e s t p p 2 6 7 2 8 1 1 0 z h a o lc k r i s h n a i a h p r b a l z d 1 9 8 6 o nd e t e c t i o no ft h en u m b e ro fs i g n a l si np r e s e n c e o fw h i t