實(shí)用統(tǒng)計(jì)分析方法與應(yīng)用

實(shí)用統(tǒng)計(jì)分析方法與應(yīng)用 現(xiàn)代統(tǒng)計(jì)學(xué)的研究對(duì)象：統(tǒng)計(jì)方法和統(tǒng)計(jì)邏輯 現(xiàn)代統(tǒng)計(jì)學(xué)的分類： 從實(shí)際應(yīng)用中的方法來區(qū)分可分為 現(xiàn)代統(tǒng)計(jì)學(xué)概述 1 以總體全面資料或非隨機(jī)性局部資料為基礎(chǔ)的統(tǒng)計(jì)理論與方法體系 統(tǒng)計(jì)總體論）、統(tǒng)計(jì)設(shè)計(jì)、統(tǒng)計(jì)調(diào)查、統(tǒng)計(jì)整理、統(tǒng)計(jì)指數(shù)、動(dòng)態(tài)分析理論、 描述統(tǒng)計(jì) 依據(jù)隨機(jī)樣本推斷總體特征的理論與方法體系 概率論、經(jīng)典統(tǒng)計(jì)理論、貝葉斯理論、統(tǒng)計(jì)判決理論等 數(shù)理統(tǒng)計(jì) R 編程 可視 SAS 編程 Eviews 編程 可視 Matlab 編程 可視 SPSS 可視 Stata 可視 Excel 可視 。 統(tǒng)計(jì)軟件 2 常用統(tǒng)計(jì)軟件一覽 (3種數(shù)據(jù)形態(tài) ) SPSS的特點(diǎn)： 1：可視化操作，界面友好美觀。 2：數(shù)據(jù)接口多。 3：操作簡(jiǎn)單，用戶體驗(yàn)好。 4：較之 Excel數(shù)據(jù)處理能力更強(qiáng)。 數(shù)理統(tǒng)計(jì)的基本框架： 3 微積分 概率論 數(shù)理統(tǒng)計(jì) 基礎(chǔ) 。 計(jì)量經(jīng)濟(jì)學(xué) 時(shí)間序列 數(shù)理統(tǒng)計(jì)的基本框架： 微積分： 數(shù)學(xué)基礎(chǔ)，為概率論的運(yùn)算以及數(shù)理統(tǒng)計(jì)的統(tǒng)計(jì)量提供基礎(chǔ)。 概率論： 數(shù)理統(tǒng)計(jì)學(xué)所考察的數(shù)據(jù)都帶有隨機(jī)性（偶然性）的誤差。這給根據(jù)這種數(shù)據(jù)所作出的結(jié)論帶來了一種不確定性，其量化要借助于概率論的概念和方法。 數(shù)理統(tǒng)計(jì)基礎(chǔ)： 對(duì)數(shù)據(jù)的結(jié)構(gòu)分析和條件檢驗(yàn)。對(duì)以數(shù)據(jù)為基礎(chǔ)的計(jì)量經(jīng)濟(jì)學(xué)提供前端分析。 計(jì)量經(jīng)濟(jì)學(xué)： 利用建立模型和優(yōu)化模型解決實(shí)際問題的方法。 時(shí)間序列分析： 是一種動(dòng)態(tài)數(shù)據(jù)處理的統(tǒng)計(jì)方法。該方法基于隨機(jī)過程理論和數(shù)理統(tǒng)計(jì)學(xué)方法，研究隨機(jī)數(shù)據(jù)序列所遵從的統(tǒng)計(jì)規(guī)律，以用于解決實(shí)際問題。 4 數(shù)理統(tǒng)計(jì)的基本框架： 5 總體 所研究對(duì)象的全體。 個(gè)體：總體中最小的研究單位。 總體容量：總體中所包含的個(gè)體個(gè)數(shù)。 總體中每一個(gè)個(gè)體都具有相同的觀察特征。 樣本 從總體中抽出若干個(gè)個(gè)體組成的集體 樣本容量：樣本中所包含的個(gè)體個(gè)數(shù)。 樣本的分類取決于取得樣本的方法。如簡(jiǎn)單隨機(jī)樣本等。 隨機(jī)變量 對(duì)客觀事物進(jìn)行觀察試驗(yàn)的結(jié)果。 隨機(jī)變量是將試驗(yàn)事件數(shù)量化。 6 隨機(jī)變量的數(shù)學(xué)特征 7 隨機(jī)變量的數(shù)學(xué)特征 隨機(jī)變量的分類 定性分類隨機(jī)變量可分為 分類變量 和 有序變量 定量分類隨機(jī)變量按數(shù)據(jù)集是否能夠取有限個(gè)或至多可列個(gè)值，可分為 離散型變量 和 連續(xù)型變量 。 離散型變量： 隨機(jī)變量 X只可能取有限個(gè)或至多可列個(gè)值 連續(xù)型變量： 變量可以在某個(gè)區(qū)間內(nèi)取任一實(shí)數(shù)，即變量的取值可以是連續(xù)的 隨機(jī)變量的數(shù)學(xué)特征 8 分布： 分布是形容數(shù)據(jù)的一類集體形態(tài)的特征，分布列或分布函數(shù)代表了數(shù)據(jù)出現(xiàn)在不同位置擁有的不同概率。 離散型隨機(jī)變量的分布列： 表現(xiàn)出每一個(gè)隨機(jī)變量取值及出現(xiàn)的概率 例： 價(jià)格 A1（ 70萬(wàn)） A2（ 88萬(wàn)） A3（ 108萬(wàn)） 占比 25% 50% 25% 某樓盤當(dāng)期開盤的戶型總價(jià)分布列 常見的離散型變量分布： 0-1分布，泊松分布 隨機(jī)變量的數(shù)學(xué)特征 9 隨機(jī)變量的數(shù)學(xué)特征 10 最常用的連續(xù)型隨機(jī)變量分布 正態(tài)分布 在統(tǒng)計(jì)中，許多重要的分布都是連續(xù)型分布，其中一種特別重要的連續(xù)型隨機(jī)變量的概率分布就是正態(tài)分布 (Normal Distribution)。正態(tài)分布最初為 De Moivre于 1773 年發(fā)現(xiàn)，其后，拉普拉斯 (Laplace)和高斯 (Gauss)對(duì)它作出了很大的貢獻(xiàn)，尤其是高斯的貢獻(xiàn)最為突出，所以正態(tài)分布又稱為高斯分布。 隨機(jī)變量的數(shù)學(xué)特征 期望 方差 協(xié)方差與相關(guān)系數(shù) 大數(shù)定律與中心極限定理 11 隨機(jī)變量的數(shù)學(xué)特征 期望： 在概率論和統(tǒng)計(jì)學(xué)中，一個(gè)離散型隨機(jī)變量的期望值（或數(shù)學(xué)期望、或均值，亦簡(jiǎn)稱期望）是試驗(yàn)中每次可能結(jié)果的概率乘以其結(jié)果的總和。 離散型隨機(jī)變量： 12 以頻率為權(quán)重的加權(quán)平均 1 1 2 2() k k k kkE X p x p x p x p x LL( ) 1 , 2 ,kkP X x p k Lkkkpx若級(jí)數(shù) 絕對(duì)收斂， 則稱此級(jí)數(shù)為隨機(jī)變量 X的數(shù)學(xué)期望，記作 E（ X），即 13 例 某樓盤當(dāng)期開盤的戶型總價(jià)的分布列 求整個(gè)項(xiàng)目的平均價(jià)格 隨機(jī)變量的數(shù)學(xué)特征 E（ X） =70*25%+88*50%+108*25%=88.5 1 1 2 2 3 3 ) (E X p x p x p x 價(jià)格 A1（ 70萬(wàn)） A2（ 88萬(wàn)） A3（ 108萬(wàn)） 占比 25% 50% 25% 隨機(jī)變量的數(shù)學(xué)特征 14 連續(xù)型隨機(jī)變量 設(shè)連續(xù)型隨機(jī)變量 X的概率密度為 f (x), 則 ( ) ( )E X x f x d x 正態(tài)分布的期望 22()2()12xx e d xEX 數(shù)學(xué)期望的意義 15 試驗(yàn)次數(shù)較大時(shí)， X的觀測(cè)值的算術(shù)平均值 在 E(X)附近擺動(dòng) ()x E X數(shù)學(xué)期望又可以稱為 期望值 (Expected Value)， 均值 (Mean) E(X)反映了隨機(jī)變量 X取值的“ 概率平均 ” ,是 X的 可能值以其相應(yīng)概率的加權(quán)平均。 方差的引入 16 E( X1 )=50 20 30 50 70 80 1/8 1/8 1/2 1/8 1/8 E( X2 )=50 總價(jià)（萬(wàn)元） 占比 40 50 60 1/4 1/2 1/4 設(shè)有兩個(gè)樓盤，其各戶型總價(jià)取值規(guī)律如下： 總價(jià)（萬(wàn)元） 占比 兩種個(gè)樓盤的總價(jià)均值是相同的，但樓盤 2的波動(dòng)更大 方差 17 2( ) ( )D X E X E X均方差（標(biāo)準(zhǔn)差） ( ) ( )X D X ()DX ()Var XX設(shè) 是一隨機(jī)變量，如果 存在，則稱 為 的方差，記作 或 2()E X E XX即 方差的計(jì)算步驟 18 ( ) ( )E X x f x d x Step 1: 計(jì)算期望 E(X) 1 1 2 2 ( ) k k k kkE X p x p x p x p x LLStep 2: 計(jì)算 E(X2) 22( ) ( )E X x f x d x 22 2 2 21 1 2 2 ) ( k k k kkE X p x p x p x p x LLStep 3: 計(jì)算 D(X) 22( ) ( ) ( ) D X E X E X離散型 連續(xù)型 離散型 連續(xù)型 協(xié)方差 在概率論和統(tǒng)計(jì)學(xué)中，協(xié)方差用于衡量?jī)蓚€(gè)變量的總體誤差。而方差是協(xié)方差的一種特殊情況，即當(dāng)兩個(gè)變量是相同的情況。 直觀上來看，協(xié)方差表示的是兩個(gè)變量總體的誤差，這與只表示一個(gè)變量誤差的 方差 不同。 如果兩個(gè)變量的變化趨勢(shì)一致，也就是說如果其中一個(gè)大于自身的期望值，另外一個(gè)也大于自身的期望值，那么兩個(gè)變量之間的協(xié)方差就是正值。 如果兩個(gè)變量的變化趨勢(shì)相反，即其中一個(gè)大于自身的期望值，另外一個(gè)卻小于自身的期望值，那么兩個(gè)變量之間的協(xié)方差就是負(fù)值。 19 相關(guān)系數(shù) 前面說到當(dāng)兩個(gè)變量互為統(tǒng)計(jì)獨(dú)立時(shí)，協(xié)方差 COV=0 但反之協(xié)方差 COV=0時(shí)，兩個(gè)變量并不一定統(tǒng)計(jì)獨(dú)立 相關(guān)系數(shù)是變量之間相關(guān)程度的指標(biāo)。樣本相關(guān)系數(shù)用 r表示 ,總體相關(guān)系數(shù)用 表示 ,相關(guān)系數(shù)的取值范圍為 -1,1 20 定義 21 樣本與總體 引 言 22 隨機(jī)變量及其所伴隨的概率分布全面描述了隨機(jī)現(xiàn)象的統(tǒng)計(jì)性規(guī)律。 概率論的許多問題中，隨機(jī)變量的概率分布通常是已知的，或者假設(shè)是已知的，而一切計(jì)算與推理都是在這已知是基礎(chǔ)上得出來的。 但實(shí)際中，情況往往并非如此，一個(gè)隨機(jī)現(xiàn)象所服從的分布可能是 完全不知道的，或者知道其分布概型，但是其中的某些參數(shù)是未知的。 例如： 望今緣在開售之前做市場(chǎng)調(diào)查，目標(biāo)總體內(nèi)有購(gòu)房需求客戶的當(dāng)期 支付能力或者客戶當(dāng)前對(duì)戶型面積的需求。所得出的數(shù)據(jù)集是服從的 分布是未知的。 數(shù)理統(tǒng)計(jì)的任務(wù)則是 以概率論為基礎(chǔ)，根據(jù)試驗(yàn)所得到的數(shù)據(jù)， 對(duì)研究對(duì)象的客觀統(tǒng)計(jì)規(guī)律性做出合理的推斷。 樣本與總體 23 總體與樣本 在數(shù)理統(tǒng)計(jì)中 ， 把研究對(duì)象的全體稱為 總體 （ population)或母體 ， 而把組成 總體的每個(gè)單元稱為 個(gè)體 。 例如我們做市場(chǎng)調(diào)查 ， 目標(biāo)客戶群體就是總體 ， 每一個(gè)客戶稱為個(gè)體 。 總體： 樣本： 在抽取過程中 ， 每抽取一個(gè)個(gè)體 ， 就是對(duì)總體 X進(jìn)行一次隨機(jī)試驗(yàn) ， 每次抽取 的 n個(gè)個(gè)體 ， 稱為總體 X的一個(gè)容量為 n的樣本 （ sample） 或子樣 ；其中樣本中所 包含的個(gè)體數(shù)量稱為樣本容量 n。 總體是唯一的、確定的，而樣本是不確定的、可變的、隨機(jī)的。 抽樣及抽樣方法 24 1. 簡(jiǎn)單隨機(jī)抽樣 2. 類型抽樣 3. 整群抽樣 4. 等距抽樣 5. 階段抽樣 常用抽樣方法 定義 從欲研究的全部樣品中抽取一部分樣品單位。其基本要求是要保證所 抽取的樣品單位對(duì)全部樣品具有充分的代表性。抽樣的目的是從被抽取樣 品單位的分析、研究結(jié)果來估計(jì)和推斷全部樣品特性，是科學(xué)實(shí)驗(yàn)、質(zhì)量 檢驗(yàn)、社會(huì)調(diào)查普遍采用的一種經(jīng)濟(jì)有效的工作和研究方法。 簡(jiǎn)單隨機(jī)樣本樣本必須具有的性質(zhì) 25 代表性 即樣本 ( )的每個(gè)分量 與總體 具有 相同的概率分布 。 12, , , nX X XL iX X獨(dú)立性 即每次抽樣的結(jié)果既不影響其余各次抽樣的結(jié)果，也不受其它各次抽 樣結(jié)果的影響。 滿足上述兩點(diǎn)要求的子樣稱為 簡(jiǎn)單隨機(jī)樣本 .獲得簡(jiǎn)單隨機(jī)樣本的抽樣方法叫 簡(jiǎn)單隨 機(jī)抽樣 . 樣本（ sample） 總體（ population） 抽樣（ sampling） 總體容量（ population size） N=45 樣本容量（ sample size） n=10 為推斷總體的某些特征，而從總體中按一定方法抽取若干個(gè)體，這一過程稱為抽樣，所抽取的個(gè)體稱為樣本。 抽樣方法 自有限總體的簡(jiǎn)單隨機(jī)抽樣 簡(jiǎn)單隨機(jī)樣本 有限總體 總體中每一個(gè)體以相等的概率被抽出，稱簡(jiǎn)單隨機(jī)抽樣。 有放回抽樣與 無(wú)放回抽樣之分 。自有限總體的簡(jiǎn)單隨機(jī)抽樣，特指 有放回抽樣 。 27 25 2 1 3 4 5 23 26 28 29 30 31 33 36 14 13 12 11 10 9 8 7 6 21 20 22 42 43 44 91 17 37 16 35 15 38 32 39 40 41 24 18 34 45 2 38 3 25 7 36 23 23 12 9 抽樣方法 自無(wú)限總體的簡(jiǎn)單隨機(jī)抽樣 無(wú)限總體 自無(wú)限總體抽取樣本，采用 無(wú)放回抽樣 。如果滿足以下兩個(gè)條件，則稱簡(jiǎn)單隨機(jī)抽樣： 每個(gè)個(gè)體來自同一個(gè)總體 樣本中每個(gè)個(gè)體的抽取是獨(dú)立的 簡(jiǎn)單隨機(jī)樣本 抽樣方法 統(tǒng)計(jì)量 計(jì)算 總 體 確定性 樣 本 隨機(jī)抽樣 隨機(jī)性 隨機(jī)性 xps樣本統(tǒng)計(jì)量做為隨機(jī)變量，具有特定的概率分布。 把握住他們的分布規(guī)律就找到了推斷總體參數(shù)的依據(jù)。 總體參數(shù) XP理論上可計(jì)算 確定性 抽樣分布 30 統(tǒng)計(jì)方法 參數(shù)估計(jì) 31 數(shù)理統(tǒng)計(jì)問題：如何 選取樣本 來 對(duì)總體 的種種統(tǒng)計(jì)特征 作出判斷 。 參數(shù)估計(jì)問題：知道隨機(jī)變量（總體）的 分布類型 ，但 確切的形式 不知道，根據(jù)樣本來估計(jì)總體的參數(shù) ，這類問題稱為 參數(shù)估計(jì) 。 參數(shù)估計(jì)的類型 點(diǎn)估計(jì)、區(qū)間估計(jì) 點(diǎn)估計(jì)的方法 ：構(gòu)造一個(gè)統(tǒng)計(jì)量來對(duì)總體進(jìn)行估計(jì) 主要方法：數(shù)字特征法、矩法、極大似然法 。 區(qū)間估計(jì) ：點(diǎn)估計(jì)總是有誤差的，但沒有衡量偏差程度的量，區(qū)間估計(jì)則是按 一定的可靠性程度對(duì)待估參數(shù)給出一個(gè)區(qū)間范圍。 2Z 2顯著性水平 22 10置信度 22 nZxnZx 2_2_ ,顯著性水平 下， 在 1- 置信水平下的置信區(qū)間： 置信度 置信度 ,也叫置信水平。它是指特定個(gè) 體對(duì)待特定命題真實(shí)性相信的程度 .也 就是概率是對(duì)個(gè)人信念合理性的量度 . 概率的置信度解釋表明 ,事件本身并沒 有什么概率 ,事件之所以指派有概率只 是指派概率的人頭腦中所具有的信念 證據(jù)。置信水平是指總體參數(shù)值落在 樣本統(tǒng)計(jì)值某一區(qū)內(nèi)的概率；而置信 區(qū)間是指在某一置信水平下，樣本統(tǒng) 計(jì)值與總體參數(shù)值間誤差范圍。置信 區(qū)間越大，置信水平越高。 是否為大樣本 n30 值是否已知 值是否已知 總體是否近 似正態(tài)分布 用樣本標(biāo)準(zhǔn)差 s 估計(jì) nszx2_nzx 2_nzx 2_nstx2_用樣本標(biāo)準(zhǔn)差 s 估計(jì) 將樣本容量 增加到 n30 以便進(jìn)行區(qū)間 估計(jì) 是 是 是 是 否 否 否 否 總體均值區(qū)間估計(jì)程序 假設(shè)檢驗(yàn) 34 引 言 統(tǒng)計(jì)假設(shè) 通過實(shí)際觀察或理論分析對(duì)總體分布形式 或?qū)傮w分布形式中的某些參數(shù)作出某種 假設(shè)。 假設(shè)檢驗(yàn) 根據(jù)問題的要求提出假設(shè)，構(gòu)造適當(dāng)?shù)慕y(tǒng) 計(jì)量，按照樣本提供的信息，以及一定的 規(guī)則，對(duì)假設(shè)的正確性進(jìn)行判斷。 基本原則 小概率事件在一次試驗(yàn)中是不可能發(fā)生的。 假設(shè)檢驗(yàn) 35 參數(shù)的假設(shè)檢驗(yàn) ：已知總體的分布類型，對(duì)分布函數(shù)或密度函數(shù)中的某些 參數(shù)提出假設(shè)，并檢驗(yàn)。 思想 ：如果原假設(shè)成立，那么某個(gè) 分布已知 的 統(tǒng)計(jì)量在某個(gè)區(qū)域內(nèi)取值的 概率 應(yīng)該較小，如果樣本的觀測(cè)數(shù)值落在這個(gè)小概率區(qū)域內(nèi)，則原假設(shè)不 正確，所以，拒絕原假設(shè)；否則，接受原假設(shè)。 拒絕域 檢驗(yàn)水平 假設(shè)檢驗(yàn) 36 基本步驟 1、 提出原假設(shè)，確定備擇假設(shè) ； 2、 構(gòu)造分布已知的合適的統(tǒng)計(jì)量 ； 3、 由給定的檢驗(yàn)水平 ，求出在 H0成立的條件下的 臨界值（上側(cè) 分位數(shù)，或雙側(cè) 分位數(shù)） ； 4、 計(jì)算統(tǒng)計(jì)量的樣本觀測(cè)值，如果落在拒絕域內(nèi)， 則拒絕原假設(shè)，否則，接受原假設(shè)。 37 相關(guān)分析 簡(jiǎn)單相關(guān)分析 是對(duì)兩個(gè)變量之間的相關(guān)程度進(jìn)行分析。單相關(guān)分析所用的指標(biāo)稱為單相關(guān)系數(shù)，又稱為單相關(guān)系數(shù)、 Pearson（皮爾森）相關(guān)系數(shù)或相關(guān)系數(shù)。通常以 表示總體的相關(guān)系數(shù)，以表示樣本的相關(guān)系數(shù) 38 相關(guān)系數(shù)的檢驗(yàn) 在實(shí)際的客觀現(xiàn)象分析研究中，相關(guān)系數(shù)一般都是利用樣本數(shù)據(jù)計(jì)算的，因而帶有一定的隨機(jī)性，樣本容量越小其可信程度就越差。因此也需要進(jìn)行檢驗(yàn)，即對(duì)總體相關(guān)系數(shù) 是否等于進(jìn)行檢驗(yàn)。數(shù)學(xué)上可以證明，在與都服從于正態(tài)分布，并且又有 的條件下，可以采用檢驗(yàn)來確定的顯著性。其步驟如下： 39 關(guān)鍵術(shù)語(yǔ) 無(wú)放回抽樣（ sampling without replacement） 一個(gè)元素一旦選入樣本，就從總體中剔除，不能再次被選入 放回抽抽樣（ sampling with replacement） 一個(gè)元素一旦被選入樣本，仍被放回總體中。先前被選入的元素可能再次被抽到，并且在本樣中可能出現(xiàn)多次 抽樣分布（ sampling distribution） 樣本統(tǒng)計(jì)量所有可能值構(gòu)成的概率分布 點(diǎn)估計(jì)（ point estimate） 用做總體參數(shù)估計(jì)量的值。它