統(tǒng)計學(xué)基本知識介紹

數(shù)據(jù)化運(yùn)營與決策

——統(tǒng)計學(xué)的基本介紹與應(yīng)用客戶關(guān)系管理中心沈冬冬

2015年3月目錄什么是統(tǒng)計學(xué)數(shù)據(jù)分析（挖掘）主要方法及其一些應(yīng)用如何養(yǎng)成統(tǒng)計學(xué)思維和品質(zhì)常用的統(tǒng)計學(xué)書籍與軟件精選課件PartOne:什么是統(tǒng)計學(xué)？？？人類發(fā)現(xiàn)了統(tǒng)計，統(tǒng)計改變了世界。——《統(tǒng)計學(xué)的故事》第一章標(biāo)題

（1）統(tǒng)計學(xué)的定義（2）統(tǒng)計學(xué)起源（3）統(tǒng)計學(xué)與其他學(xué)科的區(qū)別（4）統(tǒng)計模型（5）總結(jié)：統(tǒng)計學(xué)是一門什么樣的學(xué)科精選課件（1）統(tǒng)計學(xué)的定義定義：統(tǒng)計學(xué)是一門研究隨機(jī)現(xiàn)象，以推斷為特征的方法論科學(xué)，“由部分推及全體”的思想貫穿于統(tǒng)計學(xué)的始終。具體地說，它是研究如何搜集、整理、分析反映事物總體信息的數(shù)字資料，并以此為依據(jù)，對總體特征進(jìn)行推斷的原理和方法。此外，統(tǒng)計學(xué)也是于收集、整理、分析和解釋統(tǒng)計數(shù)據(jù)的科學(xué)，是一門認(rèn)識方法論性質(zhì)的科學(xué)，其目的是探索數(shù)據(jù)內(nèi)在的數(shù)量規(guī)律性，以達(dá)到對客觀事物的科學(xué)認(rèn)識。

用統(tǒng)計來認(rèn)識事物的步驟是：研究設(shè)計—>抽樣調(diào)查—>統(tǒng)計推斷—>結(jié)論。這里，研究設(shè)計就是制定調(diào)查研究和實驗研究的計劃，抽樣調(diào)查是搜集資料的過程，統(tǒng)計推斷是分析資料的過程。顯然統(tǒng)計的主要功能是推斷，而推斷的方法是一種不完全歸納法，因為是用部分資料來推斷總體。

精選課件（2）統(tǒng)計學(xué)起源兩個源頭：概率論VS國情學(xué)一、概率論：

16世紀(jì)，概率論的體系漸漸發(fā)展起來，而這要從一種和擲骰子有關(guān)的賭博活動說起。雖然這個起源并不是很光彩，而且有待考證，但是在歐洲興起并興盛的骰子賭博活動，引起了一批好奇的學(xué)者的關(guān)注。擲骰子得到的點數(shù)直接決定賭局的輸贏，于是開始研究各種點數(shù)出現(xiàn)的機(jī)遇的大小，勝率的大小，最早開始數(shù)量研究并且給概率下定義的學(xué)者已經(jīng)無從考證了，可是有一些著作的問世和問題的討論對概率統(tǒng)計的發(fā)展產(chǎn)生了重大的影響，比如卡丹諾的《機(jī)遇博弈》、惠更斯的《機(jī)遇的規(guī)律》、伯努利的《推測數(shù)》、著名的分賭本問題、帕斯卡和費(fèi)馬之間的通信，在這期間，古典概型得到了極大的發(fā)展，概率、期望、二項分布、中心極限定理等概念被相繼提出。結(jié)論：賭博也是把雙刃劍?。?！精選課件二、國情學(xué)：

統(tǒng)計學(xué)的英文是“statistic”，其實它是源于意大利文的“stato”，意思是“國家”、“情況”，也就是后來英語里的state（國家），在十七、十八世紀(jì)，統(tǒng)計學(xué)很多時候都是以國情學(xué)的姿態(tài)出現(xiàn)的。而且很長一段時間，都是在研究人口統(tǒng)計，尤其是生男生女的比例問題。

概率論和國情學(xué)的融合，統(tǒng)計學(xué)漸漸發(fā)展也是從這開始。在這期間時，一些重要的理論被發(fā)現(xiàn)，如二項分布和大數(shù)定律。結(jié)論：統(tǒng)計學(xué)起源于國家的實際應(yīng)用。精選課件一個關(guān)于生男生女的問題：從生物學(xué)角度來說，XX染色體與XY染色體結(jié)合是隨機(jī)的，故孕婦生男生女的概率均是1/2。已知一對夫婦有兩個孩子，且其中一個是男孩，問另外一個是女孩的概率是多少？？？A:1/3B:1/2C:2/3D:3/4你知道答案嗎？？？精選課件（3）統(tǒng)計學(xué)與其他學(xué)科的異同一、統(tǒng)計學(xué)與概率論的異同：不是廢話的廢話：概率論是統(tǒng)計學(xué)的基礎(chǔ)，統(tǒng)計學(xué)是概率論的發(fā)展。區(qū)別：概率論就好比是給你一個模型，你可以知道這個模型會產(chǎn)生什么樣的數(shù)據(jù)；而統(tǒng)計則是給你一些數(shù)據(jù)，你來判斷是由什么樣的模型產(chǎn)生的。Forexample，概率論研究的是一個透明箱子，你知道這個箱子的構(gòu)造（里面有幾個紅球、幾個白球，也就是所謂的分布函數(shù)），然后計算下一個摸出來的球是紅球的概率。而統(tǒng)計學(xué)面對的是一個黑箱子，你只看得到每次摸出來的是紅球還是白球，然后需要猜測這個黑箱子的內(nèi)部結(jié)構(gòu)，例如紅球和白球的比例是多少？（參數(shù)估計）能不能認(rèn)為紅球40%，白球60%？（假設(shè)檢驗）

精選課件二、統(tǒng)計分析與數(shù)據(jù)挖掘的異同：（當(dāng)前比較熱門的話題）何為數(shù)據(jù)挖掘（DataMining）？（1）是個什么樣的學(xué)科：是在多個學(xué)科的基礎(chǔ)上發(fā)展起來的。包括數(shù)據(jù)庫、人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計學(xué)、數(shù)據(jù)可視化等一系列學(xué)科交叉結(jié)合。（2）為什么會發(fā)展起來：隨著數(shù)據(jù)庫技術(shù)的發(fā)展，數(shù)據(jù)的積累快速膨脹，導(dǎo)致簡單的查詢和統(tǒng)計已經(jīng)無法滿足企業(yè)的商業(yè)需求（尤其是在互聯(lián)網(wǎng)公司），急需革命性的技術(shù)去挖掘數(shù)據(jù)背后的信息。（3）如何發(fā)展起來：隨著計算機(jī)領(lǐng)域人工智能的巨大進(jìn)步，進(jìn)入機(jī)器學(xué)習(xí)的階段，故人們將數(shù)據(jù)庫和機(jī)器學(xué)習(xí)相結(jié)合，用數(shù)據(jù)庫管理系統(tǒng)存儲數(shù)據(jù)，用計算機(jī)分析數(shù)據(jù)，產(chǎn)生了一門新的學(xué)科：數(shù)據(jù)庫中的知識發(fā)現(xiàn)(KnowledgeDiscoveryinDatabases,KDD)。綜上：數(shù)據(jù)挖掘則是知識發(fā)現(xiàn)的核心部分，指的是從數(shù)據(jù)集合中自動抽取隱藏在數(shù)據(jù)中的那些有用信息的過程，這些信息的表現(xiàn)形式為：規(guī)則、概念、規(guī)律以及模式等。精選課件二、統(tǒng)計分析與數(shù)據(jù)挖掘的異同相同點：（1）都是對數(shù)據(jù)做分析與發(fā)現(xiàn)?！安还苁前棕堖€是黑貓，抓住老鼠才是好貓”。在實戰(zhàn)中，分析問題解決問題的首要考慮是思路，其次才是篩選與思路相匹配的分析挖掘技術(shù)；（2）二者的理論來源很多是同根同源。數(shù)據(jù)挖掘中的技術(shù)有相當(dāng)比例是依靠統(tǒng)計分析中的多變量分析來支撐；（3）更有觀點認(rèn)為，數(shù)據(jù)挖掘是統(tǒng)計分析技術(shù)的延伸和發(fā)展，用于處理更大規(guī)模的數(shù)據(jù)（幾十萬行、幾百萬行的數(shù)據(jù)）不同點：（1）“統(tǒng)計分析”得出的結(jié)論是人的智能活動結(jié)果，而“數(shù)據(jù)挖掘”得出的結(jié)論是機(jī)器從學(xué)習(xí)集（或訓(xùn)練集、樣本集）發(fā)現(xiàn)的知識規(guī)則；（2）相對于重視理論和方法的統(tǒng)計分析而言，數(shù)據(jù)挖掘更強(qiáng)調(diào)應(yīng)用，畢竟數(shù)據(jù)挖掘的目的是方便企業(yè)用戶的使用；（3）“統(tǒng)計分析”不能建立數(shù)學(xué)模型，需要人工建模，而“數(shù)據(jù)挖掘”直接完成了數(shù)學(xué)建模。如傳統(tǒng)的控制論建模的本質(zhì)就是描述輸入變量與輸出變量之間的函數(shù)關(guān)系，“數(shù)據(jù)挖掘”可以通過機(jī)器學(xué)習(xí)自動建立輸入與輸出的函數(shù)關(guān)系，根據(jù)KDD得出的“規(guī)則”，給定一組輸入?yún)?shù)，就可以得出一組輸出量。精選課件（4）統(tǒng)計模型模型的作用：預(yù)測or理解產(chǎn)生數(shù)據(jù)的機(jī)制。如何尋找模型：（1）對數(shù)據(jù)進(jìn)行初步探索性分析，利用圖形和各種統(tǒng)計量（比較簡單的如期望、方差等）作基礎(chǔ)分析，了解數(shù)據(jù)的分布，必要的話對部分?jǐn)?shù)據(jù)（缺失值、異常值等）進(jìn)行清洗或者轉(zhuǎn)換處理；（2）根據(jù)具體業(yè)務(wù)需求選定因變量（目標(biāo)變量、響應(yīng)概率）和自變量（解釋變量），分析變量與變量之間的關(guān)聯(lián)性、相關(guān)性、線性性、共線性等各種關(guān)系；（3）選定變量后就要尋找合適的模型和算法（已有的模型或自己建立新的模型）；（4）對多個模型進(jìn)行比較分析，選擇最合適的模型，并對模型不斷優(yōu)化，解釋其中的各個變量。（5）對模型進(jìn)行檢驗，是否具有穩(wěn)健性，對業(yè)務(wù)是否真的有幫助。PS：一個好的模型應(yīng)該是模型能很好的擬合數(shù)據(jù)，而不是讓數(shù)據(jù)來擬合模型。精選課件（5）總結(jié)

統(tǒng)計學(xué)究竟是一門什么樣的學(xué)科？？？一千個讀者眼里有一千個哈姆雷特，一千個學(xué)者眼里也有一千種統(tǒng)計學(xué)看法。數(shù)學(xué)？社會科學(xué)？自然科學(xué)概率學(xué)？Myview:數(shù)學(xué)不可證偽，可脫離現(xiàn)實，不是科學(xué)。應(yīng)用科學(xué)是對科學(xué)的應(yīng)用，不是科學(xué)本身，應(yīng)該算作工程學(xué)。==>統(tǒng)計學(xué)是應(yīng)用數(shù)學(xué)。精選課件PartTwo:數(shù)據(jù)分析（挖掘）主要方法

若想了解上帝在想什么，我們就必須要學(xué)統(tǒng)計，因為統(tǒng)計學(xué)就是在量測他的旨意。——現(xiàn)代護(hù)理學(xué)奠基人南丁格爾回歸分析關(guān)聯(lián)分析主成分分析聚類分析參數(shù)估計與假設(shè)檢驗精選課件（1）回歸分析(Regression)回歸分析包括兩項主要內(nèi)容：多元線性回歸Logistic回歸精選課件（1）回歸分析(Regression)一.多元線性回歸描述的是一個因變量（y）如何隨著一批自變量（）的變化而變化，它的回歸公式（即回歸方程）就是因變量與自變量關(guān)系的數(shù)據(jù)反映。多元線性回歸方程：

ps:當(dāng)p=1時，就是最簡單的一元線性回歸方程，即通過一個自變量來解釋因變量。：自變量的系數(shù)。ε：殘差，一般假設(shè)為滿足正態(tài)分布，

如何解釋因變量的變化：a.系統(tǒng)性變化，這個是由自變量引起的（也就是可以用自變量進(jìn)行解釋）；b.隨機(jī)變化，不能由自變量進(jìn)行解釋，由殘差所造成。精選課件（1）回歸分析(Regression)二、Logistic回歸：描述：相比于線性回歸，Logistic回歸在日常應(yīng)用和數(shù)據(jù)化運(yùn)營中有更頻繁的作用，因為該分析技術(shù)預(yù)測的因變量(y)是介于0和1之間的概率，因此能夠很好的回答諸如預(yù)測、分類等更常見的“二選一”問題。（比如“買”或“不買”，客戶“流失”或“不流失”的概率有多少等）Logistic回歸方程：

其中：p(y=1)為響應(yīng)概率（也就是顧客買的概率），p(y=0)為不響應(yīng)概率。其余變量解釋和線性回歸類似。精選課件（2）關(guān)聯(lián)分析(AssociationAnalysis)描述：所謂關(guān)聯(lián)分析，主要目的就是尋找數(shù)據(jù)集中頻繁模式，通俗的說也就是兩個或多個變量多次同時出現(xiàn)的關(guān)系。

應(yīng)用：應(yīng)用關(guān)聯(lián)分析最經(jīng)典的案例就是“購物籃分析”，通過分析顧客購物籃中物品之間的關(guān)聯(lián)，可以挖掘顧客的購物習(xí)慣，從而幫助零售商更好的制定有針對性的營銷策略。（當(dāng)當(dāng)網(wǎng)、亞馬遜等常用的推薦算法Apriori）一個生活常識：男人去超市買尿不濕時會順便去買瓶啤酒。嬰兒尿不濕—>啤酒{支持度=10%，置信度=70%｝上述式子表明，在所有顧客中，有10%（支持度）同時購買了嬰兒尿不濕和啤酒，而在所有購買了尿不濕的顧客中，占70%（置信度）還同時購買了啤酒。==>X對Y的支持度：事物全體中包含的事物百分比。主要衡量規(guī)則的有用性，若太小說明只是偶然事件。==>X對Y的置信度：既包含了X又包含了Y的事物總量占所有包含了X的事物數(shù)量的百分比。衡量的是規(guī)則的確定性，或者說是可預(yù)測性。精選課件（2）關(guān)聯(lián)分析(AssociationAnalysis)“啤酒和尿不濕”營銷案例：沃爾瑪超市發(fā)現(xiàn)了上述啤酒與尿不濕之間的關(guān)聯(lián)性后，決定把這兩樣?xùn)|西擺放在一起進(jìn)行銷售，結(jié)果明顯的提高了二者的銷售額，這就是經(jīng)典的“啤酒與尿不濕”營銷案例。精選課件（3）主成分分析（PrincipalComponentsAnalysis)描述：屬于傳統(tǒng)的統(tǒng)計分析技術(shù)范疇。通過線性組合將多個原始變量合并成若干個主成分，這樣每個主成分都變成了原始變量的線性組合。這種轉(zhuǎn)變的目的，一方面是可以大幅度降低原始數(shù)據(jù)的維度，同時也在此過程中發(fā)現(xiàn)原始數(shù)據(jù)屬性之間的關(guān)系。基本思想：設(shè)法將原來眾多具有一定相關(guān)性（比如n個指標(biāo)），重新組合成一組新的互不相關(guān)的綜合指標(biāo)（如m個，m<n）來代替原來的指標(biāo)。精選課件example:以影響房地產(chǎn)價格的因素為例：線性組合人口數(shù)量（x1）、人口密度（x2）、城市化程度（x3）、社會穩(wěn)定情況（x4）、X=a1*x1+a2*x2+a3*x3+a4*x4社會因素國民經(jīng)濟(jì)水平（y1）、稅率（y2）、平均工資（y3）、銀行利率（y4）、地理位置（z1）、城市功能區(qū)（z2）、交通情況（z3）、Y=b1*y1+b2*y2+b3*y3+b4*y4經(jīng)濟(jì)因素Z=c1*za+c2*z2+c3*z3區(qū)域因素精選課件（4）聚類分析（ClusteringAnalysis)描述：所謂聚類，就是俗話說的“物以類聚，人以群分”。針對幾個特定的指標(biāo)，可以將觀察對象的群體按照相似性和差異性進(jìn)行不同群組的劃分。經(jīng)過劃分后，每個群組內(nèi)部各對象間的相似度會很高，而在不同群組之間的對象彼此將會差異較大。聚類的方法：聚類分析的算法比較多，其中最簡單也最常用的方法就是k-means方法。所謂k-means方法，通俗的說就是通過你周圍k個人的平均情況從而來判斷你是屬于什么情況。具體的原理是：a.首先隨機(jī)選擇K個對象，并且所選擇的每個對象都代表一個組的初始均值；b.對剩余的每個對象，根據(jù)其與各個組初始均值的距離，將它們分配給最近的（即最相似的）的小組c.然后重新計算每個小組的均值；d.不斷重復(fù)上述過程，直到所有的對象在K組分布中都找到距離自己最近的組。精選課件（4）聚類分析（ClusteringAnalysis)應(yīng)用：聚類分析的應(yīng)用場景較多，比如：根據(jù)購房者的年齡、職業(yè)（收入）、家庭情況（婚姻、家庭人數(shù)等）、購買何種戶型四個維度進(jìn)行聚類劃分，從而得到不同特征的群體。進(jìn)一步的，根據(jù)特征情況向潛在客戶（即有意向購房客戶）推薦合適的戶型，建立起品牌的忠誠度。精選課件（5）參數(shù)估計與假設(shè)檢驗（Estimationandtesting)點估計（例如用樣本中的均值去估計總體的均值）參數(shù)估計區(qū)間估計（用樣本均值的95%置信區(qū)間去估計總體均值）統(tǒng)計分析中的兩大主要板塊“小概率”反證法思想假設(shè)檢驗構(gòu)造已知某種分布的檢驗統(tǒng)計量精選課件（5）參數(shù)估計與假設(shè)檢驗（Estimationandtesting)一、參數(shù)估計（ParameterEstimation）描述：在日常工作中，在面對總體數(shù)據(jù)較為龐大時候，我們大都需要做參數(shù)估計（除全國人口普查外），它是通過抽取樣本、計算樣本中信息進(jìn)而估計總體分布中的參數(shù)和數(shù)字特征，用以反應(yīng)總體本質(zhì)和規(guī)律。例如：我們要想知道客戶對碧桂園的物業(yè)服務(wù)滿意度（設(shè)為參數(shù)E），在進(jìn)行調(diào)查有兩個方法：總體普查或者抽樣調(diào)查?？傮w普查雖精確，但成本高、人力付出大，因此在時間成本有限的情況下往往使用抽樣調(diào)查，從樣本中計算出我們所需的參數(shù)，用以估計總體參數(shù)。常用的數(shù)字特征估計：a.樣本均值估計總體的均值（期望）；b.樣本方差估計總體方差；c.樣本的偏度估計總體偏度d.樣本參數(shù)的函數(shù)估計總體參數(shù)的函數(shù)估計量的評價指標(biāo)：無偏性——>相合性——>有效性.......精選課件（5）參數(shù)估計與假設(shè)檢驗（Estimationandtesting)二、假設(shè)檢驗（HypothesisTesting）起源：女士品茶發(fā)明者：費(fèi)舍爾（RonaldAylmerFisher），英國統(tǒng)計學(xué)家，在統(tǒng)計史上具有顯赫地位。Fisher思想：顯著性檢驗a.試驗過程：準(zhǔn)備8杯飲料，其中四杯是先倒茶后加牛奶（TM），另外四杯是先加牛奶后倒茶（MT），將它們隨機(jī)排列，讓該女士依次品嘗，然后讓她指出哪四杯是TM？b.推理過程：引進(jìn)假設(shè)H：該女士并無鑒別能力假設(shè)意義：當(dāng)H是正確的，那么該女士只能從8杯飲料中任意選取四杯，故有種選法，其中只有一種是對的。因此，若該女士真的全部都選對了，我們必須承認(rèn)以下兩種情況下的一種：1、H不成立，即該女士的確擁有鑒別能力；2、發(fā)生了一件概率只有1/70的事件。精選課件（5）參數(shù)估計與假設(shè)檢驗（Estimationandtesting)

上述的第二種情況相當(dāng)于在一個放有70個球的黑箱子里隨意摸出一個球，正好摸出事先指定的一個，這種情況比較稀奇，因此我們有相當(dāng)?shù)睦碛沙姓J(rèn)第一種情況的可能性?；蛘哒f，該女士4杯全都挑對的這個結(jié)果，是一個不利于假設(shè)H的顯著證據(jù)，據(jù)此，我們否定H。這樣一種推理過程就稱做顯著性檢驗。精選課件（5）參數(shù)估計與假設(shè)檢驗（Estimationandtesting)主要思想：假設(shè)檢驗的基本原理就是小概率事件原理，即觀測小概率事件在假設(shè)成立的情況下是否發(fā)生。如果在一次試驗中，小概率事件發(fā)生了，那么說明假設(shè)在一定的顯著性水平下不可靠或者不成立；如果在一次試驗中小概率事件沒有發(fā)生，那么也只能說明沒有足夠的理由相信假設(shè)是錯誤的，但是也不能說明假設(shè)一定是正確的，因為無法收集到所有證據(jù)來證明假設(shè)是正確的。顯著性水平：要得到一個判斷的決定，通常是給定一個閾值α，當(dāng)算出的概率（如上述例子中1/70）小于這個閾值時，就認(rèn)為結(jié)果是顯著的（提供了不利于原假設(shè)H的顯著證據(jù)），并導(dǎo)致否定H，這里的閾值α就稱為顯著性水平。在統(tǒng)計學(xué)中，顯著性水平根據(jù)不同的情況取不同的值，一般來說都是取0.01，0.05，0.1等幾個水平。精選課件（5）參數(shù)估計與假設(shè)檢驗（Estimationandtesting)由于假設(shè)檢驗是在一定的顯著性水平下得出的，因此當(dāng)采用這個方法觀測事件并下結(jié)論時，有可能會犯錯誤，這些錯誤主要有兩大類：精選課件PartThree:如何養(yǎng)成數(shù)據(jù)分析師的思維和品質(zhì)

人皆含靈，惟勤誘致?！抖U林寶訓(xùn)》宋代妙喜禪師態(tài)度決定一切基本的方法論二八原理既要主觀，也要客觀精選課件（1）態(tài)度決定一切信念：堅信數(shù)據(jù)背后一定有值得提煉的規(guī)律和結(jié)論，本著事物都是普遍聯(lián)系的辯證唯物主義觀點來看待業(yè)務(wù)的本質(zhì)規(guī)律及其內(nèi)在關(guān)系。信心：信念是針對客觀存在的數(shù)據(jù)而言，信息則是針對數(shù)據(jù)分析師自己而言。越是自信的人，越會理性看待自己的優(yōu)點和缺點，取長補(bǔ)短。信仰：把業(yè)務(wù)和思路作為信仰，始終要以業(yè)務(wù)和思路為重點，以分析技術(shù)為輔佐的手段。強(qiáng)調(diào)的是分析思路的價值和重要性要遠(yuǎn)勝過分析技術(shù)本身。精選課件（2）基本方法論做假設(shè)搞清楚分析的目的是什么定標(biāo)準(zhǔn)分析中要統(tǒng)一數(shù)據(jù)口徑，明確對比的有效性和可比性做比較萬事