數(shù)據(jù)背后1PPT幻燈片

對于追求效率的公民而言，統(tǒng)計思維總有一天會和讀寫能力一樣必要

H.G.Wells(1866-1946)英國著名（科幻）小說家社會活動家2023/9/221定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系前言

目的培養(yǎng)科學(xué)精神了解數(shù)據(jù)分析方法內(nèi)容數(shù)據(jù)的獲取數(shù)據(jù)的展示不確定性和概率數(shù)據(jù)的解讀2023/9/222定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系前言

教材《讓數(shù)據(jù)告訴你》陸立強編著復(fù)旦大學(xué)出版社2008年參考書《統(tǒng)計學(xué)——基本概念和方法》G.R.Iversen、M.Gergen著吳喜之等譯高等教育出版社，施普林格出版社2000年2023/9/223定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系定義簡體版：有目的的數(shù)據(jù)采集和處理行為完整版：決策過程中獲取和處理信息的步驟和規(guī)則例：醫(yī)學(xué)統(tǒng)計例：社會統(tǒng)計例：生活統(tǒng)計2023/9/226定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系數(shù)字和數(shù)據(jù)統(tǒng)計離不開數(shù)字?jǐn)?shù)字不等于數(shù)據(jù)數(shù)據(jù)：有意義的數(shù)字例1（成績表）2023/9/227定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系統(tǒng)計的歷史早期：統(tǒng)治者了解居民人數(shù)和納稅土地數(shù)量17、18世紀(jì)：物理學(xué)對精確測量的需要19世紀(jì)：農(nóng)學(xué)、生命科學(xué)、行為科學(xué)對于數(shù)據(jù)的需要20世紀(jì)：經(jīng)濟學(xué)、管理學(xué)、日常生活2023/9/228定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系統(tǒng)計的作用獲得信息，幫助決策人口：人口普查就業(yè)：失業(yè)率調(diào)查物價：CPI2023/9/229定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系統(tǒng)計的作用探索新知，科學(xué)發(fā)現(xiàn)案例1：心臟與情感觀察：初次、再次、辨析猜想：抱在左胸對新生兒有利實驗：心跳聲播放對比結(jié)論：成人的正常心跳對新生嬰兒有安撫作用.2023/9/2210定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系可靠的統(tǒng)計可信的數(shù)據(jù)正確的方法科學(xué)的解讀2023/9/2211定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系常用數(shù)據(jù)獲取方法普查：針對全部對象的調(diào)查人口普查：是指在國家統(tǒng)一規(guī)定的時間內(nèi)，按照統(tǒng)一的方法、統(tǒng)一的項目、統(tǒng)一的調(diào)查表和統(tǒng)一的標(biāo)準(zhǔn)時點，對全國人口普遍地、逐戶逐人地進(jìn)行的一次性調(diào)查登記，是提供全國基本人口數(shù)據(jù)的主要來源。當(dāng)今世界上許多國家已規(guī)定，每隔五年或十年舉行一次人口普查。

中國：1953年第一次，2010年第六次經(jīng)濟普查：二、三產(chǎn)業(yè)

中國：2004年第一次，2008年第二次特點：全面、代價高2023/9/2212定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系常用數(shù)據(jù)獲取方法案例研究（解剖麻雀）：獲得特定對象數(shù)據(jù)具體準(zhǔn)確無法立即推廣觀察研究：獲得部分對象的數(shù)據(jù)無人為干預(yù)無法排除其他因素，不能確定因果關(guān)系實驗研究：有目的的觀察研究人為干預(yù)有助于確定因果關(guān)系2023/9/2213定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系影響數(shù)據(jù)可信度的因素發(fā)起人和資助方工作人員行為工作時點提問方式問題的敘述2023/9/2214定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系發(fā)起人和資助方拿人錢財，替人“消災(zāi)”工作人員的行為第六次人口普查工作時點虛擬新聞

一位四年級心理學(xué)專業(yè)女生調(diào)查“心理學(xué)專業(yè)的同學(xué)是否比化學(xué)專業(yè)的學(xué)生要聰明一些”。調(diào)查分別在5個心理學(xué)專業(yè)高年級班級和5個化學(xué)專業(yè)高年級實驗室進(jìn)行，要求在場的學(xué)生分別寫下他們的平均績點和所在專業(yè)，整理后心理學(xué)專業(yè)學(xué)生的平均績點為3.05，化學(xué)只有2.91。這項調(diào)查是在星期三(學(xué)生回家享受國慶節(jié)大餐的前一天)進(jìn)行的2023/9/2215定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系提問方式封閉式問題：選擇題封閉式問題的局限可能不能反映真實的情況例：政府滿意度網(wǎng)絡(luò)調(diào)查例:社會問題調(diào)查(1987年)封閉式能源短缺5.6%公立學(xué)校質(zhì)量32%墮胎合法 8.4%污染 14%開放式提及上述回答只占了2.4%2023/9/2216定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系提問方式開放式問題：問答題開放式問題的局限難于歸納整理提問方式影響被調(diào)查者思路 例:50年內(nèi)重要事件和變化調(diào)查(1987)開放式問題的結(jié)果二次大戰(zhàn)： 14.1%太空探索: 6.9%肯尼迪遇刺：4.6%越南戰(zhàn)爭： 10.1%不知道： 10.6% 2023/9/2217定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系封閉式問題的結(jié)果二次大戰(zhàn)： 22.9%太空探索: 15.8%肯尼迪遇刺： 11.6%越南戰(zhàn)爭： 14.1%不知道： 0.3%電腦的誕生： 29.9%

修正方法

小范圍開放式+大規(guī)模封閉2023/9/2218定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系問題的敘述無意偏向：問題中的某些詞匯含義不清請你回憶一生中最重要的一天?你是否吃早餐?有意偏向你是否同意謀殺無辜生命的墮胎行為是合法的？你是否同意在某些情況下為了維護母親權(quán)益，墮胎是一種合法行為？投其所好：在敏感問題上，被調(diào)查者通常按大多數(shù)人喜歡的答案回答.問學(xué)生：你吸煙嗎?

問學(xué)生：你談過戀愛嗎?

2023/9/2219定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系問題的敘述對牛彈琴：對自己不懂(或者沒想過)的問題，被調(diào)查者往往不愿表現(xiàn)出自己無知你參加過投票嗎?請君入甕你認(rèn)為目前青少年中存在的酗酒問題嚴(yán)重到何種程度了?請你列出五項目前青少年面臨的社會問題?引人撒謊2023/9/2220定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系有關(guān)數(shù)據(jù)的術(shù)語個體：一個人或者對象（事件），對應(yīng)數(shù)據(jù)表中的一行某個人的成績某一天的天氣情況變量：數(shù)據(jù)表中的一列，對應(yīng)對象的一個屬性或者特征單科成績最高氣溫總體：全部個體樣本：被關(guān)注的個體2023/9/2221定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系有關(guān)數(shù)據(jù)的術(shù)語分類變量：無需進(jìn)行數(shù)值計算的變量度量變量：可以進(jìn)行數(shù)值計算的變量離散度量變量連續(xù)度量變量（理論意義）例：天氣情況表：天氣、溫度例：學(xué)生成績表：姓名、年級、成績注：主觀愿望和情感的度量2023/9/2222定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系變異：同一對象的同一個變量經(jīng)重復(fù)測量所得值的差異成績和排名鋼軌長度自然變異：不同對象的同一個變量在一次測量所得值的差異成績氣候差異2023/9/2223定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系有效變量：可驗證房價:可靠變量：變異小智商測量值偏差變量：系統(tǒng)偏向性未校正量器的測量值2023/9/2224定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系輕信統(tǒng)計，后患無窮數(shù)據(jù)工資被增長方法中國人真的富了嗎？解讀吸煙的危害2023/9/2225定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系輕信統(tǒng)計，后患無窮案例2中國知識分子真的短命嗎？數(shù)據(jù)指標(biāo)平均期望壽命2023/9/2226定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系第一部分?jǐn)?shù)據(jù)的獲取2023/9/2227定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系第二章抽樣調(diào)查2023/9/2228定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系抽樣調(diào)查定義：針對樣本的觀察，屬于觀察研究的一種特點：可行：質(zhì)量檢驗；普查登記質(zhì)量檢驗可用(及時)：CPI我國CPI統(tǒng)計中包括：食品、煙酒及用品、衣著、家庭設(shè)備用品和維修、醫(yī)療保健、交通通訊、娛樂教育、居住。根據(jù)抽樣選出近13萬戶城鄉(xiāng)居民家庭的消費習(xí)慣，在8大類中確定262個基本分類，并選出600種左右具體商品和服務(wù)。可信：民意調(diào)查關(guān)鍵：樣本的代表性2023/9/2229定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系抽樣范圍：可以抽取樣本的個體集合例:美國就業(yè)率調(diào)查個體:有勞動能力者（不包括不愿就業(yè)者）總體：全體成年勞動力樣本:經(jīng)抽樣得到的近11萬6千名成年人抽樣范圍：登記在冊的家庭中國登記失業(yè)率調(diào)查失業(yè)率案例3.例:中國房價數(shù)據(jù)2023/9/2230定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系簡單隨機抽樣抽樣范圍中的個體成為樣本成員的概率相等步驟每個個體編號用抽簽或計算機搖號方法隨機生成入選個體編號例：以Excel為例分層隨機抽樣抽樣范圍按相似程度分層每層隨機抽樣各層樣本組成總樣本優(yōu)點：降低成本、便于溝通、減少變異性城鎮(zhèn)居民人均可支配收入調(diào)查2023/9/2231定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系隨機撥號抽樣范圍：裝電話家庭步驟1按用戶比例確定樣本地區(qū)入選的局號步驟2按每個地段占樣本局用戶的比例確定樣本地段入選的兩位分支號步驟3隨機生成最后2位號碼2023/9/2232定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系分組抽樣抽樣范圍分組以組為個體隨機抽樣抽中的小組普查系統(tǒng)抽樣抽樣范圍分組（等長）小組編號隨機選號各組同號作為樣本2023/9/2233定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系綜合抽樣適合：全國范圍的抽樣調(diào)查步驟分層確定單元：以省(市)/區(qū)(縣)/街道(鄉(xiāng)鎮(zhèn))為單元，分層選取若干單元分層確定小區(qū)：將入選單元按社區(qū)（村）分層選取若干小區(qū)例：我國于2005年底開展了全國1%人口抽樣調(diào)查工作。這次調(diào)查以全國為總體，以各省、自治區(qū)、直轄市為次總體，采取綜合抽樣方法。最終樣本單位為調(diào)查小區(qū)。這次調(diào)查的樣本量為1705萬人，占全國總?cè)丝诘?.31%。

2023/9/2234定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系抽樣中的常見錯誤采用錯誤的抽樣范圍過覆蓋：超過總體（不常見）欠覆蓋：不達(dá)總體（較常見）電話調(diào)查入室調(diào)查路邊調(diào)查采用志愿者樣本志愿者樣本：通過廣告等宣傳手段征集到的個體網(wǎng)絡(luò)調(diào)查的最大問題2023/9/2235定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系抽樣中的常見錯誤響應(yīng)率不足響應(yīng)率：提供有效信息的個體在樣本中所占比例響應(yīng)者不能代表未響應(yīng)者的意見原因1：沒有和樣本中成員直接接觸原因2：被調(diào)查者不配合或者不在家案例41936年美國大選結(jié)果預(yù)測《文摘》預(yù)測失敗蓋洛普一舉成名2023/9/2236定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系第三章實驗和觀察2023/9/2237定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系從數(shù)據(jù)中探尋規(guī)律實驗性科學(xué)規(guī)律的發(fā)現(xiàn)離不開數(shù)據(jù)處理解釋量和響應(yīng)量定義：研究者關(guān)注的變量中，其自身的變化可以導(dǎo)致（或部分導(dǎo)致）其他變量變化發(fā)生的變量稱為解釋量（因），其他的量稱為響應(yīng)量（果）例：新生兒體重變化研究案例5：阿司匹林和心臟病研究解釋量不唯一，響應(yīng)量唯一宏觀經(jīng)濟受投資、出口、消費三個因素影響解釋量和響應(yīng)量不易鑒別禿頂和心臟病2023/9/2238定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系混淆量對響應(yīng)量有作用并且和已有解釋量無法區(qū)別的因素例：吸煙孕婦所生子女智商較低響應(yīng)量：子女智商解釋量：孕婦吸煙混淆量：營養(yǎng)、受教育程度例：學(xué)歷越高和收入越高響應(yīng)量：收入解釋量：受教育年限混淆量：能力、家庭背景發(fā)現(xiàn)和確認(rèn)混淆量是推動科學(xué)進(jìn)步和社會發(fā)展的一大動力2023/9/2239定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系交互量解釋量A的作用依賴于解釋量B的作用，稱B是A的交互量吸煙孕婦所生子女智商較低交互量：吸煙數(shù)量、運動量關(guān)系：堅持運動的吸煙孕婦的子女智商沒有降低吸煙數(shù)量和運動量有相互作用實驗和觀察觀察研究：除了解釋量、響應(yīng)量外，無法保持其他因素相同。因而無法排除混淆量的存在也無法確認(rèn)交互量的作用實驗研究：除了解釋量、響應(yīng)量外，保持其他因素相同，理論上實驗研究的結(jié)果可信度高于觀察研究。實際上實驗研究不是萬能的某些人為處理的解釋量不人道某些人為處理的解釋量不可行觀察研究是不可缺的，是實驗的基礎(chǔ)2023/9/2240定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系關(guān)于實驗的基本術(shù)語實驗對象：實驗中的個體實驗主體：實驗對象中的人實驗因素：實驗中的解釋量水平：實驗因素的不同取值處理方式：對實驗對象所施加的人為影響，即各種實驗因素水平的一種組合試驗組：接受真正處理的實驗對象對照組：不接受真正處理的實驗對象2023/9/2241定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系如何設(shè)計一個好的實驗安慰劑：外觀和實驗藥物相同但沒有效果也無副作用的食物，一般用于對照組使用安慰劑可以避免實驗對象的心理作用對實驗效果的影響。即將心理作用從混淆量中排除是否具有對照組是檢驗醫(yī)學(xué)實驗科學(xué)性的重要指標(biāo)2023/9/2242定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系如何設(shè)計一個好的實驗事前準(zhǔn)備：明確解釋量和響應(yīng)量確定處理方式例：廣告對購買行為的影響例：麻醉物品對駕駛能力的影響例：小班化教學(xué)小班化教學(xué)的實驗2023/9/2243定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系如何設(shè)計一個好的實驗實施方法（完全）隨機比較實驗為實驗對象隨機指派處理方式例：是否服用阿司匹林、新生兒是否聽心跳聲邏輯基礎(chǔ)通過隨機指派，實驗組和對照組除了處理方式不同外，其他未知因素在平均意義上是相同的。如果實驗結(jié)果表明兩組的響應(yīng)量呈現(xiàn)某種差異，那么可以認(rèn)為處理方式的不同是導(dǎo)致差異發(fā)生的原因。2023/9/2244定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系如何設(shè)計一個好的實驗完全隨機指派不總是可行的實驗對象數(shù)量不夠存在混淆量例：性別對于藥物療效的影響例：家庭生活對病人康復(fù)的作用配對實驗要求實驗對象在某些條件上相同或者相似，處理方式隨機指派給實驗對象。常見的一種配對實驗是以隨機的順序?qū)ν粚嶒瀸ο笫┮圆煌奶幚矸绞剑@時，實驗組和對照組相同。例：麻醉物品對駕駛能力的影響2023/9/2245定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系如何設(shè)計一個好的實驗分塊設(shè)計將實驗對象按已知的混淆量（如：性別、年齡、社會地位、收入等）分塊（組），對塊中對象分別施以隨機處理。例：農(nóng)田耕作試驗分塊試驗可以對不同的塊得到更加確切的結(jié)論,彌補了隨機試驗因無法區(qū)別實驗對象自然差異而招致對其結(jié)論普遍性的懷疑。研究結(jié)果必須指出其來源，即所在的塊，否則也會誤導(dǎo)讀者。2023/9/2246定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系實驗中的問題及其處置方法霍索恩效應(yīng)定義：心理作用對實驗結(jié)果的影響解決方法：采用雙盲試驗單盲實驗：實驗人員或者實驗對象知道處理方式的實驗例:打坐是否有助于減肥雙盲實驗：實驗人員和實驗對象不知道處理方式的實驗例：藥物臨床試驗2023/9/2247定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系實驗中的問題及其處置方法混淆量被提升為解釋量解決方式：通過隨機方式使混淆量有相同的機會同時出現(xiàn)在實驗組和對照組例：是否有家庭成員吸煙對戒煙的作用忽略了交互量的作用解決辦法：同時研究相關(guān)的交互量，并在研究報告中加以披露例：家庭成員吸煙的多少真實性和普遍性增強實驗環(huán)境的真實性2023/9/2248定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系案例6：尼古丁膏藥的功效志愿者：240名,20-65歲,健康,最近一年中每天吸煙至少20支,想戒煙.實驗過程:實驗組: 每天一張含22毫克尼古丁膏藥，對照組: 安慰劑時間: 八周方法: 雙盲結(jié)果:實驗組有46%戒煙;對照組則為20%.一年后,這個數(shù)字有所降低,但實驗組的比率還是高于對照組2023/9/2249定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系觀察研究案例：脫發(fā)和心臟病觀察665名因心臟病首次發(fā)作而住院的男性，脫發(fā)約有42%772名患其他疾病的男性住院病人，比例為34%。初步結(jié)論：脫發(fā)男性患心臟病的可能性比只有少許脫發(fā)或者不脫發(fā)的男性要高進(jìn)一步研究：研究人員利用可靠的統(tǒng)計實驗手段發(fā)現(xiàn)不管男性的典型性脫發(fā)程度如何，都會使其患心臟病的風(fēng)險增加。推測：脫發(fā)和心臟病如此密切可能源于第三個因素，比如男性荷爾蒙。2023/9/2250定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系最常見的觀察研究：病例對照研究方法分組：病例組、對照組病例對照研究VS配對設(shè)計分組得當(dāng)，則效果相似只是處理方式不是隨機指派優(yōu)點自然設(shè)計得當(dāng)可以排除混淆量2023/9/2251定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系觀察研究中的問題及其處置方法把兩種變量間的聯(lián)系當(dāng)成因果關(guān)系地震和井水水位上升解決方法1:列舉出所有可能的混淆量解決方法2:病例組和對照組的條件相似不適當(dāng)?shù)財U大結(jié)論的適用范圍擴大采樣范圍明示樣本范圍過分依賴歷史數(shù)據(jù)回溯式觀察展望式觀察2023/9/2252定量分析陸立強復(fù)旦大學(xué)數(shù)學(xué)系如何判斷因果關(guān)系科學(xué)的實驗方法但實驗絕非萬能自由貿(mào)易是貧富分化的根源？某種藥物會導(dǎo)致先天缺陷？一般判斷準(zhǔn)則較強的關(guān)聯(lián)普遍的關(guān)聯(lián)響應(yīng)量效應(yīng)和解釋量大小成正比解釋量先于響應(yīng)量而存在關(guān)聯(lián)是可以解釋的2023/9/2253定量分析