華科數(shù)理統(tǒng)計(jì)

華科數(shù)理統(tǒng)計(jì)匯報(bào)時(shí)間：2024-01-19匯報(bào)人：AA目錄數(shù)理統(tǒng)計(jì)基本概念描述性統(tǒng)計(jì)分析推斷性統(tǒng)計(jì)分析非參數(shù)統(tǒng)計(jì)方法數(shù)據(jù)分析與可視化技術(shù)數(shù)理統(tǒng)計(jì)在各領(lǐng)域應(yīng)用舉例數(shù)理統(tǒng)計(jì)基本概念0101總體研究對(duì)象的全體個(gè)體組成的集合，通常用一個(gè)概率分布來(lái)描述。02樣本從總體中隨機(jī)抽取的一部分個(gè)體組成的集合，用于推斷總體的性質(zhì)。03樣本容量樣本中包含的個(gè)體數(shù)目，通常用n表示。總體與樣本010203樣本的函數(shù)，用于描述樣本的特征，如樣本均值、樣本方差等。統(tǒng)計(jì)量統(tǒng)計(jì)量的概率分布，描述了統(tǒng)計(jì)量在多次抽樣中的分布情況。抽樣分布由于抽樣導(dǎo)致的統(tǒng)計(jì)量與總體參數(shù)之間的差異。抽樣誤差統(tǒng)計(jì)量與抽樣分布一種連續(xù)型概率分布，具有鐘形曲線(xiàn)特點(diǎn)，廣泛應(yīng)用于各種統(tǒng)計(jì)推斷。正態(tài)分布一種連續(xù)型概率分布，常用于檢驗(yàn)總體方差或擬合優(yōu)度的推斷。χ^2分布（卡方分布）一種連續(xù)型概率分布，用于描述樣本均值與總體均值之間的差異分布情況，尤其在樣本容量較小且總體標(biāo)準(zhǔn)差未知時(shí)。t分布一種連續(xù)型概率分布，用于比較兩個(gè)總體方差是否相等。F分布常用統(tǒng)計(jì)分布一種統(tǒng)計(jì)推斷方法，通過(guò)構(gòu)造檢驗(yàn)統(tǒng)計(jì)量并根據(jù)抽樣分布確定拒絕域，從而判斷原假設(shè)是否成立。假設(shè)檢驗(yàn)用于衡量假設(shè)檢驗(yàn)中犯第一類(lèi)錯(cuò)誤的概率，通常表示為α。顯著性水平一種區(qū)間估計(jì)方法，根據(jù)樣本數(shù)據(jù)構(gòu)造一個(gè)包含總體參數(shù)的區(qū)間，并給出該區(qū)間包含總體參數(shù)的概率（置信水平）。置信區(qū)間用于衡量置信區(qū)間的可靠程度，通常表示為1-α，其中α為顯著性水平。置信水平假設(shè)檢驗(yàn)與置信區(qū)間描述性統(tǒng)計(jì)分析0203眾數(shù)適用于分類(lèi)數(shù)據(jù)，表示數(shù)據(jù)分布的峰值。01算術(shù)平均數(shù)適用于數(shù)值型數(shù)據(jù)，反映數(shù)據(jù)的平均水平。02中位數(shù)適用于順序數(shù)據(jù)，刻畫(huà)數(shù)據(jù)的中心位置。數(shù)據(jù)集中趨勢(shì)度量最大值與最小值的差，簡(jiǎn)單但易受極端值影響。極差四分位數(shù)間距方差與標(biāo)準(zhǔn)差上四分位數(shù)與下四分位數(shù)的差，反映中間50%數(shù)據(jù)的離散程度。衡量數(shù)據(jù)與其均值之間的平均偏離程度，適用于數(shù)值型數(shù)據(jù)。030201數(shù)據(jù)離散程度度量01偏態(tài)系數(shù)02峰態(tài)系數(shù)刻畫(huà)數(shù)據(jù)分布形態(tài)的偏斜程度。描述數(shù)據(jù)分布形態(tài)的尖峭或扁平程度。數(shù)據(jù)分布形態(tài)度量3σ原則根據(jù)正態(tài)分布的性質(zhì)，與均值偏離超過(guò)3倍標(biāo)準(zhǔn)差的數(shù)據(jù)可視為異常值。箱線(xiàn)圖法利用四分位數(shù)和異常值截?cái)帱c(diǎn)識(shí)別異常值。數(shù)據(jù)平滑采用移動(dòng)平均、指數(shù)平滑等方法對(duì)異常值進(jìn)行平滑處理。數(shù)據(jù)插補(bǔ)對(duì)于缺失的異常值，可采用均值、中位數(shù)、眾數(shù)或回歸等方法進(jìn)行插補(bǔ)。異常值識(shí)別與處理推斷性統(tǒng)計(jì)分析03利用樣本數(shù)據(jù)計(jì)算出一個(gè)具體的數(shù)值作為參數(shù)的估計(jì)值。點(diǎn)估計(jì)通過(guò)最大化樣本數(shù)據(jù)的聯(lián)合概率密度函數(shù)，得到參數(shù)的估計(jì)值。極大似然估計(jì)根據(jù)樣本數(shù)據(jù)和一定的置信水平，構(gòu)造一個(gè)包含參數(shù)真值的區(qū)間。區(qū)間估計(jì)在已知先驗(yàn)分布的情況下，利用樣本數(shù)據(jù)更新參數(shù)的后驗(yàn)分布。貝葉斯估計(jì)參數(shù)估計(jì)方法及應(yīng)用假設(shè)檢驗(yàn)的步驟提出假設(shè)、構(gòu)造檢驗(yàn)統(tǒng)計(jì)量、確定拒絕域、計(jì)算p值、作出決策。第一類(lèi)錯(cuò)誤與第二類(lèi)錯(cuò)誤理解并區(qū)分兩類(lèi)錯(cuò)誤的含義及影響因素。單側(cè)檢驗(yàn)與雙側(cè)檢驗(yàn)根據(jù)備擇假設(shè)的形式，選擇單側(cè)或雙側(cè)檢驗(yàn)。假設(shè)檢驗(yàn)的基本原理根據(jù)小概率事件原理，對(duì)總體參數(shù)提出假設(shè)，然后利用樣本信息判斷假設(shè)是否成立。假設(shè)檢驗(yàn)原理及步驟01020304通過(guò)比較不同組間的方差與組內(nèi)方差的大小，判斷不同組之間是否存在顯著差異。方差分析的基本原理針對(duì)一個(gè)因素進(jìn)行方差分析，判斷該因素對(duì)觀(guān)測(cè)值是否有顯著影響。單因素方差分析同時(shí)考慮多個(gè)因素對(duì)觀(guān)測(cè)值的影響，判斷各因素的主效應(yīng)及交互效應(yīng)是否顯著。多因素方差分析適用于多個(gè)總體均值是否相等的檢驗(yàn)問(wèn)題，如醫(yī)學(xué)、社會(huì)學(xué)、經(jīng)濟(jì)學(xué)等領(lǐng)域的數(shù)據(jù)分析。方差分析的應(yīng)用場(chǎng)景方差分析（ANOVA）回歸分析的基本原理通過(guò)建立因變量與自變量之間的回歸方程，描述它們之間的依存關(guān)系。線(xiàn)性回歸分析當(dāng)因變量與自變量之間存在線(xiàn)性關(guān)系時(shí)，采用線(xiàn)性回歸模型進(jìn)行擬合和預(yù)測(cè)。非線(xiàn)性回歸分析當(dāng)因變量與自變量之間存在非線(xiàn)性關(guān)系時(shí)，采用非線(xiàn)性回歸模型進(jìn)行擬合和預(yù)測(cè)。回歸分析的應(yīng)用場(chǎng)景適用于預(yù)測(cè)、控制、優(yōu)化等問(wèn)題，如金融、醫(yī)學(xué)、環(huán)境科學(xué)等領(lǐng)域的數(shù)據(jù)分析?；貧w分析及應(yīng)用非參數(shù)統(tǒng)計(jì)方法04非參數(shù)檢驗(yàn)原理非參數(shù)檢驗(yàn)是基于樣本數(shù)據(jù)秩或分布形態(tài)的統(tǒng)計(jì)推斷方法，不依賴(lài)于總體分布的具體形式，適用于各種數(shù)據(jù)類(lèi)型和分布形態(tài)?？捎糜诟鞣N數(shù)據(jù)類(lèi)型和分布形態(tài)，包括連續(xù)型、離散型和有序分類(lèi)數(shù)據(jù)等。對(duì)異常值和偏離假設(shè)的數(shù)據(jù)不敏感，結(jié)果較為穩(wěn)健。相對(duì)于參數(shù)檢驗(yàn)，非參數(shù)檢驗(yàn)的假設(shè)條件較少，更易于滿(mǎn)足。相對(duì)于參數(shù)檢驗(yàn)，非參數(shù)檢驗(yàn)的功效較低，即當(dāng)原假設(shè)為真時(shí)，拒絕原假設(shè)的概率較小。適用范圍廣假設(shè)條件少功效較低穩(wěn)健性強(qiáng)非參數(shù)檢驗(yàn)原理及特點(diǎn)用于檢驗(yàn)單個(gè)樣本中位數(shù)是否與某個(gè)已知值相等。符號(hào)檢驗(yàn)在符號(hào)檢驗(yàn)的基礎(chǔ)上，考慮了觀(guān)測(cè)值之間的差異程度，提高了檢驗(yàn)功效。符號(hào)秩次檢驗(yàn)用于檢驗(yàn)單個(gè)樣本的隨機(jī)性，即觀(guān)測(cè)值是否獨(dú)立同分布。單樣本游程檢驗(yàn)單樣本非參數(shù)檢驗(yàn)方法Mood中位數(shù)檢驗(yàn)與Mann-WhitneyU檢驗(yàn)類(lèi)似，但適用于有序分類(lèi)數(shù)據(jù)。兩樣本游程檢驗(yàn)用于比較兩個(gè)獨(dú)立樣本的隨機(jī)性是否存在差異。Mann-WhitneyU檢驗(yàn)用于比較兩個(gè)獨(dú)立樣本的中位數(shù)是否存在差異。兩獨(dú)立樣本非參數(shù)檢驗(yàn)方法Kruskal-WallisH檢驗(yàn)用于比較多個(gè)獨(dú)立樣本的中位數(shù)是否存在差異。Friedman檢驗(yàn)用于比較多個(gè)配對(duì)樣本的中位數(shù)是否存在差異。多樣本游程檢驗(yàn)用于比較多個(gè)獨(dú)立樣本的隨機(jī)性是否存在差異。多獨(dú)立樣本非參數(shù)檢驗(yàn)方法數(shù)據(jù)分析與可視化技術(shù)05數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換特征選擇數(shù)據(jù)降維數(shù)據(jù)清洗和預(yù)處理技術(shù)去除重復(fù)、缺失、異常值等過(guò)濾式、包裹式、嵌入式等方法標(biāo)準(zhǔn)化、歸一化、離散化等主成分分析（PCA）、線(xiàn)性判別分析（LDA）等監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)深度學(xué)習(xí)強(qiáng)化學(xué)習(xí)數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法簡(jiǎn)介01020304線(xiàn)性回歸、邏輯回歸、支持向量機(jī)（SVM）、決策樹(shù)等聚類(lèi)分析（K-means、層次聚類(lèi)等）、關(guān)聯(lián)規(guī)則挖掘（Apriori、FP-Growth等）神經(jīng)網(wǎng)絡(luò)（DNN）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）等Q-Learning、SARSA、DeepQ-Network（DQN）等數(shù)據(jù)可視化基本概念：圖表類(lèi)型、視覺(jué)元素、設(shè)計(jì)原則等數(shù)據(jù)可視化在業(yè)務(wù)分析中的應(yīng)用：銷(xiāo)售分析、用戶(hù)行為分析、運(yùn)營(yíng)分析等常用數(shù)據(jù)可視化工具：Matplotlib、Seaborn、Plotly等數(shù)據(jù)可視化在學(xué)術(shù)研究中的應(yīng)用：科研數(shù)據(jù)可視化、學(xué)術(shù)論文插圖等數(shù)據(jù)可視化技術(shù)及其應(yīng)用0102Python數(shù)據(jù)分析庫(kù)…Pandas、NumPy、SciPy等Python數(shù)據(jù)可視化…Matplotlib、Seaborn、Plotly等案例一電商銷(xiāo)售數(shù)據(jù)分析與可視化案例二用戶(hù)行為數(shù)據(jù)分析與可視化案例三學(xué)術(shù)論文數(shù)據(jù)可視化實(shí)踐030405案例數(shù)理統(tǒng)計(jì)在各領(lǐng)域應(yīng)用舉例06生物標(biāo)志物識(shí)別利用數(shù)理統(tǒng)計(jì)方法對(duì)生物樣本數(shù)據(jù)進(jìn)行分析，識(shí)別與疾病相關(guān)的生物標(biāo)志物，為疾病診斷和治療提供依據(jù)。臨床試驗(yàn)設(shè)計(jì)設(shè)計(jì)合理的臨床試驗(yàn)方案，運(yùn)用數(shù)理統(tǒng)計(jì)方法對(duì)試驗(yàn)數(shù)據(jù)進(jìn)行分析，評(píng)估藥物或治療方法的療效和安全性。生存分析研究生物體的生存時(shí)間和相關(guān)因素，利用數(shù)理統(tǒng)計(jì)方法進(jìn)行生存分析，為生物醫(yī)學(xué)研究和公共衛(wèi)生政策制定提供數(shù)據(jù)支持。生物醫(yī)學(xué)領(lǐng)域應(yīng)用舉例運(yùn)用數(shù)理統(tǒng)計(jì)方法對(duì)金融市場(chǎng)的歷史數(shù)據(jù)進(jìn)行分析，評(píng)估投資組合的風(fēng)險(xiǎn)和收益，為投資決策提供依據(jù)。風(fēng)險(xiǎn)評(píng)估與管理利用數(shù)理統(tǒng)計(jì)方法對(duì)經(jīng)濟(jì)數(shù)據(jù)進(jìn)行建模和分析，研究經(jīng)濟(jì)變量之間的關(guān)系，預(yù)測(cè)經(jīng)濟(jì)發(fā)展趨勢(shì)。經(jīng)濟(jì)計(jì)量分析基于歷史信貸數(shù)據(jù)，運(yùn)用數(shù)理統(tǒng)計(jì)方法構(gòu)建信用評(píng)分模型，對(duì)借款人的信用風(fēng)險(xiǎn)進(jìn)行評(píng)估和預(yù)測(cè)。信用評(píng)分010203金融經(jīng)濟(jì)領(lǐng)域應(yīng)用舉例政策效果評(píng)估基于政策實(shí)施前后的相關(guān)數(shù)據(jù)，利用數(shù)理統(tǒng)計(jì)方法進(jìn)行政策效果評(píng)估，為政策制定和調(diào)整提供依據(jù)。人口統(tǒng)計(jì)學(xué)研究運(yùn)用數(shù)理統(tǒng)計(jì)方法對(duì)人口數(shù)據(jù)進(jìn)行建模和分析，研究人口數(shù)量、結(jié)構(gòu)、分布等特征及其變化規(guī)律。社會(huì)調(diào)查數(shù)據(jù)分析運(yùn)用數(shù)理統(tǒng)計(jì)方法對(duì)社會(huì)調(diào)查數(shù)據(jù)進(jìn)行分析，研究社會(huì)現(xiàn)象和問(wèn)題，為社會(huì)科學(xué)研究提供數(shù)據(jù)支持。社會(huì)科學(xué)領(lǐng)域應(yīng)用舉例