概率論與統(tǒng)計(jì)的基礎(chǔ)知識(shí)（概率空間、最基本的分布、數(shù)字特征）

概率論與統(tǒng)計(jì)的基礎(chǔ)知識(shí)（概率空間、最基本的分布、數(shù)字特征）1樣本空間與概率概率模型每個(gè)概率模型對(duì)應(yīng)?個(gè)試驗(yàn)，這個(gè)試驗(yàn)所產(chǎn)?的所有可能結(jié)果組成了樣本空間，其中某些結(jié)果占樣本空間?例就是它的概率。事件是結(jié)果的集合，可以是結(jié)果的交集、并集啥的都?。舉個(gè)例?：波利亞罐?模型就是?種概率模型，它所產(chǎn)?的罐?中所有球的各?個(gè)數(shù)和?例就可以叫隨機(jī)變量，?RC算法所找到的點(diǎn)具有某種性質(zhì)，它所代表的事件占樣本空間?例就是概率。舉個(gè)例?：?次投硬幣，我們可以關(guān)?10次投硬幣正?向上的次數(shù)。（這是?個(gè)0，到10的樣本空間，每次試驗(yàn)結(jié)果都是互斥的）。現(xiàn)實(shí)中的n重伯努利實(shí)驗(yàn)、?何分布、?項(xiàng)分布、泊松分布都是序貫?zāi)Ｐ汀Ｅe個(gè)例?：我們已經(jīng)確定了試驗(yàn)和對(duì)應(yīng)樣本空間，那么概率律就表?確定任何結(jié)果或者結(jié)果集合的似然程度，也就是說(shuō)它給每?個(gè)事件?個(gè)概率。那么這些概率就相當(dāng)于數(shù)學(xué)??的數(shù)字了，在樣本空間中，它有??的計(jì)算?法。即概率的具體解釋是頻率，在?量重復(fù)試驗(yàn)的情況下，發(fā)?A事件的次數(shù)占?趨向于其頻率。以上，我們便定義了概率論的基?，就是給?量重復(fù)試驗(yàn)中選擇樣本空間，在這個(gè)樣本空間中，某種事件出現(xiàn)的概率，其在樣本空間滿??負(fù)性、可加性、歸?化等定理。由這些可以推導(dǎo)概率論中很多性質(zhì)。離散模型和連續(xù)模型的不同在于樣本空間的離散還是連續(xù)?？紤]?個(gè)例?：我們有那么現(xiàn)在假設(shè)這有限個(gè)可能結(jié)果的概率是均等的，那么有考慮?個(gè)例?：都可以由三條基本定理推導(dǎo)出來(lái)它是指對(duì)待?個(gè)實(shí)驗(yàn)的時(shí)候，?定要清楚樣本空間是什么。1.3條件概率先有直觀的理解，后有數(shù)學(xué)定義，然后就分流了，???是純數(shù)學(xué)的關(guān)?數(shù)學(xué)?具本?性質(zhì)等等，另???是直接?數(shù)學(xué)?具的各種結(jié)論去應(yīng)?。直觀數(shù)學(xué)定義其純數(shù)學(xué)??的性質(zhì)條件概率是定義在已經(jīng)發(fā)?的事件上的概率，樣本空間就是已經(jīng)發(fā)?的事件本?。它就會(huì)滿?概率的三個(gè)公理，可加性、?負(fù)性、歸?性。這個(gè)跟數(shù)學(xué)發(fā)展是?樣的，從定義和公理出發(fā)，推導(dǎo)出?切推論。?如定義?然數(shù)及其運(yùn)算，這?是定義概率律及其運(yùn)算。1.6計(jì)數(shù)法學(xué)習(xí)它，是為了解決理解多項(xiàng)式分布的理論困難，計(jì)數(shù)法是組合數(shù)學(xué)的?部分。推薦去看下《組合數(shù)學(xué)》。最基礎(chǔ)的計(jì)數(shù)原則就是分階段計(jì)數(shù)了，在這?，樹形圖可以很好地幫助我們得到所有可能結(jié)果的數(shù)?。選這才明?排列的意思，n中選k，與次序有關(guān)，?如ab和ba被認(rèn)為是兩種，利?計(jì)數(shù)準(zhǔn)則（樹形圖）來(lái)解釋?較好的，直觀易懂。?組合，是n中選k，k個(gè)不同的序列，與次序?關(guān)。是?種集合的概念。在?項(xiàng)式分布中的屬于組合。從n中選k的組合可以看做對(duì)n的分割，分割成兩個(gè)集合，?個(gè)是k個(gè)，另?個(gè)是n-k個(gè)元素。這可以幫助我們理解多項(xiàng)式分布，從集合的?度分階段，先確定?個(gè)集合，再確定另?個(gè)集合，直到確定r個(gè)集合。1.7?結(jié)2離散隨機(jī)變量在概率論對(duì)應(yīng)的實(shí)驗(yàn)和樣本空間中，每個(gè)實(shí)驗(yàn)結(jié)果關(guān)聯(lián)著?個(gè)數(shù)，這個(gè)數(shù)就是隨機(jī)變量，隨機(jī)變量是實(shí)驗(yàn)結(jié)果的?個(gè)實(shí)值函數(shù)。舉個(gè)例?：?如在波利亞罐?模型中，進(jìn)?n-1次抽取過程中，其中某種球被抽取的次數(shù)就是?個(gè)隨機(jī)變量。它代表n-1次實(shí)驗(yàn)?zāi)硞€(gè)實(shí)驗(yàn)結(jié)果，關(guān)聯(lián)著?個(gè)明顯的數(shù)值（抽取次數(shù)）。很明顯，它是離散的，因?yàn)樗闹涤蛑蝗∮邢薅鄠€(gè)值。舉個(gè)例?：波利亞罐?模型下，n-1次抽取中，某種球被抽取次數(shù)是個(gè)隨機(jī)變量，離散的。我們關(guān)?它關(guān)聯(lián)某個(gè)數(shù)值的概率，這是它最重要的特征。我們?分布列描述它，這?然就解釋了某某隨機(jī)變量趨向某某分布的話。?種特別的隨機(jī)變量，這種隨機(jī)變量的實(shí)驗(yàn)結(jié)果只有兩種，成功或者不成功。將伯努利實(shí)驗(yàn)進(jìn)?n次，我們關(guān)?n次出現(xiàn)x次的概率，這個(gè)x就是?個(gè)?項(xiàng)隨機(jī)變量。獨(dú)?實(shí)驗(yàn)序列中直到實(shí)驗(yàn)第?次“成功”所需的試驗(yàn)次數(shù)，這個(gè)成功可以換成別的東西，?如波利亞罐?模型的抽取到某個(gè)球之類的事件。它是?項(xiàng)分布的n很?，p很?的情況。2.3隨機(jī)變量的函數(shù)在某個(gè)隨機(jī)變量x上，以它為?變量，構(gòu)建函數(shù)到另?個(gè)隨機(jī)變量y上。y也是?個(gè)隨機(jī)變量。2.4期望與?差每次進(jìn)?實(shí)驗(yàn)時(shí)，期望的數(shù)值是多少？這就是隨機(jī)變量的期望?？紤]波利亞罐?模型中n-1次抽取（返回不加球）中，你期望某個(gè)顏?球抽取的次數(shù)是多少？這就是?項(xiàng)分布啊，?如抽球100次，剛開始有兩種顏?球，每個(gè)球?個(gè)。抽取100次中，??球被抽取的次數(shù)是50次，那這不就是?項(xiàng)分布嗎？??差定義了隨機(jī)變量在期望附近的分散程度的?個(gè)測(cè)度。由其公式就可以看出我對(duì)于那種某次失敗，之后就不能進(jìn)?的概率論實(shí)驗(yàn)不太會(huì)，我?前接觸的都是n次實(shí)驗(yàn)，然后求解其中出現(xiàn)的某些隨機(jī)變量。我是沒想到?錢作為隨機(jī)變量，來(lái)計(jì)算期望判斷，這個(gè)很神奇，選擇你的隨機(jī)變量計(jì)算相應(yīng)期望即可。有個(gè)?技巧，就是你想要什么，就把什么作為隨機(jī)變量，分析其分布列，得到期望就好。2.5多個(gè)隨機(jī)變量的聯(lián)合分布列?個(gè)實(shí)驗(yàn)設(shè)計(jì)?個(gè)隨機(jī)變量，多個(gè)隨機(jī)變量是?個(gè)實(shí)驗(yàn)結(jié)果之下的多個(gè)隨機(jī)變量，它們涉及的樣本空間和概率是相同的。1在上圖的公式中，劃線部分就是概率圖模型的理論基礎(chǔ)了，因?yàn)樵趫D上上每個(gè)點(diǎn)都可以認(rèn)為是?個(gè)離散隨機(jī)變量，所以計(jì)算某個(gè)節(jié)點(diǎn)的邊緣分布，就可以利?上式。這是多個(gè)離散隨機(jī)變量的聯(lián)合分布，想要得到某個(gè)隨機(jī)變量邊緣分布列，就需要進(jìn)?加法法則。將其從聯(lián)合概率中加起來(lái)。通過多個(gè)離散隨機(jī)變量，可以構(gòu)建更多的隨機(jī)變量。2.6條件已經(jīng)發(fā)?某個(gè)事件下的隨機(jī)變量的分布列。3?般隨機(jī)變量學(xué)習(xí)這個(gè)是好奇論?中是如何把分?數(shù)?的離散邊緣分布，給它過度到連續(xù)的貝塔分布的？借助微積分的知識(shí)來(lái)理解這個(gè)連續(xù)隨機(jī)變量，解決我的問題了，因?yàn)楦怕拭芏鹊拿芏榷x就是落?這個(gè)區(qū)間的概率，不?定就是某個(gè)分?剛好等于n/d的概率，只能表?某個(gè)分??例取值某個(gè)區(qū)間的概率。所以就不能單純?d乘了，4隨機(jī)變量的深?內(nèi)容4.2協(xié)?差和相關(guān)兩個(gè)隨機(jī)變量之間關(guān)系的??與?向。5極限理論討論隨機(jī)變量序列的漸進(jìn)性質(zhì)討論?數(shù)定律的內(nèi)容，即隨機(jī)變量序列Mn，從?樣本意義上看，收斂于Xi的均值。5.1馬爾科夫和切?雪夫不等式不得不說(shuō)，這是?句顯?易見的廢話。讓我康康怎么證明不看了，有點(diǎn)復(fù)雜馬爾科夫不等式和切?雪夫不等式可以幫助我們獲取切?雪夫不等式就是刻畫事物偏離它本質(zhì)的偏離程度的??的概率。在隨機(jī)變量分布未知的情況下，我們只知道均值和?差，切?雪夫不等式給出了x落?均值為中?的ε鄰域概率的概率范圍。5.2弱?數(shù)定律5.3依概率收斂這?的收斂和數(shù)列的收斂定義是不?樣的。7馬爾可夫鏈7.1離散馬爾可夫鏈狀態(tài)空間以及其中的轉(zhuǎn)換。將其和數(shù)學(xué)分析聯(lián)系就是定義是馬爾可夫鏈，公理是其假設(shè)條件。由此后?都可以推導(dǎo)出來(lái)。在某?篇論?就認(rèn)為源點(diǎn)到邊界點(diǎn)的所有路徑是馬爾科夫鏈，進(jìn)?計(jì)算該給定狀態(tài)序列的概率。綜合起來(lái)就是該點(diǎn)的最?似然，MAP?派是這樣的。這個(gè)不就是當(dāng)前某點(diǎn)為源點(diǎn)情況下，未來(lái)某個(gè)時(shí)期所有節(jié)點(diǎn)的狀態(tài)概率分布的理論基礎(chǔ)嗎？也就是概率圖模型DMP?派。7.2狀態(tài)的分類8貝葉斯統(tǒng)計(jì)推斷是從觀察數(shù)據(jù)推斷未知變量和未知模型的有關(guān)信息過程。舉個(gè)例?：概率論是建?在第?章公理上?我完備的數(shù)學(xué)課題，假設(shè)有?個(gè)模型能對(duì)應(yīng)現(xiàn)實(shí)，那么其滿?概率公理，然后我們運(yùn)?數(shù)學(xué)?法對(duì)這個(gè)概率模型進(jìn)?量化，即可。但是統(tǒng)計(jì)，就存在很多合理的?法，有不同的結(jié)論。通過?們加的假設(shè)和條件，其結(jié)果都不?樣。區(qū)別僅僅在于如何看待未知變量或者模型，貝葉斯認(rèn)為它是已知的某種分布，借助數(shù)據(jù)來(lái)調(diào)整它。?經(jīng)典統(tǒng)計(jì)認(rèn)為它是未知的，需要估計(jì)。舉個(gè)例?：再舉個(gè)例?：最?似然估計(jì)就是經(jīng)典統(tǒng)計(jì)推斷?法，謠?源定位問題可以被看做這樣?個(gè)問題。認(rèn)為源點(diǎn)是?個(gè)參數(shù)，未知，需要估計(jì)。?貝葉斯map統(tǒng)計(jì)推斷就是2018常等?的?法，這兩種主流統(tǒng)計(jì)推斷都?在了溯源問題。模型推斷就是根據(jù)輸?、輸出來(lái)推斷過程，變量推斷是根據(jù)輸出推斷輸?。有時(shí)候，可以兩者結(jié)合。舉個(gè)例?：溯源問題的中ML估計(jì)器就是變量推斷、?推斷傳播模型就是模型推斷。本章?錄8.2點(diǎn)估計(jì)、假設(shè)實(shí)驗(yàn)、最?后驗(yàn)概率準(zhǔn)則前?貝葉斯推斷是?個(gè)貝葉斯的總體公式，該公式給出了知道先驗(yàn)分布、條件分布列或者概率密度函數(shù)后的后驗(yàn)概率結(jié)果，其實(shí)就是先驗(yàn)+后驗(yàn)數(shù)據(jù)去更新先驗(yàn)得到新的分布?已，?最?后驗(yàn)概率就是對(duì)任意給定的觀察值，需要得到后驗(yàn)概率最?的那個(gè)參數(shù)。（通過結(jié)果去得到概率最?的參數(shù)））構(gòu)建關(guān)于觀察值X的函數(shù)，類似反函數(shù)，然后每個(gè)觀察值都可以得到?個(gè)參數(shù)估計(jì)，如果你要取最?的參數(shù)估計(jì)，那就是最?后驗(yàn)，也可取條件期望。對(duì)于溯源問題來(lái)說(shuō)，如果使?最?后驗(yàn)估計(jì)，那便是需要知道源的先驗(yàn)概率分布，以及數(shù)據(jù)的更新。來(lái)得到后驗(yàn)概率分布，這本?就沒有解析式，但是貝葉斯思想仍然可以?，這算什么？1如果有解析式那就得到后驗(yàn)概率分布，然后數(shù)學(xué)分析其跟參數(shù)的單調(diào)性關(guān)系?；蛘呤?條件期望直接計(jì)算其最?參數(shù)估計(jì)，兩種?法都可以得到各?的最?參數(shù)估計(jì)，但是兩者不?定相等。2如果沒有解析式，但是還是可以?數(shù)學(xué)思想，那么可以使?數(shù)值計(jì)算、或者近似計(jì)算、或者啥的。?如我的問題中的MAP?派。沒有明確解析式，那就是??去?新的?式去建模?絡(luò)傳播，得到源點(diǎn)似然最?。假設(shè)檢驗(yàn)是?種?法,?的是為了判斷?個(gè)關(guān)于總體特征的定量的斷?（假設(shè)）的真實(shí)性.?們通過從總體中抽出的隨機(jī)樣本來(lái)計(jì)算適當(dāng)?shù)慕y(tǒng)計(jì)量來(lái)檢驗(yàn)?個(gè)假設(shè).如果得到的統(tǒng)計(jì)量的實(shí)現(xiàn)值在假設(shè)為真時(shí)應(yīng)該是罕見的（?概率事件）,則有理由拒絕這個(gè)假設(shè).假設(shè)實(shí)驗(yàn)的理論框架（1）什么是假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)是指預(yù)先對(duì)總體參數(shù)的取值做出假定，然后?樣本數(shù)據(jù)來(lái)驗(yàn)證，從?做出是接受還是拒絕的結(jié)論。（2）假設(shè)檢驗(yàn)的思考邏輯基本思路是：?jiǎn)栴}是什么？證據(jù)是什么？判斷依據(jù)是什么？做出結(jié)論。基本步驟：1)、提出原假設(shè)和備擇假設(shè)2)、確定適當(dāng)?shù)臋z驗(yàn)統(tǒng)計(jì)量3)、規(guī)定顯著?平，查出臨界值，確定拒絕域和接受域4)、計(jì)算檢驗(yàn)統(tǒng)計(jì)量的值，做出統(tǒng)計(jì)決策。這其實(shí)就是博?論?中關(guān)于嫌疑節(jié)點(diǎn)的檢測(cè)概率計(jì)算，就是假設(shè)有很多個(gè)嫌疑節(jié)點(diǎn)，然后計(jì)算正確決策總概率。感覺假設(shè)檢驗(yàn)就是像數(shù)學(xué)證明?樣，先假設(shè)，再得到結(jié)果，如果結(jié)果不對(duì)，那么就需要修改假設(shè)。最?后驗(yàn)概率準(zhǔn)則就可以幫助我們根據(jù)觀察空間切割成兩塊沒有交集的區(qū)域，結(jié)果落在那個(gè)區(qū)域??，就接受那個(gè)假設(shè)，類似于模型檢驗(yàn)。根據(jù)最?后驗(yàn)準(zhǔn)則選擇觀察結(jié)果最有可能發(fā)?的假設(shè)。舉個(gè)例?：那么其實(shí)它在實(shí)驗(yàn)結(jié)果出來(lái)之前，就已經(jīng)給定了當(dāng)結(jié)果如何，就可以接受什么假設(shè)（先驗(yàn)分布）的設(shè)定，不過為什么這個(gè)先驗(yàn)分布只有分布列的形式？沒有連續(xù)的嗎？8.3貝葉斯最?均?差估計(jì)?較好的估計(jì)量的第?種，條件期望估計(jì)量。跟最?后驗(yàn)估計(jì)是?樣的，最?后驗(yàn)估計(jì)是直接得到