粒子物理與核物理試驗(yàn)中的數(shù)據(jù)分析課件

1、粒子物理與核物理實(shí)驗(yàn)中的數(shù)據(jù)分析楊振偉清華大學(xué)第五講：統(tǒng)計(jì)檢驗(yàn)7/28/20222本講要點(diǎn)假設(shè)，檢驗(yàn)統(tǒng)計(jì)量，顯著水平，功效兩種假設(shè)下的統(tǒng)計(jì)檢驗(yàn)紐曼-皮爾森引理如何構(gòu)造一個(gè)檢驗(yàn)統(tǒng)計(jì)量Fisher甄別函數(shù)與神經(jīng)網(wǎng)絡(luò)檢驗(yàn)擬合優(yōu)度，P-值定義與應(yīng)用信號(hào)觀測(cè)的顯著程度皮爾遜的 2 檢驗(yàn)7/28/20223概率與統(tǒng)計(jì)統(tǒng)計(jì)的含義可以通過比較概率理論來理解概率統(tǒng)計(jì)(參量測(cè)定與假設(shè)檢驗(yàn))從理論到數(shù)據(jù)從數(shù)據(jù)到理論通過計(jì)算某些可觀測(cè)量(例如，平均值，分布等)來給出預(yù)期的實(shí)驗(yàn)分布。例如：若宇稱守衡，對(duì)一特定衰變分布有什么影響？進(jìn)行所謂的假設(shè)檢驗(yàn)，比較理論預(yù)期的參量值或分布。從觀察的實(shí)驗(yàn)數(shù)據(jù)中給出所研究參數(shù)的觀測(cè)值和誤

2、差，并且在某一置信水平上檢驗(yàn)理論的正確與否。例如：觀測(cè)到一特定衰變分布，是否可以斷定宇稱守衡？7/28/20224統(tǒng)計(jì)分析的目標(biāo)假設(shè)檢驗(yàn)參數(shù)擬合檢驗(yàn)數(shù)據(jù)是否與某一特定理論相符(注意，該理論可包含一些自由參數(shù)）。利用數(shù)據(jù)確定自由參數(shù)的大小。相符的程度由顯著水平來表示。參數(shù)的準(zhǔn)確程度由對(duì)應(yīng)的誤差大小來表示。7/28/20225中微子振蕩假設(shè)檢驗(yàn)振蕩假設(shè)符合概率：37%無(wú)效假設(shè)符合概率：0.07%利用加速器把中微子射往遠(yuǎn)處的探測(cè)器，觀察有多少中微子發(fā)生了形態(tài)上的改變，即所謂的加速器中微子振蕩實(shí)驗(yàn)日本K2K實(shí)驗(yàn)L=250 km美國(guó)MINOS實(shí)驗(yàn)L=700 km美國(guó)實(shí)驗(yàn)證實(shí)了日本實(shí)驗(yàn)而且實(shí)驗(yàn)精度更高。P

3、hys.Rev.D74,072003(2006)Phys.Rev.Lett.97,191801(2006)無(wú)效假設(shè)振蕩假設(shè)7/28/20226假設(shè)檢驗(yàn)7/28/20227拒絕域、第一與第二類誤差接受H0拒絕H0(1- =功效)(顯著水平)7/28/20228例子:選擇不同粒子一束包含K/ 粒子的束流穿過2厘米厚的閃爍體，根據(jù)電離能損的大小可以用來進(jìn)行粒子鑒別。構(gòu)造能量沉積測(cè)量量 t，并假設(shè)只有兩種可能KH0= (信號(hào))H1= K (本底) t g(t)tcut通過要求 t2時(shí)，用蒙特卡羅法找出多維概率密度函數(shù)依然較復(fù)雜。假設(shè)每一維研究均需要分M 個(gè)區(qū)間，對(duì)于n-維問題，需要M n 個(gè)格子方能將

4、密度度函數(shù)近似確定下來。為了簡(jiǎn)化處理此類問題，可以采用擬設(shè)的方法給出包含少量參數(shù)的檢驗(yàn)統(tǒng)計(jì)量形式，通過確定參數(shù)(例如采用蒙特卡羅方法)，最大限度地區(qū)分 H0 與 H1。(即把測(cè)量量做線性疊加)必須定義所謂的區(qū)分量或甄別量。不同甄別的定義會(huì)導(dǎo)致在確定系數(shù)中有不同的規(guī)則，因此7/28/202215例子：對(duì)長(zhǎng)壽命 K 介子的鑒別Eur.Phys.J.C10，1（1999）把一個(gè)2-維甄別問題簡(jiǎn)化為一維甄別問題。 為常數(shù)，其余為實(shí)驗(yàn)觀測(cè)量h利用KL0粒子不受磁場(chǎng)影響而且較少發(fā)生電磁簇射的特點(diǎn)把它和帶電強(qiáng)子區(qū)分開來。強(qiáng)子量能器電磁量能器7/28/202216對(duì)不同假設(shè)下的均值與方差要求 對(duì)已有的測(cè)量量，

5、我們可以計(jì)算對(duì)應(yīng)的期待值與協(xié)方差7/28/202217Fisher 甄別函數(shù)的定義Fisher 定義了一個(gè)甄別法則令因此定義了可求極值的Fisher 線性甄別函數(shù) J。7/28/202218求Fisher 甄別函數(shù)的最大值用任意標(biāo)度和偏置 a0 去固定 0，1與假設(shè)對(duì)應(yīng)的期待值7/28/202219高斯分布下Fisher 甄別量特點(diǎn)為假設(shè)H0的均值為假設(shè)H1的均值而且，兩者的協(xié)方差矩陣為 V0 =V1 V 含偏置的 Fisher 甄別量為利用前面所述的似然比對(duì)給定效率條件下的最大純度 t log(r) + 常數(shù) (單調(diào)變化) Fisher 甄別量與似然比等效。如果不是多變量高斯分布，上式不成立

6、。7/28/202220驗(yàn)后概率與邏輯函數(shù)貝葉斯定理選擇恰當(dāng)?shù)钠胊0，利用高斯分布下Fisher甄別量的特點(diǎn)，上式可寫為也就是所謂的“邏輯”函數(shù) t s(t)驗(yàn)前概率7/28/202221非線性檢驗(yàn)統(tǒng)計(jì)，神經(jīng)網(wǎng)絡(luò)(一)輸入層輸出節(jié)點(diǎn)(可以有多個(gè))如果不同假設(shè)下得到實(shí)驗(yàn)觀測(cè)量的概率密度函數(shù) 與 不是高斯或無(wú)共同的協(xié)方差矩陣，F(xiàn)isher甄別方法不再適用。此時(shí)可以采用更為一般的所謂神經(jīng)網(wǎng)絡(luò)方法假設(shè)統(tǒng)計(jì)檢驗(yàn)量7/28/202222多層感知器的神經(jīng)網(wǎng)絡(luò)推廣到多層感知器隱含層輸出定義為上一層節(jié)點(diǎn)函數(shù)可寫為越多節(jié)點(diǎn)神經(jīng)網(wǎng)絡(luò)越接近優(yōu)化的但需要定更多的參數(shù)!7/28/202223神經(jīng)網(wǎng)絡(luò)中的誤差函數(shù)最小化參

7、數(shù)取值通常根據(jù)誤差函數(shù)的最小化結(jié)果來決定這里 t(0)，t(1) 為目標(biāo)值，例如選 0 和 1 的邏輯 函數(shù)值 實(shí)際應(yīng)用中，通常以蒙特卡羅的訓(xùn)練樣本平均值來取代期待值。(調(diào)整參數(shù)值=神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程)在核物理與粒子物理研究中，是通過定義信號(hào)與本底兩個(gè)樣本，從樣本中給出每個(gè)事例的相關(guān)測(cè)量量(例如，動(dòng)量，飛行時(shí)間)，然后直接調(diào)用歐洲粒子物理實(shí)驗(yàn)室(CERN)提供的物理分析軟件包ROOT(基于C+)PAW(基于Fortran)，得到訓(xùn)練后的參數(shù)與輸出量，并將它們用于待分析的事例來決定其是本底還是信號(hào)。具體應(yīng)用參見下列網(wǎng)站ROOT用戶：http:/root.cern.ch/root/html/exa

8、mples/mlpHiggs.C.htmlPAW 用戶：http:/paw.web.cern.ch/paw/mlpfit/pawmlp.html7/28/202224例子：用神經(jīng)網(wǎng)絡(luò)甄別中子信號(hào)為了在一個(gè)5萬(wàn)噸水的超級(jí)神岡實(shí)驗(yàn)探測(cè)器上探測(cè)中子信號(hào)，進(jìn)行了如下實(shí)驗(yàn) e + p e+ + n n + p n + p d + (2.2 MeV) Am/Be + 9Be 12C* + n 12C* 12C + (4.4 MeV) n + p n + p d + (2.2 MeV) DelayedPrompt 200 sDelayedPrompt希望在純水中觀測(cè)到中子被水俘獲的現(xiàn)象。已知數(shù)據(jù)中有大量包括

9、諸如光電倍增管噪音的本底。7/28/202225神經(jīng)網(wǎng)絡(luò)輸入量與甄別量神經(jīng)網(wǎng)絡(luò)輸出量神經(jīng)網(wǎng)絡(luò)輸入變量選擇拒絕域使得信噪比與效率最大。本底信號(hào)Cut?7/28/202226從神經(jīng)網(wǎng)絡(luò)輸出量中甄別中子蒙特卡羅模擬信號(hào)樣本 無(wú)中子信號(hào)的本底樣本含中子信號(hào)的樣本神經(jīng)網(wǎng)絡(luò)輸出量歸一化的事例數(shù)比例 7/28/202227神經(jīng)網(wǎng)絡(luò)甄別后的中子信號(hào)在本底無(wú)中子信號(hào)數(shù)據(jù)中看不到體現(xiàn)中子被水中的氫原子俘獲的壽命特征在含中子源信號(hào)的數(shù)據(jù)中看到了體現(xiàn)中子被水中的氫原子俘獲的壽命特征7/28/202228關(guān)于神經(jīng)網(wǎng)絡(luò)的輸入變量問題問題：是否輸入量越多越好？較少的輸入量較少的可調(diào)參數(shù)在有限的樣本中，參數(shù)可以得到很好的確定

10、如果輸入量之間中有很強(qiáng)的相關(guān)情形，應(yīng)只保留一個(gè)。如果輸入量對(duì)甄別無(wú)太大影響，應(yīng)棄之。避免輸入量和要研究的信號(hào)特征量相關(guān)聯(lián)。7/28/202229Fisher方法與神經(jīng)網(wǎng)絡(luò) Fisher 方法只適用于用線性方法構(gòu)造統(tǒng)計(jì)量。神經(jīng)網(wǎng)絡(luò)在應(yīng)用上更具有普遍性和更大的甄別能力。有研究表明，同等本底大小的情況下，神經(jīng)網(wǎng)絡(luò)有時(shí)能使效率增加15%。參見 arXiv:hep-ex/0107075本底數(shù)據(jù)7/28/202230極端情況下的擬合優(yōu)度檢驗(yàn)任意投擲一枚硬幣，結(jié)果為正面與反面的概率都是0.5。如果有人聲稱對(duì)此進(jìn)行了檢驗(yàn)。投了20次，得到了17次正面的結(jié)果。那么能否斷定得到正面的概率應(yīng)該是也就是說與預(yù)期值 0

11、.5 有 4 個(gè)標(biāo)準(zhǔn)偏差呢？問題：理論上允許這樣的極端情況出現(xiàn)嗎？ 或者說與這樣一種極端情況相等或更高的概率有多大？前面講了統(tǒng)計(jì)檢驗(yàn)的甄別問題，但在實(shí)際情況中還要處理極端情況下無(wú)效假設(shè)的擬合優(yōu)度檢驗(yàn)問題。7/28/202231例子：粒子鑒別中常遇到的問題帶電粒子動(dòng)量粒子在每單位長(zhǎng)度介質(zhì)中的能量沉積如果觀察到的實(shí)驗(yàn)點(diǎn)在此區(qū)域，它們是什么？7/28/202232檢驗(yàn)擬合優(yōu)度為了達(dá)到此目的7/28/202233檢驗(yàn)統(tǒng)計(jì)量與擬合優(yōu)度小的 t數(shù)據(jù)與 H 更不符合大的 t數(shù)據(jù)與 H 更符合7/28/202234P-值定義將擬合優(yōu)度用P-值表示 (也稱為觀察的顯著水平或置信水平)注意: 這不是 H 為真的概

12、率。在經(jīng)典統(tǒng)計(jì)學(xué)上，我們從不涉及 P(H) 。(H):H 的先驗(yàn)概率對(duì)所有可能性進(jìn)行歸一化積分而在貝葉斯統(tǒng)計(jì)理論中，則把 H 當(dāng)成了隨機(jī)變量，并利用貝葉斯定理得到7/28/202235P-值與假設(shè)檢驗(yàn)如果 H 為真，則對(duì)于連續(xù)的 ，P 在0,1范圍內(nèi)均勻分布.在P-值定義中不涉及別的假設(shè)。根據(jù) P-值的定義，對(duì) H 假設(shè)擬合優(yōu)度的檢驗(yàn)可以通過計(jì)算P-值的大小來完成。但是應(yīng)注意以下兩點(diǎn)：P-值是一個(gè)隨機(jī)變量。前面的顯著水平在檢驗(yàn)時(shí)已經(jīng)被指定為常數(shù)。如果 H 非真，則 P 的概率密度函數(shù)通常很接近零。例如，在閃爍體疊層中根據(jù)每一層測(cè)量的電離能損，并與利用測(cè)量軌跡長(zhǎng)度與不同粒子假設(shè)估計(jì)出的電離能損進(jìn)

13、行比較，可以計(jì)算 P-值進(jìn)行 / 粒子鑒別。Phys. Rev. D77，052003（2008）7/28/202236例子:擬合優(yōu)度檢驗(yàn)投 N 次硬幣，觀察到 nh 次頭朝上的概率服從二項(xiàng)式分布：假設(shè)H：硬幣是公平的(朝上的 ph = 朝下的 pt = 0.5)投 N=20 次硬幣，觀察到17次頭朝上，則在 t-空間中，具有相同或較少符合的區(qū)域?yàn)槿M合優(yōu)度檢驗(yàn)統(tǒng)計(jì)量7/28/202237擬合優(yōu)度檢驗(yàn)中的問題問題:當(dāng) P-值等于0.0026,是否意味著 H 假設(shè)是錯(cuò)的?P-值并不回答此問題。它只是給出與觀察到的結(jié)果一樣，與 H 假設(shè)不符或者高于 H 假設(shè)( ph=pt=0.5 )的概率。P-值

14、=“偶然”得到如此奇怪結(jié)果的概率一種實(shí)用的檢驗(yàn)方法是在同樣的假設(shè)下，產(chǎn)生同樣數(shù)目的事例足夠多次。檢查如此奇怪的結(jié)果發(fā)生的概率是否與P-值相當(dāng)。7/28/202238觀測(cè)到一個(gè)信號(hào)的顯著程度假設(shè)觀測(cè) n 個(gè)事例，包含了 nb=已知過程(或本底)的事例數(shù)如果b=0.5 ，而且觀測(cè)到 nobs=5可否就此聲稱該跡象為新的發(fā)現(xiàn)？假設(shè) H：s=0，即只有本底過程出現(xiàn)。 ns=新過程(或信號(hào))的事例數(shù)也就是所謂的“無(wú)效假設(shè)” 7/28/202239觀測(cè)到一個(gè)信號(hào)的顯著程度(續(xù))對(duì)應(yīng)的P-值給出了得到這種極端結(jié)果的概率：雖然很小但不為零！7/28/202240潛在的問題之一一個(gè)誤導(dǎo)讀者但又常常被使用的結(jié)果表

15、示信號(hào)即與零有兩倍的標(biāo)準(zhǔn)偏差實(shí)際想要的是：均值 b=0.5的泊松變量給出觀測(cè)量大于 5 概率是多少？概率為1.710-4但上面的結(jié)果表示隱含了均值為4.5， = 2.2的高斯變量給出零或更少的概率：“觀測(cè)的信號(hào)”如果s 1，沒有問題，即 n 服從高斯分布。7/28/202241潛在的問題之二實(shí)際問題中會(huì)涉及系統(tǒng)誤差，例如b=0.8，則概率變?yōu)榻ㄗh給出與 b 合理變化相對(duì)應(yīng)的P-值范圍雖然本底只增大了0.3，但卻比 b=0.5 時(shí)小了一個(gè)量級(jí)。7/28/202242信號(hào)峰的顯著性假設(shè)我們不但測(cè)量了總的事例數(shù)，還測(cè)量了每個(gè)事例對(duì)應(yīng)的不變質(zhì)量。頻數(shù)不變質(zhì)量信號(hào)峰在顯示信號(hào)峰的兩個(gè)區(qū)間，有11個(gè)事例，

16、本底估計(jì)為b=3.2Q1：在哪尋找信號(hào)峰？計(jì)算任何兩相連區(qū)間的P-值Q2：信號(hào)寬度與分辨率相符嗎？將區(qū)間增大至分辨率的幾倍Q3：信號(hào)峰是人為制造出來的嗎？調(diào)整選擇條件，分析新數(shù)據(jù)Qn：能發(fā)表信號(hào)峰結(jié)果嗎？觀察到的實(shí)驗(yàn)數(shù)據(jù)與期待本底大小的直方圖，每個(gè)區(qū)間是泊松分布的一個(gè)變量。7/28/202243例子：(2230)的觀測(cè)陳老師也是作者之一為什么不計(jì)算任何兩相連區(qū)間的P-值？重復(fù)實(shí)驗(yàn)得不到先前的結(jié)果！7/28/202244皮爾遜的 2 檢驗(yàn)在觀測(cè)的數(shù)據(jù) 與預(yù)言的期待值 之間進(jìn)行比較的檢驗(yàn)統(tǒng)計(jì)量如果 ni 是相互獨(dú)立而且服從均值為i 泊松分布，所有i 并不太小(5)，那么2 將服從 N 個(gè)自由度的最

17、小二乘概率密度函數(shù)分布。所觀察的2可給出P-值這里，f (z; N) 自由度為N 的最小二乘概率密度函數(shù)。7/28/202245皮爾遜的 2 檢驗(yàn)(續(xù))自由度為 N 的最小二乘概率密度函數(shù)的期待值為 E(z)=N通常以 2/N 來體現(xiàn)符合的程度服從N-1自由度的2分布(pi ntot1)最好分別給出 2，N ，例如7/28/202246例子: 2 檢驗(yàn)頻數(shù)不變質(zhì)量共20個(gè)區(qū)間，自由度為 201）由于許多區(qū)間只有很少或根本沒有計(jì)數(shù)，它將不服從 2 的概率密度函數(shù)分布。2）皮爾森 2 仍可以作為一個(gè)檢驗(yàn)統(tǒng)計(jì)量。為計(jì)算P-值，先用蒙特卡羅方法得到 f (2)產(chǎn)生 ni 均值為 i 的泊松分布，i=1,N計(jì)算 2 ，填入直方圖重復(fù)足夠多次MC pdf：P-值=0.112 pdf: P-值=0.0737/28/202247對(duì)于統(tǒng)計(jì)檢驗(yàn)的評(píng)論在實(shí)際問題中，我們常常遇到對(duì)低統(tǒng)計(jì)量的情況下，需要判斷所觀察到的現(xiàn)象是否為真正的物理信號(hào)。利用P-值的大小可以表示結(jié)果是否為已知過程的極端情形。由于每個(gè)人的信心不同，會(huì)造成同一個(gè)P-值，結(jié)論卻完全不一樣的現(xiàn)象。在統(tǒng)計(jì)誤差范圍內(nèi)無(wú)新跡象。結(jié)果雖然在統(tǒng)計(jì)誤差范圍，但有可能是新物理的信號(hào)。發(fā)現(xiàn)了新物理的信號(hào)，誤差為歷史上類似故事的發(fā)生很多：J/粒子的發(fā)現(xiàn)，W粒子的發(fā)現(xiàn)，頂夸克的發(fā)現(xiàn)7/28/202248小結(jié)統(tǒng)計(jì)檢驗(yàn)：檢驗(yàn)統(tǒng)計(jì)量：檢驗(yàn)的要點(diǎn)：紐曼-皮爾森引理