《和機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)相關(guān)的數(shù)學(xué)fr

1、和機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)相關(guān)的數(shù)學(xué) fr原文地址：轉(zhuǎn)載和機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)相關(guān)的數(shù)學(xué)(from LinDahua)作者：木魚(yú)轉(zhuǎn)載：線性代數(shù)(Linear Algebra)：我想國(guó)內(nèi)的大學(xué)生都會(huì)學(xué)過(guò)這門(mén)課程，但是，未必每一位老師都能貫徹它的精要。這門(mén)學(xué)科對(duì)于Learning是必備的基礎(chǔ)，對(duì)它的透徹掌握是必不可少的。我在科大一年級(jí)的時(shí)候就學(xué)習(xí)了這門(mén)課，后來(lái)到了香港后，又重新把線性代數(shù)讀了一遍，所讀的是Introduction to Linear Algebra(3rd Ed.)by Gilbert Strang.這本書(shū)是MIT的線性代數(shù)課使用的教材，也是被很多其它大學(xué)選用的經(jīng)典教材。它的難度適中，

2、講解清晰，重要的是對(duì)許多核心的概念討論得比較透徹。我個(gè)人覺(jué)得，學(xué)習(xí)線性代數(shù)，最重要的不是去熟練矩陣運(yùn)算和解方程的方法-這些在實(shí)際工作中MATLAB可以代勞，關(guān)鍵的是要深入理解幾個(gè)基礎(chǔ)而又重要的概念：子空間(Subspace)，正交(Orthogonality)，特征值和特征向量(Eigenvalues and eigenvectors)，和線性變換(Linear transform)。從我的角度看來(lái)，一本線代教科書(shū)的質(zhì)量，就在于它能否給這些根本概念以足夠的重視，能否把它們的聯(lián)系講清楚。Strang的這本書(shū)在這方面是做得很好的。而且，這本書(shū)有個(gè)得天獨(dú)厚的優(yōu)勢(shì)。書(shū)的作者長(zhǎng)期在MIT講授線性代數(shù)課(

3、18.06)，課程的video在MIT的Open courseware網(wǎng)站上有提供。有時(shí)間的朋友可以一邊看著名師授課的錄像，一邊對(duì)照課本學(xué)習(xí)或者復(fù)習(xí)。概率和統(tǒng)計(jì)(Probability and Statistics)：概率論和統(tǒng)計(jì)的入門(mén)教科書(shū)很多，我目前也沒(méi)有特別的推薦。我在這里想介紹的是一本關(guān)于多元統(tǒng)計(jì)的基礎(chǔ)教科書(shū)：Applied Multivariate Statistical Analysis(5th Ed.)by Richard A.Johnson and Dean W.Wichern這本書(shū)是我在剛接觸向量統(tǒng)計(jì)的時(shí)候用于學(xué)習(xí)的，我在香港時(shí)做研究的基礎(chǔ)就是從此打下了。實(shí)驗(yàn)室的一些同學(xué)也借

4、用這本書(shū)學(xué)習(xí)向量統(tǒng)計(jì)。這本書(shū)沒(méi)有特別追求數(shù)學(xué)上的深度，而是以通俗易懂的方式講述主要的基本概念，讀起來(lái)很舒服，內(nèi)容也很實(shí)用。對(duì)于Linear regression,factor analysis,principal component analysis(PCA),and canonical component analysis(CCA)這些Learning中的基本方法也展開(kāi)了初步的論述。之后就可以進(jìn)一步深入學(xué)習(xí)貝葉斯統(tǒng)計(jì)和Graphical models。一本理想的書(shū)是Introduction to Graphical Models(draft version).by M.Jordan and

5、C.Bishop.我不知道這本書(shū)是不是已經(jīng)出版了(不要和Learning in Graphical Models混淆，那是個(gè)論文集，不適合初學(xué))。這本書(shū)從基本的貝葉斯統(tǒng)計(jì)模型出發(fā)一直深入到復(fù)雜的統(tǒng)計(jì)網(wǎng)絡(luò)的估計(jì)和推斷，深入淺出，statistical learning的許多重要方面都在此書(shū)有清楚論述和詳細(xì)講解。MIT內(nèi)部可以access，至于外面，好像也是有電子版的。3.分析(Analysis)：我想大家基本都在大學(xué)就學(xué)過(guò)微積分或者數(shù)學(xué)分析，深度和廣度則隨各個(gè)學(xué)校而異了。這個(gè)領(lǐng)域是很多學(xué)科的基礎(chǔ)，值得推薦的教科書(shū)莫過(guò)于Principles of Mathematical Analysis,by

6、Walter Rudin有點(diǎn)老，但是絕對(duì)經(jīng)典，深入透徹。缺點(diǎn)就是比較艱深-這是Rudin的書(shū)的一貫風(fēng)格，適合于有一定基礎(chǔ)后回頭去看。在分析這個(gè)方向，接下來(lái)就是泛函分析(Functional Analysis)。Introductory Functional Analysis with Applications,by Erwin Kreyszig.適合作為泛函的基礎(chǔ)教材，容易切入而不失全面。我特別喜歡它對(duì)于譜論和算子理論的特別關(guān)注，這對(duì)于做learning的研究是特別重要的。Rudin也有一本關(guān)于functional analysis的書(shū)，那本書(shū)在數(shù)學(xué)上可能更為深刻，但是不易于上手，所講內(nèi)容和l

7、earning的切合度不如此書(shū)。在分析這個(gè)方向，還有一個(gè)重要的學(xué)科是測(cè)度理論(Measure theory)，但是我看過(guò)的書(shū)里面目前還沒(méi)有感覺(jué)有特別值得介紹的。4.拓?fù)?Topology)：在我讀過(guò)的基本拓?fù)鋾?shū)各有特色，但是綜合而言，我最推崇：Topology(2nd Ed.)by James Munkres這本書(shū)是Munkres教授長(zhǎng)期執(zhí)教MIT拓?fù)湔n的心血所凝。對(duì)于一般拓?fù)鋵W(xué)(General topology)有全面介紹，而對(duì)于代數(shù)拓?fù)?Algebraic topology)也有適度的探討。此書(shū)不需要特別的數(shù)學(xué)知識(shí)就可以開(kāi)始學(xué)習(xí)，由淺入深，從最基本的集合論概念(很多書(shū)不屑講這個(gè))到Naga

8、ta-Smirnov Theorem和Tychonoff theorem等較深的定理(很多書(shū)避開(kāi)了這個(gè))都覆蓋了。講述方式思想性很強(qiáng)，對(duì)于很多定理，除了給出證明過(guò)程和引導(dǎo)你思考其背后的原理脈絡(luò)，很多令人贊嘆的亮點(diǎn)-我常讀得忘卻饑餓，不愿釋手。很多習(xí)題很有水平。5.流形理論(Manifold theory)：對(duì)于拓?fù)浜头治鲇幸欢ò盐諘r(shí)，方可開(kāi)始學(xué)習(xí)流形理論，否則所學(xué)只能流于浮淺。我所使用的書(shū)是Introduction to Smooth Manifolds.by John M.Lee雖然書(shū)名有introduction這個(gè)單詞，但是實(shí)際上此書(shū)涉入很深，除了講授了基本的manifold,tangen

9、t space,bundle,sub-manifold等，還探討了諸如綱理論(Category theory)，德拉姆上同調(diào)(De Rham cohomology)和積分流形等一些比較高級(jí)的專題。對(duì)于李群和李代數(shù)也有相當(dāng)多的討論。行文通俗而又不失嚴(yán)謹(jǐn)，不過(guò)對(duì)某些記號(hào)方式需要熟悉一下。雖然李群論是建基于平滑流形的概念之上，不過(guò)，也可能從矩陣出發(fā)直接學(xué)習(xí)李群和李代數(shù)-這種方法對(duì)于急需使用李群論解決問(wèn)題的朋友可能更加實(shí)用。而且，對(duì)于一個(gè)問(wèn)題從不同角度看待也利于加深理解。下面一本書(shū)就是這個(gè)方向的典范：Lie Groups,Lie Algebras,and Representations：An Elem

10、entary Introduction.by Brian C.Hall此書(shū)從開(kāi)始即從矩陣切入，從代數(shù)而非幾何角度引入矩陣?yán)钊旱母拍?。并通過(guò)定義運(yùn)算的方式建立exponential mapping，并就此引入李代數(shù)。這種方式比起傳統(tǒng)的通過(guò)左不變向量場(chǎng)(Left-invariant vector field)的方式定義李代數(shù)更容易為人所接受，也更容易揭示李代數(shù)的意義。最后，也有專門(mén)的論述把這種新的定義方式和傳統(tǒng)方式聯(lián)系起來(lái)。-無(wú)論是研究Vision,Learning還是其它別的學(xué)科，數(shù)學(xué)終究是根基所在。學(xué)好數(shù)學(xué)是做好研究的基石。學(xué)好數(shù)學(xué)的關(guān)鍵歸根結(jié)底是自己的努力，但是選擇一本好的書(shū)還是大有益處的。

11、不同的人有不同的知識(shí)背景，思維習(xí)慣和研究方向，因此書(shū)的選擇也因人而異，只求適合自己，不必強(qiáng)求一致。上面的書(shū)僅僅是從我個(gè)人角度的出發(fā)介紹的，我的閱讀經(jīng)歷實(shí)在非常有限，很可能還有比它們更好的書(shū)(不妨也告知我一聲，先說(shuō)聲謝謝了)。%Learning中的代數(shù)結(jié)構(gòu)的建立Learning是一個(gè)融會(huì)多種數(shù)學(xué)于一體的領(lǐng)域。說(shuō)起與此有關(guān)的數(shù)學(xué)學(xué)科，我們可能會(huì)迅速聯(lián)想到線性代數(shù)以及建立在向量空間基礎(chǔ)上的統(tǒng)計(jì)模型-事實(shí)上，主流的論文中確實(shí)在很大程度上基于它們。Rn(n-維實(shí)向量空間)是我們?cè)趐aper中見(jiàn)到最多的空間，它確實(shí)非常重要和實(shí)用，但是，僅僅依靠它來(lái)描述我們的世界并不足夠。事實(shí)上，數(shù)學(xué)家們給我們提供了豐富得

12、多的工具?？臻g(space)，這是一個(gè)很有意思的名詞，幾乎出現(xiàn)在所有的數(shù)學(xué)分支的基礎(chǔ)定義之中。歸納起來(lái)，所謂空間就是指一個(gè)集合以及在上面定義的某種數(shù)學(xué)結(jié)構(gòu)。關(guān)于這個(gè)數(shù)學(xué)結(jié)構(gòu)的定義或者公理，就成為這個(gè)數(shù)學(xué)分支的基礎(chǔ)，一切由此而展開(kāi)。還是從我們最熟悉的空間-Rn說(shuō)起吧。大家平常使用這個(gè)空間的時(shí)候，除了線性運(yùn)算，其實(shí)還用到了別的數(shù)學(xué)結(jié)構(gòu)，包括度量結(jié)構(gòu)和內(nèi)積結(jié)構(gòu)。第一，它是一個(gè)拓?fù)淇臻g(Topological space)。而且從拓?fù)鋵W(xué)的角度看，具有非常優(yōu)良的性質(zhì)：Normal(implying Hausdorff and Regular),Locally Compact,Paracompact,wi

13、th Countable basis,Simply connected(implying connected and path connected),Metrizable.第二，它是一個(gè)度量空間(Metric space)。我們可以計(jì)算上面任意兩點(diǎn)的距離。第三，它是一個(gè)有限維向量空間(Finite dimensional space)。因此，我們可以對(duì)里面的元素進(jìn)行代數(shù)運(yùn)算(加法和數(shù)乘)，我們還可以賦予它一組有限的基，從而可以用有限維坐標(biāo)表達(dá)每個(gè)元素。第四，基于度量結(jié)構(gòu)和線性運(yùn)算結(jié)構(gòu)，可以建立起分析(Analysis)體系。我們可以對(duì)連續(xù)函數(shù)進(jìn)行微分，積分，建立和求解微分方程，以及進(jìn)行傅立葉變

14、換和小波分析。第五，它是一個(gè)希爾伯特空間(也就是完備的內(nèi)積空間)(Hilbert space,Complete inner product space)。它有一套很方便計(jì)算的內(nèi)積(inner product)結(jié)構(gòu)-這個(gè)空間的度量結(jié)構(gòu)其實(shí)就是從其內(nèi)積結(jié)構(gòu)誘導(dǎo)出來(lái)。更重要的，它是完備的(Complete)-代表任何一個(gè)柯西序列(Cauchy sequence)都有極限-很多人有意無(wú)意中其實(shí)用到了這個(gè)特性，不過(guò)習(xí)慣性地認(rèn)為是理所當(dāng)然了。第六，它上面的線性映射構(gòu)成的算子空間仍舊是有限維的-一個(gè)非常重要的好處就是，所有的線性映射都可以用矩陣唯一表示。特別的，因?yàn)樗怯邢蘧S完備空間，它的泛函空間和它本身是

15、同構(gòu)的，也是Rn。因而，它們的譜結(jié)構(gòu)，也就可以通過(guò)矩陣的特征值和特征向量獲得。第七，它是一個(gè)測(cè)度空間-可以計(jì)算子集的大小(面積/體積)。正因?yàn)榇?，我們才可能在上面建立概率分?distribution)-這是我們接觸的絕大多數(shù)連續(xù)統(tǒng)計(jì)模型的基礎(chǔ)。我們可以看到，這是一個(gè)非常完美的空間，為我們的應(yīng)用在數(shù)學(xué)上提供了一切的方便，在上面，我們可以理所當(dāng)然地認(rèn)為它具有我們希望的各種良好性質(zhì)，而無(wú)須特別的證明；我們可以直接使用它的各種運(yùn)算結(jié)構(gòu)，而不需要從頭建立；而且很多本來(lái)不一樣的概念在這里變成等價(jià)的了，我們因此不再需要辨明它們的區(qū)別。以此為界，Learning的主要工作分成兩個(gè)大的范疇：1.建立一種表達(dá)形

16、式，讓它處于上面討論的Rn空間里面。2.獲得了有限維向量表達(dá)后，建立各種代數(shù)算法或者統(tǒng)計(jì)模型進(jìn)行分析和處理。這里只討論第一個(gè)范疇。先看看，目前用得比較廣泛的一些方法：1.直接基于原始數(shù)據(jù)建立表達(dá)。我們關(guān)心的最終目標(biāo)是一個(gè)個(gè)現(xiàn)實(shí)世界中的對(duì)象：一幅圖片，一段語(yǔ)音，一篇文章，一條交易記錄，等等。這些東西大部分本身沒(méi)有附著一個(gè)數(shù)值向量的。為了構(gòu)造一個(gè)向量表達(dá)，我們可以把傳感器中記錄的數(shù)值，或者別的什么方式收集的數(shù)值數(shù)據(jù)按照一定的順序羅列出來(lái)，就形成一個(gè)向量了。如果有n個(gè)數(shù)字，就認(rèn)為它們?cè)赗n里面。不過(guò)，這在數(shù)學(xué)上有一點(diǎn)小問(wèn)題，在大部分情況下，根據(jù)數(shù)據(jù)產(chǎn)生的物理原理，這些向量的值域并不能充滿整個(gè)空間。比

17、如圖像的像素值一般是正值，而且在一個(gè)有界閉集之中。這帶來(lái)的問(wèn)題是，對(duì)它們進(jìn)行線性運(yùn)算很可能得到的結(jié)果會(huì)溢出正常的范圍-在大部分paper中，可能只是采用某些heuristics的手段進(jìn)行簡(jiǎn)單處理，或者根本不管，很少見(jiàn)到在數(shù)學(xué)上對(duì)此進(jìn)行深入探討的-不過(guò)如果能解決實(shí)際問(wèn)題，這也是無(wú)可厚非的，畢竟不是所有的工作都需要像純數(shù)學(xué)那樣追求嚴(yán)謹(jǐn)。2.量化(quantization)。這是在處理連續(xù)信號(hào)時(shí)被廣泛采用的方式。只是習(xí)以為常，一般不提名字而已。比如一個(gè)空間信號(hào)(Vision中的image)或者時(shí)間信號(hào)，它們的domain中的值是不可數(shù)無(wú)限大的(uncountably infinite)，不要說(shuō)表示為

18、有限維向量，即使表達(dá)為無(wú)限序列也是不可能的。在這種情況下，一般在有限域內(nèi)，按照一定順序每隔一定距離取一個(gè)點(diǎn)來(lái)代表其周圍的點(diǎn)，從而形成有限維的表達(dá)。這就是信號(hào)在時(shí)域或空域的量化。這樣做不可避免要丟失信息。但是，由于小鄰域內(nèi)信號(hào)的高度相關(guān)，信息丟失的程度往往并不顯著。而且，從理論上說(shuō)，這相當(dāng)于在頻域中的低通過(guò)率。對(duì)于有限能量的連續(xù)信號(hào)，不可能在無(wú)限高的頻域中依然保持足夠的強(qiáng)度，只要采樣密度足夠，丟失的東西可以任意的少。除了表示信號(hào)，對(duì)于幾何形體的表達(dá)也經(jīng)常使用量化，比如表示curve和surface。3.找出有限個(gè)數(shù)充分表達(dá)一個(gè)對(duì)象也許不是最困難的。不過(guò),在其上面建立數(shù)學(xué)結(jié)構(gòu)卻未必了。一般來(lái)說(shuō)，我

19、們要對(duì)其進(jìn)行處理，首先需要一個(gè)拓?fù)浣Y(jié)構(gòu)用以描述空間上的點(diǎn)是如何聯(lián)系在一起。直接建立拓?fù)浣Y(jié)構(gòu)在數(shù)學(xué)上往往非常困難，也未必實(shí)用。因此，絕大部分工作采取的方式是首先建立度量結(jié)構(gòu)。一個(gè)度量空間，其度量會(huì)自然地誘導(dǎo)出一個(gè)拓?fù)浣Y(jié)構(gòu)-不過(guò)，很多情況下我們似乎會(huì)無(wú)視它的存在。最簡(jiǎn)單的情況，就是使用原始向量表達(dá)的歐氏距離(Euclidean distance)作為metric。不過(guò)，由于原始表達(dá)數(shù)值的不同特性，這種方式效果一般不是特別好，未必能有效表達(dá)實(shí)際對(duì)象的相似性(或者不相似性)。因此，很多工作會(huì)有再此基礎(chǔ)上進(jìn)行度量的二次建立。方式是多種多樣的，一種是尋求一個(gè)映射，把原空間的元素變換到一個(gè)新的空間，在那里歐

20、氏距離變得更加合適。這個(gè)映射發(fā)揮的作用包括對(duì)信息進(jìn)行篩選，整合，對(duì)某些部分進(jìn)行加強(qiáng)或者抑制。這就是大部分關(guān)于feature selection，feature extraction，或者subspace learning的文章所要做的。另外一種方式，就是直接調(diào)節(jié)距離的計(jì)算方式(有些文章稱之為metric learning)。這兩種方式未必是不同的。如果映射是單射，那么它相當(dāng)于在原空間建立了一個(gè)不同的度量。反過(guò)來(lái)，通過(guò)改變距離計(jì)算方式建立的度量在特定的條件下對(duì)應(yīng)于某種映射。4.大家可能注意到，上面提到的度量建立方法，比如歐氏距離，它需要對(duì)元素進(jìn)行代數(shù)運(yùn)算。對(duì)于普通的向量空間，線性運(yùn)算是天然賦予的

21、，我們無(wú)須專門(mén)建立，所以可以直接進(jìn)行度量的構(gòu)造-這也是大部分工作的基礎(chǔ)。可是，有些事物其原始表達(dá)不是一個(gè)n-tuple，它可能是一個(gè)set，一個(gè)graph，或者別的什么特別的object。怎么建立代數(shù)運(yùn)算呢?一種方法是直接建立。就是給這些東西定義自己的加法和數(shù)乘。這往往不是那么直接(能很容易建立的線性運(yùn)算結(jié)構(gòu)早已經(jīng)被建立好并廣泛應(yīng)用了)，可能需要涉及很深的數(shù)學(xué)知識(shí)，并且要有對(duì)問(wèn)題本身的深入了解和數(shù)學(xué)上的洞察力。不過(guò)，一個(gè)新的代數(shù)結(jié)構(gòu)一旦建立起來(lái)，其它的數(shù)學(xué)結(jié)構(gòu)，包括拓?fù)?，度量，分析，以及?nèi)積結(jié)構(gòu)也隨之能被自然地誘導(dǎo)出來(lái)，我們也就具有了對(duì)這個(gè)對(duì)象空間進(jìn)行各種數(shù)學(xué)運(yùn)算和操作的基礎(chǔ)。加法和數(shù)乘看上去

22、簡(jiǎn)單，但是如果我們對(duì)于本來(lái)不知道如何進(jìn)行加法和數(shù)乘的空間建立了這兩樣?xùn)|西，其理論上的貢獻(xiàn)是非常大的。(一個(gè)小問(wèn)題：大家常用各種graphical model，但是，每次這些model都是分別formulate，然后推導(dǎo)出estimation和evaluation的步驟方法。是否可能對(duì)the space of graphical model或者它的某個(gè)特定子集建立某種代數(shù)結(jié)構(gòu)呢?(不一定是線性空間，比如群，環(huán)，廣群，etc)從而使得它們?cè)诖鷶?shù)意義上統(tǒng)一起來(lái)，而相應(yīng)的estimation或者evaluation也可以用過(guò)代數(shù)運(yùn)算derive。這不是我的研究范圍，也超出了我目前的能力和知識(shí)水平，只是

23、我相信它在理論上的重要意義，留作一個(gè)遠(yuǎn)景的問(wèn)題。事實(shí)上，數(shù)學(xué)中確實(shí)有一個(gè)分支叫做Algebraic statistics可能在探討類似的問(wèn)題，不過(guò)我現(xiàn)在對(duì)此了解非常有限。)5.回到我們的正題，除了直接建立運(yùn)算定義，另外一種方式就是嵌入(embedding)到某個(gè)向量空間，從而繼承其運(yùn)算結(jié)構(gòu)為我所用。當(dāng)然這種嵌入也不是亂來(lái)，它需要保持原來(lái)這些對(duì)象的某種關(guān)系。最常見(jiàn)的就是保距嵌入(isometric embedding)，我們首先建立度量結(jié)構(gòu)(繞過(guò)向量表達(dá)，直接對(duì)兩個(gè)對(duì)象的距離通過(guò)某種方法進(jìn)行計(jì)算)，然后把這個(gè)空間嵌入到目標(biāo)空間，通常是有限維向量空間，要求保持度量不變。嵌入是一種在數(shù)學(xué)上應(yīng)用廣泛的

24、手段，其主要目標(biāo)就是通過(guò)嵌入到一個(gè)屬性良好，結(jié)構(gòu)豐富的空間，從而利用其某種結(jié)構(gòu)或者運(yùn)算體系。在拓?fù)鋵W(xué)中，嵌入到metric space是對(duì)某個(gè)拓?fù)淇臻g建立度量的重要手段。而在這里，我們是已有度量的情況下，通過(guò)嵌入獲取線性運(yùn)算的結(jié)構(gòu)。除此以來(lái)，還有一種就是前些年比較熱的manifold embedding，這個(gè)是通過(guò)保持局部結(jié)構(gòu)的嵌入，獲取全局結(jié)構(gòu)，后面還會(huì)提到。6.接下來(lái)的一個(gè)重要的代數(shù)結(jié)構(gòu)，就是內(nèi)積(inner product)結(jié)構(gòu)。內(nèi)積結(jié)構(gòu)一旦建立，會(huì)直接誘導(dǎo)出一種性質(zhì)良好的度量，就是范數(shù)(norm)，并且進(jìn)而誘導(dǎo)出拓?fù)浣Y(jié)構(gòu)。一般來(lái)說(shuō)，內(nèi)積需要建立在線性空間的基礎(chǔ)上，否則連一個(gè)二元運(yùn)算是否

25、是內(nèi)積都無(wú)法驗(yàn)證。不過(guò)，kernel理論指出，對(duì)于一個(gè)空間，只要定義一個(gè)正定核(positive kernel)-一個(gè)符合正定條件的二元運(yùn)算，就必然存在一個(gè)希爾伯特空間，其內(nèi)積運(yùn)算等效于核運(yùn)算。這個(gè)結(jié)論的重要意義在于，我們可以繞開(kāi)線性空間，通過(guò)首先定義kernel的方式，誘導(dǎo)出一個(gè)線性空間(叫做再生核希爾伯特空間Reproducing Kernel Hilbert Space)，從而我們就自然獲得我們所需要的度量結(jié)構(gòu)和線性運(yùn)算結(jié)構(gòu)。這是kernel theory的基礎(chǔ)。在很多教科書(shū)中，以二次核為例子，把二維空間變成三維，然后告訴大家kernel用于升維。對(duì)于這種說(shuō)法，我一直認(rèn)為在一定程度上是誤

26、導(dǎo)的。事實(shí)上，kernel的最首要意義是內(nèi)積的建立(或者改造)，從而誘導(dǎo)出更利于表達(dá)的度量和運(yùn)算結(jié)構(gòu)。對(duì)于一個(gè)問(wèn)題而言，選擇一個(gè)切合問(wèn)題的kernel比起關(guān)注升維來(lái)得更為重要。kernel被視為非線性化的重要手段，用于處理非高斯的數(shù)據(jù)分布。這是有道理的。通過(guò)nonlinear kernel改造的內(nèi)積空間，其結(jié)構(gòu)和原空間的結(jié)構(gòu)確實(shí)不是線性關(guān)聯(lián)，從這個(gè)意義上說(shuō)，它實(shí)施了非線性化。不過(guò)，我們還應(yīng)該明白，它的最終目標(biāo)還是要回到線性空間，新的內(nèi)積空間仍舊是一個(gè)線性空間，它一旦建立，其后的運(yùn)算都是線性的，因此，kernel的使用就是為了尋求一個(gè)新的線性空間，使得線性運(yùn)算更加合理-非線性化的改造最終仍舊是要

27、為線性運(yùn)算服務(wù)。值得一提的是，kernelization本質(zhì)上說(shuō)還是一種嵌入過(guò)程：對(duì)于一個(gè)空間先建立內(nèi)積結(jié)構(gòu)，并且以保持內(nèi)積結(jié)構(gòu)不變的方式嵌入到一個(gè)高維的線性空間，從而繼承其線性運(yùn)算體系。7.上面說(shuō)到的都是從全局的方式建立代數(shù)結(jié)構(gòu)的過(guò)程，但是那必須以某種全局結(jié)構(gòu)為基礎(chǔ)(無(wú)論預(yù)先定義的是運(yùn)算，度量還是內(nèi)積，都必須適用于全空間。)但是，全局結(jié)構(gòu)未必存在或者適合，而局部結(jié)構(gòu)往往簡(jiǎn)單方便得多。這里就形成一種策略，以局部而達(dá)全局-這就是流形(manifold)的思想，而其則根源于拓?fù)鋵W(xué)。從拓?fù)鋵W(xué)的角度說(shuō)，流形就是一個(gè)非常優(yōu)良的拓?fù)淇臻g：符合Hausdorff分離公理(任何不同的兩點(diǎn)都可以通過(guò)不相交的鄰域

28、分離)，符合第二可數(shù)公理(具有可數(shù)的拓?fù)浠?，并且更重要的是，局部同胚于Rn。因此，一個(gè)正則(Regular)流形基本就具有了各種最良好的拓?fù)涮匦?。而局部同胚于Rn，代表了它至少在局部上可以繼承Rn的各種結(jié)構(gòu)，比如線性運(yùn)算和內(nèi)積，從而建立分析體系。事實(shí)上，拓?fù)淞餍卫^承這些結(jié)構(gòu)后形成的體系，正是現(xiàn)代流形理論研究的重點(diǎn)。繼承了分析體系的流形，就形成了微分流形(Differential manifold)，這是現(xiàn)代微分幾何的核心。而微分流形各點(diǎn)上的切空間(Tangent Space)，則獲得了線性運(yùn)算的體系。而進(jìn)一步繼承了局部?jī)?nèi)積結(jié)構(gòu)的流形，則形成黎曼流形(Riemann manifold)，而流形

29、的全局度量體系-測(cè)地距離(geodesics)正是通過(guò)對(duì)局部度量的延伸來(lái)獲得。進(jìn)一步的，當(dāng)流行本身的拓?fù)浣Y(jié)構(gòu)和切空間上的線性結(jié)構(gòu)發(fā)生關(guān)系-也就獲得一簇拓?fù)潢P(guān)聯(lián)的線性空間-向量叢(Vector bundle)。雖然manifold theory作為現(xiàn)代幾何學(xué)的核心，是一個(gè)博大精深的領(lǐng)域，但是它在learning中的應(yīng)用則顯得非常狹窄。事實(shí)上，對(duì)于manifold，很多做learning的朋友首先反應(yīng)的是ISOMAP,LLE,eigenmap之類的算法。這些都屬于embedding。當(dāng)然，這確實(shí)是流形理論的一個(gè)重要方面。嚴(yán)格來(lái)說(shuō)，這要求是從原空間到其映像的微分同胚映射，因此，嵌入后的空間在局部上具

30、有相同的分析結(jié)構(gòu)，同時(shí)也獲得了各種好處-全局的線性運(yùn)算和度量。不過(guò)，這個(gè)概念在learning的應(yīng)用中被相當(dāng)程度的放寬了-微分同胚并不能被完全保證，而整個(gè)分析結(jié)構(gòu)也不能被完全保持。大家更關(guān)注的是保持局部結(jié)構(gòu)中的某個(gè)方面-不過(guò)這在實(shí)際應(yīng)用中的折衷方案也是可以理解的。事實(shí)表明，當(dāng)原空間中的數(shù)據(jù)足夠密集的情況下，這些算法工作良好。Learning中流形應(yīng)用的真正問(wèn)題在于它被過(guò)濫地運(yùn)用于稀疏空間(Sparse space)，事實(shí)上在高維空間中撒進(jìn)去幾千乃至幾十萬(wàn)點(diǎn)，即使最相鄰的幾點(diǎn)也難稱為局部了，局部的范圍和全局的范圍其實(shí)已經(jīng)沒(méi)有了根本差別，連局部的概念都立不住腳的時(shí)候，后面基于其展開(kāi)的一切工作也都沒(méi)

31、有太大的意義。事實(shí)上，稀疏空間有其本身的規(guī)律和法則，通過(guò)局部形成全局的流形思想從本質(zhì)上是不適合于此的。雖然，流形是一種非常美的理論，但是再漂亮的理論也需要用得其所-它應(yīng)該用于解決具有密集數(shù)據(jù)分布的低維空間。至于，一些paper所報(bào)告的在高維空間(比如人臉)運(yùn)用流形方法獲得性能提升，其實(shí)未必是因?yàn)榱餍伪旧硭鸬淖饔茫芸赡苁瞧渌矫娴囊蛩亍?.流形在實(shí)際應(yīng)用中起重要作用的還有兩個(gè)方面：一個(gè)是研究幾何形體的性質(zhì)(我們暫且不談這個(gè))，還有就是它和代數(shù)結(jié)構(gòu)的結(jié)合形成的李群(Lie group)和李代數(shù)(Lie algebra)。當(dāng)我們研究的對(duì)象是變換本身的時(shí)候，它們構(gòu)成的空間是有其特殊性的，比如所有

32、子空間投影形成了Grassmann流形，所有的可逆線性算子，或者仿射算子，也形成各自的流形。對(duì)他們的最重要操作是變換的結(jié)合，而不是加法數(shù)乘，因此，它們上面定義的更合適的代數(shù)結(jié)構(gòu)應(yīng)該是群和不是線性空間。而群和微分流形的結(jié)合體-李群則成為它們最合適的描述體系-而其切空間則構(gòu)成了一種加強(qiáng)的線性空間：李代數(shù)，用于描述其局部變化特性。李代數(shù)和李群的關(guān)系是非常漂亮的。它把變換的微變化轉(zhuǎn)換成了線性空間的代數(shù)運(yùn)算，使得移植傳統(tǒng)的基于線性空間的模型和算法到李空間變得可能。而且李代數(shù)中的矩陣比起變換本身的矩陣甚至更能反映變換的特性。幾何變換的李代數(shù)矩陣的譜結(jié)構(gòu)就能非常方便地用于分析變換的幾何特性。最后，回頭總結(jié)一

33、下關(guān)于嵌入這個(gè)應(yīng)用廣泛的策略，在learning中的isometry,kernel和manifold embedding都屬于此范疇，它們分別通過(guò)保持原空間的度量結(jié)構(gòu)，內(nèi)積結(jié)構(gòu)和局部結(jié)構(gòu)來(lái)獲得到目標(biāo)(通常是向量空間)的嵌入，從而獲得全局的坐標(biāo)表達(dá)，線性運(yùn)算和度量，進(jìn)而能被各種線性算法和模型所應(yīng)用。在獲得這一系列好處的同時(shí)，也有值得我們注意的地方。首先，嵌入只是一種數(shù)學(xué)手段，并不能取代對(duì)問(wèn)題本身的研究和分析。一種不恰當(dāng)?shù)脑冀Y(jié)構(gòu)或者嵌入策略，很多時(shí)候甚至適得其反-比如稀疏空間的流形嵌入，或者選取不恰當(dāng)?shù)膋ernel。另外，嵌入適合于分析，而未必適合于重建或者合成。這是因?yàn)榍度胧且粋€(gè)單射(inje

34、ction)，目標(biāo)空間不是每一個(gè)點(diǎn)都和原空間能有效對(duì)應(yīng)的。嵌入之后的運(yùn)算往往就打破了原空間施加的限制。比如兩個(gè)元素即使都是從原空間映射過(guò)來(lái)，它們的和卻未必有原像，這時(shí)就不能直接地回到原空間了。當(dāng)然可以考慮在原空間找一個(gè)點(diǎn)它的映射與之最近，不過(guò)這在實(shí)際中的有效性是值得商榷的。和Learning有關(guān)的數(shù)學(xué)世界是非常廣博的，我隨著學(xué)習(xí)和研究的深入，越來(lái)越發(fā)現(xiàn)在一些我平常不注意的數(shù)學(xué)分支中有著適合于問(wèn)題的結(jié)構(gòu)和方法。比如，廣群(groupoid)和廣代數(shù)(algebroid)能克服李群和李代數(shù)在表示連續(xù)變換過(guò)程中的一些困難-這些困難困擾了我很長(zhǎng)時(shí)間。解決問(wèn)題和建立數(shù)學(xué)模型是相輔相成的，一方面，一個(gè)清晰

35、的問(wèn)題將使我們有明確的目標(biāo)去尋求合適的數(shù)學(xué)結(jié)構(gòu)，另一方面，對(duì)數(shù)學(xué)結(jié)構(gòu)的深入理解對(duì)于指導(dǎo)問(wèn)題的解決也是有重要作用的。對(duì)于解決一個(gè)問(wèn)題來(lái)說(shuō)，數(shù)學(xué)工具的選擇最重要的是適合，而不是高深，但是如果在現(xiàn)有數(shù)學(xué)方法陷入困難的時(shí)候，尋求更高級(jí)別的數(shù)學(xué)的幫助，往往能柳暗花明。數(shù)學(xué)家長(zhǎng)時(shí)間的努力解決的很多問(wèn)題，并不都是理論游戲，他們的解決方案中很多時(shí)候蘊(yùn)含著我們需要的東西，而且可能導(dǎo)致對(duì)更多問(wèn)題的解決-但是我們需要時(shí)間去學(xué)習(xí)和發(fā)現(xiàn)它們。拓?fù)洌河巫哂谥庇^與抽象之間近日來(lái)，抽空再讀了一遍點(diǎn)集拓?fù)?Point Set Topology)，這是我第三次重新學(xué)習(xí)這個(gè)理論了。我看電視劇和小說(shuō)，極少能有興致看第二遍，但是，對(duì)于

36、數(shù)學(xué)，每看一次都有新的啟發(fā)和收獲。代數(shù)，分析，和拓?fù)洌环Q為是現(xiàn)代數(shù)學(xué)的三大柱石。最初讀拓?fù)?，是在兩三年前，由于學(xué)習(xí)流形理論的需要?？墒?，隨著知識(shí)的積累，發(fā)現(xiàn)它是很多理論的根基?？梢哉f(shuō)，沒(méi)有拓?fù)?，就沒(méi)有現(xiàn)代意義的分析與幾何。我們?cè)诟鞣N數(shù)學(xué)分支中接觸到的最基本的概念，比如，極限，連續(xù)，距離(度量)，邊界，路徑，在現(xiàn)代數(shù)學(xué)中，都源于拓?fù)?。拓?fù)鋵W(xué)是一門(mén)非常奇妙的學(xué)科，它把最直觀的現(xiàn)象和最抽象的概念聯(lián)系在一起了。拓?fù)涿枋龅氖瞧毡槭褂玫母拍?比如開(kāi)集，閉集，連續(xù))，我們對(duì)這些概念習(xí)以為常，理所當(dāng)然地使用著，可是，真要定義它，則需要對(duì)它們本質(zhì)的最深刻的洞察。數(shù)學(xué)家們經(jīng)過(guò)長(zhǎng)時(shí)間的努力，得到了這些概念的現(xiàn)代定

37、義。這里面很多第一眼看上去，會(huì)感覺(jué)驚奇-怎么會(huì)定義成這個(gè)樣子。首先是開(kāi)集。在學(xué)習(xí)初等數(shù)學(xué)時(shí)，我們都學(xué)習(xí)開(kāi)區(qū)間(a,b)。可是，這只是在一條線上的，怎么推廣到二維空間，或者更高維空間，或者別的形體上呢?最直觀的想法，就是一個(gè)不包含邊界的集合。可是，問(wèn)題來(lái)了，給一個(gè)集合，何謂邊界?在拓?fù)鋵W(xué)里面，開(kāi)集(Open Set)是最根本的概念，它是定義在集合運(yùn)算的基礎(chǔ)上的。它要求開(kāi)集符合這樣的條件：開(kāi)集的任意并集和有限交集仍為開(kāi)集。我最初的時(shí)候，對(duì)于這樣的定義方式，確實(shí)百思不解。不過(guò)，讀下去，看了和做了很多證明后，發(fā)現(xiàn)，這樣的定義一個(gè)很重要的意義在于：它保證了開(kāi)集中每個(gè)點(diǎn)都有一個(gè)鄰域包含在這個(gè)集合內(nèi)-所有點(diǎn)

38、都和外界(補(bǔ)集)保持距離。這樣的理解應(yīng)該比使用集合運(yùn)算的定義有更明晰的幾何意義。但是，直觀的東西不容易直接形成嚴(yán)謹(jǐn)?shù)亩x，使用集合運(yùn)算則更為嚴(yán)格。而集合運(yùn)算定義中，任意并集的封閉性是對(duì)這個(gè)幾何特點(diǎn)的內(nèi)在保證。另外一個(gè)例子就是連續(xù)函數(shù)(Continuous Function)。在學(xué)微積分時(shí)，一個(gè)耳熟能詳?shù)亩x是對(duì)任意的epsilon 0，存在delta 0，使得。，背后最直觀的意思就是足夠近的點(diǎn)保證映射到任意小的范圍內(nèi)?？墒牵琫psilon,delta都依賴于實(shí)空間，不在實(shí)空間的映射又怎么辦呢?拓?fù)涞亩x是如果一個(gè)映射的值域中任何開(kāi)集的原象都是開(kāi)集，那么它連續(xù)。這里就沒(méi)有epsilon什么事了。

39、開(kāi)集的原象是開(kāi)集這里的關(guān)鍵在于，在拓?fù)鋵W(xué)中，開(kāi)集的最重要意義就是要傳遞鄰域的意思-開(kāi)集本身就是所含點(diǎn)的鄰域。這樣連續(xù)定義成這樣就順理成章了。稍微把說(shuō)法調(diào)節(jié)一下，上面的定義就變成了對(duì)于f(x)的任意鄰域U，都有x的一個(gè)鄰域V，使得V里面的點(diǎn)都映射到U中。這里面，我們可以感受到為什么開(kāi)集在拓?fù)鋵W(xué)中有根本性的意義。既然開(kāi)集傳達(dá)鄰域的意思，那么，它最重要的作用就是要表達(dá)哪些點(diǎn)靠得比較近。給出一個(gè)拓?fù)浣Y(jié)構(gòu)，就是要指出哪些是開(kāi)集，從而指出哪些點(diǎn)靠得比較近，這樣就形成了一個(gè)聚集結(jié)構(gòu)-這就是拓?fù)??？墒沁@也可以通過(guò)距離來(lái)描述，為什么要用開(kāi)集呢，反而不直觀了。某種意義上說(shuō)，拓?fù)涫嵌ㄐ缘模嚯x度量是定量的。隨著連續(xù)

40、變形，距離會(huì)不斷變化，但是靠近的點(diǎn)還是靠近，因此本身固有的拓?fù)涮匦圆粫?huì)改變。拓?fù)鋵W(xué)研究的就是這種本質(zhì)特性-連續(xù)變化中的不變性。在拓?fù)涞幕靖拍钪校盍钊速M(fèi)解的，莫過(guò)于緊性(Compactness)。它描述一個(gè)空間或者一個(gè)集合緊不緊。正式的定義是如果一個(gè)集合的任意開(kāi)覆蓋都有有限子覆蓋，那么它是緊的。乍一看，實(shí)在有點(diǎn)莫名其妙。它究竟想描述一個(gè)什么東西呢?和緊這個(gè)形容詞又怎么扯上關(guān)系呢?一個(gè)直觀一點(diǎn)的理解，幾個(gè)集合是緊的，就是說(shuō)，無(wú)限個(gè)點(diǎn)撒進(jìn)去，不可能充分散開(kāi)。無(wú)論鄰域多么小，必然有一些鄰域里面有無(wú)限個(gè)點(diǎn)。上面關(guān)于compactness的這個(gè)定義的玄機(jī)就在有限和無(wú)限的轉(zhuǎn)換中。一個(gè)緊的集合，被無(wú)限多的

41、小鄰域覆蓋著，但是，總能找到其中的有限個(gè)就能蓋全。那么，后果是什么呢?無(wú)限個(gè)點(diǎn)撒進(jìn)去，總有一個(gè)鄰域包著無(wú)數(shù)個(gè)點(diǎn)。鄰域們?cè)僭趺葱《际沁@樣-這就保證了無(wú)限序列中存在極限點(diǎn)。Compact這個(gè)概念雖然有點(diǎn)不那么直觀，可是在分析中有著無(wú)比重要的作用。因?yàn)樗P(guān)系到極限的存在性-這是數(shù)學(xué)分析的基礎(chǔ)。了解泛函分析的朋友都知道，序列是否收斂，很多時(shí)候就看它了。微積分中，一個(gè)重要的定理-有界數(shù)列必然包含收斂子列，就是根源于此。在學(xué)習(xí)拓?fù)?，或者其它現(xiàn)代數(shù)學(xué)理論之前，我們的數(shù)學(xué)一直都在有限維歐氏空間之中，那是一個(gè)完美的世界，具有一切良好的屬性，Hausdorff,Locally compact,Simply con

42、nected，Completed，還有一套線性代數(shù)結(jié)構(gòu)，還有良好定義的度量，范數(shù)，與內(nèi)積?？墒?，隨著研究的加深，終究還是要走出這個(gè)圈子。這個(gè)時(shí)候，本來(lái)理所當(dāng)然的東西，變得不那么必然了。兩個(gè)點(diǎn)必然能分開(kāi)?你要證明空間是Hausdorff的。有界數(shù)列必然存在極限點(diǎn)?這只在locally compact的空間如此。一個(gè)連續(xù)體內(nèi)任意兩點(diǎn)必然有路徑連接?這可未必。一切看上去有悖常理，而又確實(shí)存在。從線性代數(shù)到一般的群，從有限維到無(wú)限維，從度量空間到拓?fù)淇臻g，整個(gè)認(rèn)識(shí)都需要重新清理。而且，這些絕非僅是數(shù)學(xué)家的概念游戲，因?yàn)槲覀兊氖澜绮皇怯邢蘧S向量能充分表達(dá)的。當(dāng)我們研究一些不是向量能表達(dá)的東西的時(shí)候，度量

43、，代數(shù)，以及分析的概念，都要重新建立，而起點(diǎn)就在拓?fù)?。和機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)相關(guān)的數(shù)學(xué)(轉(zhuǎn)載)(以下轉(zhuǎn)自一位MIT牛人的空間文章，寫(xiě)得很實(shí)際：)作者：Dahua感覺(jué)數(shù)學(xué)似乎總是不夠的。這些日子為了解決research中的一些問(wèn)題，又在圖書(shū)館捧起了數(shù)學(xué)的教科書(shū)。從大學(xué)到現(xiàn)在，課堂上學(xué)的和自學(xué)的數(shù)學(xué)其實(shí)不算少了，可是在研究的過(guò)程中總是發(fā)現(xiàn)需要補(bǔ)充新的數(shù)學(xué)知識(shí)。Learning和Vision都是很多種數(shù)學(xué)的交匯場(chǎng)?？粗煌睦碚擉w系的交匯，對(duì)于一個(gè)researcher來(lái)說(shuō)，往往是非常exciting的enjoyable的事情。不過(guò)，這也代表著要充分了解這個(gè)領(lǐng)域并且取得有意義的進(jìn)展是很艱苦的。記得在兩

44、年前的一次blog里面，提到過(guò)和learning有關(guān)的數(shù)學(xué)。今天看來(lái)，我對(duì)于數(shù)學(xué)在這個(gè)領(lǐng)域的作用有了新的思考。對(duì)于Learning的研究，1、Linear Algebra(線性代數(shù))和Statistics(統(tǒng)計(jì)學(xué))是最重要和不可缺少的。這代表了Machine Learning中最主流的兩大類方法的基礎(chǔ)。一種是以研究函數(shù)和變換為重點(diǎn)的代數(shù)方法，比如Dimension reduction，feature extraction，Kernel等，一種是以研究統(tǒng)計(jì)模型和樣本分布為重點(diǎn)的統(tǒng)計(jì)方法，比如Graphical model,Information theoretical models等。它們側(cè)重雖

45、有不同，但是常常是共同使用的，對(duì)于代數(shù)方法，往往需要統(tǒng)計(jì)上的解釋，對(duì)于統(tǒng)計(jì)模型，其具體計(jì)算則需要代數(shù)的幫助。以代數(shù)和統(tǒng)計(jì)為出發(fā)點(diǎn)，繼續(xù)往深處走，我們會(huì)發(fā)現(xiàn)需要更多的數(shù)學(xué)。2、Calculus(微積分)，只是數(shù)學(xué)分析體系的基礎(chǔ)。其基礎(chǔ)性作用不言而喻。Learning研究的大部分問(wèn)題是在連續(xù)的度量空間進(jìn)行的，無(wú)論代數(shù)還是統(tǒng)計(jì)，在研究?jī)?yōu)化問(wèn)題的時(shí)候，對(duì)一個(gè)映射的微分或者梯度的分析總是不可避免。而在統(tǒng)計(jì)學(xué)中，Marginalization和積分更是密不可分-不過(guò)，以解析形式把積分導(dǎo)出來(lái)的情況則不多見(jiàn)。3、Partial Differential Equation(偏微分方程)，這主要用于描述動(dòng)態(tài)過(guò)程，

46、或者仿動(dòng)態(tài)過(guò)程。這個(gè)學(xué)科在Vision中用得比Learning多，主要用于描述連續(xù)場(chǎng)的運(yùn)動(dòng)或者擴(kuò)散過(guò)程。比如Level set,Optical flow都是這方面的典型例子。4、Functional Analysis(泛函分析)，通俗地，可以理解為微積分從有限維空間到無(wú)限維空間的拓展-當(dāng)然了，它實(shí)際上遠(yuǎn)不止于此。在這個(gè)地方，函數(shù)以及其所作用的對(duì)象之間存在的對(duì)偶關(guān)系扮演了非常重要的角色。Learning發(fā)展至今，也在向無(wú)限維延伸-從研究有限維向量的問(wèn)題到以無(wú)限維的函數(shù)為研究對(duì)象。Kernel Learning和Gaussian Process是其中典型的例子-其中的核心概念都是Kernel。很多

47、做Learning的人把Kernel簡(jiǎn)單理解為Kernel trick的運(yùn)用，這就把kernel的意義嚴(yán)重弱化了。在泛函里面，Kernel(Inner Product)是建立整個(gè)博大的代數(shù)體系的根本，從metric,transform到spectrum都根源于此。5、Measure Theory(測(cè)度理論)，這是和實(shí)分析關(guān)系非常密切的學(xué)科。但是測(cè)度理論并不限于此。從某種意義上說(shuō)，Real Analysis可以從Lebesgue Measure(勒貝格測(cè)度)推演，不過(guò)其實(shí)還有很多別的測(cè)度體系-概率本身就是一種測(cè)度。測(cè)度理論對(duì)于Learning的意義是根本的，現(xiàn)代統(tǒng)計(jì)學(xué)整個(gè)就是建立在測(cè)度理論的基礎(chǔ)

48、之上-雖然初級(jí)的概率論教科書(shū)一般不這樣引入。在看一些統(tǒng)計(jì)方面的文章的時(shí)候，你可能會(huì)發(fā)現(xiàn)，它們會(huì)把統(tǒng)計(jì)的公式改用測(cè)度來(lái)表達(dá)，這樣做有兩個(gè)好處：所有的推導(dǎo)和結(jié)論不用分別給連續(xù)分布和離散分布各自寫(xiě)一遍了，這兩種東西都可以用同一的測(cè)度形式表達(dá)：連續(xù)分布的積分基于Lebesgue測(cè)度，離散分布的求和基于計(jì)數(shù)測(cè)度，而且還能推廣到那種既不連續(xù)又不離散的分布中去(這種東西不是數(shù)學(xué)家的游戲，而是已經(jīng)在實(shí)用的東西，在Dirchlet Process或者Pitman-Yor Process里面會(huì)經(jīng)?？吹?。而且，即使是連續(xù)積分，如果不是在歐氏空間進(jìn)行，而是在更一般的拓?fù)淇臻g(比如微分流形或者變換群)，那么傳統(tǒng)的黎曼積分(就是大學(xué)一年級(jí)在微積分課學(xué)的那種)就不work了，你