神經(jīng)網(wǎng)絡(luò)數(shù)學基礎(chǔ)

神經(jīng)網(wǎng)絡(luò)數(shù)學基礎(chǔ)1第1頁，共63頁，2023年，2月20日，星期一信號和權(quán)值向量空間將神經(jīng)網(wǎng)絡(luò)的輸入、輸出以及權(quán)值矩陣的行作為向量看待是非常有好處的。這些都是中的向量。是標準的n維歐基里德空間2第2頁，共63頁，2023年，2月20日，星期一線性向量空問3第3頁，共63頁，2023年，2月20日，星期一如圖1所示。顯然它是一個向量空間，并且對于向量加和標量乘全部滿足10個條件。的子集又將如何?考慮圖2中方框內(nèi)的區(qū)域x。向量x和y在區(qū)域內(nèi)，但是x+y卻可能不在的區(qū)域內(nèi)。從這個例子可以看出，任何限定邊界的集合都不可能是向量空間。所有經(jīng)過坐標軸原點的直線都滿足上述10個條件。但是，如果直線不經(jīng)過坐標軸的原點，那么至少這種直線不能滿足第4個條件。

4第4頁，共63頁，2023年，2月20日，星期一如果已經(jīng)習慣于將向量看作是一列數(shù)字，那么這兩個元素的確是奇怪的向量。但是請記?。阂粋€集合只要滿足上述10個條件，就可以被認為是一個向量空間。例如考慮最高階數(shù)小于或等于2的多項式集合此集合的兩個元素是：5第5頁，共63頁，2023年，2月20日，星期一由于兩個連續(xù)函數(shù)的和仍然是一個連續(xù)函數(shù)，一個標量乘以一連續(xù)函數(shù)仍然是一個連續(xù)函數(shù)，所以集合也是一個向量空間這個集合與前面討論過的向量空間不同，它是無限維的。6第6頁，共63頁，2023年，2月20日，星期一線性無關(guān)線性無關(guān)與之相反，如果當且僅當每個均等于零，那么稱其是一組線性無關(guān)的向量。注意這些定義實際上等價于：如果一個向量集合是無關(guān)的，那么這個集合中的任何向量都不能表示成該集合中其他向量的線性組合。7第7頁，共63頁，2023年，2月20日，星期一生成空間X的基集是由生成它的線性無關(guān)的向量所組成的集合。任何基集包含了生成空間所需要的最少個數(shù)的向量。X的維數(shù)就等于基集中元素的個數(shù)。任何向量空間都可以有多個基集，但每一個基集都必須包含相同數(shù)目的元素。8第8頁，共63頁，2023年，2月20日，星期一9第9頁，共63頁，2023年，2月20日，星期一內(nèi)積10第10頁，共63頁，2023年，2月20日，星期一范數(shù)11第11頁，共63頁，2023年，2月20日，星期一正交性12第12頁，共63頁，2023年，2月20日，星期一向量展開式13第13頁，共63頁，2023年，2月20日，星期一互逆基向量如果需要向量展開式，而基集又不是正交的，那么就必須引人下列等式所定義的互逆基底：14第14頁，共63頁，2023年，2月20日，星期一15第15頁，共63頁，2023年，2月20日，星期一16第16頁，共63頁，2023年，2月20日，星期一17第17頁，共63頁，2023年，2月20日，星期一18第18頁，共63頁，2023年，2月20日，星期一19第19頁，共63頁，2023年，2月20日，星期一20第20頁，共63頁，2023年，2月20日，星期一由此可以看出，當要用一列數(shù)字表示一個一般向量時，必須知道其向量展開式所采用的基集是什么。在如果沒有特殊說明，那么假設(shè)所采用的都是標準基集。21第21頁，共63頁，2023年，2月20日，星期一Gram矩陣只是向量個數(shù)比這些向量的原始空間中向量個數(shù)要少(R4空間中的3個向量)。在這種情況下，由這3個向量所構(gòu)成的矩陣不再是一個方陣，所以不能計算其行列式的值。可以采用稱為Gram的方法，這種方法按可以求出一個矩陣的行列式，矩陣的第i行第j列的元素是向量i和向量j的內(nèi)積。這些向量是線性相關(guān)的當且僅當G矩陣的行列式為零。22第22頁，共63頁，2023年，2月20日，星期一23第23頁，共63頁，2023年，2月20日，星期一神經(jīng)網(wǎng)絡(luò)中的線性變換諸如特征值、特征向量和基變換等基本概念，這些概念對理解一些諸如性能學習(反傳學習算法)以及Hopfield網(wǎng)絡(luò)的收斂特性等神經(jīng)網(wǎng)絡(luò)關(guān)鍵課題是十分重要的。24第24頁，共63頁，2023年，2月20日，星期一線性變換變換：一個變換由三部分組成25第25頁，共63頁，2023年，2月20日，星期一旋轉(zhuǎn)變換兩個向量之和的旋轉(zhuǎn)伸縮向量的變換26第26頁，共63頁，2023年，2月20日，星期一矩陣表示可以證明兩個有限維向量空間之間的任何線性變換都可以用一個矩陣來表示(這和在有限維的向量空間中的任何一個向量可以用一個數(shù)列來表示是一樣的)。請記?。号c一般向量的數(shù)列表示形式并不是惟一的類似，一個變換的矩陣表示也不是惟一的。如果改變定義域或值域的基集，那么變換的矩陣表示也會隨之改變。27第27頁，共63頁，2023年，2月20日，星期一

以旋轉(zhuǎn)變換為例，來討論變換的矩陣表示，看看如何找到該變換的矩陣表示。28第28頁，共63頁，2023年，2月20日，星期一可以看到展式中的兩個系數(shù)就是的矩陣中的第一列。29第29頁，共63頁，2023年，2月20日，星期一從展式中可以得到矩陣表示中的第二列。所以，完整的矩陣表示可以由下式：30第30頁，共63頁，2023年，2月20日，星期一特征值和特征向量考慮一個線性交換：：(定義域和值域相同)。分別稱滿足下式的那些不等于0的向量和標量分別是特征向量和特征值：請注意，特征向量實際上并不是一個真正的向量，而是一個向量空間。所以，給定變換的一個特征向量表示一個方向，當對任何取該方向的向量進行變換時，它們都將繼續(xù)指向相同的方向，僅僅是按照特征值對向量的長度進行縮放。31第31頁，共63頁，2023年，2月20日，星期一如果某個變換有n個不同的特征值，則可以保證得到該變換n個線性無關(guān)的特征向量，因此特征向量組成變換的向量空間的一個基集。32第32頁，共63頁，2023年，2月20日，星期一性能曲面和最優(yōu)點 介紹的是一類稱為性能學習的神經(jīng)網(wǎng)絡(luò)訓練的基礎(chǔ)知識。神經(jīng)網(wǎng)絡(luò)有幾種不同類型的學習規(guī)則，如聯(lián)想學習(Hebb學習)和競爭學習。性能學習是一類重要的學習規(guī)則，其目的在于調(diào)整網(wǎng)絡(luò)參數(shù)以優(yōu)化網(wǎng)絡(luò)性能。主要目的是研究性能曲面，并確定性能曲面存在極大點和極小點的條件。33第33頁，共63頁，2023年，2月20日，星期一性能優(yōu)化

這種優(yōu)化過程分兩個步驟進行。第一步是定義“性能”的含義。換言之，需要找到一個衡量網(wǎng)絡(luò)性能的定量標準，即性能指數(shù)，性能指數(shù)在網(wǎng)絡(luò)性能良好時很小，反之則很大。優(yōu)化過程的第二步是搜索減小性能指數(shù)的參數(shù)空間(調(diào)整網(wǎng)絡(luò)權(quán)值和偏置值)。34第34頁，共63頁，2023年，2月20日，星期一泰勒級數(shù)假定性能指數(shù)是一個解析函數(shù)，它的各級導(dǎo)數(shù)均存在。35第35頁，共63頁，2023年，2月20日，星期一36第36頁，共63頁，2023年，2月20日，星期一向量的情況神經(jīng)網(wǎng)絡(luò)的性能指數(shù)并不僅是一個純量的函數(shù)，它是所有網(wǎng)絡(luò)參數(shù)(各個權(quán)值和偏置值)的函數(shù)，參數(shù)的數(shù)量可能是很大的。因此，需要將泰勒級數(shù)展開形式擴展為多變量形式。37第37頁，共63頁，2023年，2月20日，星期一38第38頁，共63頁，2023年，2月20日，星期一39第39頁，共63頁，2023年，2月20日，星期一方向?qū)?shù)40第40頁，共63頁，2023年，2月20日，星期一41第41頁，共63頁，2023年，2月20日，星期一最大斜率在什么方向上?當方向向量與梯度的內(nèi)積最大時斜率最大，故當方向向量與梯度同向時會出現(xiàn)最大斜率(注意方向向量的長度對此沒有影響，因為它已被規(guī)格化)。42第42頁，共63頁，2023年，2月20日，星期一極小點43第43頁，共63頁，2023年，2月20日，星期一44第44頁，共63頁，2023年，2月20日，星期一45第45頁，共63頁，2023年，2月20日，星期一46第46頁，共63頁，2023年，2月20日，星期一優(yōu)化的必要條件定義了最優(yōu)點(極小點)后，必須給出這種點需要滿足的條件。這里還要用到泰勒級來推導(dǎo)這些條件：47第47頁，共63頁，2023年，2月20日，星期一駐點：一個極小點處的梯度一定為零。這就是局部極小點的一階必要條件(不是充分條件)。48第48頁，共63頁，2023年，2月20日，星期一二階條件49第49頁，共63頁，2023年，2月20日，星期一可以通過檢驗矩陣特征值來檢驗這些條件，如果所有特征值為正則矩陣為正定矩陣；如果所有特征值非負，則矩陣為半正定矩陣。充分條件：一個正定的赫森矩陣是一個強極小點存在的二階充分條件，但不是必要條件。如果泰勒級數(shù)的二階項為零，但三階項為正，仍可能存在強極小點。所以強極小點存在的二階充分條件是赫森矩陣為半正定矩陣。50第50頁，共63頁，2023年，2月20日，星期一二次函數(shù)二次函數(shù)的所有的高階導(dǎo)數(shù)為零。51第51頁，共63頁，2023年，2月20日，星期一研究赫森矩陣的特征值和特征向量得到二次函數(shù)性質(zhì)?？紤]以原點為駐點且其值為0的二次函數(shù)：由于A為對稱矩陣，所以其特征向量兩兩正交?？捎锰卣飨蛄孔鳛榱邢蛄繕?gòu)成一個的矩陣：52第52頁，共63頁，2023年，2月20日，星期一53第53頁，共63頁，2023年，2月20日，星期一用方向?qū)?shù)的概念說明A的特征值和特征向量的物理意義以及確定二次函數(shù)的曲面特性：(特征向量集可作為向量空間的基)54第54頁，共63頁，2023年，2月20日，星期一首先，這個二階導(dǎo)數(shù)是特征值的加權(quán)平均。所以它總不大于最大的特征值，或不小于最小特征值。換句話說：55第55頁，共63頁，2023年，2月20日，星期一56第56頁，共63頁，2023年，2月20日，星期一所以，在最大特征值的特征向量方向上存在最大的二階導(dǎo)數(shù)。事實上：在每個特征向量方向的二階導(dǎo)數(shù)都等于相應(yīng)的特征值。在其他方向上二階導(dǎo)數(shù)等于特征值的加權(quán)平均值。特征向量方向上的相應(yīng)特征值即是在該方向上的二階導(dǎo)數(shù)。57第57頁，共63頁，2023年，2月20日，星期一現(xiàn)將二次函數(shù)的一些特點小結(jié)如下：1)如果赫森矩陣的所有特征值為正，則函數(shù)有一個強極小點2)如果赫森矩陣的所有特征值為負，則函數(shù)有一個強極大點3)如果赫森矩陣的特征值有正有負，則函數(shù)有一個鞍點。4)如果赫森矩陣的所有特征值為非負，但某些特征值為零，則函數(shù)要么有一個弱極小點，要么沒有駐點。5)如果赫森矩陣的所有特征值為非正，但某些特征值為零，則函數(shù)要么有一個弱極大點，要么沒有駐點58第58頁，共63頁，2023年，2月20日，星期一性能優(yōu)化討論三類優(yōu)化算法：最速下降法、牛頓法以及共扼梯度法。這些算法將用于神經(jīng)網(wǎng)絡(luò)的訓練所有將要討論的算法都是迭代的。首先，給定一個初始猜測值，然后按照等式：59第59頁，共63頁，2023年，2月20日，星期一最速下降法60第60頁，共63頁，2023年，2月20日，星期一下降方向滿足上式的任意向量稱為一個下降方向。如果沿此方向取足夠小的步長，函數(shù)一定遞減。這帶來了另一個問題：最速下降的方向在哪里?(即在什么方向上函數(shù)遞減速度最快?)這種情況發(fā)生于下式為最大的負數(shù)時：(設(shè)長度不變，只改變