啟發(fā)式優(yōu)化算法綜述

實(shí)用標(biāo)準(zhǔn)實(shí)用標(biāo)準(zhǔn)文案大全文案大全啟發(fā)式優(yōu)化算法綜述一、啟發(fā)式算法簡(jiǎn)介1、定義由于傳統(tǒng)的優(yōu)化算法如最速下降法，線性規(guī)劃，動(dòng)態(tài)規(guī)劃，分支定界法，單純形法，共軛梯度法，擬牛頓法等在求解復(fù)雜的大規(guī)模優(yōu)化問題中無法快速有效地尋找到一個(gè)合理可靠的解，使得學(xué)者們期望探索一種算法:它不依賴問題的數(shù)學(xué)性能，如連續(xù)可微，非凸等特性;對(duì)初始值要求不嚴(yán)格、不敏感，并能夠高效處理高維數(shù)多模態(tài)的復(fù)雜優(yōu)化問題，在合理時(shí)間內(nèi)尋找到全局最優(yōu)值或靠近全局最優(yōu)的值。于是基于實(shí)際應(yīng)用的需求，智能優(yōu)化算法應(yīng)運(yùn)而生。智能優(yōu)化算法借助自然現(xiàn)象的一些特點(diǎn)，抽象出數(shù)學(xué)規(guī)則來求解優(yōu)化問題，受大自然的啟發(fā)，人們從大自然的運(yùn)行規(guī)律中找到了許多解決實(shí)際問題的方法。對(duì)于那些受大自然的運(yùn)行規(guī)律或者面向具體問題的經(jīng)驗(yàn)、規(guī)則啟發(fā)出來的方法，人們常常稱之為啟發(fā)式算法(HeuristicAlgorithm)。為什么要引出啟發(fā)式算法，因?yàn)镹P問題，一般的經(jīng)典算法是無法求解，或求解時(shí)間過長(zhǎng)，我們無法接受。因此，采用一種相對(duì)好的求解算法，去盡可能逼近最優(yōu)解，得到一個(gè)相對(duì)優(yōu)解，在很多實(shí)際情況中也是可以接受的。啟發(fā)式算法是一種技術(shù)，這種技術(shù)使得在可接受的計(jì)算成本內(nèi)去搜尋最好的解，但不一定能保證所得的可行解和最優(yōu)解，甚至在多數(shù)情況下，無法闡述所得解同最優(yōu)解的近似程度。啟發(fā)式算法是和問題求解及搜索相關(guān)的，也就是說,啟發(fā)式算法是為了提高搜索效率才提出的。人在解決問題時(shí)所采取的一種根據(jù)經(jīng)驗(yàn)規(guī)則進(jìn)行發(fā)現(xiàn)的方法。其特點(diǎn)是在解決問題時(shí),利用過去的經(jīng)驗(yàn),選擇已經(jīng)行之有效的方法，而不是系統(tǒng)地、以確定的步驟去尋求答案，以隨機(jī)或近似隨機(jī)方法搜索非線性復(fù)雜空間中全局最優(yōu)解的尋取。啟發(fā)式解決問題的方法是與算法相對(duì)立的。算法是把各種可能性都一一進(jìn)行嘗試，最終能找到問題的答案，但它是在很大的問題空間內(nèi)，花費(fèi)大量的時(shí)間和精力才能求得答案。啟發(fā)式方法則是在有限的搜索空間內(nèi)，大大減少嘗試的數(shù)量，能迅速地達(dá)到問題的解決。2、發(fā)展歷史啟發(fā)式算法的計(jì)算量都比較大，所以啟發(fā)式算法伴隨著計(jì)算機(jī)技術(shù)的發(fā)展，才能取得了巨大的成就?？v觀啟發(fā)式算法的歷史發(fā)展史：40年代：由于實(shí)際需要，提出了啟發(fā)式算法(快速有效)。50年代：逐步繁榮，其中貪婪算法和局部搜索等到人們的關(guān)注。60年代:反思，發(fā)現(xiàn)以前提出的啟發(fā)式算法速度很快，但是解得質(zhì)量不能保證，而且對(duì)大規(guī)模的問題仍然無能為力(收斂速度慢)。70年代：計(jì)算復(fù)雜性理論的提出，NP問題。許多實(shí)際問題不可能在合理的時(shí)間范圍內(nèi)找到全局最優(yōu)解。發(fā)現(xiàn)貪婪算法和局部搜索算法速度快，但解不好的原因主要是他們只是在局部的區(qū)域內(nèi)找解，等到的解沒有全局最優(yōu)性。由此必須引入新的搜索機(jī)制和策略。Holland的遺傳算法出現(xiàn)了(GeneticAlgorithm)再次引發(fā)了人們研究啟發(fā)式算法的興趣。80年代以后：模擬退火算法(SimulatedAnnealingAlgorithm),人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork)，禁忌搜索(TabuSearch)相繼出現(xiàn)。最近比較火熱的演化算法EvolutionaryAlgorithm),蟻群算法AntAlgorithms)，擬人擬物算法，量子算法等。二、啟發(fā)式算法類型1、類型簡(jiǎn)介大部分的算法都是仿生演變而來，如下：仿動(dòng)物類的算法：粒子群優(yōu)化，蟻群算法，魚群算法，蜂群算法等；仿植物類的算法：向光性算法，雜草優(yōu)化算法等；仿人類的算法有：遺傳基因算法，和聲搜索算法，神經(jīng)網(wǎng)絡(luò)；以及其他的理論成熟并被廣泛使用的算法如：模擬退火算法、禁忌搜索等等、粒子群算法粒子群優(yōu)化算法的基本思想是通過群體中個(gè)體之間的協(xié)作和信息共享來尋找最優(yōu)解．粒子群算法源于復(fù)雜適應(yīng)系統(tǒng)（ComplexAdaptiveSystem,CAS工CAS理論于1994年正式提出，CAS中的成員稱為主體。比如研究鳥群系統(tǒng)，每個(gè)鳥在這個(gè)系統(tǒng)中就稱為主體。主體有適應(yīng)性，它能夠與環(huán)境及其他的主體進(jìn)行交流，并且根據(jù)交流的過程“學(xué)習(xí)”或“積累經(jīng)驗(yàn)”改變自身結(jié)構(gòu)與行為。整個(gè)系統(tǒng)的演變或進(jìn)化包括：新層次的產(chǎn)生（小鳥的出生）；分化和多樣性的出現(xiàn)（鳥群中的鳥分成許多小的群）；新的主題的出現(xiàn)（鳥尋找食物過程中，不斷發(fā)現(xiàn)新的食物）。設(shè)想這樣一個(gè)場(chǎng)景：一群鳥在隨機(jī)的搜索食物。在這個(gè)區(qū)域里只有一塊食物，所有的鳥都不知道食物在那。但是它們知道自己當(dāng)前的位置距離食物還有多遠(yuǎn)。那么找到食物的最優(yōu)策略是什么？最簡(jiǎn)單有效的就是搜尋目前離食物最近的鳥的周圍區(qū)域。、蟻群算法蟻群算法（antcolonyoptimization,ACO），又稱螞蟻算法，是一種用來在圖中尋找優(yōu)化路徑的機(jī)率型算法。它由MarcoDorigo于1992年在他的博士論文中提出，其靈感來源于螞蟻在尋找食物過程中發(fā)現(xiàn)路徑的行為。螞蟻在運(yùn)動(dòng)過程中，會(huì)留下一種稱為信息素的東西，并且會(huì)隨著移動(dòng)的距離，播散的信息素越來越少，所以往往在家或者食物的周圍，信息素的濃度是最強(qiáng)的，而螞蟻?zhàn)陨頃?huì)根據(jù)信息素去選擇方向，當(dāng)然信息素越濃，被選擇的概率也就越大，并且信息素本身具有一定的揮發(fā)作用。螞蟻的運(yùn)動(dòng)過程可以簡(jiǎn)單歸納如下：1當(dāng)周圍沒有信息素指引時(shí)，螞蟻的運(yùn)動(dòng)具有一定的慣性，并有一定的概率選擇其他方向；2當(dāng)周圍有信息素的指引時(shí)，按照信息素的濃度強(qiáng)度概率性的選擇運(yùn)動(dòng)方向；3找食物時(shí)，螞蟻留下家相關(guān)&A信息素，找家時(shí)，螞蟻留下食物相關(guān)的信息素，并隨著移動(dòng)距離的增加，灑播的信息素越來越少；4隨著時(shí)間推移，信息素會(huì)自行揮發(fā)；由上面4點(diǎn)原則構(gòu)成蟻群算法的核心規(guī)則。、遺傳基因算法遺傳算法（GeneticAlgorithm）又叫基因進(jìn)化算法，或進(jìn)化算法。生物只有經(jīng)過許多世代的不斷進(jìn)化（evolution,演化），才能更好地完成生存與繁衍的任務(wù)。遺傳算法也遵循同樣的方式，需要隨著時(shí)間的推移不斷成長(zhǎng)、演化，最后才能收斂，得到針對(duì)某類特定問題的一個(gè)或多個(gè)解。遺傳算法是一種基于自然選擇和群體遺傳機(jī)理的搜索算法，它模擬了自然選擇和自然遺傳過程中的繁殖、雜交和突變現(xiàn)象。標(biāo)準(zhǔn)的遺傳算法包括四個(gè)組成部分：編碼（產(chǎn)生初始種群）。在利用遺傳算法求解問題時(shí)，首先要確定問題的目標(biāo)函數(shù)和解變量，然后對(duì)解變量進(jìn)行編碼，遺傳算法的所有操作都是基于這種實(shí)際變量的編碼。編碼是遺傳算法的一個(gè)重要環(huán)節(jié)。它不僅決定了染色體的組織方式，還影響到交叉、變異算子的執(zhí)行方式。不同的編碼策略對(duì)遺傳算法的運(yùn)行效率有較大的影響。問題的編碼一般應(yīng)滿足完備性、健全性和非冗長(zhǎng)性H個(gè)原則，完備性是指問題空間中的所有點(diǎn)都能成為GA編碼空間中點(diǎn)的表現(xiàn)型；健全性是指GA編碼空間中染色體必須對(duì)應(yīng)問題空間中的某一潛在解；非冗長(zhǎng)性是指染色體和潛在解必須一一對(duì)應(yīng)PS1。對(duì)于一個(gè)特定的問題，如何設(shè)計(jì)出一種高效的編碼方式是遺傳算法所面臨的難題之一，遺憾的是，研究者們至今也沒能找到一種通用的編碼策略。目前，工程優(yōu)化中多采用兩種常用的編碼方式，即二進(jìn)制編碼Psi和實(shí)數(shù)編碼PD1。二進(jìn)制編碼的染色體是由一個(gè)二值集合｛0,1｝所組成的二進(jìn)制符號(hào)串。作為GA算法的標(biāo)準(zhǔn)編碼方式該編碼方式尤其適用于能用二值向量描述的優(yōu)化問題如化學(xué)反應(yīng)P11、多用途過程規(guī)劃P3和最優(yōu)水流參數(shù)評(píng)估Psi等；實(shí)數(shù)編碼是指?jìng)€(gè)體的每個(gè)基因值用某一范圍的一個(gè)浮點(diǎn)數(shù)表示，個(gè)體的編碼長(zhǎng)度等于其決策變量（設(shè)計(jì)變量）的個(gè)數(shù)。這種編碼方式適用于精度要求較高的遺傳算法中，便于較大空間的遺傳搜索：改善了遺傳算法的計(jì)算復(fù)雜性，提高了運(yùn)算效率；便于遺傳算法和經(jīng)典優(yōu)化算法的混合使用：目前基于實(shí)數(shù)編碼的遺傳算法也被廣泛用于優(yōu)化問題中，如多目標(biāo)優(yōu)化IW,凸輪輪廓設(shè)汁等。選擇操作。選擇是指從群體中選擇優(yōu)良的個(gè)體并淘汰劣質(zhì)個(gè)體的操作。它建立在適應(yīng)度評(píng)估的基礎(chǔ)上，遺應(yīng)度楚大的個(gè)體，被選擇的可能性就越大，它的吁孫"在下一代的個(gè)數(shù)就越多。選擇出來的個(gè)體被放入配對(duì)庫(kù)中。目前常用的選擇方法有輪盤賭方法、最佳個(gè)體保留法、期望值法和排序選擇法等。）交叉操作。交叉是指兩個(gè)父代個(gè)體的部分結(jié)構(gòu)加W替換重組而生成新個(gè)體的操作，目的是為了能夠在下一代產(chǎn)生新的個(gè)體。通過交叉操作，遺傳算法的搜索能力得W提高。交叉是遺傳算法獲取新優(yōu)良個(gè)體最重要的手段，按照一定的交叉概率在配對(duì)庫(kù)中隨機(jī)地選取兩個(gè)個(gè)體進(jìn)行交叉，交叉的位置也是隨機(jī)確定的。4）變異。變異就是很小的變異概率隨機(jī)地改變?nèi)后w中個(gè)體的某些基因的值。變異操作中位置選取的基本過程如下：產(chǎn)生一個(gè)在0?1之間的隨機(jī)數(shù)，如果小于Pm則進(jìn)行變異操作。④、模擬退火

模擬退火算法來源于固體退火原理，是一種基于概率的算法，將固體加溫至充分高，再讓其徐徐冷卻，加溫時(shí)，固體內(nèi)部粒子隨溫升變?yōu)闊o序狀，內(nèi)能增大，而徐徐冷卻時(shí)粒子漸趨有序，在每個(gè)溫度都達(dá)到平衡態(tài)，最后在常溫時(shí)達(dá)到基態(tài)，內(nèi)能減為最小。模擬退火算法新解的產(chǎn)生和接受可分為如下四個(gè)步驟：第一步是由一個(gè)產(chǎn)生函數(shù)從當(dāng)前解產(chǎn)生一個(gè)位于解空間的新解為；便于后續(xù)的計(jì)算和接受，減少算法耗時(shí)，通常選擇由當(dāng)前新解經(jīng)過簡(jiǎn)單地變換即可產(chǎn)生新解的方法如，對(duì)構(gòu)成新解的全部或部分元素進(jìn)行置換互、換等，注意到產(chǎn)生新解的變換方法決定了當(dāng)前新解的鄰域結(jié)構(gòu)，因而對(duì)冷卻進(jìn)度表的選取有一定的影響。第二步是計(jì)算與新解所對(duì)應(yīng)的目標(biāo)函數(shù)差因。為目標(biāo)函數(shù)差僅由變換部分產(chǎn)生所，第二步是計(jì)算與新解所對(duì)應(yīng)的目標(biāo)函數(shù)差因。為目標(biāo)函數(shù)差僅由變換部分產(chǎn)生所，以目標(biāo)函數(shù)差的計(jì)算最好按增量計(jì)算事。實(shí)表明，對(duì)大多數(shù)應(yīng)用而言，這是計(jì)算目標(biāo)函數(shù)差的最快方法。第三步是判斷新解是否被接受,判斷的依據(jù)是一個(gè)接受準(zhǔn)則，最常用的接受準(zhǔn)則是Metropolis準(zhǔn)則:若揖＜0則接受S’作為新的當(dāng)前解5否則以概^xp（-AT/T腰受S’作為新的當(dāng)前解^第四步是當(dāng)新解被確定接受時(shí)，用新解代替當(dāng)前解，這只需將當(dāng)前解中對(duì)應(yīng)于產(chǎn)生新解時(shí)的變換部分予以實(shí)現(xiàn)同，時(shí)修正目標(biāo)函數(shù)值即可此。時(shí)，當(dāng)前解實(shí)現(xiàn)了一次迭代?？稍诖嘶A(chǔ)上開始下一輪試驗(yàn)。而當(dāng)新解被判定為舍棄時(shí)，則在原當(dāng)前解的基礎(chǔ)上繼續(xù)下一輪試驗(yàn)。模擬退火算法與初始值無關(guān)，算法求得的解與初始解狀態(tài)S（是算法迭代的起點(diǎn)）無關(guān)；模擬退火算法具有漸近收斂攵性，已在理論上被證明是一種以概率l收斂攵于全局最優(yōu)解的全局優(yōu)化算法；模擬退火算法具有并行性。2、設(shè)計(jì)良好的啟發(fā)式算法上述的啟發(fā)式算法都有一個(gè)共同的特點(diǎn)：從隨機(jī)的可行初始解出發(fā)，才用迭代改進(jìn)的策略，去逼近問題的最優(yōu)解。他們的基本要素：1）隨機(jī)初始可行解；2）給定一個(gè)評(píng)價(jià)函數(shù)（常常與目標(biāo)函數(shù)值有關(guān)）；3）鄰域，產(chǎn)生新的可行解；4）選擇和接受解得準(zhǔn)則；5）終止準(zhǔn)則。但在啟發(fā)式算法中，局部最優(yōu)值的陷入是無法避免。啟發(fā)式，本質(zhì)上是一種貪心策略，這也在客觀上決定了不符合貪心規(guī)則的更好（或者最優(yōu)）解會(huì)錯(cuò)過。那么如何避免陷入局部最優(yōu)呢？隨機(jī)。具體實(shí)現(xiàn)手段上，可以根據(jù)所采用的啟發(fā)式框架來靈活地加入隨機(jī)性。比如遺傳里面，可以在交叉變異時(shí)，可以在控制人口策略中，也可以在選擇父本母本樣本時(shí)；禁忌里面，可以在禁忌表的長(zhǎng)度上體現(xiàn)，也可以在解禁策略中使用，等等。這些都要結(jié)合具體問題特定的算例集，需要反復(fù)嘗試摸索才行。參數(shù)的敏感性是一個(gè)問題，建議不要超過3個(gè)參數(shù)，參數(shù)越不敏感越好。不同算例集用不同種子運(yùn)行多次（100次左右才有統(tǒng)計(jì)意義），統(tǒng)計(jì)平均性能即可。需注意全局的隨機(jī)重啟通常來說不是一個(gè)好辦法，因?yàn)榈扔谥鲃?dòng)放棄之前搜索結(jié)果，萬不得已不要用，或者就是不用。三個(gè)原則應(yīng)該把握：越隨機(jī)越好；越不隨機(jī)越好；二者平衡最好。越隨機(jī)越好沒有隨機(jī)性，一定會(huì)陷入局部最優(yōu)。為了獲得更大的找到最優(yōu)解的期望，算法中一定要有足夠的隨機(jī)性。具體體現(xiàn)為魯棒性較好，搜索時(shí)多樣性較好。算法的每一步選擇都可以考慮加入隨機(jī)性，但要控制好概率。比如，某個(gè)貪心策略下，是以概率1做某一動(dòng)作，可以考慮將其改為以概率0.999做之前的操作，以剩余概率做其他操作。具體參數(shù)設(shè)置需調(diào)試。越不隨機(jī)越好隨機(jī)性往往是對(duì)問題內(nèi)在規(guī)律的一種妥協(xié)。即沒有找到其內(nèi)在規(guī)律，又不知道如何是好，為了獲得更好的多樣性，逼不得已加入隨機(jī)。因此，對(duì)給定問題的深入研究才是根本：分辨出哪些時(shí)候，某個(gè)動(dòng)作就是客觀上能嚴(yán)格保證最優(yōu)的——這點(diǎn)至關(guān)重要，直接決定了算法性能。最好的算法一定是和問題結(jié)構(gòu)緊密相連的，范范地套用某個(gè)啟發(fā)式的框架不會(huì)有出色的性能。當(dāng)然，如果不是追求性能至上，而是考慮到開發(fā)效率實(shí)現(xiàn)成本這些額外因素，則另當(dāng)別論。二者平衡最好通常情況下，做好第一點(diǎn)，可以略微改善算法性能；做好第二點(diǎn)，有希望給算法帶來質(zhì)的提高。而二者調(diào)和后的平衡則會(huì)帶來質(zhì)的飛躍。貪心是“自強(qiáng)不息”的精進(jìn)，不放過任何改進(jìn)算法的機(jī)會(huì)；多樣性的隨機(jī)是“厚德載物”的一分包容，給那些目前看似不那么好的解一些機(jī)會(huì)。調(diào)和好二者，不偏頗任何一方才能使算法有出色的性能。要把握這種平衡，非一朝一夕之功，只能在反復(fù)試驗(yàn)反思中去細(xì)細(xì)品味。三、本領(lǐng)域應(yīng)用：基于深度神經(jīng)網(wǎng)絡(luò)的自然語(yǔ)言情感分析.深度神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)領(lǐng)域最早是由心理學(xué)家和神經(jīng)學(xué)家開創(chuàng)的，旨在開發(fā)和測(cè)試神經(jīng)的計(jì)算機(jī)模擬。粗略地說，神經(jīng)網(wǎng)絡(luò)是一組連接的輸入/輸出單元，其中每個(gè)連接都與一個(gè)權(quán)重相關(guān)聯(lián)。在學(xué)習(xí)階段，通過調(diào)整這些權(quán)重，能夠預(yù)測(cè)輸入元組的正確類標(biāo)號(hào)。由于單元之間的連接，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)又稱連接者學(xué)習(xí)(ConnectionistLearning)。神經(jīng)網(wǎng)絡(luò)需要很長(zhǎng)的訓(xùn)練時(shí)間，對(duì)于有足夠長(zhǎng)訓(xùn)練時(shí)間的應(yīng)用更為合適。需要大量的參數(shù)，通常主要靠經(jīng)驗(yàn)確定，如網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)常常因?yàn)榭山忉屝圆疃艿脚u(píng)。例如，人們很難解釋網(wǎng)絡(luò)中學(xué)習(xí)的權(quán)重和“隱含單元”的符號(hào)意義。然而，神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)包括其對(duì)噪聲數(shù)據(jù)的高承受能力，以及對(duì)未經(jīng)訓(xùn)練的數(shù)據(jù)模式分類能力。在缺乏屬性和類之間的聯(lián)系的知識(shí)時(shí)可以使用它們。不像大部分決策樹算法，它們非常適合連續(xù)值的輸入和輸出。神經(jīng)網(wǎng)絡(luò)算法是固有并行的，可以使用并行技術(shù)來加快計(jì)算過程。有許多不同類型的神經(jīng)網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)算法，最流行的神經(jīng)網(wǎng)絡(luò)算法是后向傳播，它在20世紀(jì)80年代就獲得了聲望。L-a^erLs 回色rL3圖1神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖上圖描述的是一個(gè)目前研究最為成熟Shallow結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)(只含有單層隱藏層神經(jīng)元的結(jié)構(gòu))。第一層為輸入層(inputlayer)，第二層稱為隱藏層(hiddenlayer)，最后一層為輸出層(outputlayer)。神經(jīng)元之間都是由低層出發(fā)，終止于高層神經(jīng)元的一條有向邊進(jìn)行連接，每條邊都有自己的權(quán)重。每個(gè)神經(jīng)元都是一個(gè)計(jì)算單元，如在Feed-forwardneuralnetwork中，除輸入層神經(jīng)元外，每個(gè)神經(jīng)元為一個(gè)計(jì)算單元，可以通過一個(gè)計(jì)算函數(shù)f(x)來表示，函數(shù)的具體形式可以自己定義，現(xiàn)在用的較多的是感知器計(jì)算神經(jīng)元，如果你對(duì)感知器有所了解的話，理解起來會(huì)容易很多。可以計(jì)算此時(shí)神經(jīng)元所具有的能量值，當(dāng)該值超過一定閥值的時(shí)候神經(jīng)元的狀態(tài)就會(huì)發(fā)生改變，神經(jīng)元只有兩種狀態(tài)，激活或未激活。在實(shí)際的人工神經(jīng)網(wǎng)絡(luò)中，一般是用一種概率的方式去表示神經(jīng)元是否處于激活狀態(tài)，可以用h(f)來表示，f代表神經(jīng)元的能量值，h(f)代表該能量值使得神經(jīng)元的狀態(tài)發(fā)生改變的概率有多大，能量值越大，處于激活狀態(tài)的概率就越高。到這部分你已經(jīng)接觸到了關(guān)于神經(jīng)網(wǎng)絡(luò)的幾個(gè)基本術(shù)語(yǔ)，下面用更加規(guī)范的符號(hào)來表示，神經(jīng)元的激活值(activations)f(x)，表示計(jì)算神經(jīng)元的能量值,神經(jīng)元的激活狀態(tài)h(f)，h表示激活函數(shù)。激活函數(shù)有好幾種形式，這里列舉兩種如下：=1+&一以 f?=tftI倒a=深度神經(jīng)網(wǎng)絡(luò)有三個(gè)主要環(huán)節(jié)：第一，用無監(jiān)督方式訓(xùn)練系統(tǒng)，即用大量未標(biāo)注樣本逐層提煉，無導(dǎo)向自動(dòng)形成特征。這一過程類似于人通過眼、耳等感官系統(tǒng)接收?qǐng)D像、聲音信息后，自動(dòng)在腦中形成不同類別信息印象。第二，調(diào)準(zhǔn)。這一過程用一些己標(biāo)注樣本對(duì)特征分類，并根據(jù)分類結(jié)果進(jìn)一步調(diào)整系統(tǒng)參數(shù)，優(yōu)化系統(tǒng)在區(qū)分不同類別信息上的性能。第三，測(cè)試，用系統(tǒng)未見識(shí)過的樣本數(shù)據(jù)檢驗(yàn)系統(tǒng)學(xué)習(xí)效果，例如樣本正確分類率、質(zhì)量評(píng)估與主觀評(píng)估關(guān)聯(lián)度等。.自然語(yǔ)言處理之情感分析在自然語(yǔ)言處理領(lǐng)域中，其中一個(gè)重要的子研究模塊為情感分析。情感分析，也稱為觀點(diǎn)挖掘，指的是分析說話者在傳達(dá)信息時(shí)所隱含的情況狀態(tài)、態(tài)度、意見進(jìn)行判斷或者評(píng)估。目前，情感分析的主要研究方法還是一些基于機(jī)器學(xué)習(xí)的傳統(tǒng)算法，例如，SVM、信息熵CRF等。這些方法歸納起來有3類：有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)。而當(dāng)前大多數(shù)基于有監(jiān)督學(xué)習(xí)的研究取得了不錯(cuò)的成績(jī)。但有監(jiān)督學(xué)習(xí)依賴于大量人工標(biāo)注的數(shù)據(jù)，而且由于人的主觀理解不同，樣本標(biāo)注的標(biāo)注很難確立，也很難保證標(biāo)注樣本的質(zhì)量。相反的，無監(jiān)督學(xué)習(xí)不需要人工標(biāo)注數(shù)據(jù)訓(xùn)練模型，降低標(biāo)注的代價(jià)。.深度神經(jīng)網(wǎng)絡(luò)下的微博文本情感分析微博是手機(jī)短信、社交網(wǎng)站、博客等的集成者，它正在從各個(gè)方面滲透并影響人們的生活，包括大量的信息傳播、飛快的信息發(fā)現(xiàn)，以及與世界的連接等。因而吸引了很多學(xué)者對(duì)微博的研究。而分析和監(jiān)測(cè)微博短文本內(nèi)容中所包含的情感信息，可以了解大眾對(duì)熱點(diǎn)事件的關(guān)注程度和情感變化，從而能夠輔助評(píng)估和掌握熱點(diǎn)事件的發(fā)展?fàn)顩r.然而，由于微博的短文本上下文信息數(shù)據(jù)是有限的，因而對(duì)于研究其情感具有挑戰(zhàn)性。為了能更有效地解決這一任務(wù)，需要更加嚴(yán)謹(jǐn)?shù)姆绞綇奈⒉┨拥亩叹渥酉⒅谐槿〕鲂畔?。?duì)于一篇博客，整篇的情感傾向性一般較明確，其中正向情感表示褒義類：贊揚(yáng)、喜悅、歌頌等；負(fù)向情感表示貶義類：貶斥、悲哀、嫉妒等。而篇章的每個(gè)句子的情感傾向性可能不同，因此本文提出的研究方案是使用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks,CNN）避免顯式特征提取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)。.CNN模型情感分類過程現(xiàn)采用卷積神經(jīng)網(wǎng)絡(luò)CNN進(jìn)行情感分析的分類器訓(xùn)練。卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)每層都是一個(gè)變換（B映射）常用卷積convention變換和pooling池化變換，每種變換都是對(duì)輸入數(shù)據(jù)的一種處理，是輸入特征的另一種特征表達(dá)；CNN網(wǎng)絡(luò)結(jié)構(gòu)主要由三部分組成：輸入層、隱層和輸出層。隱層主要分為2類:（1）卷積層，用于提取特征；（2）下采樣層，用于特征優(yōu)化選取。圖2所示為卷積神經(jīng)網(wǎng)絡(luò)用于對(duì)訓(xùn)練樣本進(jìn)行卷積的工作流程。調(diào)練旅睥杼率T崎機(jī)選取#.歸初I蛤化-——卷朝 X.'L抽樣制?—??ITi?」 ）-；― N展向傳播.帙網(wǎng)緒極伯I 一與否癡■■足雷到達(dá)訓(xùn)嫌次戴「■■詼并小于限定跟江

廠-1

圖2卷積網(wǎng)絡(luò)工作流程給定一個(gè)微博短文本句子，ChrSeCNN為每個(gè)情感標(biāo)簽計(jì)算分值華丁，為了計(jì)算每一個(gè)短文本句子的分值，該網(wǎng)絡(luò)將每個(gè)漢字在句子中的序列作為輸入，并通過一個(gè)序列的層，抽取出特征。該網(wǎng)絡(luò)抽取的特征是從漢字級(jí)到句子級(jí)進(jìn)行抽取。文中提出的神