ANN-第一章引言課件資料

1、先導課回顧模式識別基本概念模式：廣義地講，存在于時間和空間中可觀察的事物，如果可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。（信息） 通常，把通過對具體的個別事物進行觀測所得到的具有時間和空間分布的信息稱為模式，而把模式所屬的類別或同一類中模式的總體稱為模式類。模式識別：其作用和目的在于將某一具體事物正確地歸入某一類別。設計：用訓練樣本進行分類器的設計。實現(xiàn)：用設計好的分類器對未知樣本進行分類決策。有監(jiān)督學習：對已知類別的樣本進行模式識別無監(jiān)督學習：對未知類別的樣本進行模式識別分類決策樹決策森林K近鄰ANNSVM聚 類層次聚類圖ANNArtificial Neural Network第1章

2、 引言人工神經網(wǎng)絡概念的提出20世紀40年代，隨著神經解剖學、神經生理學以及神經元的電生理過程等研究取得突破性進展，人們對人腦的結構、組成及最基本工作單元有了越來越充分的認識，在此基本認識的基礎上，借助數(shù)學和物理方法從信息處理的角度對人腦神經網(wǎng)絡進行抽象，并建立簡化的模型，稱為人工神經網(wǎng)絡ANN（Artificial Neural Network）.生物神經網(wǎng)絡數(shù)學模型人工神經網(wǎng)絡 美國神經網(wǎng)絡學家HechtNielsen的觀點定義：神經網(wǎng)絡是由多個非常簡單的處理單元彼此按某種方式相互連接而形成的計算機系統(tǒng)，該系統(tǒng)靠其狀態(tài)對外部輸入信息的動態(tài)響應來處理信息。簡單表述為：人工神經網(wǎng)絡是一種旨在模

3、仿人腦結構及其功能的信息處理系統(tǒng)。生物神經元模型細胞體突觸樹突軸突神經網(wǎng)絡基本模型人工神經元模型人工神經元三要素權值輸入信號累加器激活函數(shù)閾值函數(shù)分段線性函數(shù)Sigmoid函數(shù) 激活函數(shù)輸入層輸出層隱層單層前向網(wǎng)絡多層前向網(wǎng)絡反饋網(wǎng)絡隨機神經網(wǎng)絡競爭神經網(wǎng)絡人工神經網(wǎng)絡的分類與學習ANN的分類ANN的學習有導師學習：學習時需要給出導師信號或稱為期望輸出（響應）。無導師學習：包括強化學習與無監(jiān)督學習或稱為自組織學習。啟蒙時期 1943年，MP模型（神經元的閾值模型）； 1949年提出Hebb法則； 1958年，感知器模型； 1960年人工神經網(wǎng)絡發(fā)展歷史人工神經網(wǎng)絡發(fā)展歷史低潮時期(10year

4、s) 1969年發(fā)表perceptrons一書，指出感知器不能解決非線性問題（異或）； 20世紀70年代，集成電路和微電子技術迅猛發(fā)展，人工智能隨之迅速發(fā)展； 然而人工神經網(wǎng)絡發(fā)展歷史復興時期 1982年，Hopfield模型理論20世紀80年代，國內逐步掀起研究熱潮 國際上 人工神經網(wǎng)絡國內外研究現(xiàn)狀模式信息處理與模式識別(實例）最優(yōu)化問題計算信息的智能處理復雜控制信號處理人工神經網(wǎng)絡的應用分類：有監(jiān)督學習方法聚類：無監(jiān)督學習方法example14 samples2 classes4 features分類決策樹決策森林K近鄰ANNSVM聚 類層次聚類圖單層感知器實現(xiàn)邏輯函數(shù)第二章例1 單層單

5、輸出感知器實例例2 單層多輸出感知器實例例3 實例應用：根據(jù)下表提供的信息構建一個神經網(wǎng)絡分類器。OutlookTempWindyPlayOutlookTempWindyPlaySunnyHotFalseNoSunnyMildFalseNoSunnyHotTrueNoSunnyCoolFalseYesOvercastHotFalseYesRainyMildFalseYesRainyMildFalseYesSunnyMildTrueYesRainyCoolFalseYesOvercastMildTrueYesRainyCoolTrueNoOvercastMildFalseYesOvercastC

6、oolTrueYesRainyMildTrueNo第三章實驗數(shù)據(jù)為Affymetrix公司的結腸癌基因表達譜數(shù)據(jù)，原實驗為點有65000個寡聚核苷酸探針組成的基因芯片，其中包括40例結腸腺癌組織和22例正常結腸組織構成的樣本集。這里僅采用U.ALON等篩選出的2000個基因表達譜數(shù)據(jù)進行分析。Affymetrix 是原位合成寡核苷酸技術的首創(chuàng)者，是基因芯片的早期開發(fā)者。在基因芯片行業(yè)一直處于領先的地位。BP網(wǎng)應用實例The purpose of this study was to develop a method of classifying cancers to specific diagn

7、ostic categories based on their gene expression signatures using artificial neural networks (ANNs).We trained the ANNs using the small, round blue-cell tumors (SRBCTs) as a model. The ANNs correctly classified all samples and identified the genes most relevant to the classification. ABSTRACTTo test

8、the ability of the trained ANN models to recognize SRBCTs, we analyzed additional blinded samples that were not previously used for the training procedure, and correctly classified them in all cases.This study demonstrates the potential applications of these methods for tumor diagnosis and the ident

9、ification of candidate targets for therapy.The small, round blue cell tumors (SRBCTs) of childhood, which include 4 types of tumorsThey are so named because of their similar appearance on routine histology(組織學）. Accurate diagnosis of SRBCTs is essential because the treatment options, responses to th

10、erapy and prognoses vary widely depending on the diagnosis.backgroundData set63 training samples containing 6567 genes from cDNA microarraysEWS 23; RMS 20; NB 12; BL 825 test samples(20 SRBCTs +5 normal)Red intensity greater than 20 across all experiments.By measuring the sensitivity of the classification to a change in th