人工智能(知識(shí)工程和數(shù)據(jù)挖掘)課件

指導(dǎo)教師：XXX9.1知識(shí)工程簡(jiǎn)介9.2專家系統(tǒng)可以解決的問題9.3模糊專家可以解決的問題9.4神經(jīng)網(wǎng)絡(luò)可以解決的問題9.5遺傳算法可以解決的問題9.6混合智能系統(tǒng)可以解決的問題9.7數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)第九章知識(shí)工程和數(shù)據(jù)挖掘9.1本章討論如何選擇正確的工具，構(gòu)建智能系統(tǒng)并將數(shù)據(jù)轉(zhuǎn)化為知識(shí)？選擇正確的工具對(duì)于構(gòu)建智能系統(tǒng)而言是最關(guān)鍵的部分構(gòu)建智能系統(tǒng)的過程從理解問題域開始。首先要評(píng)估問題，確定可用的數(shù)據(jù)及解決問題需要的信息。一旦理解了問題，就可以選擇合適的工具并用這個(gè)工具開發(fā)系統(tǒng)了9.2專家系統(tǒng)可以解決什么問題？9.2專家系統(tǒng)可以解決什么問題？案例：診斷專家系統(tǒng)開發(fā)一個(gè)智能系統(tǒng)，幫助修理Mac電腦的故障。專家系統(tǒng)可以解決這樣的問題嗎？要開發(fā)計(jì)算機(jī)診斷系統(tǒng)，就要獲取計(jì)算機(jī)故障排除的知識(shí)。使用故障排除手冊(cè)是比較好的方法，手冊(cè)中的知識(shí)非常簡(jiǎn)練，幾乎可以直接用在專家系統(tǒng)中。完全可以不必咨詢專家。9.2專家系統(tǒng)可以解決什么問題？故障是通過一系列可視的檢查或測(cè)試來(lái)發(fā)現(xiàn)的。首先收集最初的信息（系統(tǒng)沒有啟動(dòng)），根據(jù)其作出推斷。然后，收集另外的信息（電源良好、電線沒有問題）。最終確定導(dǎo)致故障的原因。9.2專家系統(tǒng)可以解決什么問題？Rule:1if taskis‘systemstart-up’then askproblemRule:2if taskis‘systemstart-up’and problemis‘systemdoesnotstart’then ask‘testpowercords’Rule:3if taskis‘systemstart-up’and problemis‘systemdoesnotstart’and ‘testpowercords’isokthen ask‘testPowerstrip’9.2專家系統(tǒng)可以解決什么問題？如何選擇專家系統(tǒng)開發(fā)工具？應(yīng)該使問題的特征和工具的功能相匹配工具不僅包含高級(jí)程序語(yǔ)言，如LISP、OPS、C、Java，也包含專家系統(tǒng)框架語(yǔ)言提供了更大的靈活性，但是要求的編程技巧也很高框架雖然不靈活，但是提供了內(nèi)建推理引擎、解釋工具盒用戶界面，只需輸入英語(yǔ)編寫的規(guī)則，可快速構(gòu)建原型9.2專家系統(tǒng)可以解決什么問題？公司穩(wěn)定性的指標(biāo)是什么一些重要的指標(biāo)，例如，公司是哪年成立的、員工的人數(shù)、總收入、智能系統(tǒng)產(chǎn)品的總收入如、已售產(chǎn)品的數(shù)量等。9.2專家系統(tǒng)可以解決什么問題？要先確定模糊技術(shù)是否適合解決這類問題如果不能為每個(gè)可能的情況制定出一系列的規(guī)則，那就使用模糊邏輯。如果問題本身就不嚴(yán)密，那么模糊技術(shù)就是最好的選擇案例3：決策支持模糊技術(shù)開發(fā)一個(gè)智能系統(tǒng)來(lái)評(píng)估抵押申請(qǐng)。模糊專家系統(tǒng)能處理這樣的問題嗎？9.3模糊專家系統(tǒng)可以解決的問題首先用模糊術(shù)語(yǔ)表達(dá)抵押申請(qǐng)?jiān)u估中的基本概念然后用合適的模糊工具在原型系統(tǒng)中實(shí)現(xiàn)這個(gè)概念最后用選定的測(cè)試用例來(lái)測(cè)試和優(yōu)化系統(tǒng)9.3模糊專家系統(tǒng)可以解決的問題9.3模糊專家系統(tǒng)可以解決的問題9.3模糊專家系統(tǒng)可以解決的問題9.3模糊專家系統(tǒng)可以解決的問題9.3模糊專家系統(tǒng)可以解決的問題9.3模糊專家系統(tǒng)可以解決的問題9.3模糊專家系統(tǒng)可以解決的問題案例5：預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)開發(fā)一個(gè)進(jìn)行房地產(chǎn)評(píng)估的智能系統(tǒng)，神經(jīng)網(wǎng)絡(luò)可以解決這個(gè)問題嗎？房地產(chǎn)評(píng)估是一個(gè)根據(jù)類似住房銷售價(jià)格的知識(shí)預(yù)測(cè)給定房產(chǎn)的市場(chǎng)價(jià)的問題選擇神經(jīng)網(wǎng)絡(luò)，我們無(wú)法理解房產(chǎn)的估價(jià)是如何得出的，因?yàn)樯窠?jīng)網(wǎng)絡(luò)對(duì)于用戶來(lái)講是個(gè)黑盒子9.4神經(jīng)網(wǎng)絡(luò)可以解決的問題輸入（房產(chǎn)的位置、居住面積、臥室數(shù)量、浴室數(shù)量、土地尺寸、供熱系統(tǒng)等）輸出就是我們?cè)噲D預(yù)測(cè)的結(jié)果我們有很多例子來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，即最近銷售的房屋及其價(jià)格的特征，訓(xùn)練集需要足夠的豐富9.4神經(jīng)網(wǎng)絡(luò)可以解決的問題如何讓確定訓(xùn)練集“足夠大”？網(wǎng)絡(luò)的推廣能力取決于三個(gè)主要因素：訓(xùn)練集大小、網(wǎng)絡(luò)的架構(gòu)和問題的復(fù)雜性。公式其中N是訓(xùn)練例子的數(shù)量，nw是網(wǎng)絡(luò)中突出權(quán)重的數(shù)量，e是測(cè)試允許額網(wǎng)絡(luò)誤差有些特征（例如房子的條件和位置）可以確定在1（沒有吸引力）到10（很有吸引力之間）9.4神經(jīng)網(wǎng)絡(luò)可以解決的問題離散數(shù)據(jù)，例如臥室的數(shù)量和浴室的數(shù)量，也有最大值和最小值臥室的數(shù)量一般為0~4修改后的離散數(shù)據(jù)9.4神經(jīng)網(wǎng)絡(luò)可以解決的問題分類數(shù)據(jù)，例如性別和婚姻狀態(tài)可以用1/N編碼來(lái)修改例如，婚姻狀態(tài)可以是單身、離異、已婚、#寡，已婚的人可以用（0010）表示9.4神經(jīng)網(wǎng)絡(luò)可以解決的問題輸入層（有十個(gè)神經(jīng)元）將修改后的輸入值傳到隱含層隱含層包含兩個(gè)神經(jīng)元，輸出層只有一個(gè)神經(jīng)元，隱含層和輸出層的神經(jīng)元使用S型激活函數(shù)9.4神經(jīng)網(wǎng)絡(luò)可以解決的問題如何解釋網(wǎng)絡(luò)的輸出？網(wǎng)絡(luò)輸出層的值為0~1之間的連續(xù)值，要解釋這個(gè)結(jié)果只需要倒轉(zhuǎn)程序即可例如，在訓(xùn)練集中，銷售價(jià)格的范圍在$52500~$225000之間，輸出值將$50000映射為0，$250000映射為1，如果網(wǎng)絡(luò)的輸出是0.3546，結(jié)果為9.4神經(jīng)網(wǎng)絡(luò)可以解決的問題如何驗(yàn)證結(jié)果？為了驗(yàn)證結(jié)果可以使用沒有遇到過的例子集。在訓(xùn)練前，將所有可用的數(shù)據(jù)隨機(jī)分成訓(xùn)練集和測(cè)試集，可以用測(cè)試集進(jìn)行測(cè)試神經(jīng)網(wǎng)絡(luò)是不透明的，要想把握輸入輸出之間的關(guān)系，可以通過靈敏度分析執(zhí)行靈敏度分析要將每個(gè)輸入設(shè)成最小值，然后再設(shè)成最大值，并測(cè)量網(wǎng)絡(luò)的輸出9.4神經(jīng)網(wǎng)絡(luò)可以解決的問題遺傳算法可以用于很多優(yōu)化問題。優(yōu)化是為問題尋找較好解決方法的基本過程。問題可能有多余一個(gè)的解決方案，而這些解決方案品質(zhì)不同。遺傳算法產(chǎn)生候選解決種群，然后通過自然選擇使這些解決方案進(jìn)化，不好的解決方案趨向于淘汰，好的方案存活并繼續(xù)繁殖。不斷的重復(fù)這個(gè)過程，遺傳算法就得到了最優(yōu)解9.5遺傳算法可以解決的問題案例：旅行推銷員問題開發(fā)一個(gè)可以產(chǎn)生優(yōu)化路線的智能系統(tǒng)，開車旅行并參觀歐洲中部和西部的主要城市然后再回家，遺傳算法可以解決這個(gè)問題嗎？這就是著名的旅行推銷員問題（TSP）。給定有限個(gè)城市N，以及每?jī)蓚€(gè)城市之間旅行的費(fèi)用（或距離），我們要找出花費(fèi)最少（或路程最短）的路線，而每個(gè)城市都能到達(dá)且僅到達(dá)一次后回到出發(fā)點(diǎn)TSP問題經(jīng)常出現(xiàn)在運(yùn)輸和后勤應(yīng)用中，例如學(xué)校所屬區(qū)域接送孩子，給回家的人送飯，安排收取郵件的卡車路線9.5遺傳算法可以解決的問題遺傳算法是怎么解決TSP問題的?首先，要決定如何表達(dá)推銷員的路線。最自然的方法就是路徑表示法。每個(gè)城市用字母或數(shù)字命名，城市間的路線用染色體來(lái)表示，用合適的遺傳操作來(lái)產(chǎn)生新的路線9.5遺傳算法可以解決的問題TSP中的交叉操作如何進(jìn)行傳統(tǒng)形式的交叉操作不能直接在TSP中使用9.5遺傳算法可以解決的問題TSP交叉過程9.5遺傳算法可以解決的問題TSP突變操作如何進(jìn)行？有兩種突變操作：倒數(shù)交換和倒置9.5遺傳算法可以解決的問題如何定義TSP的適應(yīng)函數(shù)？（標(biāo)準(zhǔn)）一旦定義了適應(yīng)性函數(shù)和遺傳操作，就可以實(shí)現(xiàn)并運(yùn)行GA例如，假設(shè)在一個(gè)1*1的正方形中有20個(gè)城市首先選擇染色體種群的大小和遺傳代數(shù)?？梢宰尫N群從小到大。9.5遺傳算法可以解決的問題9.5遺傳算法可以解決的問題如何得知已經(jīng)找到了最佳路線？實(shí)際上我們不可能知道是否找到了最佳路線。只有用不同的染色體種群大小、不同的交叉率和突變率做更多的測(cè)試，才能得到答案9.5遺傳算法可以解決的問題要解決現(xiàn)實(shí)世界中復(fù)雜的應(yīng)用問題，需要融合專家系統(tǒng)、模糊邏輯、神經(jīng)網(wǎng)絡(luò)和進(jìn)化計(jì)算這些方法的優(yōu)點(diǎn)的復(fù)雜智能系統(tǒng)混合智能系統(tǒng)還在發(fā)展中，神經(jīng)網(wǎng)絡(luò)可以從數(shù)據(jù)中進(jìn)行學(xué)習(xí)，模糊邏輯最重要的優(yōu)勢(shì)是模擬人類的決策能力9.6混合智能系統(tǒng)可以解決的問題案例：神經(jīng)模糊決策支持系統(tǒng)開發(fā)一個(gè)根據(jù)心臟圖像進(jìn)行心肌灌注診斷的智能系統(tǒng)。有一些心臟圖像以及臨床說(shuō)明和應(yīng)聲的注解?；旌舷到y(tǒng)可以解決這個(gè)問題嗎？9.6混合智能系統(tǒng)可以解決的問題現(xiàn)代心臟內(nèi)科學(xué)診斷的基礎(chǔ)是分析SPECT（單光子發(fā)射計(jì)算機(jī)斷層圖像）圖像。給患者注入放射性示蹤劑，就可以獲得兩套SPECT圖像（負(fù)荷圖像和靜息圖像），心臟專家通過比較兩個(gè)圖像就可以發(fā)現(xiàn)心臟功能的異常SPECT圖像時(shí)一種256個(gè)灰度的高分辨率的二維黑白圖像。圖像中比較明亮的地方和心肌灌注良好的部分對(duì)應(yīng)，較暗的地方表示缺血，通過觀察SPECT圖像比較主觀，容易出錯(cuò)，所以智能系統(tǒng)就體現(xiàn)了很大的價(jià)值所在9.6混合智能系統(tǒng)可以解決的問題在本案例中我們使用276個(gè)心臟診斷病例。每個(gè)病例有2個(gè)SPECT圖像，每個(gè)圖像分成22個(gè)區(qū)域，用0~100的整數(shù)表示灌注是否良好每個(gè)心臟診斷病例用44個(gè)連續(xù)的特征和一個(gè)二值特征來(lái)表示，二值特征表示最后的診斷異常或者正常整個(gè)SPECT的數(shù)據(jù)集有55個(gè)正常病例（陽(yáng)性病例）和212個(gè)異常病例（陰性病例）。數(shù)據(jù)集分成訓(xùn)練集和測(cè)試集。訓(xùn)練集有40個(gè)陽(yáng)性病例和40個(gè)陰性病例，測(cè)試集有15個(gè)陽(yáng)性病例和172個(gè)陰性病例9.6混合智能系統(tǒng)可以解決的問題可以訓(xùn)練后向傳送神經(jīng)網(wǎng)絡(luò)來(lái)SPECT圖像分成正常圖像和異常圖像嗎？后向傳送神經(jīng)網(wǎng)絡(luò)確實(shí)可以用于分類SPECT圖像-訓(xùn)練集足夠大，則網(wǎng)絡(luò)就可以完成分類。但是，在用測(cè)試集進(jìn)行測(cè)試時(shí)，我們發(fā)現(xiàn)網(wǎng)絡(luò)的性能很差-大概25%的正常心臟診斷病例被無(wú)分為異常，而超過35%的異常病例被診斷為正常，總的誤差達(dá)到了33%。9.6混合智能系統(tǒng)可以解決的問題這就表示訓(xùn)練集中缺少些重要的病例對(duì)異常病例的誤分類的后果要比正常對(duì)正常病例誤分類的結(jié)果嚴(yán)重的多。因此，要減少異常的誤分類比例，就要增加正常圖像的誤分類比例神經(jīng)網(wǎng)絡(luò)陳勝兩種輸出：圖像屬于normal類的概率和abnormal例：0.92和0.16正常017和0.51異常0.51和0.49無(wú)法判斷9.6混合智能系統(tǒng)可以解決的問題可以在醫(yī)學(xué)診斷的決策制定中使用模糊邏輯嗎？實(shí)際上，醫(yī)生通過依賴于自身的經(jīng)驗(yàn)和直覺來(lái)發(fā)現(xiàn)心肌的異常情況。模糊邏輯就是一種模擬心臟專家評(píng)估心臟病發(fā)作風(fēng)險(xiǎn)的辦法構(gòu)建模糊系統(tǒng)，首先要確定輸入（NNoutput1和NNoutput2[0~1]）和輸出（心臟病發(fā)作的風(fēng)險(xiǎn)），定義模糊集，構(gòu)建模糊規(guī)則9.6混合智能系統(tǒng)可以解決的問題9.6混合智能系統(tǒng)可以解決的問題9.6混合智能系統(tǒng)可以解決的問題9.6混合智能系統(tǒng)可以解決的問題9.6混合智能系統(tǒng)可以解決的問題風(fēng)險(xiǎn)在30%~50%之間的病例很難歸類為normal或abnormal，這樣的病例是不確定的我們可以用心臟專家的經(jīng)驗(yàn)和知識(shí)將這些不確定的病例分類嗎？9.6混合智能系統(tǒng)可以解決的問題1）如果區(qū)域i在負(fù)荷時(shí)的灌注高于靜息時(shí)的灌注，則心臟病的風(fēng)險(xiǎn)減少2）如果區(qū)域i在負(fù)荷時(shí)的灌注不高于靜息時(shí)的灌注，則心臟病的風(fēng)險(xiǎn)增加步驟1：將心臟病病例輸入神經(jīng)模糊系統(tǒng)步驟2：如果風(fēng)險(xiǎn)不在30%~50%之間，結(jié)束。否則，到步驟3步驟3:對(duì)于區(qū)域1，負(fù)荷時(shí)的灌注高于靜息時(shí)的灌注，則將結(jié)果乘以0.99以減少當(dāng)前風(fēng)險(xiǎn)，否則乘以1.01來(lái)增加當(dāng)前的風(fēng)險(xiǎn)。重復(fù)直至22個(gè)區(qū)域都計(jì)算完步驟4：如果還有在30%~50%之間的則還確定為uncertain類9.6混合智能系統(tǒng)可以解決的問題發(fā)現(xiàn)分類的準(zhǔn)確性得到了很大的提升：總體的診斷誤差率不超過5%，僅有3%的異常病例誤歸到正常類。正常病例的誤診率較高，但是也好過心臟專家的分類結(jié)果9.6混合智能系統(tǒng)可以解決的問題數(shù)據(jù)是我們收集和存儲(chǔ)的，知識(shí)是幫助我們做決策的。從數(shù)據(jù)中提取知識(shí)稱為數(shù)據(jù)挖掘。數(shù)據(jù)挖掘也可以定義成在大量數(shù)據(jù)中進(jìn)行探索和分析，以便發(fā)現(xiàn)有意義的模式和規(guī)則。數(shù)據(jù)挖掘的最終目標(biāo)是發(fā)現(xiàn)知識(shí)我們生活在數(shù)據(jù)快速增長(zhǎng)的時(shí)代，需要有能夠幫助我們提取有意義的信息和知識(shí)的方法9.7數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)現(xiàn)代企業(yè)必須對(duì)市場(chǎng)的變化做出快速響應(yīng)，需要快速的助理數(shù)據(jù)倉(cāng)庫(kù)中當(dāng)前的數(shù)據(jù)什么是數(shù)據(jù)倉(cāng)庫(kù)？數(shù)據(jù)倉(cāng)庫(kù)的主要特征是容量數(shù)據(jù)倉(cāng)庫(kù)是用來(lái)支持企業(yè)制定決策的，所需要的數(shù)據(jù)通過查詢工具來(lái)獲得查詢工具和數(shù)據(jù)挖掘之間區(qū)別查詢工具需要假設(shè)，數(shù)據(jù)挖掘不需要假設(shè)9.7數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)數(shù)據(jù)挖掘還是一個(gè)全新的不斷發(fā)展的領(lǐng)域，但是他在銀行、金融、營(yíng)銷和電信領(lǐng)域已經(jīng)有了大量的應(yīng)用統(tǒng)計(jì)方法不能解決數(shù)據(jù)挖掘的問題數(shù)據(jù)挖掘通常使用神經(jīng)網(wǎng)絡(luò)和神經(jīng)模糊系統(tǒng)。數(shù)據(jù)挖掘最常見的工具是決策樹9.7數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)決策樹可以定義為推理過程的圖。通過樹形結(jié)構(gòu)來(lái)表述數(shù)據(jù)集。特別適合解決分類問題決策樹包含節(jié)點(diǎn)、分支和葉子9.7數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)大因變量決定研究的目標(biāo)，他是由用戶選擇的。Household被設(shè)置成因變量取值可以是responded或notresponded兩種根節(jié)點(diǎn)下面是樹的下一層。書選擇了變量Homeownership作為因變量的預(yù)測(cè)器，并將所有的家庭按照預(yù)測(cè)器的值進(jìn)行拆分。數(shù)據(jù)的拆分也叫分割。9.7數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)最佳分割最適合用于創(chuàng)建某一類占主導(dǎo)地位的節(jié)點(diǎn)有幾種方法可以計(jì)算分割數(shù)據(jù)的預(yù)測(cè)器的能力，最好的方法是基于基尼不均勻系數(shù)基尼系數(shù)是評(píng)價(jià)預(yù)測(cè)器分割秦代節(jié)點(diǎn)中所包含的類的好壞的一種度量方法9.7數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)對(duì)角線和財(cái)富絕對(duì)均等分配相對(duì)應(yīng)，上曲線為真實(shí)的經(jīng)濟(jì)情況基尼系數(shù)就是陰影面積除以對(duì)角線下方的面積9.7數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)決策樹要盡力分割出最大的一個(gè)類不存在可以把一個(gè)類和另一個(gè)類明確分隔開的數(shù)據(jù)庫(kù)字段9.7數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)大9.7數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)用基尼不均等度量選擇的分割自動(dòng)生長(zhǎng)大9.7數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)按照經(jīng)驗(yàn)進(jìn)行猜測(cè)來(lái)分割大9.7數(shù)