人工智能技術概覽專題培訓課件

目錄北京久其軟件股份有限公司2024年2月2日1、人工智能定義、關聯(lián)2、人工智能主要應用領域3、機器學習算法及分類4、主流神經網(wǎng)絡簡介5、NLP的主要技術與方法人工智能定義用機器，通常為電子儀器、電腦等，對人的意識、思維的信息過程的模擬。人工智能不是人的智能，但能像人那樣思考、也可能超過人的智能。數(shù)據(jù)：預測、挖掘語音：語音識別、語音合成、聲紋檢測文字：分類、翻譯、對話、NLP、NLU、NLG視覺：圖像識別、生成作畫、視頻理解運動：智能控制、仿真機器人、自動駕駛思考：簡單推理、機器人寫稿、AlphaGo北京久其軟件股份有限公司2024年2月2日涉及面最廣的交叉學科人工智能自動化控制計算機數(shù)學統(tǒng)計學邏輯學歸納學系統(tǒng)學概率論哲學心理學生物學經濟學語言學工程學認知學仿生學人工智能教育要從娃娃抓起有望成為一級學科2024年2月2日工業(yè)4.0，自動化生產線旨在提升制造業(yè)的智能化水平，建立具有適應性、資源效率及基因工程學的智慧工廠，在商業(yè)流程及價值流程中整合客戶及商業(yè)伙伴其技術基礎是網(wǎng)絡實體系統(tǒng)及物聯(lián)網(wǎng)北京久其軟件股份有限公司2024年2月2日特斯拉工廠曝光，整個工廠只有150個機器人，超震撼機器人，好幫手北京久其軟件股份有限公司2024年2月2日奔跑跳躍搬東西，這種機器人平衡能力比人類還強自動駕駛谷歌、特斯拉、百度、蘋果……集各類人工智能技術一身北京久其軟件股份有限公司2024年2月2日機器學習數(shù)據(jù)爆炸式增長催熱機器學習統(tǒng)計學、概率模型（貝葉斯）、神經網(wǎng)絡有監(jiān)督學習、半監(jiān)督學習、無監(jiān)督學習主要區(qū)別在于人工投入的比例無監(jiān)督學習只有極少數(shù)應用投多少人工，有多少智能？北京久其軟件股份有限公司2024年2月2日強化學習reinforcementlearning，RL又稱再勵學習、評價學習智能系統(tǒng)從環(huán)境到行為映射的學習，以使獎勵信號(強化信號)函數(shù)值最大處于研究階段無人機，自動化控制，電子游戲北京久其軟件股份有限公司2024年2月2日NLP？遷移學習TransferLearning,TL收集數(shù)據(jù)成本高；訓練耗時；重復利用已有知識樣本遷移、特征遷移、模型遷移、關系遷移北京久其軟件股份有限公司2024年2月2日用于精準營銷人工神經網(wǎng)絡人工神經網(wǎng)絡模仿動物神經網(wǎng)絡特征，進行分布式并行信息處理的算法數(shù)學模型。網(wǎng)絡依靠系統(tǒng)的復雜程度，通過調整內部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。優(yōu)勢并行分布處理高度魯棒性和容錯能力分布存儲及學習能力能充分逼近復雜的非線性關系激活函數(shù)、損失函數(shù)、梯度下降北京久其軟件股份有限公司2024年2月2日深度學習深度學習源于人工神經網(wǎng)絡，多個隱含層感知器。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。各層設計、圖形化調參、學習速率北京久其軟件股份有限公司2024年2月2日端到端優(yōu)勢？劣勢？CNN–卷積神經網(wǎng)絡ConvolutionalNeuralNetwork圖像領域應用非常成功，人臉識別超99.5%全連接

局部連接，權值共享圖像識別、OCR、語音識別（DBN+CNN+RNN最好）特征數(shù)量卷積核大小2024年2月2日RNN–循環(huán)神經網(wǎng)絡RecurrentNeuralNetwork（t+1）時刻網(wǎng)絡的最終結果O(t+1)是該時刻輸入和所有歷史共同作用的結果語音識別、NLPBidirectionalRNNs、DeepRNNs、GRURNN北京久其軟件股份有限公司2024年2月2日LSTM-長短期記憶網(wǎng)絡LongShort-TermMemoryNeuralNetworkRNN時間上傳遞的神經網(wǎng)絡，可能“梯度消失”通過門的開關實現(xiàn)時間上記憶功能，防止梯度消失遺忘門輸入門輸出門Seq2Seq機器翻譯AttentionModel對話2024年2月2日GAN-生成性對抗生成網(wǎng)絡GenerativeAdversarialNetworks它有兩個模型：一個生成器，一個判別器沒有損失函數(shù)，優(yōu)化過程是“二元極小極大博”北京久其軟件股份有限公司2024年2月2日深度學習框架庫名稱開發(fā)語言速度靈活性文檔適合模型平臺上手難易Caffec++/cuda快一般全面CNN所有系統(tǒng)中等TensorFlowc++/cuda/Python中等好中等CNN/RNNLinux,OSX難MXNetc++/cuda快好全面CNN所有系統(tǒng)中等Torchc/lua/cuda快好全面CNN/RNNLinux,OSX中等Theanopython/c++/cuda中等好中等CNN/RNNLinux,OSX易Caffe2013年底,由UCBerkely的YangqingJia開發(fā)計算機視覺領域首選CaffeTensorFlowGoogle主推的開源學習框架有眾多預先訓練好的模型，開發(fā)簡單速度慢，內存占用較大TorchFacebook力推的深度學習框架，主要開發(fā)語言是C和Lua有較好的靈活性和速度，開發(fā)也比較簡單缺點是接口為lua語言，不支持PythonPython首選語言Ubuntu首選平臺2024年2月2日機器學習中的問題與應對欠擬合添加其他特征，減少正則化過擬合L1、L2正則化不收斂復審輸入數(shù)據(jù)、修改模型設計、改變參數(shù)初始化方法、調整學習速率數(shù)據(jù)集過小轉換擴增運算過慢分布式運算，換用GPU或專用神經網(wǎng)絡處理器調參復雜分開訓練、參數(shù)各種圖形化展示北京久其軟件股份有限公司2024年2月2日NLP-自然語言處理自然語言是人類智慧的結晶，自然語言處理是人工智能中最為困難的問題之一廣義的NLP包含NLU、NLG用到統(tǒng)計、概率、神經網(wǎng)絡等各種算法文本分類信息抽取人機對話領域知識圖譜自動寫稿北京久其軟件股份有限公司2024年2月2日中文分詞11款開放中文分詞引擎大比拼目前主流分詞包均采用復雜的統(tǒng)計模型，HMM、CRF、SP（結構化感知）首先統(tǒng)計大量已切分文本特征訓練模型，然后針對輸入文本搜索最佳切分方式目前哈工大語言云、Boson云效果最佳THULAC（清華）是開源包中效果最佳，也非?？旖Y巴分詞用的很廣（Python），效果也不錯沒有完美方案，90%以后每提升1點都要巨大代價北京久其軟件股份有限公司2024年2月2日詞性標注中文詞類活用現(xiàn)象非常多沒有英文的變形：ing、ed、er、ly詞性命名標準出自北大，基本統(tǒng)一目前都只提供靜態(tài)詞性，非準確標注在關鍵詞計算、事件發(fā)現(xiàn)、情感判斷有價值句法分析、語義理解的前提詞法分析、句法分析、語義理解相互交織依賴，制約了詞法技術提升北京久其軟件股份有限公司2024年2月2日NER命名實體識別NamedEntityRecognition又稱作“專名識別”，是指識別文本中具有特定意義的實體三大類：實體類、時間類和數(shù)字類七小類：人名、機構名、地名、時間、日期、貨幣和百分比基于規(guī)則和詞典的方法采用語言學專家手工構造規(guī)則模板,選用特征包括統(tǒng)計信息、標點符號、關鍵字、指示詞和方向詞、位置詞(如尾字)、中心詞等方法，以模式和字符串相匹配為主要手段基于統(tǒng)計的方法HMM、ME、SVM、條件隨機場(CRF)神經網(wǎng)絡識別NN、CNN-CRF、RNN-CRF、Attention機制目前缺少成熟可以API，少數(shù)付費效果尚可訓練的CRF模型，人名、時間、數(shù)字識別還行，有提升空間北京久其軟件股份有限公司2024年2月2日語言模型、詞向量N-Grams：二元組、三元組、五元組……大量分詞后語料進行統(tǒng)計正則化、平滑可用于拼寫和語法檢查，也可協(xié)助分詞Word2Vec：將詞組轉換成多維向量表示CBOW、Skip-Gram、GloVe神經網(wǎng)絡輸入需要Embedding，50,100,300維特性相似近鄰通過向量距離查找關聯(lián)詞線性加減w2v(中國)-w2v(北京)=w2v(法國)-w2v(巴黎)只是一種高階近似，同一含義在同一維表達，盡量分散2024年2月2日關鍵詞、摘要提取PageRank算法原理整個www可以看作一張有向圖圖，節(jié)點是網(wǎng)頁。如果網(wǎng)頁A存在到網(wǎng)頁B的鏈接，那么有一條從網(wǎng)頁A指向網(wǎng)頁B的有向邊。導入的鏈接越多，頁面的重要程度越高復雜的迭代優(yōu)化精確權重關鍵詞距離較近的詞，視同有鏈接可根據(jù)詞性、統(tǒng)計規(guī)律調整權重，TF-IDF是最常用算法摘要句子初始權重為各詞TF-IDF權重合計權重最高的句子（必要修剪）作為摘要自上而下的摘要用模板/知識庫生存（事件、球賽）2024年2月2日文本分類、聚類、情感傾向文本分類屬于有監(jiān)督學習，需要訓練貝葉斯、SVM、神經網(wǎng)絡文本聚類屬于無監(jiān)督學習劃分法（K-Means）、層次法、密度法、網(wǎng)格法文本傾向性分析，主要用于輿情監(jiān)控，評價挖掘貝葉斯理論為基礎褒義詞、貶義詞、中性詞否定謂詞、副詞的識別與地域、主體識別結合運用難點在于各門類數(shù)據(jù)抓取、行業(yè)模型訓練北京久其軟件股份有限公司2024年2月2日句法分析上下文無關文法ContextFreeGrammar依存文法分析(DependencyParsing)通過分析語言單位內成分之間的依存關系揭示其句法結構識別“主謂賓”、“定狀補”算法：CYK、PCFG、CRF、神經網(wǎng)絡（？）目前中文句法分析短句可用，長句較差哈工大LTP語言云、Boson云（較好）StanfordParser、HanLP（稍差）北京久其軟件股份有限公司2024年2月2日語義分析/理解知識工程：語義樹可用于句子語義理解、數(shù)據(jù)抽取、句式轉換需要強大的知識庫配合，知識圖譜（？）今天晚上吃金屬吧（

╳）法國一位老人以吃金屬為生（√）還難以理解文章，進行摘要或推理神經網(wǎng)絡：訓練超級模型詞向量（稀疏）比較成熟，生成較快Synonymy、Antonymy、Hyponym短句可用向量相加近似表示，長句、文章尚在研究北京久其軟件股份有限公司2024年2月2日知識圖譜(KnowledgeGraph)由知識點相互連接而成的語義網(wǎng)絡用可視化技術描述知識資源及其載體，挖掘、分析、構建、繪制和顯示知識及它們之間的相互聯(lián)系，并進行查詢推理RDF(資源描述框架)、OWL(Web本體語言)、SparQL建立：數(shù)據(jù)源整理、實體消歧、schema(本體、關系等)構建、查詢與推理、優(yōu)化存儲、更新維護WordNet、Yago、DbpediaCN-Dbpedia、Zhishi.Me、PKU-PIE搜索引擎、金融分析、輔助診斷目前似乎難以表達行為動作、限定修飾北京久其軟件股份有限公司2024年2月2日QA-機