2.5神經(jīng)網(wǎng)絡與深度學習教學設(shè)計人教-中圖版高中信息技術(shù)選擇性必修4

第2章人工智能技術(shù)基本原理2.5神經(jīng)網(wǎng)絡與深度學習教學設(shè)計教學背景信息科技是現(xiàn)代科學技術(shù)領(lǐng)域的重要部分，主要研究以數(shù)字形式表達的信息及其應用中的科學原理、思維方法、處理過程和工程實現(xiàn)。當代高速發(fā)展的信息科技對全球經(jīng)濟、社會和文化發(fā)展起著越來越重要的作用。義務教育信息科技課程具有基礎(chǔ)性、實踐性和綜合性，為高中階段信息技術(shù)課程的學習奠定基礎(chǔ)。信息科技課程旨在培養(yǎng)科學精神和科技倫理，提升自主可控意識，培育社會主義核心價值觀，樹立總體國家安全觀，提升數(shù)字素養(yǎng)與技能。教材分析本節(jié)課的教學內(nèi)容選自人教/地圖出版社選擇性必修4人工智能初步第2章人工智能技術(shù)基本原理2.5神經(jīng)網(wǎng)絡與深度學習。智能已成為人們生活的一部分，它到底隱藏著多少人工智能的神奇“魔術(shù)”？智能助理和智能聊天等應用，正顛覆著我們與的交互方式；新聞資訊、在線購物等熱門應用總在推送著適合我們的內(nèi)容；圖像識別智能應用能夠識別圖像或現(xiàn)實中的人、風景、地點，可幫助我們快速組織和檢索圖像;圖像處理軟件能對圖像進行美化，打造個性化圖像；當人們開車出行時，可以使用導航軟件規(guī)劃最佳路線......中的智能應用涉及許多人工智能技術(shù)，各類應用的智能表現(xiàn)離不開“機器學習”。機器學習與人類學習不同，它需要收集大量數(shù)據(jù)或積累大量經(jīng)驗。本章的核心是機器學習，涉及回歸、分類和聚類等算法，以及神經(jīng)網(wǎng)絡、深度學習和強化學習等概念和理論。在本章的學習中，我們將以“智能技術(shù)初體驗”為主題，開展項目活動，探索應用中的人工智能技術(shù)，領(lǐng)略技術(shù)背后人工智能算法的魅力，進而學習人工智能技術(shù)的基本原理。教學目標1.通過案例剖析，了解人工神經(jīng)網(wǎng)絡的基本原理。2.了解卷積神經(jīng)網(wǎng)絡和循環(huán)神經(jīng)網(wǎng)絡的基本原理及應用場景。3.初步認識深度學習（深度神經(jīng)網(wǎng)絡），了解常見的人工智能開源軟硬件平臺。教學重點與難點教學重點:通過案例剖析，了解人工神經(jīng)網(wǎng)絡的基本原理。教學難點:初步認識深度學習（深度神經(jīng)網(wǎng)絡），了解常見的人工智能開源軟硬件平臺。教學方法與教學手段案例分析法、講授法、任務驅(qū)動法。教學過程問題導入體驗探索圖像識別技術(shù)長期以來，圖像識別技術(shù)一直是人工智能研究領(lǐng)域的難題。近年來，隨著算力的提升、物聯(lián)網(wǎng)與大數(shù)據(jù)的出現(xiàn)、機器學習算法的快速發(fā)展，科學家們終于找到了有效的方法來實現(xiàn)圖像識別，這就是基于人工神經(jīng)網(wǎng)絡的深度學習。很多以人工智能技術(shù)應用為主要發(fā)展目標的公司，如百度、阿里巴巴、騰訊和微軟等，都推出了基于深度學習算法的圖像搜索引擎，為人們的生產(chǎn)和生活提供了便利。例如，遇到不知名的植物時，只需用對其拍照，上傳到智能搜索引擎，就可以獲得相關(guān)的參考信息，如圖2.5.1（參見教材P60）所示。思考：1.圖像識別技術(shù)在生活中的應用越來越廣泛。試了解還有哪些相關(guān)品使用了這項技術(shù)，分享給組內(nèi)的同學。2.小組同學設(shè)想并討論，科研人員是如何“教會”計算機讀懂并識別圖像內(nèi)容的？又是如何“教會”計算機對圖像進行分類歸納的？人工神經(jīng)網(wǎng)絡當前，新一代人工智能領(lǐng)域中最重要研究內(nèi)容之一就是基于人工神經(jīng)網(wǎng)絡的深度學習。人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetwork，ANN）是相對生物神經(jīng)網(wǎng)絡（BiologicalNeuralNetwork，BNN）而言的，受生物神經(jīng)網(wǎng)絡的啟發(fā)而生。生物神經(jīng)網(wǎng)絡最基本的結(jié)構(gòu)和功能單位是神經(jīng)元。神經(jīng)元的樹突較短且分支多，其作用是接收其他細胞傳遞過來的電信號；軸突則較長且分支少，用于將電信號傳遞給其他細胞，如圖2.5.2（參見教材P61）所示。成千上萬個神經(jīng)元相互連接，共同組成復雜的生物神經(jīng)網(wǎng)絡。人類大腦皮層中約有140多億個神經(jīng)元，在接收外部信號過程中，腦細胞會不斷地調(diào)整神經(jīng)元的興奮閾值，宏觀上表現(xiàn)為學習、思考和判斷等高級思維活動。人工神經(jīng)網(wǎng)絡的基本原理1943年，心理學家沃倫·麥卡洛克（WarrenMcCulloch）和數(shù)學家沃爾特·皮茨（WalterPitts）合作提出MP神經(jīng)元模型。MP神經(jīng)元模型是按照生物神經(jīng)元的結(jié)構(gòu)和工作原理構(gòu)造出來的一個抽象和簡化了的計算模型，如圖2.5.3（參見教材P61）所示。圖2.5.3（參見教材P61）所示的模型也稱為感知機，是只有一層的人工神經(jīng)元模型。輸入層被稱為第零層，因為它只是緩沖輸入。存在的唯一一層神經(jīng)元形成輸出層。輸出層的每個神經(jīng)元都有自己的權(quán)重和閾值。感知機只需通過適當?shù)卣{(diào)整參數(shù)便可執(zhí)行類似與、或、非的邏輯操作，但感知機有明顯的局限性，比如無法解決非線性問題。人工神經(jīng)網(wǎng)絡的相關(guān)概念多層感知機（即多層人工神經(jīng)網(wǎng)絡）在感知機的基礎(chǔ)上，增加了若干隱藏層，通過前向傳播算法將輸入信息進行前向傳播，在學習過程中利用反向傳播學習算法將誤差進行前向傳播，以調(diào)整每一層的連接參數(shù)。圖2.5.7（參見教材P63）所示的是具有一層隱藏層的多層感知機，感知機每層中所有的神經(jīng)元都與上層所有神經(jīng)元相連。這種連接方式也稱為全連接人工神經(jīng)網(wǎng)絡。欲理解人工神經(jīng)網(wǎng)絡（以下簡稱神經(jīng)網(wǎng)絡或神經(jīng)網(wǎng)絡模型）具體的訓練和工作過程，需要先了解前向傳播、激活函數(shù)、損失函數(shù)、誤差反向傳播以及優(yōu)化器與梯度下降等概念。人工神經(jīng)網(wǎng)絡的實現(xiàn)過程神經(jīng)網(wǎng)絡模型的計算和優(yōu)化過程需要應用線性代數(shù)、微積分和統(tǒng)計學等交叉學科知識，若要從底層開始神經(jīng)網(wǎng)絡模型程序的開發(fā)難度很大，通常會基于某個開源的神經(jīng)網(wǎng)絡模型框架來開展。Keras是一個基于Python編程語言編寫的開源神經(jīng)網(wǎng)絡庫，可以快速實現(xiàn)包括神經(jīng)網(wǎng)絡模型的搭建、編譯、訓練、評估和測試等工作。下面通過具體的Keras應用案例來初步體驗神經(jīng)網(wǎng)絡的訓練、評估和測試等過程。閱讀拓展欠擬合與過擬合欠擬合指由于模型的復雜度不夠或者訓練樣本過少、訓練參數(shù)不正確等原因，導致模型無法有效地提取訓練集中的特征。比如單層感知機由于層數(shù)太少、模型簡單，導致無法處理“異或”問題。過擬合指模型經(jīng)過訓練集訓練后，過度地記錄了訓練集中的特征，使得模型對新數(shù)據(jù)的預測能力不足?？梢岳斫鉃閷W生通過“死記硬背”的方式學習，做過的習題可以輕松答對，而沒有做過的習題就難以應付。過擬合也稱為泛化能力不足。卷積神經(jīng)網(wǎng)絡與循環(huán)神經(jīng)網(wǎng)絡采用全連接神經(jīng)網(wǎng)絡處理復雜、大樣本數(shù)據(jù)時，由于訓練參數(shù)過多會導致模型收斂緩慢、梯度消失等問題。在處理圖像識別和序列數(shù)據(jù)等問題的過程中，科學家陸續(xù)提出了卷積神經(jīng)網(wǎng)絡和循環(huán)神經(jīng)網(wǎng)絡來解決相關(guān)問題。卷積神經(jīng)網(wǎng)絡來自生物科學的實驗表明，視覺皮層的細胞對視野中的某些局部特征非常敏感，這與數(shù)學中的卷積運算非常相似。受此啟發(fā)，科學家引入了卷積神經(jīng)網(wǎng)絡的方法，用來處理圖像識別等問題。數(shù)學運算中的卷積指兩個變量在某范圍內(nèi)相乘后求和的結(jié)果。在圖像處理領(lǐng)域，一般采用二維卷積。假設(shè)有數(shù)組A和數(shù)組K，經(jīng)過卷積運算后可得到數(shù)組B，如圖2.5.14（參見教材P70）所示。圖2.5.14（參見教材P70）中，由數(shù)組A最左上方的9個數(shù)據(jù)與數(shù)組K對應位置的9個數(shù)據(jù)相乘，然后求和，得到數(shù)組B最左上方的數(shù)據(jù)3。數(shù)組A相當于圖像的像素數(shù)據(jù)，數(shù)組K為卷積核，數(shù)組B是圖像通過卷積核進行卷積運算后得到的。在實際應用中，由于卷積運算后數(shù)據(jù)個數(shù)會減少，為了保持圖像的尺寸不變，一般在卷積前會對輸入圖像的邊緣像素用0填充，如圖2.5.15（參見教材P71）所示。圖像的卷積過程就是對圖像進行特征篩選的過程。不同的卷積核數(shù)值可以檢測到圖像內(nèi)不同的輪廓特征，從而得到不同的特征圖像。卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetworks，CNN）是一種帶有卷積結(jié)構(gòu)的神經(jīng)網(wǎng)絡。由于圖像的空間聯(lián)系往往是局部的，因此每個神經(jīng)元不需要對全部的圖像進行處理，只需對局部特征進行處理，然后在更高層將這些局部神經(jīng)元連接起來綜合處理。在卷積神經(jīng)網(wǎng)絡中，不同神經(jīng)元之間的參數(shù)（卷積核）可以共享。因此，使用卷積神經(jīng)網(wǎng)絡可以有效地減少神經(jīng)網(wǎng)絡模型的訓練參數(shù)，并且使圖像位移、縮放和非線性變形等具有一定的穩(wěn)定性。卷積神經(jīng)網(wǎng)絡有一個重要的特征是池化（Pooling），也稱為降采樣或下采樣，池化可以在保留圖像顯著特征的前提下減少數(shù)據(jù)處理量。一般池化方法有最大值池化（MaxPooling）和平均值池化（MeanPooling），最大值池化過程如圖2.5.16（參見教材P71）所示。卷積神經(jīng)網(wǎng)絡識別圖像的過程是將輸入的圖像進行多次卷積、池化，在多次卷積、池化的過程中圖像的尺寸會越來越小，特征越來越明顯，最后輸入全連接網(wǎng)絡完成預測或者分類任務，如圖2.5.17（參見教材P71）所示。閱讀拓展詞嵌入文本處理的過程中，對單詞進行獨熱編碼不太符合現(xiàn)實情況。例如，一篇1000個單詞的文章，經(jīng)過獨熱編碼后每個單詞就要用一個長度為1000的數(shù)組來表述，這會造成計算和儲存空間的浪費。且獨熱編碼無法準確表達不同詞之間的相似度，比如“get”和“got”相差一個字母，但意思是相似的，只是時態(tài)不一樣而已；而“big”和“pig”也相差一個字母，但意義完全不同。詞嵌入（WordEmbedding）可以解決上述的類似問題，將每個詞表示成若干長度的數(shù)組（多維向量），并通過計算兩個向量之間的余弦相似度，使這些向量能較好地表達不同詞之間的相似和類比關(guān)系。在Keras中，通過添加Embedding層，可以將輸入數(shù)據(jù)轉(zhuǎn)化為詞向量。深度學習及軟硬件平臺深度學習（DeepLearning，DL）廣泛應用于人工智能研究領(lǐng)域的方方面面，不僅用于分類和回歸，還在降維、聚類、語音識別和圖像識別等方面有許多應用。深度學習開源框架對計算機算力的要求很高，傳統(tǒng)的CPU計算在超大規(guī)模的神經(jīng)網(wǎng)絡以及海量的訓練數(shù)據(jù)前會顯得力不從心，因此深度學習除了需要優(yōu)異的軟件框架之外，還需要合適的硬件平臺。深度學習深度學習也稱深度神經(jīng)網(wǎng)絡（DeepNeuralNetworks，DNN），指具有多個隱含層的神經(jīng)網(wǎng)絡。廣義上，含多隱層的多層感知器、卷積神經(jīng)網(wǎng)絡和循環(huán)神經(jīng)網(wǎng)絡等都屬于深度學習。深度神經(jīng)網(wǎng)絡包含大量的網(wǎng)絡參數(shù)，因此具有更強大的擬合能力，使得神經(jīng)網(wǎng)絡更具有實用性。2012年，深度卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)首度出現(xiàn)，當時的神經(jīng)網(wǎng)絡層數(shù)尚且只有個位數(shù)。此后，對于深度神經(jīng)網(wǎng)絡的研究不斷深入，應用逐漸廣泛。2016年，神經(jīng)網(wǎng)絡層達到1207層。隨著卷積神經(jīng)網(wǎng)絡和循環(huán)神經(jīng)網(wǎng)絡結(jié)構(gòu)的不斷發(fā)展，神經(jīng)網(wǎng)絡對圖像和序列數(shù)據(jù)特征具有越來越強的特征感知和擬合能力，深度學習已經(jīng)成為人工智能研究領(lǐng)域最具活力的研究內(nèi)容之一。預訓練模型一味地增加神經(jīng)網(wǎng)絡的深度也會遇到問題。過多的神經(jīng)網(wǎng)絡參數(shù)會使訓練時間緩慢，一個復雜的神經(jīng)網(wǎng)絡模型訓練過程可能耗時幾天甚至幾周。因此，在具體應用過程中，通過引入預訓練模型來進行模型結(jié)構(gòu)及參數(shù)的初始化。所謂預訓練模型，是指在通用的數(shù)據(jù)集上訓練并優(yōu)化后的模型，如在ImageNet數(shù)據(jù)集上訓練出的VGG16、VGG19等。如圖2.5.21（參見教材P77）所示的是VGG16網(wǎng)絡結(jié)構(gòu)示意圖。使用VGG16進行模型訓練時，可以加載卷積層的預訓練參數(shù)并鎖定，只訓練神經(jīng)網(wǎng)絡最后用于具體分類的全連接層，從而大大減少模型的訓練參數(shù)，加快訓練速度。殘差神經(jīng)網(wǎng)絡過多的神經(jīng)網(wǎng)絡還容易導致誤差反向傳播過程中的梯度消失問題，使得神經(jīng)網(wǎng)絡模型很難收斂。殘差神經(jīng)網(wǎng)絡能很好地解決這個問題，其神經(jīng)網(wǎng)絡模型如圖2.5.23（參見教材P78）所示。軟硬件平臺目前，各種開源框架的出現(xiàn)，降低了深度神經(jīng)網(wǎng)絡學習與應用的門檻，可以使更多的人參與到深度學習的研究與優(yōu)化中。深度學習除了需要優(yōu)異的軟件框架之外，還需要合適的硬件平臺。人工智能加速硬件按照承擔的任務可分為訓練芯片和推理芯片，按照應用場景可分為云端芯片和終端芯片。訓練芯片用于神經(jīng)網(wǎng)絡模型的訓練與開發(fā)，“學習”出具有特定功能的神經(jīng)網(wǎng)絡模型。推理芯片使用已訓練好的神經(jīng)網(wǎng)絡模型，對新輸入的數(shù)據(jù)進行計算、“推理”，得到各種有價值的結(jié)論。云端芯片部署在公有云、私有云或者混合云上，不但可以用于訓練，也可以用于推理。終端芯片一般應用于移動終端或嵌入式開發(fā)，具備體積小、集成度高、功耗低和性能相對低等特點，主要用于推理。常見人工智能芯片主要包括GPU、NPU（NeuralnetworkProcessingUnit，神經(jīng)網(wǎng)絡處理器）、TPU（TensorProcessingUnit，張量處理器）、FPGA（FieldProgrammableGateArray，現(xiàn)場可編程邏輯門陣列）、ASIC（ApplicationSpecificIntegratedCircuit，專用集成電路)以及類腦芯片。在人工智能新時代，各種智能芯片各自發(fā)揮著優(yōu)勢。本地硬件本地硬件主要用于神經(jīng)網(wǎng)絡的計算，一般通過GPU或FPGA等的并行計算能力來實現(xiàn)。其中，GPU的特點是單指令、多數(shù)據(jù)處理、在內(nèi)部有數(shù)量眾多的計算單元，當需要處理大量類型統(tǒng)一的數(shù)據(jù)時，GPU的并行計算特性可以極大提高運算速度。云計算平臺隨著網(wǎng)絡技術(shù)的發(fā)展，云計算平臺日益成熟，成本逐漸降低，目前已能為企業(yè)和個人提供較好的人工智能解決方案。國內(nèi)比較著名的云計算平臺有騰訊云、阿里云、百度云和網(wǎng)易云等。云計算平臺既適用于神經(jīng)網(wǎng)絡模型訓練，也適用于利用神經(jīng)網(wǎng)絡模型推理或預測出結(jié)果。終端專用神經(jīng)網(wǎng)絡芯片終端專用神經(jīng)網(wǎng)絡芯片是為了實現(xiàn)特定要求而定制的，具有神經(jīng)網(wǎng)絡模型計算加速功能的芯片，在體積、功耗和成本等方面都具有優(yōu)勢，適合應用在嵌入式系統(tǒng)中完成特定的人工智能任務。實驗和項目式教學用人工智能硬件加速平臺一般采用基于GPU、NPU等芯片的嵌入式開發(fā)驗證系統(tǒng)，常見的有AI掌控板、KhadasVIM3和JetsonNano等，如圖2.5.24（參見教材P80）所示。技術(shù)支持深度學習開源框架目前，常見的深度學習開源框架有Theano、TensorFlow、Caffe2、CNTK、PyTorch、飛槳和Keras等。Theano：一個具有較大影響力的Python深度學習框架，目前已經(jīng)停止開發(fā)。TensorFlow：2015年推出的一個具有影響力的深度學習框架，擁有豐富的社區(qū)資源。Caffe2：一個代碼簡潔易用，性能優(yōu)異的深度學習框架，但缺乏靈活性。CNTK：微軟開發(fā)的深度學習框架，擅長進行語音處理。PyTorch：基于Torch的一個簡潔的開發(fā)框架，目前有趕上TensorFlow的趨勢。飛槳：由百度開發(fā)的深度學習框架，目前正處于成長期。Keras：適合初學者接觸深度學習的工具，與其他平臺框架不同，Keras更像一個深度學習的編程接口。目前Keras可以構(gòu)建在Theano、TensorFlow及CNTK之上。在TensorFlow2.0以后，Keras已經(jīng)被集成進了TensorFlow中，成為TensorFlow的一部分。項目實施“剪刀、石頭、布”游戲中的手勢識別一、項目活動結(jié)合本節(jié)所學內(nèi)容，利用卷積神經(jīng)網(wǎng)絡實現(xiàn)手勢識別。以小組為單位，采集圖像樣本數(shù)據(jù)并對數(shù)據(jù)進行預處理，搭建卷積神經(jīng)網(wǎng)絡模型，對模型進行訓練并觀察、評估訓練結(jié)果。二、項目檢查1.圖像樣本數(shù)據(jù)采集：確定采集方案，并對方案進行簡單介紹；完成樣本數(shù)量統(tǒng)計，填寫表2.5.3。表2.5.3手勢及樣本數(shù)量手勢剪刀石頭布樣本數(shù)量2.圖像數(shù)