深度學(xué)習(xí)之美：AI時(shí)代的數(shù)據(jù)處理與最佳實(shí)踐

深度學(xué)習(xí)之美：AI時(shí)代的數(shù)據(jù)處理與最佳實(shí)踐讀書筆記模板01思維導(dǎo)圖目錄分析讀書筆記內(nèi)容摘要作者介紹精彩摘錄目錄0305020406思維導(dǎo)圖深度實(shí)踐第章深度時(shí)代實(shí)踐實(shí)戰(zhàn)相關(guān)小結(jié)神經(jīng)網(wǎng)絡(luò)卷積函數(shù)訓(xùn)練網(wǎng)絡(luò)數(shù)據(jù)算法模型損失膠囊本書關(guān)鍵字分析思維導(dǎo)圖內(nèi)容摘要內(nèi)容摘要深度學(xué)習(xí)是人工智能的前沿技術(shù)。本書深入淺出地介紹了深度學(xué)習(xí)的相關(guān)理論和實(shí)踐，全書共分16章，采用理論和實(shí)踐雙主線寫作方式。第1章給出深度學(xué)習(xí)的大圖。第2章和第3章，講解了機(jī)器學(xué)習(xí)的相關(guān)基礎(chǔ)理論。第4章和第5章，講解了Python基礎(chǔ)和基于Python的機(jī)器學(xué)習(xí)實(shí)戰(zhàn)。第6至10章，先后講解了M-P模型、感知機(jī)、多層神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)等知識(shí)。第11章講解了被廣泛認(rèn)可的深度學(xué)習(xí)框架TensorFlow。第12章和第13章詳細(xì)講解了卷積神經(jīng)網(wǎng)絡(luò)，并給出了相關(guān)的實(shí)戰(zhàn)項(xiàng)目。第14章和第15章，分別講解了循環(huán)遞歸網(wǎng)絡(luò)和長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)。第16章講解了神經(jīng)膠囊網(wǎng)絡(luò)，并給出了神經(jīng)膠囊網(wǎng)絡(luò)設(shè)計(jì)的詳細(xì)論述和實(shí)踐案例分析。目錄分析1.1深度學(xué)習(xí)的巨大影響1.3什么是機(jī)器學(xué)習(xí)1.2什么是學(xué)習(xí)第1章一入侯門“深”似海，深度學(xué)習(xí)深幾許1.4機(jī)器學(xué)習(xí)的4個(gè)象限1.5什么是深度學(xué)習(xí)1.6“戀愛”中的深度學(xué)習(xí)1.7深度學(xué)習(xí)的方法論1.8有沒有淺層學(xué)習(xí)12345第1章一入侯門“深”似海，深度學(xué)習(xí)深幾許1.10請(qǐng)你思考1.9本章小結(jié)第1章一入侯門“深”似海，深度學(xué)習(xí)深幾許2.1信數(shù)據(jù)者得永生嗎2.3深度學(xué)習(xí)的歸屬2.2人工智能的“江湖定位”第2章人工“碳”索意猶盡，智能“硅”來未可知2.4機(jī)器學(xué)習(xí)的形式化定義2.5為什么要用神經(jīng)網(wǎng)絡(luò)2.6人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)2.7什么是通用近似定理2.8本章小結(jié)2.9請(qǐng)你思考010302040506第2章人工“碳”索意猶盡，智能“硅”來未可知3.1監(jiān)督學(xué)習(xí)3.2非監(jiān)督學(xué)習(xí)3.3半監(jiān)督學(xué)習(xí)3.4從“中庸之道”看機(jī)器學(xué)習(xí)3.5強(qiáng)化學(xué)習(xí)12345第3章“機(jī)器學(xué)習(xí)”三重門，“中庸之道”趨若人3.7請(qǐng)你思考3.6本章小結(jié)第3章“機(jī)器學(xué)習(xí)”三重門，“中庸之道”趨若人3.1監(jiān)督學(xué)習(xí)3.1.1感性認(rèn)知監(jiān)督學(xué)習(xí)3.1.2監(jiān)督學(xué)習(xí)的形式化描述3.1.3k-近鄰算法3.2非監(jiān)督學(xué)習(xí)3.2.1感性認(rèn)識(shí)非監(jiān)督學(xué)習(xí)3.2.2非監(jiān)督學(xué)習(xí)的代表—K均值聚類4.1Python概要4.2Python的版本之爭(zhēng)4.3Python環(huán)境配置4.4Python編程基礎(chǔ)第4章人生苦短對(duì)酒歌，我用Python樂趣多4.6請(qǐng)你思考4.5本章小結(jié)第4章人生苦短對(duì)酒歌，我用Python樂趣多4.1Python概要4.1.1為什么要用Python4.1.2Python中常用的庫(kù)4.3Python環(huán)境配置4.3.1Windows下的安裝與配置4.3.2Mac下的安裝與配置4.4Python編程基礎(chǔ)4.4.1如何運(yùn)行Python代碼4.4.2代碼縮進(jìn)4.4.3注釋4.4.4Python中的數(shù)據(jù)結(jié)構(gòu)4.4.5函數(shù)的設(shè)計(jì)4.4.6模塊的導(dǎo)入與使用4.4.7面向?qū)ο蟪绦蛟O(shè)計(jì)5.1線性回歸5.2k-近鄰算法5.3本章小結(jié)5.4請(qǐng)你思考第5章機(jī)器學(xué)習(xí)終覺淺，Python帶我來實(shí)踐5.1線性回歸5.1.1線性回歸的概念5.1.2簡(jiǎn)易線性回歸的Python實(shí)現(xiàn)詳解5.2k-近鄰算法5.2.1k-近鄰算法的三個(gè)要素5.2.2k-近鄰算法實(shí)戰(zhàn)5.2.3使用scikit-learn實(shí)現(xiàn)k-近鄰算法6.1M-P神經(jīng)元模型是什么6.2模型背后的那些人和事6.3激活函數(shù)是怎樣的一種存在6.4什么是卷積函數(shù)第6章神經(jīng)網(wǎng)絡(luò)不勝語，M-P模型似可尋6.6請(qǐng)你思考6.5本章小結(jié)第6章神經(jīng)網(wǎng)絡(luò)不勝語，M-P模型似可尋7.1網(wǎng)之初，感知機(jī)7.3感性認(rèn)識(shí)“感知機(jī)”7.2感知機(jī)名稱的由來第7章HelloWorld感知機(jī)，懂你我心才安息7.4感知機(jī)是如何學(xué)習(xí)的7.5感知機(jī)訓(xùn)練法則7.6感知機(jī)的幾何意義7.7基于Python的感知機(jī)實(shí)戰(zhàn)7.8感知機(jī)的表征能力12345第7章HelloWorld感知機(jī)，懂你我心才安息7.10請(qǐng)你思考7.9本章小結(jié)第7章HelloWorld感知機(jī)，懂你我心才安息8.1多層網(wǎng)絡(luò)解決“異或”問題8.2感性認(rèn)識(shí)多層前饋神經(jīng)網(wǎng)絡(luò)8.3是淺而“胖”好，還是深而“瘦”佳8.4分布式特征表達(dá)8.5丟棄學(xué)習(xí)與集成學(xué)習(xí)12345第8章?lián)p失函數(shù)減肥用，神經(jīng)網(wǎng)絡(luò)調(diào)權(quán)重8.6現(xiàn)實(shí)很豐滿，理想很骨感8.7損失函數(shù)的定義8.8熱力學(xué)定律與梯度彌散8.9本章小結(jié)8.10請(qǐng)你思考12345第8章?lián)p失函數(shù)減肥用，神經(jīng)網(wǎng)絡(luò)調(diào)權(quán)重9.1“鳥飛派”還飛不9.21986年的那篇神作9.3多層感知機(jī)網(wǎng)絡(luò)遇到的大問題9.4神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)9.5再議損失函數(shù)9.6什么是梯度010302040506第9章山重水復(fù)疑無路，最快下降問梯度9.7什么是梯度遞減9.8梯度遞減的線性回歸實(shí)戰(zhàn)9.9什么是隨機(jī)梯度遞減9.10利用SGD解決線性回歸實(shí)戰(zhàn)9.11本章小結(jié)9.12請(qǐng)你思考010302040506第9章山重水復(fù)疑無路，最快下降問梯度10.1BP算法極簡(jiǎn)史10.2正向傳播信息10.3求導(dǎo)中的鏈?zhǔn)椒▌t10.4誤差反向傳播10.5BP算法實(shí)戰(zhàn)詳細(xì)解釋12345第10章BP算法雙向傳，鏈?zhǔn)角髮?dǎo)最纏綿10.7請(qǐng)你思考10.6本章小結(jié)第10章BP算法雙向傳，鏈?zhǔn)角髮?dǎo)最纏綿10.4誤差反向傳播10.4.1基于隨機(jī)梯度下降的BP算法10.4.2輸出層神經(jīng)元的權(quán)值訓(xùn)練10.4.3隱含層神經(jīng)元的權(quán)值訓(xùn)練10.4.4BP算法的感性認(rèn)知10.4.5關(guān)于BP算法的補(bǔ)充說明10.5BP算法實(shí)戰(zhàn)詳細(xì)解釋10.5.1初始化網(wǎng)絡(luò)10.5.2信息前向傳播10.5.3誤差反向傳播10.5.4訓(xùn)練網(wǎng)絡(luò)（解決異或問題）10.5.5利用BP算法預(yù)測(cè)小麥品種的分類11.1TensorFlow概述11.2深度學(xué)習(xí)框架比較11.3TensorFlow的安裝11.4JupyterNotebook的使用11.5TensorFlow中的基礎(chǔ)語法12345第11章一騎紅塵江湖笑，TensorFlow谷歌造11.6手寫數(shù)字識(shí)別MNIST11.7TensorFlow中的Eager執(zhí)行模式11.8本章小結(jié)11.9請(qǐng)你思考參考資料12345第11章一騎紅塵江湖笑，TensorFlow谷歌造11.2深度學(xué)習(xí)框架比較11.2.1Theano11.2.2Keras11.2.3Caffe11.2.4PyTorch11.3TensorFlow的安裝11.3.1Anaconda的安裝11.3.2TensorFlow的CPU版本安裝11.3.3TensorFlow的源碼編譯11.4JupyterNotebook的使用11.4.1JupyterNotebook的由來11.4.2JupyterNotebook的安裝11.5TensorFlow中的基礎(chǔ)語法11.5.1什么是數(shù)據(jù)流圖11.5.2構(gòu)建第一個(gè)TensorFlow數(shù)據(jù)流圖11.5.3可視化展現(xiàn)的TensorBoard11.5.4TensorFlow的張量思維11.5.5TensorFlow中的數(shù)據(jù)類型11.5.6TensorFlow中的操作類型11.5.7TensorFlow中的Graph對(duì)象11.5.8TensorFlow中的Session11.5.9TensorFlow中的placeholder11.6手寫數(shù)字識(shí)別MNIST11.6.1MNIST數(shù)據(jù)集簡(jiǎn)介11.6.2MNIST數(shù)據(jù)的獲取與預(yù)處理11.6.3分類模型的構(gòu)建—SoftmaxRegression11.7TensorFlow中的Eager執(zhí)行模式11.7.1Eager執(zhí)行模式的背景11.7.2Eager執(zhí)行模式的安裝11.7.3Eager執(zhí)行模式的案例11.7.4Eager執(zhí)行模式的MNIST模型構(gòu)建12.1卷積神經(jīng)網(wǎng)絡(luò)的歷史12.2卷積神經(jīng)網(wǎng)絡(luò)的概念12.3圖像處理中的卷積12.4卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)第12章全面連接困何處，卷積網(wǎng)絡(luò)顯神威12.5卷積層要義12.6細(xì)說激活層12.7詳解池化層12.8勿忘全連接層12.9本章小結(jié)12345第12章全面連接困何處，卷積網(wǎng)絡(luò)顯神威參考資料12.10請(qǐng)你思考第12章全面連接困何處，卷積網(wǎng)絡(luò)顯神威12.1卷積神經(jīng)網(wǎng)絡(luò)的歷史12.1.1眼在何方？路在何方？12.1.2卷積神經(jīng)網(wǎng)絡(luò)的歷史脈絡(luò)12.1.3那場(chǎng)著名的學(xué)術(shù)賭局12.2卷積神經(jīng)網(wǎng)絡(luò)的概念12.2.1卷積的數(shù)學(xué)定義12.2.2生活中的卷積12.3圖像處理中的卷積12.3.1計(jì)算機(jī)“視界”中的圖像12.3.2什么是卷積核12.3.3卷積在圖像處理中的應(yīng)用12.5卷積層要義12.5.1卷積層的設(shè)計(jì)動(dòng)機(jī)12.5.2卷積層的局部連接12.5.3卷積層的3個(gè)核心概念12.6細(xì)說激活層12.6.1兩個(gè)看似閑扯的問題12.6.2追尋問題的本質(zhì)12.6.3ReLU的理論基礎(chǔ)12.6.4ReLU的不足之處13.1TensorFlow的CNN架構(gòu)13.2卷積層的實(shí)現(xiàn)13.3激活函數(shù)的使用13.4池化層的實(shí)現(xiàn)第13章紙上談兵終覺淺，絕知卷積要編程13.5規(guī)范化層13.6卷積神經(jīng)網(wǎng)絡(luò)在MNIST分類器中的應(yīng)用13.7經(jīng)典神經(jīng)網(wǎng)絡(luò)——AlexNet的實(shí)現(xiàn)13.8本章小結(jié)13.9請(qǐng)你思考12345第13章紙上談兵終覺淺，絕知卷積要編程13.2卷積層的實(shí)現(xiàn)13.2.1TensorFlow中的卷積函數(shù)13.2.2圖像處理中的常用卷積核13.3激活函數(shù)的使用13.3.1Sigmoid函數(shù)13.3.2Tanh函數(shù)13.3.3修正線性單元——ReLU13.3.4Dropout函數(shù)13.5規(guī)范化層13.5.1為什么需要規(guī)范化13.5.2局部響應(yīng)規(guī)范化13.5.3批規(guī)范化13.6卷積神經(jīng)網(wǎng)絡(luò)在MNIST分類器中的應(yīng)用13.6.1數(shù)據(jù)讀取13.6.2初始化權(quán)值和偏置13.6.3卷積和池化13.6.4構(gòu)建第一個(gè)卷積層13.6.5構(gòu)建第二個(gè)卷積層13.6.6實(shí)現(xiàn)全連接層13.6.7實(shí)現(xiàn)Dropout層13.6.8實(shí)現(xiàn)Readout層13.6.9參數(shù)訓(xùn)練與模型評(píng)估13.7經(jīng)典神經(jīng)網(wǎng)絡(luò)——AlexNet的實(shí)現(xiàn)13.7.1AlexNet的網(wǎng)絡(luò)架構(gòu)13.7.2數(shù)據(jù)讀取13.7.3初始化權(quán)值和偏置13.7.4卷積和池化13.7.5局部響應(yīng)歸一化層13.7.6構(gòu)建卷積層13.7.7實(shí)現(xiàn)全連接層和Dropout層13.7.8實(shí)現(xiàn)Readout層13.7.9參數(shù)訓(xùn)練與模型評(píng)估14.1你可能不具備的一種思維14.2標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)的缺陷所在14.3RNN簡(jiǎn)史14.4RNN的理論基礎(chǔ)14.5RNN的結(jié)構(gòu)14.6循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練010302040506第14章循環(huán)遞歸RNN，序列建模套路深14.7基于RNN的TensorFlow實(shí)戰(zhàn)——正弦序列預(yù)測(cè)14.9請(qǐng)你思考14.8本章小結(jié)第14章循環(huán)遞歸RNN，序列建模套路深14.3RNN簡(jiǎn)史14.3.1Hopfield網(wǎng)絡(luò)14.3.2Jordan遞歸神經(jīng)網(wǎng)絡(luò)14.3.3Elman遞歸神經(jīng)網(wǎng)絡(luò)14.3.4RNN的應(yīng)用領(lǐng)域14.4RNN的理論基礎(chǔ)14.4.1Elman遞歸神經(jīng)網(wǎng)絡(luò)14.4.2循環(huán)神經(jīng)網(wǎng)絡(luò)的生物學(xué)機(jī)理14.6循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練14.6.1問題建模14.6.2確定優(yōu)化目標(biāo)函數(shù)14.6.3參數(shù)求解14.7基于RNN的TensorFlow實(shí)戰(zhàn)——正弦序列預(yù)測(cè)14.7.1生成數(shù)據(jù)14.7.2定義權(quán)值和偏置14.7.3前向傳播14.7.4定義損失函數(shù)14.7.5參數(shù)訓(xùn)練與模型評(píng)估15.1遺忘是好事還是壞事15.3為什么需要LSTM15.2施密德胡伯是何人第15章LSTM長(zhǎng)短記，長(zhǎng)序依賴可追憶15.4拆解LSTM15.5LSTM的前向計(jì)算15.6LSTM的訓(xùn)練流程15.7自然語言處理的一個(gè)假設(shè)15.8詞向量表示方法15.9自然語言處理的統(tǒng)計(jì)模型010302040506第15章LSTM長(zhǎng)短記，長(zhǎng)序依賴可追憶15.10基于PennTreeBank的自然語言處理實(shí)戰(zhàn)15.12請(qǐng)你思考15.11本章小結(jié)第15章LSTM長(zhǎng)短記，長(zhǎng)序依賴可追憶15.4拆解LSTM15.4.1傳統(tǒng)RNN的問題所在15.4.2改造的神經(jīng)元15.5LSTM的前向計(jì)算15.5.1遺忘門15.5.2輸入門15.5.3候選門15.5.4輸出門15.8詞向量表示方法15.8.1獨(dú)熱編碼表示15.8.2分布式表示15.8.3詞嵌入表示15.9自然語言處理的統(tǒng)計(jì)模型15.9.1NGram模型15.9.2基于神經(jīng)網(wǎng)絡(luò)的語言模型15.9.3基于循環(huán)神經(jīng)網(wǎng)絡(luò)的語言模型15.9.4LSTM語言模型的正則化15.10基于PennTreeBank的自然語言處理實(shí)戰(zhàn)15.10.1下載及準(zhǔn)備PTB數(shù)據(jù)集15.10.2導(dǎo)入基本包15.10.3定義相關(guān)的參數(shù)15.10.4語言模型的實(shí)現(xiàn)15.10.5訓(xùn)練并返回perplexity值15.10.6定義主函數(shù)并運(yùn)行15.10.7運(yùn)行結(jié)果16.1從神經(jīng)元到神經(jīng)膠囊16.2卷積神經(jīng)網(wǎng)絡(luò)面臨的挑戰(zhàn)16.3神經(jīng)膠囊的提出16.4神經(jīng)膠囊理論初探16.5神經(jīng)膠囊的實(shí)例化參數(shù)12345第16章卷積網(wǎng)絡(luò)雖動(dòng)人，膠囊網(wǎng)絡(luò)更傳“神”16.6