Python基礎(chǔ)、深度學(xué)習(xí)入門(mén)與實(shí)踐

Python基礎(chǔ)、深度學(xué)習(xí)入門(mén)與實(shí)踐Python編程、機(jī)器學(xué)習(xí)或深度學(xué)習(xí)經(jīng)驗(yàn)相對(duì)匱乏的學(xué)員對(duì)Python、機(jī)器學(xué)習(xí)及深度學(xué)習(xí)的基本概念有所了解能夠?qū)嵺`基本的代碼為接下來(lái)的培訓(xùn)打好基礎(chǔ)有一定經(jīng)驗(yàn)的學(xué)員復(fù)習(xí)、梳理Python編程、機(jī)器學(xué)習(xí)或深度學(xué)習(xí)等相關(guān)概念為接下來(lái)的培訓(xùn)做準(zhǔn)備課程目的Python基礎(chǔ)Python簡(jiǎn)介Python數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)加載、存儲(chǔ)與文件格式深度學(xué)習(xí)入門(mén)與實(shí)踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)框架Keras基礎(chǔ)深度學(xué)習(xí)主流模型提綱Python基礎(chǔ)Python簡(jiǎn)介Python數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)加載、存儲(chǔ)與文件格式深度學(xué)習(xí)入門(mén)與實(shí)踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)框架Keras基礎(chǔ)深度學(xué)習(xí)主流模型提綱Python基礎(chǔ)Python簡(jiǎn)介Python2Python2的最新版本更新到Python2.7。Python2.7即將停止維護(hù)。在這一段時(shí)間中，很多優(yōu)秀開(kāi)源項(xiàng)目與庫(kù)已經(jīng)停止了對(duì)2.7的支持。GitHub上項(xiàng)目的Python版本從2切換到3。Python3Python3的最新版本更新到Python3.8。本講涉及的代碼以Python3.6版本為基礎(chǔ)。Python基礎(chǔ)

本講的Python運(yùn)行環(huán)境Windows7/10Anaconda3（Python3.6.5）Anaconda3的安裝推薦安裝的理由：省去了安裝常用Python第三方庫(kù)的麻煩tensorflow1.11pipinstall-i/simpletensorflow==1.11keras2.2.4pipinstall-i/simplekeras==2.2.4SublimeText編輯器也可使用Anaconda3自帶的Spyder編譯器或者PyCharm編譯器Python基礎(chǔ)

Anaconda3的安裝主頁(yè)下載Anaconda3Windows64位安裝程序/distribution/#download-section下載最新的Anaconda3-XX.XX-Windows-x86_64.exe即可雙擊exe文件開(kāi)始安裝安裝過(guò)程中的注意事項(xiàng)（圖示見(jiàn)下頁(yè)）選擇“InstallforAllUsers”選擇“AddAnacondaasthesystemPATHenvironmentvariable”和“RegisterAnacondaasthesystemPython”跳過(guò)“安裝MicrosoftVisualStudioCode”P(pán)ython基礎(chǔ)

Anaconda3的安裝Python基礎(chǔ)Python的特點(diǎn)免費(fèi)、開(kāi)源Python語(yǔ)言是免費(fèi)開(kāi)源的腳本語(yǔ)言。這兩個(gè)詞幾乎成為流行編程語(yǔ)言必不可少的特征Python編程更簡(jiǎn)單相比于編譯語(yǔ)言（C,C++）而言，Python是一種跨平臺(tái)腳本語(yǔ)言，編寫(xiě)好的代碼可以直接部署在各類(lèi)操作系統(tǒng)上（例如，Linux、Windows、MACOSX）豐富的程序庫(kù)Python有大量的第三方庫(kù)以及在機(jī)器學(xué)習(xí)等方面提供了完備程序庫(kù)，包括：Numpy、Pandas、Scikit-learn（機(jī)器學(xué)習(xí)庫(kù)）等等Python基礎(chǔ)Python簡(jiǎn)介Python數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)加載、存儲(chǔ)與文件格式深度學(xué)習(xí)入門(mén)與實(shí)踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)框架Keras基礎(chǔ)深度學(xué)習(xí)主流模型提綱Python基礎(chǔ)Python數(shù)據(jù)結(jié)構(gòu)序列（參考代碼見(jiàn)codes\Python_basics\string_tuple_list.py）字符串（string）元組（tuple）列表（list）字典哪里不明白，就print()哪里Python基礎(chǔ)Python第三方庫(kù)的數(shù)據(jù)結(jié)構(gòu)Numpy（NumPy是NumericalPython的簡(jiǎn)稱(chēng)）NumPy是Python高性能科學(xué)計(jì)算和數(shù)據(jù)分析的基礎(chǔ)包importnumpyasnpNumPy最重要的一個(gè)特點(diǎn)：ndarray（n維數(shù)組對(duì)象）哪里不明白，就print()哪里Python基礎(chǔ)Python第三方庫(kù)的數(shù)據(jù)結(jié)構(gòu)Pandas（NumPy是paneldata以及pythondataanalysis的簡(jiǎn)稱(chēng)）Pandas是基于NumPy構(gòu)建的，讓以NumPy為中心的應(yīng)用變得更加簡(jiǎn)單importpandasaspdPandas最重要的一個(gè)特點(diǎn)：DataFrame對(duì)象它是一個(gè)面向列的二維表結(jié)構(gòu)，且含有行標(biāo)和列標(biāo)DataFrame對(duì)象用于將數(shù)據(jù)表示為一個(gè)表格哪里不明白，就print()哪里Python基礎(chǔ)Python簡(jiǎn)介Python數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)加載、存儲(chǔ)與文件格式深度學(xué)習(xí)入門(mén)與實(shí)踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)框架Keras基礎(chǔ)深度學(xué)習(xí)主流模型提綱Python基礎(chǔ)

數(shù)據(jù)加載、存儲(chǔ)與文件格式讀取文本文件和其他更高效的磁盤(pán)存儲(chǔ)格式文本文件txt文件csv文件（Comma-SeparatedValues，逗號(hào)分隔值）二進(jìn)制數(shù)據(jù)pickle文件HDF5文件（HDF，hierarchicaldataformat，層次型數(shù)據(jù)格式）加載數(shù)據(jù)庫(kù)中的數(shù)據(jù)利用WebAPI操作網(wǎng)絡(luò)資源Python基礎(chǔ)Python數(shù)據(jù)加載文本文件——txt文件Python處理文本文件的3個(gè)主要步驟打開(kāi)文件：使用函數(shù)open()處理文件：讀取文件str_=f_.read()關(guān)閉文件：使用函數(shù)close()使用第三方庫(kù)numpydata_ndarray=np.loadtxt(fn,delimiter='\t')使用第三方庫(kù)pandasfull_data_dataframe=pd.read_table(fn)Python基礎(chǔ)Python數(shù)據(jù)加載文本文件——csv文件使用Python內(nèi)置的csv模塊withopen(fn,'r')asf: reader=csv.reader(f)使用第三方庫(kù)numpydata_ndarray=np.loadtxt(fn,delimiter=',')使用第三方庫(kù)pandasfull_data_dataframe=pd.read_csv(fn)full_data_dataframe=pd.read_table(fn,sep=',')Python基礎(chǔ)Python數(shù)據(jù)加載Excel文件Excel文件使用第三方庫(kù)xlrddata=xlrd.open_workbook(excelname)#打開(kāi)Excel表table=data.sheet_by_name(sheetname)#打開(kāi)Excel表中的sheetPython基礎(chǔ)Python數(shù)據(jù)存儲(chǔ)文本文件——txt文件txt文件Python處理文本文件的3個(gè)主要步驟打開(kāi)文件：使用函數(shù)open()處理文件：寫(xiě)入文件f.write(str_)關(guān)閉文件：使用函數(shù)close()使用第三方庫(kù)pandasdataframe.to_csv(txtfn,sep='\t')#創(chuàng)建.txt文件Python基礎(chǔ)Python數(shù)據(jù)存儲(chǔ)文本文件——csv文件csv文件使用Python內(nèi)置的csv模塊withopen(csvfn,'w')asf: writer=csv.writer(f) writer.writerow(str_)使用第三方庫(kù)pandasdataframe1.to_csv(csvfn)#創(chuàng)建.csv文件Python基礎(chǔ)Python數(shù)據(jù)存儲(chǔ)Excel文件Excel文件使用第三方庫(kù)xlwtf=xlwt.Workbook() #創(chuàng)建excel文件sheet1=f.add_sheet(sheetname)#創(chuàng)建sheetsheet1.write(row_id,col_id,str_)f.save(savefn) #保存文件使用第三方庫(kù)pandaswriter=pd.ExcelWriter(savefn,engine='xlsxwriter')dataframe.to_excel(writer,sheetname)writer.save()Python基礎(chǔ)

數(shù)據(jù)加載、存儲(chǔ)與文件格式代碼實(shí)踐codes\Python_Read&Write\Python_read.pypima-indians-diabetes.csvpima-indians-diabetes.csv數(shù)據(jù)說(shuō)明比馬印第安人糖尿病數(shù)據(jù)集（醫(yī)療方面的數(shù)據(jù)集）比馬印第安人糖尿病發(fā)病情況csv文件，共有768行，每一行有9列Python基礎(chǔ)

pima-indians-diabetes.csv數(shù)據(jù)每一列的意義(1)懷孕次數(shù)(2)2小時(shí)口服葡萄糖耐量試驗(yàn)中血漿葡萄糖濃度(3)舒張壓(4)三頭肌皮褶皺厚度(5)2小時(shí)血清膜島素(6)身體質(zhì)量指數(shù)(7)糖尿病譜系功能(8)年齡(9)是否是糖尿病(0or1)Python基礎(chǔ)Python簡(jiǎn)介Python數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)加載、存儲(chǔ)與文件格式深度學(xué)習(xí)入門(mén)與實(shí)踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)框架Keras基礎(chǔ)深度學(xué)習(xí)主流模型提綱Python基礎(chǔ)Python簡(jiǎn)介Python數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)加載、存儲(chǔ)與文件格式深度學(xué)習(xí)入門(mén)與實(shí)踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)框架Keras基礎(chǔ)深度學(xué)習(xí)主流模型提綱深度學(xué)習(xí)入門(mén)與實(shí)踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)是從機(jī)器學(xué)習(xí)中的人工神經(jīng)網(wǎng)絡(luò)發(fā)展出來(lái)的新領(lǐng)域人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元細(xì)胞體樹(shù)突軸突人工神經(jīng)元

M-P神經(jīng)元（McCulloch-Pitts神經(jīng)元）一種模擬生物神經(jīng)元的簡(jiǎn)化數(shù)學(xué)模型構(gòu)造人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)神經(jīng)元接受n個(gè)輸入神經(jīng)元的輸出y神經(jīng)元的細(xì)胞體：中間圓形區(qū)域w1、w2、...、wn稱(chēng)作連接權(quán)值，表示每個(gè)輸入的連接強(qiáng)度...w1w2wnx1x2xnyθ人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)元

M-P神經(jīng)元（McCulloch-Pitts神經(jīng)元）神經(jīng)元的輸出閾值：θ整合函數(shù)激活函數(shù)（activationfunction）另一種表示更好地表達(dá)了“整合函數(shù)”和“激活函數(shù)”...w1w2wnx1x2xnyθ...w1w2wnx1x2xnyΣ∫人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)元

M-P神經(jīng)元（McCulloch-Pitts神經(jīng)元）一種模擬生物神經(jīng)元的簡(jiǎn)化數(shù)學(xué)模型構(gòu)造人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)神經(jīng)元接受n個(gè)輸入神經(jīng)元的輸出y神經(jīng)元的細(xì)胞體：中間圓形區(qū)域w1、w2、...、wn稱(chēng)作連接權(quán)值，表示每個(gè)輸入的連接強(qiáng)度整合函數(shù)：加權(quán)求和函數(shù)激活函數(shù)：閾值函數(shù)（activationfunction）...w1w2wnx1x2xnyΣ∫人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知器

原始（兩類(lèi)）感知器只有一層，只有一個(gè)M-P神經(jīng)元整合函數(shù)激活函數(shù)（activationfunction）采用閾值函數(shù)，階躍函數(shù)，又稱(chēng)硬限幅函數(shù)，記為hardlim，輸出為0或1另一種表示只有兩層：輸入層&輸出層輸入層各神經(jīng)元僅用于將輸入數(shù)據(jù)傳送給與之連接的輸出神經(jīng)元輸出層神經(jīng)元只有一個(gè)M-P神經(jīng)元

...w1w2wnx1x2xnyΣ∫...w1w2wnyΣ∫xnx2x1輸入層輸出層人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知器

原始（兩類(lèi)）感知器...w1w2wnyΣ∫xnx2x1輸入層輸出層...w1w2wnyΣ∫xnx2x11b人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知器

原始（兩類(lèi)）感知器...w1w2wnyΣ∫xnx2x1輸入層輸出層給定輸入和y，如何自動(dòng)確定w和b？x1x2y000010100111人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知器

原始（兩類(lèi)）感知器學(xué)習(xí)算法Rosenblatt（羅森勃拉特）等人在20世紀(jì)60年代初期給出了嚴(yán)格的證明，該算法對(duì)于線(xiàn)性可分的樣本是收斂的

原始（兩類(lèi)）感知器的應(yīng)用與運(yùn)算（w1=w2=1，b=-2）或運(yùn)算（w1=w2=1，b=-0.5）w1w2yΣ∫x11bx2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知器

原始（兩類(lèi)）感知器由于感知器結(jié)構(gòu)和學(xué)習(xí)機(jī)制上的簡(jiǎn)單，使得感知器在功能上具有很大的局限性不能解決簡(jiǎn)單的異或等線(xiàn)性不可分問(wèn)題《Perceptron》（《感知器》）一書(shū)Minsky（明斯基）&SeymourPapert（裴伯特），1969從數(shù)學(xué)上分析了以感知器為代表的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能和局限性...w1w2wnyΣ∫xnx2x1輸入層輸出層人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知器

多層感知器多層感知器可以用來(lái)解決異或問(wèn)題激活函數(shù)仍然采用閾值函數(shù)但卻沒(méi)有解決多層感知器的學(xué)習(xí)問(wèn)題雖然Minsky也認(rèn)為多層網(wǎng)絡(luò)可以解決非線(xiàn)性問(wèn)題，但是，在當(dāng)時(shí)，這個(gè)問(wèn)題還不可解Minsky認(rèn)為“多層網(wǎng)絡(luò)不存在有效學(xué)習(xí)方法”誤差反向傳播（Backpropagation，Back-Propagation，BP）算法通常簡(jiǎn)稱(chēng)為BP（Backpropagation）算法Rumelhart（魯梅爾哈特）&麥克萊蘭x1∫Σx2xn∫Σ......∫Σ∫Σ...W1W2輸入層輸出層隱含層ymy1人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

梯度下降法梯度下降法（gradientdescent，GD）是求解無(wú)約束最優(yōu)化問(wèn)題的一種最常用的方法用途：求f(x)的極小點(diǎn)原理：負(fù)梯度方向是使函數(shù)值下降最快的方向x1∫Σx2xn∫Σ......∫Σ∫Σ...W1W2輸入層輸出層隱含層ymy1

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

機(jī)器學(xué)習(xí)算法的概念輸入，輸出，模型輸出損失函數(shù)

度量模型一次預(yù)測(cè)的好壞風(fēng)險(xiǎn)函數(shù)度量平均意義下模型預(yù)測(cè)的好壞，期望風(fēng)險(xiǎn)經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)：模型關(guān)于訓(xùn)練數(shù)據(jù)集（經(jīng)驗(yàn)數(shù)據(jù)）的平均損失經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法給定N個(gè)樣本的訓(xùn)練集：BP網(wǎng)絡(luò)的輸出：目標(biāo)函數(shù)學(xué)習(xí)目標(biāo)

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法參數(shù)學(xué)習(xí)算法（梯度下降法）目標(biāo)函數(shù)求參數(shù)的梯度迭代公式

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法可以分為以下三步先前饋計(jì)算每一層的狀態(tài)和激活值，直到最后一層反向傳播計(jì)算每一層的誤差

難點(diǎn)：求最后一層的誤差項(xiàng)

交叉熵?fù)p失函數(shù)

softmax（激活函數(shù)）+對(duì)數(shù)似然損失函數(shù)（損失函數(shù)）計(jì)算每一層參數(shù)的偏導(dǎo)數(shù)，并更新參數(shù)

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

機(jī)器學(xué)習(xí)算法的概念——損失函數(shù)負(fù)對(duì)數(shù)似然損失函數(shù)交叉熵?fù)p失函數(shù)

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播網(wǎng)絡(luò)（簡(jiǎn)稱(chēng)BP網(wǎng)絡(luò)）在網(wǎng)絡(luò)結(jié)構(gòu)上，與感知器相同與普通多層感知器的區(qū)別隱含層與輸出層的神經(jīng)元的激活函數(shù)均為連續(xù)非線(xiàn)性函數(shù)

因?yàn)檫B續(xù)非線(xiàn)性激活函數(shù)可導(dǎo)，所以可用最優(yōu)化的方法來(lái)求解用連續(xù)輸出代替離散的輸出x1∫Σx2xn∫Σ......∫Σ∫Σ...W1W2輸入層輸出層隱含層ymy1Sigmoid函數(shù)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法參數(shù)學(xué)習(xí)算法（梯度下降法）目標(biāo)函數(shù)求參數(shù)的梯度迭代公式

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法批量梯度下降法（BatchGradientDescent，BGD）隨機(jī)梯度下降法（StochasticGradientDescent，SGD）最小批量隨機(jī)梯度下降法（mini-batchStochasticGradientDescent，mini-batchSGD）

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法批量梯度下降法（BatchGradientDescent，BGD）隨機(jī)梯度下降法（StochasticGradientDescent，SGD）最小批量隨機(jī)梯度下降法（mini-batchStochasticGradientDescent，mini-batchSGD）

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法批量梯度下降法（BatchGradientDescent，BGD）隨機(jī)梯度下降法（StochasticGradientDescent，SGD）最小批量隨機(jī)梯度下降法（mini-batchStochasticGradientDescent，mini-batchSGD）

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法一個(gè)訓(xùn)練周期（epoch）用完所有的訓(xùn)練輸入一個(gè)訓(xùn)練迭代期（iteration）

用完當(dāng)前小批量數(shù)據(jù)中的所有訓(xùn)練樣本（mini-batch隨機(jī)梯度下降法）下一個(gè)迭代期再挑選另一隨機(jī)選定的小批量數(shù)據(jù)去訓(xùn)練Python基礎(chǔ)Python簡(jiǎn)介Python數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)加載、存儲(chǔ)與文件格式深度學(xué)習(xí)入門(mén)與實(shí)踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)框架Keras基礎(chǔ)深度學(xué)習(xí)主流模型提綱深度學(xué)習(xí)入門(mén)

深度學(xué)習(xí)框架Keras基礎(chǔ)Keras深度學(xué)習(xí)的主要流程定義模型概要匯總網(wǎng)絡(luò)模型（model.summary()）編譯模型（pile()）訓(xùn)練模型（model.fit()）函數(shù)參數(shù)

X_train,Y_train,

batch_size=BATCH_SIZE,epochs=NB_EPOCH評(píng)估模型（model.evaluate()）深度學(xué)習(xí)入門(mén)

深度學(xué)習(xí)框架Keras基礎(chǔ)定義模型——4層前饋神經(jīng)網(wǎng)絡(luò)二分類(lèi)的輸出層通常采用sigmoid作為激活函數(shù)深度學(xué)習(xí)入門(mén)

深度學(xué)習(xí)框架Keras基礎(chǔ)編譯模型——4層前饋神經(jīng)網(wǎng)絡(luò)pile()loss（損失函數(shù)）binary_crossentropy、categorical_crossentropyoptimizer（優(yōu)化器）sgd、adam、rmspropmetrics（性能評(píng)估指標(biāo)）accuracy、precision、recall深度學(xué)習(xí)入門(mén)

深度學(xué)習(xí)框架Ke