深度學(xué)習(xí)與圖像處理實(shí)戰(zhàn)-深度學(xué)習(xí)環(huán)境的安裝與使用

深度學(xué)習(xí)環(huán)境的安裝與使用深度學(xué)習(xí)與圖像處理實(shí)戰(zhàn)知識(shí)要點(diǎn)2.1Anaconda的安裝與使用2.1.1Anaconda簡(jiǎn)介2.1.2Anaconda的安裝2.1.3conda簡(jiǎn)介2.2TensorFlow環(huán)境搭建與使用2.2.1安裝TensorFlowCPU版本2.2.2安裝TensorFlowGPU版本2.2.3PyCharm的安裝2.2.4PyCharm的使用2.2.5TensorFlow的使用2.3Keras簡(jiǎn)介與使用2.3.1Keras的意義2.3.2Keras的設(shè)計(jì)原則2.3.3Keras的工作方式2.3.4Keras快速上手2.3.5Keras簡(jiǎn)單實(shí)例目錄2.1Anaconda的安裝與使用2.1.1Anaconda簡(jiǎn)介Anaconda是一個(gè)管理開源安裝包的軟件，可以便捷地獲取開源安裝包且能夠?qū)﹂_源安裝包進(jìn)行管理，同時(shí)可以對(duì)環(huán)境進(jìn)行統(tǒng)一管理。Anaconda包含了conda、Python等多個(gè)科學(xué)包及其依賴項(xiàng)。2.1.2Anaconda的安裝下面介紹Windows版Anaconda的安裝過(guò)程，具體安裝步驟如下。step01在瀏覽器中打開Anaconda的官網(wǎng)，下載Anaconda的Windows版的安裝程序，如圖所示。step02下載64位的安裝程序，下載完成后進(jìn)行安裝。2.1Anaconda的安裝與使用step03安裝完成后，訪問(wèn)Anaconda應(yīng)用程序，其主界面如下圖所示。step04單擊“Environments”選項(xiàng)，可以看到默認(rèn)的環(huán)境base下自帶的安裝包，這些安裝包是Anaconda默認(rèn)自動(dòng)安裝的，如下圖所示。2.1Anaconda的安裝與使用2.1.3conda簡(jiǎn)介conda是包及其依賴項(xiàng)和環(huán)境的管理工具，適用于Python、C、C++、Java等編程語(yǔ)言，用于快速安裝、運(yùn)行和升級(jí)包及其依賴項(xiàng)，可在計(jì)算機(jī)中便捷地創(chuàng)建、保存、加載和切換環(huán)境。step在安裝Anaconda的時(shí)候就已經(jīng)安裝了conda，所以conda不需要重新安裝。打開“命令提示符”窗口，輸入“conda”，按“Enter”鍵，可以對(duì)conda進(jìn)行環(huán)境檢測(cè)，如圖2-4所示，證明conda可以正常使用。2.1Anaconda的安裝與使用conda可以用來(lái)創(chuàng)建Python虛擬環(huán)境，創(chuàng)建環(huán)境的命令格式如下。01OPTIONconda創(chuàng)建和刪除Python虛擬環(huán)境condacreate-nnameconda可以刪除Python虛擬環(huán)境，刪除環(huán)境的命令格式如下。condaremove-n[name]--all其中，name表示要?jiǎng)h除的環(huán)境的名字。2.1Anaconda的安裝與使用以py3環(huán)境為例來(lái)說(shuō)明，py3環(huán)境的激活命令如下。02OPTION激活和取消激活Python虛擬環(huán)境condaactivatepy3當(dāng)命令行的行頭出現(xiàn)“(py3)”時(shí)，表示py3環(huán)境已經(jīng)激活，如圖所示。py3環(huán)境的取消激活命令如下。condadeactivatepy3當(dāng)命令行的行頭不再出現(xiàn)“(py3)”時(shí)，表示py3環(huán)境已經(jīng)不處于激活狀態(tài)，如圖所示。2.1Anaconda的安裝與使用激活Python虛擬環(huán)境以后，需要安裝Python程序包，安裝的命令及運(yùn)行結(jié)果如圖所示。輸入“y”確認(rèn)后，會(huì)出現(xiàn)安裝的進(jìn)度條，當(dāng)圖列舉的所有包都安裝完成的時(shí)候，Python程序包就安裝完成了。03OPTIONconda安裝和刪除Python程序包圖2-9安裝Python程序包圖2-10Python程序包安裝進(jìn)度2.1Anaconda的安裝與使用如圖2-11所示，輸入“python”，就會(huì)進(jìn)入Python的命令行模式，在這個(gè)模式下可運(yùn)行Python程序，從而證明Python安裝包安裝成功。圖2-11Python環(huán)境檢測(cè)圖2-11中的Python版本是3.8.5，如果想用conda安裝指定的Python版本也是可行的，使用condainstallpython=3.7命令就可以安裝Python3.7，它會(huì)直接替換原來(lái)已經(jīng)安裝的3.8.5版本。conda刪除Python程序包的命令格式如下。condauninstall[Python程序包名]2.2TensorFlow環(huán)境搭建與使用2.2.1安裝TensorFlowCPU版本在安裝TensorFlow之前，需要安裝Python，安裝Python的過(guò)程請(qǐng)參考2.1節(jié)中的內(nèi)容。推薦讀者使用TensorFlow2.0及以上的版本。TensorFlow官方推出了CPU版本和GPU版本，這兩個(gè)版本的使用方法都需要掌握，這樣才能更好地學(xué)習(xí)后續(xù)深度學(xué)習(xí)的環(huán)境搭建。在conda中安裝TensorFlow的命令是condainstalltensorflow，這里的TensorFlow默認(rèn)是CPU版本，在安裝的時(shí)候需要注意TensorFlow的版本應(yīng)與Python的版本相對(duì)應(yīng)。2.2TensorFlow環(huán)境搭建與使用2.2.1安裝TensorFlowCPU版本例如，要安裝TensorFlow2.1，那只能把Python的版本降低到Python3.7以下，使用condainstallpython=3.7命令就可以完成降級(jí)，接下來(lái)執(zhí)行condainstalltensorflow=2.1命令就可以完成TensorFlow的安裝。如圖2-12所示，安裝完TensorFlow以后，可以使用print(tf.__version__)命令輸出TensorFlow的版本，這里可以看到TensorFlow的版本是2.1.0。2.2TensorFlow環(huán)境搭建與使用2.2.2安裝TensorFlowGPU版本模型訓(xùn)練提高運(yùn)算效率需要TensorFlowGPU版本在安裝TensorFlowGPU版本之前，首先需要確保自己的計(jì)算機(jī)或服務(wù)器上至少有一張NVIDIA顯卡，并且安裝了NVIDIA驅(qū)動(dòng)，驅(qū)動(dòng)程序可以在NVIDIA官網(wǎng)下載。使用命令condacreate-ntf-gpu創(chuàng)建一個(gè)新的名字為tf-gpu的虛擬環(huán)境執(zhí)行命令condaactivatetf-gpu激活tf-gpu虛擬環(huán)境在這個(gè)tf-gpu虛擬環(huán)境中使用condainstalltensorflow-gpu=1.15命令來(lái)安裝版本號(hào)為1.15的TensorFlowGPU版本。2.2TensorFlow環(huán)境搭建與使用2.2.2安裝TensorFlowGPU版本安裝完成后，在命令行執(zhí)行tf.test.is_gpu_available()命令可以驗(yàn)證TensorFlowGPU版本是否可以使用GPU設(shè)備，顯卡支持檢測(cè)如圖所示。2.2TensorFlow環(huán)境搭建與使用2.2.3PyCharm的安裝PyCharm是Python的一個(gè)集成開發(fā)工具，用它進(jìn)行代碼編輯可提高工作效率。PyCharm分為專業(yè)版和社區(qū)版，使用社區(qū)版即可滿足需要，如圖所示。2.2TensorFlow環(huán)境搭建與使用2.2.3PyCharm的安裝找到下載的PyCharm文件，并雙擊打開，安裝步驟如圖2-15～圖2-20所示。圖2-15單擊“Next”按鈕圖2-16選擇安裝目錄2.2TensorFlow環(huán)境搭建與使用2.2.3PyCharm的安裝圖2-17勾選相應(yīng)復(fù)選框圖2-18單擊“Install”按鈕2.2TensorFlow環(huán)境搭建與使用2.2.3PyCharm的安裝圖2-19等待安裝完成圖2-20單擊“Finish”按鈕2.2TensorFlow環(huán)境搭建與使用2.2.4PyCharm的使用圖雙擊PyCharm圖標(biāo)圖單擊“Donotimportsettings”（不導(dǎo)入設(shè)置）單選按鈕PyCharm在初次啟動(dòng)時(shí)會(huì)有很多操作提示，讀者可以直接忽略，啟動(dòng)PyCharm的過(guò)程如下圖所示。01OPTION啟動(dòng)PyCharm圖單擊“SkipRemainingandSetDefaults”按鈕2.2TensorFlow環(huán)境搭建與使用2.2.4PyCharm的使用step01：創(chuàng)建工程（Project）的界面如圖所示。02OPTION利用PyCharm創(chuàng)建工程step02：一個(gè)工程其實(shí)就是一個(gè)文件夾，是在實(shí)際項(xiàng)目開發(fā)中常用的一個(gè)概念，主要為完成一個(gè)具體任務(wù)而創(chuàng)建。如圖所示，指定項(xiàng)目文件夾。2.2TensorFlow環(huán)境搭建與使用2.2.4PyCharm的使用step03：為創(chuàng)建的工程關(guān)聯(lián)一個(gè)Python解釋器（這一步很重要），此處選擇Anaconda中集成的python.exe作為解釋器，如圖2-26～圖2-29所示。02OPTION利用PyCharm創(chuàng)建工程圖2-26單擊三角符展開圖2-27選擇本地的Python解釋器2.2TensorFlow環(huán)境搭建與使用2.2.4PyCharm的使用02OPTION利用PyCharm創(chuàng)建工程圖2-28單擊“Create”按鈕圖2-29進(jìn)入開發(fā)主界面2.2TensorFlow環(huán)境搭建與使用2.2.5TensorFlow的使用機(jī)器學(xué)習(xí)一般都是以張量作為數(shù)據(jù)結(jié)構(gòu)的，在TensorFlow中稱之為Tensor。下面是一些定義張量的實(shí)例。importnumpyasnpimporttensorflowastftf.constant(1)#定義常量tf.constant([1,2])#定義一維張量，一維張量稱為向量tf.constant([[1,2],[1,2]])#定義二維張量，二維張量稱為矩陣張量可以認(rèn)為是向量和矩陣在任意維上的擴(kuò)展，它有兩個(gè)非常重要的屬性:維度數(shù)據(jù)類型矩陣是二維張量，通常使用NumPy來(lái)生成矩陣，并轉(zhuǎn)換成Tensor。2.2TensorFlow環(huán)境搭建與使用2.2.5TensorFlow的使用下面是NumPy中生成張量的一些實(shí)例（此代碼運(yùn)行于“命令提示符”窗口（CMD）中，打開“命令提示符”窗口（CMD），輸入“python”即可進(jìn)入環(huán)境）。>>>importnumpyasnp>>>x=np.zeros([2,3])>>>xarray([[0.,0.,0.],[0.,0.,0.]])>>>tensorx=tf.convert_to_tensor(x,dtype=32)>>>tensorx<tf.Tensor:shape=(2,3),dtype=int32,numpy=array([[0,0,0],[0,0,0]])>>>>tensorx.ndim2>>>tensorx.shapeTensorShape([2,3])2.2TensorFlow環(huán)境搭建與使用2.2.5TensorFlow的使用張量的數(shù)據(jù)類型通過(guò)dtype屬性來(lái)體現(xiàn)。dtype可以是int32、float32、float64和string等類型。在dtype沒有設(shè)置的情況下，dtype的默認(rèn)類型為float32，如下所示。>>>y=tf.constant(1)>>>y<tf.Tensor:shape=(),dtype=int32,numpy=1>>>>y=tf.constant([])>>>y<tf.Tensor:shape=(0,),dtype=float32,numpy=array([],dtype=float32)>例子中的tf.constant([])是沒有設(shè)置dtype類型的，在沒有設(shè)置數(shù)據(jù)類型的情況下，dtype的默認(rèn)類型為float32。2.2TensorFlow環(huán)境搭建與使用2.2.5TensorFlow的使用神經(jīng)網(wǎng)絡(luò)中學(xué)到的所有變換都可以簡(jiǎn)化為數(shù)值數(shù)據(jù)上的一些張量運(yùn)算。下面介紹兩種深度學(xué)習(xí)中常見的張量操作。reshape方法可實(shí)現(xiàn)張量變形操作，用于處理張量的尺寸變換，常用于圖像的預(yù)處理操作。下面的程序是定義一個(gè)3×2的矩陣，然后把它轉(zhuǎn)換成6×1的矩陣的實(shí)例（此代碼運(yùn)行于“命令提示符”窗口中，打開“命令提示符”窗口，輸入“python”即可進(jìn)入環(huán)境）。01OPTION更改張量的尺寸>>>x=np.array([[0.,1.],[2.,3.],[4.,5.]])>>>print(x.shape)(3,2)#把x從3×2的矩陣轉(zhuǎn)換成6×1的矩陣>>>x=x.reshape((6,1))>>>xarray([[0.],[1.],[2.],[3.],[4.],[5.]])2.2TensorFlow環(huán)境搭建與使用2.2.5TensorFlow的使用MNIST數(shù)據(jù)集預(yù)先加載在Keras庫(kù)中，包括4個(gè)NumPy數(shù)組（此代碼運(yùn)行于“命令提示符”窗口中，打開“命令提示符”窗口，輸入“python”即可進(jìn)入環(huán)境）。fromkeras.datasetsimportmnist(train_images,train_labels),(test_images,test_labels)=mnist.load_data()>>>train_images.shape(60000,28,28)在將圖像送到深度學(xué)習(xí)模型進(jìn)行訓(xùn)練之前，對(duì)圖像用reshape方法進(jìn)行處理，代碼如下。train_images=train_images.reshape((60000,28*28))>>>train_images.shape(60000,784)2.2TensorFlow環(huán)境搭建與使用2.2.5TensorFlow的使用來(lái)看一個(gè)Keras構(gòu)造模型的例子。Keras層的實(shí)例如下。02OPTION激活函數(shù)keras.layers.Dense(512,activation='relu')這個(gè)Dense層可以理解為一個(gè)函數(shù)，輸入一個(gè)二維張量，返回另一個(gè)二維張量，輸出的二維張量可以作為模型新的輸入。具體而言，這個(gè)函數(shù)如下所示，其中W是一個(gè)二維張量，b是一個(gè)向量，二者都是該層的屬性，dot是點(diǎn)積運(yùn)算，如果是二維張量矩陣，那點(diǎn)積就是矩陣的乘積。output=relu(dot(W,input)+b)2.3Keras簡(jiǎn)介與使用2.3.1Keras的意義Keras的使用更簡(jiǎn)單，可以更加高效地建立深度學(xué)習(xí)模型、進(jìn)行訓(xùn)練、評(píng)估準(zhǔn)確率，并進(jìn)行預(yù)測(cè)。相較而言，Keras擁有很多優(yōu)勢(shì)：Keras是一個(gè)高層神經(jīng)網(wǎng)絡(luò)API，是用Python語(yǔ)言基于TensorFlow、Theano以及CNTK后端編寫而成。Keras為支持快速實(shí)驗(yàn)而生。簡(jiǎn)易和快速的原型設(shè)計(jì)（Keras具有高度模塊化、極簡(jiǎn)和可擴(kuò)充特性）；支持卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN），或二者的結(jié)合；無(wú)縫CPU和GPU切換。2.3Keras簡(jiǎn)介與使用2.3.2Keras的設(shè)計(jì)原則Keras的設(shè)計(jì)原則如下。Keras沒有單獨(dú)的模型配置文件類型（作為對(duì)比，Caffe具有），模型由Python代碼描述，使其更緊湊和更易調(diào)試，并提供了擴(kuò)展的便利性。（4）與Python協(xié)作在Keras中添加新模塊非常容易，只需要仿照現(xiàn)有的模塊編寫新的類或函數(shù)即可。創(chuàng)建新模塊的便利性使得Keras更適合于先進(jìn)的研究工作。（3）易擴(kuò)展性模型可理解為一個(gè)層的序列或數(shù)據(jù)的運(yùn)算圖，完全可配置的模塊可以用最低的代價(jià)自由組合在一起。（2）模塊性用戶的使用體驗(yàn)始終是框架使用要考慮的首要內(nèi)容。Keras提供一致而簡(jiǎn)潔的API，能夠極大減少一般場(chǎng)景下用戶的工作量，同時(shí)，Keras提供清晰和具有實(shí)踐意義的問(wèn)題反饋機(jī)制。（1）用戶友好2.3Keras簡(jiǎn)介與使用2.3.3Keras的工作方式Keras是一個(gè)模型級(jí)的深度學(xué)習(xí)鏈接庫(kù)，只具備模型的建立、訓(xùn)練、預(yù)測(cè)等功能。對(duì)深度學(xué)習(xí)底層的運(yùn)行，如張量（矩陣）運(yùn)算，Keras必須配合“后端引擎”進(jìn)行運(yùn)算。目前Keras提供了兩種后端引擎：TensorFlow和Theano。指標(biāo)KerasTensorFlow學(xué)習(xí)難易度簡(jiǎn)單比較困難使用彈性中等高開發(fā)生產(chǎn)力高中等執(zhí)行性能高高適用用戶初學(xué)者高級(jí)用戶張量（矩陣）運(yùn)算不需要自行設(shè)計(jì)需要自行設(shè)計(jì)表2-1Keras和TensorFlow的對(duì)比2.3Keras簡(jiǎn)介與使用2.3.4Keras快速上手Keras的核心數(shù)據(jù)結(jié)構(gòu)是模型，模型是一種組織網(wǎng)絡(luò)層的方式。Keras中主要的模型是Sequential模型，Sequential模型是一系列網(wǎng)絡(luò)層按順序構(gòu)成的棧。Keras也可以通過(guò)查看函數(shù)式模型來(lái)學(xué)習(xí)建立更復(fù)雜的模型。Keras在Python中的簡(jiǎn)單使用步驟如下。Sequential模型的創(chuàng)建語(yǔ)句如下。fromkeras.modelsimportSequentialmodel=Sequential()將一些網(wǎng)絡(luò)層通過(guò)add方法堆疊起來(lái)，就構(gòu)成了一個(gè)模型，代碼如下。fromkeras.layersimportDense,Activationmodel.add(Dense(units=64,input_dim=100))model.add(Activation("relu"))model.add(Dense(units=10))model.add(Activation("SoftMax"))2.3Keras簡(jiǎn)介與使用2.3.4Keras快速上手完成模型的搭建后，需要使用compile方法來(lái)編譯模型，代碼如下。pile(loss="categorical_crossentropy",optimizer="sgd",metrics=["accuracy"])編譯模型時(shí)必須指明損失函數(shù)和優(yōu)化器，如果需要的話，也可以自己定制損失函數(shù)。Keras的核心理念之一就是簡(jiǎn)明易用，同時(shí)保證用戶對(duì)Keras的絕對(duì)控制力，用戶可以根據(jù)自己的需要定制自己的模型、網(wǎng)絡(luò)層，甚至修改源碼。fromkeras.optimizersimportSGDpile(loss="categorical_crossentropy",optimizer=SGD(lr=0.01,momentum=0.9,nesterov=True))完成模型編譯后，在訓(xùn)練數(shù)據(jù)上按樣本訓(xùn)練的批大小batch_size進(jìn)行一定次數(shù)的迭代來(lái)訓(xùn)練模型，如下。model.fit(x_train,y_train,epochs=5,batch_size=32)2.3Keras簡(jiǎn)介與使用2.3.5Keras簡(jiǎn)單實(shí)例在TensorFlow2.0中，搭建一個(gè)簡(jiǎn)單的模型是非常方便的。下面這段代碼使用Keras搭建了一個(gè)簡(jiǎn)單的分類模型，Dense函數(shù)用于創(chuàng)建神經(jīng)層，Activation函數(shù)用于創(chuàng)建激活層，函數(shù)的具體說(shuō)明可以參考TensorFlow官方文檔。importtensorflow.kerasaskerasfromtensorflow.keras.layersimportDense,Activationmodel=keras.Sequential()model.add(Dense(units=64,input_dim=100))model.add(Activation("relu"))model.add(Dense(units=10))model.add(Activation("SoftMax"))#categorical_crossentropy是交叉熵?fù)p失函數(shù)#sgd表示使用隨機(jī)梯度下降算法pile(loss="categorical_crossentropy",optimizer="sgd",metrics=["acc"])model.fit(x_train,y_train,epochs=5,batch_size=32)2.3Keras簡(jiǎn)介與使用先來(lái)看一下用Keras實(shí)現(xiàn)線性回歸的結(jié)果，如圖所示。01OPTIONKeras實(shí)例——線性回歸importnumpyasnpimportmatplotlib.pyplotaspltfromtensorflow.keras.modelsimportSequentialfromtensorflow.keras.layersimportDense#生成隨機(jī)點(diǎn)xs=np.random.rand(100)noise=np.random.normal(0,0.01,xs.shape)ys=xs*0.1+0.2+noiseplt.scatter(xs,ys)plt.show()接下來(lái)使用Keras來(lái)實(shí)現(xiàn)。首先，導(dǎo)入庫(kù)和獲取數(shù)據(jù)，這里仍然使用NumPy生成數(shù)據(jù)，代碼如下。2.3Keras簡(jiǎn)介與使用有了數(shù)據(jù)之后，按照前面2.3.4小節(jié)的步驟，先建立一個(gè)Sequential模型。01OPTIONKeras實(shí)例——線性回歸#構(gòu)建一個(gè)Sequential模型model=Sequential()然后在模型中添加一個(gè)全連接層，接著使用compile方法來(lái)編譯模型。#在模型中添加一個(gè)全連接層model.add(Dense(units=1,input_dim=1))#sgd表示隨機(jī)梯度下降算法，mse表示均方誤差pile(optimizer="sgd",loss="mse")2.3Keras簡(jiǎn)介與使用然后開始訓(xùn)練，代碼如下。01OPTIONKeras實(shí)例——線性回歸#訓(xùn)練forstepinrange(5001):cost=model.train_on_batch(xs,ys)ifstep%500==0:print(cost)W,b=model.layers[0].get_weights()print(W,b)y_pred=model.predict(xs)plt.plot(xs,y_pred,'r-')plt.show()代碼說(shuō)明forstepinrange(5001）共訓(xùn)練5000次model.train_on_batch(xs,ys)手動(dòng)將batch的數(shù)據(jù)送入網(wǎng)絡(luò)中訓(xùn)練model.layers[0].get_weights()獲取參數(shù)表2-2訓(xùn)練的關(guān)鍵代碼及其說(shuō)明2.3Keras簡(jiǎn)介與使用再來(lái)看看用Keras實(shí)現(xiàn)非線性回歸的結(jié)果，如圖所示。02OPTIONKeras實(shí)例——非線性回歸importnumpyasnpimportmatplotlib.pyplotaspltfromtensorflow.keras.modelsimportSequentialfromtensorflow.keras.layersimportDensefromtensorflow.keras.layersimportActivationfromten