銀河麒麟服務(wù)器操作系統(tǒng)-Caffe適配手冊

1、銀河麒麟服務(wù)器操作系統(tǒng)Caffe 軟件適配手冊I目錄TOC o 1-1 h z u HYPERLINK l _bookmark0 概述2 HYPERLINK l _bookmark1 系統(tǒng)概述2 HYPERLINK l _bookmark2 環(huán)境概述2 HYPERLINK l _bookmark3 CAFFE 軟件簡介2 HYPERLINK l _bookmark4 CAFFE 特點(diǎn)3 HYPERLINK l _bookmark5 CAFFE 架構(gòu)3 HYPERLINK l _bookmark6 CAFFE 運(yùn)行依賴（硬件）3 HYPERLINK l _bookmark7 CAFFE 運(yùn)行依賴

2、（軟件）4 HYPERLINK l _bookmark8 CAFFE 軟件適配5 HYPERLINK l _bookmark9 安裝編譯所需依賴5 HYPERLINK l _bookmark10 下載 CAFFE 源碼5 HYPERLINK l _bookmark11 修改 MAKEFILE.CONFIG5 HYPERLINK l _bookmark12 編譯及安裝6 HYPERLINK l _bookmark13 CAFFE 軟件功能驗(yàn)證6 HYPERLINK l _bookmark14 驗(yàn)證 CAFFE 安裝6 HYPERLINK l _bookmark15 測試 MNIST 數(shù)據(jù)集6 P

3、AGE 7概述系統(tǒng)概述銀河麒麟服務(wù)器操作系統(tǒng)主要面向軍隊(duì)綜合電子信息系統(tǒng)、金融系統(tǒng)以及電力系統(tǒng)等國家關(guān)鍵行業(yè)的服務(wù)器應(yīng)用領(lǐng)域，突出高安全性、高可用性、高效數(shù)據(jù)處理、虛擬化等關(guān)鍵技術(shù)優(yōu)勢，針對關(guān)鍵業(yè)務(wù)構(gòu)建的豐富高效、安全可靠的功能特性，兼容適配長城、聯(lián)想、浪潮、華為、曙光等國內(nèi)主流廠商的服務(wù)器整機(jī)產(chǎn)品，以及達(dá)夢、金倉、神通等主要國產(chǎn)數(shù)據(jù)庫和中創(chuàng)、金蝶、東方通等國產(chǎn)中間件，滿足虛擬化、云計(jì)算和大數(shù)據(jù)時(shí)代，服務(wù)器業(yè)務(wù)對操作系統(tǒng)在性能、安全性及可擴(kuò)展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主可控服務(wù)器操作系統(tǒng)。環(huán)境概述服務(wù)器型號長城信安擎天 DF720 服務(wù)器CPU 類型飛騰 20

4、00+處理器操作系統(tǒng)版本Kylin-4.0.2-server-sp2-2000-19050910.Z1內(nèi)核版本4.4.131caffe 版本1.0Caffe 軟件簡介Caffe 是一個(gè)清晰而高效的深度學(xué)習(xí)框架，是純粹的 C+/CUDA 架構(gòu)，支持命令行、python 和 matlab 接口；可以在 CPU 和 GPU 之間無縫切換，其作者是賈揚(yáng)清，目前 caffe2 已經(jīng)發(fā)布。Caffe 的全稱是 Convolutional Architecture for Fast Feature Embedding（譯為： 快速特征嵌入的卷積體系結(jié)構(gòu)） ，核心語言是 C+。Caffe 的基本工作流程是設(shè)計(jì)

5、建立在神經(jīng)網(wǎng)絡(luò)的一個(gè)簡單假設(shè)，所有的計(jì)算都是層的形式表示的，網(wǎng)絡(luò)層所做的事情就是輸入數(shù)據(jù)，然后輸出計(jì)算結(jié)果。比如卷積就是輸入一幅圖像，然后和這一層的參數(shù)（filter）做卷積，最終輸出卷積結(jié)果。每層需要兩種函數(shù)計(jì)算， 一種是 forward， 從輸入計(jì)算到輸出； 另一種是 backward ， 從上層給的 gradient 來計(jì)算相對于輸入層的 gradient。這兩個(gè)函數(shù)實(shí)現(xiàn)之后，我們就可以把許多層連接成一個(gè)網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)輸入數(shù)據(jù)（圖像，語音或其他原始數(shù)據(jù)），然后計(jì)算需要的輸出（比如識別的標(biāo)簽）。在訓(xùn)練的時(shí)候，可以根據(jù)已有的標(biāo)簽計(jì)算 loss 和gradient，然后用 gradient 來

6、更新網(wǎng)絡(luò)中的參數(shù)。Caffe 特點(diǎn)模塊化Caffe 設(shè)計(jì)之初就做到了盡可能的模塊化，允許對數(shù)據(jù)格式、網(wǎng)絡(luò)層和損失函數(shù)進(jìn)行擴(kuò)展。表示和實(shí)現(xiàn)分離Caffe 的模型定義是用 Protocol Buffer（協(xié)議緩沖區(qū)）語言寫進(jìn)配置文件的， 以任意有向無環(huán)圖的形式，Caffe 支持網(wǎng)絡(luò)架構(gòu)。Caffe 會根據(jù)網(wǎng)絡(luò)需要正確占用內(nèi)存，通過一個(gè)函數(shù)調(diào)用實(shí)現(xiàn) CPU 和 GPU 之間的切換。測試覆蓋每一個(gè)單一的模塊都對應(yīng)一個(gè)測試。python 和 matlab 接口同時(shí)提供兩種接口。預(yù)訓(xùn)練參考模型針對視覺項(xiàng)目，Caffe 提供了一些參考模型，這些模型僅應(yīng)用在學(xué)術(shù)和非商業(yè)領(lǐng)域。Caffe 架構(gòu)數(shù)據(jù)存儲Caffe

7、 通過“Blobs”即以四維數(shù)組的方式存儲和傳遞數(shù)據(jù)。Blobs 提供了一個(gè)統(tǒng)一的內(nèi)存接口，用于批量圖像（或其他數(shù)據(jù)）的操作和參數(shù)更新，Models 是以Google Protocol Buffers 的方式存儲在磁盤上的。大型數(shù)據(jù)存儲在 LevelDB 數(shù)據(jù)庫中。層一個(gè) Caffe 層（ Layer）是一個(gè)神經(jīng)網(wǎng)絡(luò)層的本質(zhì)，它采用一個(gè)或多個(gè) Blobs 作為輸入，并產(chǎn)生一個(gè)或者多個(gè) Blobs 作為輸出。層有兩個(gè)關(guān)鍵的職責(zé)，前向傳播，需要輸入并產(chǎn)生輸出；反向傳播，取梯度作為輸出通過參數(shù)和輸入計(jì)算梯度。網(wǎng)絡(luò)和運(yùn)行方式Caffe 保留所有的有向無環(huán)圖，保證前向傳播和反向傳播正確進(jìn)行。Caffe

8、模型是終端到終端的機(jī)器學(xué)習(xí)系統(tǒng)。一個(gè)典型的網(wǎng)絡(luò)開始于數(shù)據(jù)層，結(jié)束于 loss 層。在 CPU 和 GPU 上，層會產(chǎn)生相同的結(jié)果。Caffe 運(yùn)行依賴（硬件）CPU 的選擇Caffe 支持 CPU 和 GPU 訓(xùn)練。如果采用 CPU 訓(xùn)練，CPU 支持的線程越多越好，因?yàn)?Caffe 本身顯性的使用兩個(gè)線程。一個(gè)線程用來讀取數(shù)據(jù)，另一個(gè)線程用來執(zhí)行前向傳播和反向傳播；如果采用 GPU 訓(xùn)練，則大量運(yùn)算由 GPU 完成，CPU 只運(yùn)行 Caffe 的兩個(gè)線程，因此即使選用更多的 CPU 也無法大幅度加速訓(xùn)練， 訓(xùn)練時(shí)效取決于 GPU。GPU 的選擇因?yàn)?Caffe 只支持 cuda（ Compu

9、ter Unified Device Architecture） 庫， 而 cuda 庫是 NVIDIA 顯卡專用的，所以選擇 Caffe 作為深度學(xué)習(xí)框架一定要選用 NVIDIA 顯卡。如果電腦使用兩個(gè)不同顯卡的版本，則訓(xùn)練速度是兩張低速卡一起訓(xùn)練的速度。內(nèi)存的選擇選擇支持雙通道的內(nèi)存以及高頻率的內(nèi)存有利于訓(xùn)練，GPU 訓(xùn)練下，內(nèi)存頻率不是重要影響因素。硬盤選擇Caffe 采用單獨(dú)線程異步方式從硬盤中順序讀取數(shù)據(jù)，需要根據(jù)實(shí)際情況看是否考慮固態(tài)硬盤（SSD），硬盤容量和數(shù)據(jù)集密切相關(guān)。Caffe 運(yùn)行依賴（軟件）Boost 庫：一個(gè)可移植、提供源代碼的 C+庫，作為標(biāo)準(zhǔn)庫的后備，是 C+ 標(biāo)

10、準(zhǔn)化進(jìn)程的開發(fā)引擎之一。Caffe 采用 C+作為主開發(fā)語言，其中大量的代碼依賴于 Boost 庫。GFlags 庫：Google 的一個(gè)開源的處理命令行參數(shù)的庫，使用 C+開發(fā)。Caffe庫采用 GFlags 庫開發(fā) Caffe 的命令行。GLog 庫：一個(gè)應(yīng)用程序的日志庫，提供基于 C+風(fēng)格的流日志 API，Caffe運(yùn)行時(shí)的日志依賴于 GLog 庫。LevelDB 庫：Google 實(shí)現(xiàn)的一個(gè)非常高效的 Key-Value 數(shù)據(jù)庫。單進(jìn)程服務(wù)， 性能非常高。是 Caffe 支持的兩種數(shù)據(jù)庫之一。LMDB 庫：是一個(gè)超級小、超級快的 Key-Value 數(shù)據(jù)存儲服務(wù)，使用內(nèi)存映射文件，因此

11、在讀取數(shù)據(jù)的性能跟內(nèi)存數(shù)據(jù)庫一樣，其大小受限于虛擬地址空間的大小。是 Caffe 支持的兩種數(shù)據(jù)庫之一。ProtoBuf 庫：Google Protocol Buffer，一種輕便高效的結(jié)構(gòu)化數(shù)據(jù)存儲格式， 可用于結(jié)構(gòu)化數(shù)據(jù)的串行化（序列化），適合做數(shù)據(jù)存儲或 RPC 數(shù)據(jù)交換格式。可用于通信協(xié)議、數(shù)據(jù)存儲等領(lǐng)域的語言無關(guān)、平臺無關(guān)、可擴(kuò)展的序列化結(jié)構(gòu)數(shù)據(jù)格式。Caffe 使用起來非常方便很大程度上是因?yàn)椴捎?proto 文件作為用戶的輸入接口。用戶通過編寫.proto 文件定義網(wǎng)絡(luò)模型和 Solver。按序排列時(shí)二進(jìn)制字符串尺寸最小，高效序列化，易讀的文本格式與二進(jìn)制版本兼容，可用多種語言實(shí)

12、現(xiàn)高效的接口，尤其是 C+和 Python。這些優(yōu)勢造就了 Caffe 模型的靈活性與擴(kuò)展性。HDF5 庫：Hierarchical Data File，一種高效存儲和分發(fā)科學(xué)數(shù)據(jù)的新型數(shù)據(jù)格式，可存儲不同類型的圖像和數(shù)碼數(shù)據(jù)的文件格式，可在不同的機(jī)器上進(jìn)行傳輸，同時(shí)還有統(tǒng)一處理這種文件格式的函數(shù)庫。Caffe 支持 HDF5 格式。snappy 庫：一個(gè) C+庫，用來壓縮和解壓縮的開發(fā)包。旨在提供高速壓縮速度和合理的壓縮率。Caffe 在數(shù)據(jù)處理時(shí)依賴于 snappy 庫。Caffe 軟件適配$ apt-get install libopencv-dev python-opencv$ apt

13、-get install libopenblas-dev$ apt-get install libboost-all-dev$ apt-get install python-pip python-dev build-essential$ pip install -upgrade pip$ cp /usr/local/bin/pip /usr/bin/$ pip install protobuf$apt-getinstalllibprotobuf-devlibleveldb-devlibsnappy-devlibopencv-dev libhdf5-serial-dev protobuf-com

14、piler$ apt-get install python-dev$ apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev$ apt-get install git安裝編譯所需依賴$ wget /BVLC/caffe/archive/1.0.tar.gz$ tar xvf 1.0.tar.gz$ cd caffe-1.0/下載 Caffe 源碼$ cp Makefile.config.example Makefile.config修改 Makefile.config$ make all$ make test$ make runtest$ make pycaffe編譯及安裝$ export PYTHONPATH=/opt/caffe-1.0/python/:$PYTHONPATH添加環(huán)境變量：Caffe 軟件功能驗(yàn)證驗(yàn)證 Caffe 安裝$ apt-get install python-skimage安裝 Caffee 運(yùn)行依賴：驗(yàn)證安裝：測試 mnist 數(shù)據(jù)集$ ./data/mnist/get_mnist.sh下載數(shù)據(jù)$ ./examples/mnist/create_mnist.sh轉(zhuǎn)換數(shù)據(jù)格式$ vim examples/mnist/lenet