深度學(xué)習(xí)理論與實(shí)踐 習(xí)題及答案匯 呂云翔 第1-7章

第一章深度學(xué)習(xí)簡介選擇題：1、以下有關(guān)計(jì)算機(jī)視覺的步驟中，哪個不屬于傳統(tǒng)方法？A：圖像預(yù)處理B：特征提取C：特征篩選D：神經(jīng)卷積2、下列哪項(xiàng)不屬于自然語言處理的主要任務(wù)：A：語言建模B：語句分段C：詞性標(biāo)注D：中文分詞3、以下關(guān)于強(qiáng)化學(xué)習(xí)的描述，正確的是：A：強(qiáng)度學(xué)習(xí)包括智能體、環(huán)境狀態(tài)、行動、監(jiān)督者、反饋5個元素B：強(qiáng)化學(xué)習(xí)的反饋信號是即刻生成的C：強(qiáng)度學(xué)習(xí)中智能體可以通過環(huán)境互動以外的方法提升策略D：強(qiáng)度學(xué)習(xí)可以分為無模型的和有模型的兩大類計(jì)算機(jī)視覺的主要任務(wù)是通過對采集的圖片或視頻進(jìn)行處理以獲得相應(yīng)場景的：A：特征信息B：三維信息C：時間信息D：物理信息底層的卷積層可以提取到以下哪些圖片局部特征A：角B：邊緣C：線段D：以上都是填空題1、計(jì)算機(jī)視覺中的卷積神經(jīng)網(wǎng)絡(luò)是對人腦比較精確到模擬2、機(jī)器學(xué)習(xí)的三類主要學(xué)習(xí)方法是非監(jiān)督學(xué)習(xí)、監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)。3、交互式搜索是在檢索用戶不能構(gòu)建良好的檢索式（關(guān)鍵詞）的情況下，通過與檢索平臺交流互動并不斷修改檢索式，從而獲得較準(zhǔn)確檢索結(jié)果的過程。4、在LeNet的輸出結(jié)果中，向量個維度的值代表圖像中元素等于該維度對應(yīng)標(biāo)簽的概率。5、監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)得到的是輸入和輸出之間的關(guān)系，而強(qiáng)化學(xué)習(xí)得到的是反饋。判斷題1、較淺層的神經(jīng)卷積網(wǎng)絡(luò)識別能力已與一般淺層模型識別能力相當(dāng)?！粒ú蝗缫话銣\層模型）2、自然語言處理的目的是讓計(jì)算機(jī)理解和處理人類的語言?！?、自然語言處理的模型和系統(tǒng)構(gòu)建的發(fā)展趨勢是自動化與專用化?！粒▽Ｓ没镣ㄓ没蹋?、特征提取器最初提取到的是物體的整體特征，繼而是物體的部分信息，最后提取到物體的邊緣特征?！粒ㄍ耆戳耍?、句法分析的最終結(jié)果是一棵句法樹。√問答題1、計(jì)算機(jī)視覺的基本任務(wù)有哪些？請具體說明。答：計(jì)算機(jī)視覺的基本任務(wù)包括圖像處理、模式識別、圖像理解等。圖像處理是指把輸入圖像轉(zhuǎn)換成具有所希望特征的另一幅圖像。模式識別是指根據(jù)從圖像抽取的統(tǒng)計(jì)特征或結(jié)構(gòu)信息，把圖像分為預(yù)定的類別。圖像理解是指對圖像內(nèi)容信息的理解。何為圖片特征？圖片特征是如何被提取的？圖片特征是最能表現(xiàn)圖片特點(diǎn)的一組參數(shù)。常用到的特征類型有顏色特征、紋理特征、形狀特征、空間關(guān)系特征。為了讓機(jī)器盡可能完整且準(zhǔn)確地理解圖片，需要將包含龐雜信息的圖像簡化抽象為若干個特征量，便于后續(xù)計(jì)算。在深度學(xué)習(xí)出現(xiàn)前，圖像特征需要研究人員手工提取，這是一個繁雜且冗長的工作，因?yàn)楹芏鄷r候研究人員并不能確定什么樣的特征組合是有效的，而且常常需要研究人員去手工設(shè)計(jì)新的特征；在深度學(xué)習(xí)技術(shù)出現(xiàn)后，問題簡化了許多，各種各樣的特征提取器以人腦視覺系統(tǒng)為理論基礎(chǔ)，嘗試直接從大量數(shù)據(jù)中提取出圖像特征。3、請簡述在自然語言處理中傳統(tǒng)方法與神經(jīng)網(wǎng)絡(luò)方法的區(qū)別。答：神經(jīng)網(wǎng)絡(luò)方法相較傳統(tǒng)方法，人的參與程度降低，應(yīng)用數(shù)據(jù)量大幅增加，模型的可解釋性降低，系統(tǒng)效果變好。4、請簡述非監(jiān)督學(xué)習(xí)與監(jiān)督學(xué)習(xí)的定義。答：監(jiān)督學(xué)習(xí)是通過帶有標(biāo)簽或?qū)?yīng)結(jié)果的樣本訓(xùn)練得到一個最優(yōu)模型，再利用這個模型將所有的輸入映射為相應(yīng)的輸出，已實(shí)現(xiàn)分類。非監(jiān)督學(xué)習(xí)即在樣本的標(biāo)簽未知的情況下，根據(jù)樣本間的相似性對樣本進(jìn)行聚類，使類內(nèi)差距最小化，學(xué)習(xí)出分類器。5、強(qiáng)化學(xué)習(xí)算法可以如何分類？請簡述分類原則和不同類別的優(yōu)劣之分。強(qiáng)化學(xué)習(xí)可以分為Model-Free和Model-Based兩大類。如果agent不需要去理解或計(jì)算出環(huán)境模型，算法就是Model-Free的；相應(yīng)的，如果需要計(jì)算出環(huán)境模型，那么算法就是Model-Based的。實(shí)際應(yīng)用中，研究者通常用如下方法進(jìn)行判斷：在agent執(zhí)行它的動作之前，它能否對下一步的狀態(tài)和反饋?zhàn)龀鲱A(yù)測？如果可以，那么就是Model-Based方法；否則，就是Model-Free方法。Model-Based方法中，agent可以根據(jù)模型預(yù)測下一步的結(jié)果，并提前規(guī)劃行動路徑。但真實(shí)模型和學(xué)習(xí)到的模型是有誤差的，這種誤差會導(dǎo)致agent雖然在模型中表現(xiàn)很好，但在真實(shí)環(huán)境中可能達(dá)不到預(yù)期效果。Model-Free的方法看似隨意，但這恰好更易于研究者們?nèi)?shí)現(xiàn)和調(diào)整。Model-Free方法又可以分為基于概率的和基于價值的，基于概率的算法是指直接輸出下一步要采取的各種動作的概率，然后根據(jù)概率采取行動；而基于價值的算法輸出的則是所有動作的價值，然后根據(jù)最高價值來選擇動作。相比基于概率的方法，基于價值的決策方法更為死板。第二章深度學(xué)習(xí)框架選擇題（1）以下選項(xiàng)中，（A）不是深度學(xué)習(xí)框架。A.LeNetB.PaddlePaddleC.MXNetD.PyTorch（2）Pytorch框架支持的語言有（D）。A.C++B.PythonC.JavaD.以上都支持3、下列關(guān)于TensorFlow的描述中，不正確的是A：TensorFlow的計(jì)算圖中每個節(jié)點(diǎn)代表一個操作，如加法、減法等B：TensorFlow的張量是作為非子葉節(jié)點(diǎn)出現(xiàn)的（注：不能作為非子葉節(jié)點(diǎn)出現(xiàn)）C：基于梯度的機(jī)器學(xué)習(xí)算法會受益于TensorFlow的自動求微分能力D：TensorFlow支持C++和Python程序4、下列關(guān)于Pytorch的描述中，正確的是A：Pytorch可以視作加入了GPU支持的NumpyB：Pytorch采用靜態(tài)的、命令式的編程語言C：Pytorch的網(wǎng)絡(luò)都是有向無環(huán)圖的集合，可以直接定義D：Pytorch的底層代買高度工業(yè)化，不容易看懂（5）下列深度學(xué)習(xí)框架中，（B）是國產(chǎn)深度學(xué)習(xí)框架。A.LeNetB.PaddlePaddleC.PyTorchD.Theano填空題（1）PyTorch通過一種_動態(tài)圖__技術(shù)，可以讓用戶零延遲地任意改變神經(jīng)網(wǎng)絡(luò)的行為。（2）PyTorch的設(shè)計(jì)遵循tensor→variable→nn.Module三個由低至高的抽象層次，分別代表_多維數(shù)組_，自動求導(dǎo)和神經(jīng)網(wǎng)絡(luò)，而且三個抽象層次之間緊密聯(lián)系，可以同時進(jìn)行修改和操作。3、在TensorFlow的數(shù)據(jù)流圖中，節(jié)點(diǎn)表示數(shù)學(xué)操作，線表示節(jié)點(diǎn)間相互聯(lián)系的多維數(shù)據(jù)組（張量）。4、計(jì)算圖中，同級節(jié)點(diǎn)的操作彼此獨(dú)立，可以并行運(yùn)行，TensorFlow使用這一特性允許用戶更快地執(zhí)行操作。（5）PaddleInference提供原生推理庫，_PaddleServing_提供方便的服務(wù)端部署，PaddleLite則面向輕量級部署。判斷題（1）Pytorch的基本工作流程：所有計(jì)算以層的形式表示，網(wǎng)絡(luò)層所做的事情就是輸入數(shù)據(jù)，然后輸出計(jì)算結(jié)果。（×）2、TensorFlow是一個采用數(shù)據(jù)流圖用于數(shù)據(jù)計(jì)算的開源軟件庫?！?、TensorFlow中的數(shù)據(jù)流圖可以形成環(huán)路。×4、Pytorch通過反向自動求導(dǎo)技術(shù)實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)的零延遲任意改變?！蹋?）作為靈活性的代價，PyTorch早期版本速度表現(xiàn)不如TensorFlow。（√）問答題（1）PyTorch的基本工作流程是怎樣的？以卷積為例，簡述這一過程。PyTorch的基本工作流程是：首先定義一個模型，然后通過訓(xùn)練循環(huán)進(jìn)行迭代，每次迭代中，獲取一批數(shù)據(jù)，執(zhí)行前向傳播計(jì)算輸出，計(jì)算損失，執(zhí)行反向傳播更新梯度，最后使用優(yōu)化器更新模型參數(shù)，如此反復(fù)直到模型訓(xùn)練完成。以卷積神經(jīng)網(wǎng)絡(luò)為例，這包括通過卷積層提取特征，使用激活函數(shù)引入非線性，通過池化層降低特征維度，最后通過全連接層進(jìn)行分類，整個過程是動態(tài)的，支持在運(yùn)行時改變網(wǎng)絡(luò)結(jié)構(gòu)。（2）請簡述PyTorch的數(shù)據(jù)結(jié)構(gòu)。PyTorch的數(shù)據(jù)結(jié)構(gòu)主要包括Tensor，它是多維數(shù)組的基礎(chǔ)數(shù)據(jù)類型，用于存儲數(shù)值數(shù)據(jù)；Variable，它是Tensor的擴(kuò)展，用于自動微分，已在較新版本的PyTorch中被Tensor替代；以及nn.Module，它是構(gòu)建神經(jīng)網(wǎng)絡(luò)的基類，包含網(wǎng)絡(luò)層、損失函數(shù)等組件，支持模型定義和參數(shù)管理。TensorFlow的核心組件包括哪些部分？它們各自負(fù)責(zé)什么工作？分布式TensorFlow的核心組件包括：分發(fā)中心、執(zhí)行器、內(nèi)核應(yīng)用和最底端的設(shè)備層/網(wǎng)絡(luò)層。分發(fā)中心從輸入的數(shù)據(jù)流圖中剪取子圖，將其劃分為操作片段并啟動執(zhí)行器。分發(fā)中心處理數(shù)據(jù)流圖時會進(jìn)行預(yù)設(shè)定的操作優(yōu)化，包括公共子表達(dá)式消去、常量折疊等

。執(zhí)行器負(fù)責(zé)圖操作在進(jìn)程和設(shè)備中的運(yùn)行、收發(fā)其它執(zhí)行器的結(jié)果。分布式TensorFlow擁有參數(shù)器以匯總和更新其它執(zhí)行器返回的模型參數(shù)。執(zhí)行器在調(diào)度本地設(shè)備時會選擇進(jìn)行并行計(jì)算和GPU加速

。內(nèi)核應(yīng)用負(fù)責(zé)單一的圖操作，包括數(shù)學(xué)計(jì)算、數(shù)組操作、控制流和狀態(tài)管理操作。內(nèi)核應(yīng)用使用Eigen執(zhí)行張量的并行計(jì)算、cuDNN庫等執(zhí)行GPU加速、gemmlowp執(zhí)行低數(shù)值精度計(jì)算，此外用戶可以在內(nèi)核應(yīng)用中注冊注冊額外的內(nèi)核以提升基礎(chǔ)操作，例如激勵函數(shù)和其梯度計(jì)算的運(yùn)行效率

。單進(jìn)程版本的TensorFlow沒有分發(fā)中心和執(zhí)行器，而是使用特殊的會話應(yīng)用聯(lián)系本地設(shè)備。TensorFlow的C語言API是核心組件和用戶代碼的分界，其它組件/API均通過C語言API與核心組件進(jìn)行交互。4、如何理解TensorFlow中的流？TensorFlow中的流是指一個計(jì)算圖或簡單的一個圖，圖不能形成環(huán)路，圖中的每一個節(jié)點(diǎn)代表一個操作，如加法、減法等。每個操作都會導(dǎo)致新的向量生成。流中的計(jì)算圖有如下屬性：

（1）葉子起點(diǎn)或起始節(jié)點(diǎn)始終是張量，這表明操作永遠(yuǎn)不會出現(xiàn)在圖的開頭，圖中的每一個操作都應(yīng)該接受一個張量并產(chǎn)生一個新的張量張量不能作為非葉子節(jié)點(diǎn)出現(xiàn)，這意味著它們應(yīng)始終作為輸入提供給操作/節(jié)點(diǎn)。計(jì)算圖總是以層次順序表達(dá)復(fù)雜的操作：反向遍歷時，圖形形成子表達(dá)式，這些子表達(dá)式組合形成最終表達(dá)式；正向遍歷時，遇到的定點(diǎn)總是成為下一個定點(diǎn)的依賴關(guān)系。圖中的同級節(jié)點(diǎn)操作彼此獨(dú)立，使得圖具有并行執(zhí)行性。（5）PyTorch、TensorFlow、PaddlePaddle三種深度學(xué)習(xí)框架，各自有什么優(yōu)劣？PyTorch：優(yōu)點(diǎn)是動態(tài)圖易于調(diào)試和修改，社區(qū)活躍。缺點(diǎn)是早期版本速度較慢。TensorFlow：優(yōu)點(diǎn)是靜態(tài)圖優(yōu)化好，適合大規(guī)模部署。缺點(diǎn)是調(diào)試不如PyTorch方便。PaddlePaddle：優(yōu)點(diǎn)是國產(chǎn)框架，適合國內(nèi)環(huán)境，有百度的支持。缺點(diǎn)是社區(qū)和生態(tài)可能不如前兩者成熟。選擇題BADBD ABAAC判斷題×√√×√ ×××√√填空題維度屬性預(yù)測的目標(biāo)結(jié)果二決策樹的剪枝最大元素匯聚層神經(jīng)網(wǎng)絡(luò)策略樣本的密度分布過擬合問答題強(qiáng)化學(xué)習(xí)中沒有像監(jiān)督學(xué)習(xí)中明顯的“l(fā)abel”，他有的只是每次行為過后的反饋當(dāng)前的策略會直接影響后續(xù)接收到的整個反饋序列收到反饋或者是獎勵的信號不一定是實(shí)時的，有時甚至有很多的延遲時間序列是一個非常重要的因素強(qiáng)化學(xué)習(xí)模擬了生物體和環(huán)境互動的本質(zhì)，當(dāng)行為為正向時獲得“獎勵”，行為為負(fù)向時獲得“懲罰”，基于此構(gòu)造出的具有反饋機(jī)制的模型計(jì)算測試數(shù)據(jù)與各個訓(xùn)練數(shù)據(jù)之間的距離將結(jié)果從小到大排序選取計(jì)算結(jié)果中最小的前幾個點(diǎn)把這幾個點(diǎn)中出現(xiàn)頻率次數(shù)最多的類別作為最終待判斷數(shù)據(jù)的預(yù)測分類4、每一個分組至少包含一個數(shù)據(jù)記錄每一個數(shù)據(jù)記錄屬于且進(jìn)屬于一個分組5、從根節(jié)點(diǎn)開始，一句決策樹的各種算法的計(jì)算方式，計(jì)算各個特征作為新的分裂節(jié)點(diǎn)的衡量指標(biāo)的值，選擇計(jì)算結(jié)果最有的特征作為節(jié)點(diǎn)的劃分特征由該特征的不同取值建立子節(jié)點(diǎn)再對子節(jié)點(diǎn)遞歸地調(diào)用以上方法，構(gòu)建決策樹直到結(jié)果收斂剪枝，以防止過擬合應(yīng)用題用A代表掛科，B代表喝酒，C代表逛街，D代表學(xué)習(xí)P(A=1)=1/2，P(A=0)=4/8=1/2P(B=1)=3/8，P(B=0)=5/8同理得到C和D的情況P(AB)=2/8（喝酒并且掛科了）P(A|B)=2/3（已經(jīng)喝酒的情況下掛科）同理得到其他情況P(A|B)=P(B|A)P(A)/P(B)P(A|BCD)=P(BCD|A)P(A)/P(BCD)因?yàn)閽炜婆c不掛科分母相同，因此只需要考慮分子假設(shè)獨(dú)立分布P(A|BCD)=P(B|A)P(C|A)P(D|A)P(A)則代入數(shù)據(jù)P(A=1|0,0,1)=2/4*2/4*1/4*1/2=4/128P(A=0|0,0,1)=3/4*2/4*3/4*1/2=18/128因此不掛科概率更大繪制決策樹由決策樹得知開工的期望收益更大第4章題目及答案選擇題線性回歸模型是指f(·)采用（A）組合形式的回歸模型，因變量和自變量的關(guān)系是（A）A、線性，線性B、非線性，線性C、線性、非線性D、非線性，非線性2、在利用PyTorch實(shí)現(xiàn)Logistic回歸時，我們采用構(gòu)建多元高斯分布（D）A、torchvision1B、transformsC、ToPILImageD、MultivariateNormal3、Logistic回歸用于二分類問題時，使用（C）函數(shù)將線性模型的計(jì)算結(jié)果映射到0~1，得到的計(jì)算結(jié)果作為樣本為正類的置信概率。A、torch.zerosB、log_softmaxC、sigmoid（）D、Dlog_softmax(x)4、Logistic回歸通常采用（B）方法優(yōu)化目標(biāo)函數(shù)。A、動量算法B、隨機(jī)梯度下降法C、RMSPropD、Adam算法5、Logistic回歸模型的判決邊界在高維空間是一個超平面，當(dāng)數(shù)據(jù)集是2維時，判決邊界是平面內(nèi)的（C）A、點(diǎn)B、直線C、有界平面圖形D、有限線段判斷題在回歸問題的實(shí)際求解中，可以使用比推導(dǎo)公式中參數(shù)張量更高一階的參數(shù)張量推廣到多因變量情況。√Logistic回歸是二分類模型，預(yù)測的是變量為正類的概率?！蘴orch.nn提供了機(jī)器學(xué)習(xí)當(dāng)中常用的激活函數(shù)?！蘈ogsitic回歸使用交叉熵作為補(bǔ)償函數(shù)?！猎谶M(jìn)行函數(shù)優(yōu)化的過程中，當(dāng)構(gòu)建完優(yōu)化器后，還不能迭代的對模型進(jìn)行訓(xùn)練。×填空題請寫出有i個自變量x的y線性回歸方程形式：y=f(x)=w1x1+w2x2+…+wnxn+btorch.nn中的Linear實(shí)現(xiàn)了y=xAT+b.在使用sigmoid（）函數(shù)時，將Sigmoid類實(shí)例化，再講需要計(jì)算的變量作為參數(shù)傳遞給實(shí)例化的對象Torch.nn提供了許多標(biāo)準(zhǔn)的損失函數(shù)，可以直接使用torch.nn.BCELoss計(jì)算二值交叉熵?fù)p失在構(gòu)建函數(shù)優(yōu)化器時，，我們首先需要將學(xué)習(xí)的參數(shù)傳入，然后傳入優(yōu)化器需要的參數(shù)，比如學(xué)習(xí)率問答題1、請簡述Logistic回歸模型可視化的具體過程。答案：建立判決邊界，一側(cè)歸為正類，一側(cè)歸為負(fù)類，之后利用draw_decision_boundary（）函數(shù)，繪制判決邊界，并調(diào)用plt.plot繪制線條即可。Logistic回歸模型中，偏回歸系數(shù)βj的解釋意義是什么？答案：βj的流行病學(xué)意義是在其他自變量固定不變的情況下，自變量Xj分的暴露水平每改變一個測量單位時所以親的比數(shù)比的自然對數(shù)改變量。請解釋什么是復(fù)相關(guān)系數(shù)答案：復(fù)相關(guān)系數(shù)是反映一個\t"/item/%E5%A4%8D%E7%9B%B8%E5%85%B3%E7%B3%BB%E6%95%B0/_blank"因變量與一組\t"/item/%E5%A4%8D%E7%9B%B8%E5%85%B3%E7%B3%BB%E6%95%B0/_blank"自變量(兩個或兩個以上)之間相關(guān)程度的指標(biāo)，是度量復(fù)相關(guān)程度的指標(biāo)。請解釋什么是確定系數(shù)答案：確定系數(shù)亦稱\t"/item/%E7%A1%AE%E5%AE%9A%E7%B3%BB%E6%95%B0/_blank"測定系數(shù)、\t"/item/%E7%A1%AE%E5%AE%9A%E7%B3%BB%E6%95%B0/_blank"決定系數(shù)、可決指數(shù)。與\t"/item/%E7%A1%AE%E5%AE%9A%E7%B3%BB%E6%95%B0/_blank"復(fù)相關(guān)系數(shù)類似的，表示一個隨機(jī)變量與多個隨機(jī)變量關(guān)系的數(shù)字特征，用來反映回歸模式說明因變量變化可靠程度的一個統(tǒng)計(jì)指標(biāo)，一般用符號“R”表示，可定義為已被模式中全部自變量說明的自變量的變差對自變量總變差的比值。請解釋什么是系數(shù)比答案：系數(shù)比值，亦稱“交叉乘積比”、“優(yōu)勢比”。在病例對照調(diào)查中,用以估計(jì)有某因素的組較無此因素的組發(fā)生(或死于)該病的\t"/item/%E6%AF%94%E6%95%B0%E6%AF%94%E5%80%BC/_blank"相對危險度的近似值。適用于發(fā)病(或死亡)率較低的疾病。式中,OR為比數(shù)比值;a為病例組有某因素的人數(shù);b為對照組有某因素的人數(shù);c為病例組無某因素的人數(shù);d為對照組無某因素的人數(shù)。對罕見的疾病,OR與RR(相對危險度)基本一致。五．應(yīng)用題如果label={-1,+1}，給出LR的損失函數(shù)？邏輯回歸在訓(xùn)練的過程當(dāng)中，如果有很多的特征高度相關(guān)或者說有一個特征重復(fù)了100遍，會造成怎樣的影響？答案1.假設(shè)label={-1,+1},則對于sigmoid函數(shù)，有以下特性：同樣，我們使用MLE作估計(jì)，對上式取對數(shù)及負(fù)值，得到損失為：即對于每一個樣本，損失函數(shù)為：2.如果在損失函數(shù)最終收斂的情況下，有很多特征高度相關(guān)也不會影響分類器的效果。對特征本身來說的話，假設(shè)只有一個特征，在不考慮采樣的情況下，你現(xiàn)在將它重復(fù)100遍。訓(xùn)練以后完以后，數(shù)據(jù)還是這么多，但是這個特征本身重復(fù)了100遍，實(shí)質(zhì)上將原來的特征分成了100份，每一個特征都是原來特征權(quán)重值的百分之一。如果在隨機(jī)采樣的情況下，其實(shí)訓(xùn)練收斂完以后，還是可以認(rèn)為這100個特征和原來那一個特征扮演的效果一樣，只是可能中間很多特征的值正負(fù)相消了。第5章題目及答案選擇題一個神經(jīng)元可以接受（A）組張量作為輸入A、一B、二C、三D、四加權(quán)求和時有時候會加上一項(xiàng)常數(shù)b作為偏置；其中，張量b的形狀要與Wx的形狀保持（C）A、線性關(guān)系B、映射關(guān)系C、一致D、對稱神經(jīng)網(wǎng)絡(luò)包括輸入層、（D）、隱藏層、訓(xùn)練、監(jiān)督訓(xùn)練、非監(jiān)督訓(xùn)練。A、節(jié)點(diǎn)層B、映射層C、第零層D、輸出層異或函數(shù)需要（B）個超平面才能進(jìn)行劃分。A、一B、二C、三D、四BP算法的核心思路是將誤差由輸出層向（C）后向傳播，利用后一層的誤差來估計(jì)前一層的誤差。A、縱向?qū)覤、輸入層C、前層D、淺層判斷題人類大腦是一個非常復(fù)雜的系統(tǒng)，擁有者大規(guī)模并行式、分布式的表示與計(jì)算能力、學(xué)習(xí)寫能力、抽象能力和適應(yīng)能力。√ReLU會出現(xiàn)梯度消失的問題。×ReLU具有引導(dǎo)適度稀疏的能力。√單層感知器可以擬合一個花草平面y=ax1+bx2，這適合于線性可分問題?！藾ropout是一種正則化技術(shù)，通過方式特征的協(xié)同適應(yīng)，可用于減少神經(jīng)網(wǎng)絡(luò)中的過擬合。Dropout的效果非常好，實(shí)現(xiàn)簡單，但會降低網(wǎng)絡(luò)速度。×填空題softmax（）適用于多元分類問題，作用是將分別代表n個類的n個標(biāo)量歸一化，得到n個類的概率分布Tanh為logistic（）函數(shù)的變體ReLU，即修正線性單元。根據(jù)公式具備引導(dǎo)適度稀疏的能力，因?yàn)殡S機(jī)初始化的網(wǎng)絡(luò)只有一半處于激活狀態(tài)。感知器是一種監(jiān)督訓(xùn)練的二元分類器為了解決隱藏層的預(yù)期輸出并沒有在訓(xùn)練樣例中給出，隱藏層節(jié)點(diǎn)的誤差無法像單層感知器那樣直接計(jì)算得到的問題，我們引入了后向傳播算法（BP算法）問答題1、請簡述神經(jīng)網(wǎng)絡(luò)的特點(diǎn)。答案：基于統(tǒng)計(jì)的連接主義的模型從腦神經(jīng)科學(xué)中和獲得啟發(fā)，試圖將認(rèn)知所需的功能屬性結(jié)合到模型中來，通過模擬生物神經(jīng)網(wǎng)絡(luò)的信息處理方式來構(gòu)建具有認(rèn)知功能的模型，其擁有三個特點(diǎn)：擁有處理信號的基礎(chǔ)單元處理單元之間以并行方式連接處理單元之間的連接是有權(quán)重的請簡述Dropout正則化的原理答案：Dropout可以作為訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的一種trick供選擇。在每個訓(xùn)練批次中，通過忽略一半的特征檢測器（讓一半的隱層節(jié)點(diǎn)值為0），可以明顯地減少過擬合現(xiàn)象。這種方式可以減少特征檢測器（隱層節(jié)點(diǎn)）間的相互作用，檢測器相互作用是指某些檢測器依賴其他檢測器才能發(fā)揮作用。Dropout說的簡單一點(diǎn)就是：我們在前向傳播的時候，讓某個神經(jīng)元的激活值以一定的概率p停止工作，這樣可以使模型泛化性更強(qiáng)，因?yàn)樗粫蕾嚹承┚植康奶卣髡埥忉屖裁词莾?nèi)協(xié)變量偏移（InternalCovariateShift，ICS）答案：在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，往往需要標(biāo)準(zhǔn)化輸入數(shù)據(jù)，使得網(wǎng)絡(luò)的訓(xùn)練更加快速而有效，然而SGD等學(xué)習(xí)算法會在訓(xùn)練中不斷改變網(wǎng)絡(luò)的參數(shù)，隱含層的激活值的分步會因此發(fā)生變化，這一變化就稱為內(nèi)協(xié)變量偏移請簡述生物神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)的區(qū)別答案：生物神經(jīng)網(wǎng)絡(luò)：一般指生物的大腦神經(jīng)元，細(xì)胞，觸電等組成的網(wǎng)絡(luò)，用于產(chǎn)生生物的意識，幫助生物進(jìn)行思考和行動。

人工神經(jīng)網(wǎng)絡(luò)（ANNs）也簡稱為神經(jīng)網(wǎng)絡(luò)（NNs）或稱作連接模型（ConnectionModel），它是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。TensorFlow中運(yùn)行模型需要通過會話實(shí)現(xiàn)，會話有哪幾種形式？答案：第一種模式：需要明確調(diào)用會話生成函數(shù)和關(guān)閉會話函數(shù)

第二種模式：通過python的上下文管理器來使用會話

第三種模式：指定默認(rèn)的會話

第四種模式：交互式環(huán)境下設(shè)置默認(rèn)會話五、應(yīng)用題如圖所示，試求偏置為0.5，三個輸入分別為3，-4,5，權(quán)值分別為0.2,0.5,0.3，激勵函數(shù)f(·)為sgn函數(shù)時，神經(jīng)元的輸出。如果限制一個神經(jīng)網(wǎng)絡(luò)的總神經(jīng)元數(shù)量（不考慮輸入層）為??+1，輸入層大小為??0，輸出層大小為1，隱藏層的層數(shù)為??，每個隱藏層的神經(jīng)元數(shù)量為??/??，試分析參數(shù)數(shù)量和隱藏層層數(shù)??的關(guān)系。答案∑=0.5+3×0.2+（-4）×0.5+5×0.3=0.6Sgn（0.6）=1故輸出為1Params=??0×N/L+(L-1)(N/L)2+N/L+(N+1)+??0第6章選擇題：通過池化降低空間維度的做法不但降低了計(jì)算開銷，還使得卷積神經(jīng)網(wǎng)絡(luò)對于噪聲具有（A）。健壯性靜態(tài)性局部性準(zhǔn)確性（B）的主要問題是最后的3層全連接層的參數(shù)量過于龐大。InceptionNetVCG網(wǎng)絡(luò)ResNetAlexNet（C）的殘差結(jié)構(gòu)解決了深度學(xué)習(xí)模型的退化問題，在ImageNet的數(shù)據(jù)集上，其Top5準(zhǔn)確率達(dá)到了95.51%。InceptionNetVCG網(wǎng)絡(luò)ResNetD.AlexNet在InceptionNet中，使用（D）和單層的全連接層替換掉了VCG的三層全連接層。全局最大池化層全局最小池化層卷積層全局平均池化層如果前一層有M個節(jié)點(diǎn)，后一層有N個節(jié)點(diǎn)，通過參數(shù)共享，兩層之間的連接權(quán)值減少為c個，前向傳播和后向傳播過程中，計(jì)算開銷與內(nèi)存開銷分別為（A）：O（n）和O（c）O（c）和O（n）O（n）和O（n）O（c）和O（c）判斷題：人們通常采用在輸出張量邊界上填充0的方式，使得卷積核的中心可以從邊界上開始掃描，從而保持卷積操作輸入張量和輸出張量大小不變。（×）VCG網(wǎng)絡(luò)在ImageNet的Top5準(zhǔn)確率為93.3%，不僅準(zhǔn)確率高于InceptionNet，推斷速度也更勝一籌。（×）最大池化是指在池化區(qū)域中，取卷積特征值最大的作為所得池化特征值。（√）神經(jīng)網(wǎng)絡(luò)越深，對復(fù)雜特征的表示能力就越強(qiáng)。（√）兩個步長為1的3*3的卷積核和一個7*7大小的卷積核的感受是一致的。（×）填空題：傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)，以全局連接方式，前一層有M個節(jié)點(diǎn)，后一層有N個節(jié)點(diǎn)，就會有M*N個連接權(quán)值，每一輪后向傳播更新權(quán)值的時候都要對這些權(quán)值進(jìn)行重新計(jì)算，造成了O(M*N)=O(n2)的計(jì)算與內(nèi)存開銷局部連接方式把連接限制在空間中相鄰的c個節(jié)點(diǎn)，把連接權(quán)值降到了c*N，計(jì)算內(nèi)存與開銷就降低到了O（c*N）=O（n）離散的卷積操作滿足了局部連接和參數(shù)共享的性質(zhì)。網(wǎng)絡(luò)在達(dá)到一定深度后，模型訓(xùn)練的準(zhǔn)確率也不會再提升，甚至?xí)_始下降，這種現(xiàn)象稱為訓(xùn)練準(zhǔn)確率的退化問題。ResNet提出了殘差學(xué)習(xí)的方法，用于解決深度學(xué)習(xí)模型的退化問題。簡答題：1.畫出一個最基本卷積神經(jīng)網(wǎng)絡(luò)。輸出非線性變換池化層卷積層輸入2.局部連接與全局變量的區(qū)別是什么？局部連接：連接權(quán)值為c*N，計(jì)算與內(nèi)存開銷為O（c*n）=O（n）全局連接：連接權(quán)值為M*N，計(jì)算與內(nèi)存開銷為O（M*N）=O（n2）3.池化的作用是什么？降低特征空間的維度，還使得卷積神經(jīng)網(wǎng)絡(luò)對于噪聲具有健壯性。4.簡述卷積操作。卷積核從輸入向量左邊開始掃描，權(quán)值在第一個位置分別與對應(yīng)輸入值相乘求和，得到卷積特征值向量的第一個值，接下來移動一個步長，到達(dá)第二個位置，進(jìn)行相同的操作，以此類推。5.比較AlexNet與VCG網(wǎng)絡(luò)VCG全3*3卷積核，AlexNet有大卷積核，兩者整體結(jié)構(gòu)一致，都是先用5層卷積層提取圖像特征，再用3層全連接層作為分類器，VCG的層是由幾個3*3的卷積層疊加起來的，而AlexNet是一個大卷積層為一層，所以AlexNet只有八層，而VCG網(wǎng)絡(luò)可多達(dá)19層。應(yīng)用題下表為輸入的三維張量，請你給出其經(jīng)過一個大小為2*2，步幅為2，無填充的平均匯聚層后的結(jié)果。輸入層：123456789卷積層：1001LeNet是一個十分經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，下圖給出了LeNet的簡化版本，請你在下圖相應(yīng)層之后寫出每一層的輸出形狀，其中卷積層的輸出格式為(a,b,c)，其中a為輸出的通道數(shù)，bc為圖片的長和寬；全連接層的輸出格式為(a,b)其中a為輸出通道數(shù)，b為輸出向量的長度。（下圖中括號內(nèi)的數(shù)字為輸出的通道數(shù)，卷積層除特殊說明外，步幅為1、無填充，匯聚層無填充，最后一個匯聚層和全連接層之間有一個展平層圖中沒有體現(xiàn)不需要給出計(jì)算結(jié)果）答案1．輸出層的大小為2×2，如下所示：1×1+2×0+4×0+5×1=62×1+3×0+5×0+6×1=84×1+5×0+7×0+8×1=125×1+6×0+8×0+9×1=146812142.從下到上依次為： (6,28,28)↓ (6,14,14)↓ (16,10,10)↓ (16,5,5)↓ (1,120)↓(1,84)↓ (1,10)第7章選擇題：1.平凡循環(huán)神經(jīng)網(wǎng)絡(luò)采用如（A）這種形式循環(huán)單元。A.B.C.D.2.（B）是自然語言處理領(lǐng)域的主流網(wǎng)絡(luò)架構(gòu)。卷積神經(jīng)網(wǎng)絡(luò)B.循環(huán)神經(jīng)網(wǎng)絡(luò)C.深度神經(jīng)網(wǎng)絡(luò)D.BERT3.ConvSeq2Seq中的位置向量為表示詞的位置關(guān)系提供了（A）的可能性?？刹⑿行訠.可串行性C.可繼承性D.可跟隨性4.（A）在整個Transformer架構(gòu)中處于核心地位。注意力B.可靠性C.執(zhí)行速度D.準(zhǔn)確性5.Google在NIPS上發(fā)表的（D）翻開了自然語言處理的新一頁。ParsingUniversalDependencieswithouttrainingAmaximumentropyapproachtonaturallanguageprocessingMinimumErrorRateTrainingforStatisticalMachineTranslationAttentionIsAllYouNeed判斷題：1.統(tǒng)計(jì)方法在自然語言處理領(lǐng)域中仍然是主流的方法。（√）2.RNNLM中，核心的網(wǎng)絡(luò)架構(gòu)是一個n-game語言模型。（×）3.機(jī)器翻譯可以被看作一種條件語言模型。（√）4.人類使用的自然語言不全是以序列的形式出現(xiàn)的。（×）5神經(jīng)網(wǎng)絡(luò)究其本質(zhì)，是一個帶參函數(shù)。（√）填空題：1.自然語言處理中，最根本的問題就是語言建模。2.多層感知機(jī)對于各神經(jīng)元是并行計(jì)算的。3.循環(huán)神經(jīng)網(wǎng)絡(luò)展開可以分為輸出層、隱藏層和輸入層。4.梯度消失和梯度爆炸的問題一般有改進(jìn)優(yōu)化和使用帶有門限的循環(huán)單元兩類辦法。5.Transformer中一個編碼器單元有多頭的自注意層和全連接層兩層。簡答題：EIMo相比于早期的詞向量方法有哪些改進(jìn)？答：①把雙向多層循環(huán)神經(jīng)網(wǎng)絡(luò)利用到極致。②加入了其他的訓(xùn)練任務(wù)用于調(diào)優(yōu)。③采取了動態(tài)生成的辦法。2.畫出循環(huán)神經(jīng)網(wǎng)絡(luò)的展開形式。3.簡述基于多層感知機(jī)的神經(jīng)網(wǎng)絡(luò)架構(gòu)的語言學(xué)意義它實(shí)際上模擬了n-gram的條件概率，給定一個固定大小窗口的上下文信息，預(yù)測下一個詞的概率。4.畫出簡單的編碼器-解碼器架構(gòu)5.循環(huán)神經(jīng)網(wǎng)絡(luò)的弱點(diǎn)是什么？循環(huán)神經(jīng)網(wǎng)絡(luò)中，下一時步的隱狀態(tài)總是取決于上一時步的隱狀態(tài)，這就使得計(jì)算無法并行化，而只能逐時步地按順序計(jì)算。應(yīng)用題1.利用jieba庫對給定文本詞條化后的詞條（token）進(jìn)行打印。文本內(nèi)容為：自然語言處理(NLP)是一種機(jī)器學(xué)習(xí)技術(shù)，使計(jì)算機(jī)能夠解讀、處理和理解人類語言。2.使用Huggingface的transformers庫直接對文本進(jìn)行詞條化處理，不需要分詞。文本內(nèi)容為：對公司品牌進(jìn)行負(fù)面輿情實(shí)時監(jiān)測，事件演變趨勢預(yù)測，預(yù)警實(shí)時觸達(dá)，幫助公司市場及品牌部