第5章 基于LSTM的唐詩生成

基于LSTM的唐詩生成1文本預(yù)處理目錄目標(biāo)分析2構(gòu)建網(wǎng)絡(luò)3訓(xùn)練網(wǎng)絡(luò)4結(jié)果分析5文本生成目前的熱度不高，主要用于文本的續(xù)寫，使用領(lǐng)域偏娛樂向。通常在媒體上見到的“機(jī)器人寫作”“人工智能寫作”“自動(dòng)對(duì)話生成”“機(jī)器人寫古詩”等，都屬于文本生成的范疇。古有曹植七步成詩，今有AI七秒成詩。AI作詩的引爆點(diǎn)來自于2019年的AI開發(fā)者大會(huì)上，華為的劉群老師做了一段AI作詩演示，如右圖所示。背景如今機(jī)器已經(jīng)能夠自主學(xué)習(xí)到平仄押韻等寫詩技巧，使得編出來的詩在技術(shù)層面上突飛猛進(jìn)。但是對(duì)于寫詩AI而言，目前輸入的文本只包含唐宋詩詞，尚未包含形象化的自然環(huán)境，詩人胸中的喜怒哀樂，亦或是大時(shí)代里的風(fēng)云變幻。AI作詩的實(shí)際運(yùn)用有兩種。一種是服務(wù)缺乏創(chuàng)作古詩基本功的人，這類人往往沒有經(jīng)過平仄押韻的訓(xùn)練。例如，看見了壯美的大瀑布，胸中一股激情奔騰，卻無法吟唱出“疑是銀河落九天”那樣的神來之筆，又不甘心說些人盡皆知的“口頭語”。如果有作詩有AI幫忙，則可以彌補(bǔ)平仄押韻的不足之處。另一種是激發(fā)人的聯(lián)想能力。例如，張三突然有了靈感想要作詩，一首七絕，前三句一氣呵成，但是最后一句想不出來。這時(shí)通過AI作詩可以幫助打開思路，補(bǔ)全詩句。背景循環(huán)神經(jīng)網(wǎng)絡(luò)有很多變種，LSTM網(wǎng)絡(luò)是眾多變種中的一種。經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡(luò)SimpleRNN結(jié)構(gòu)相對(duì)簡(jiǎn)單。對(duì)于某一時(shí)刻t，理論上SimpleRNN網(wǎng)絡(luò)應(yīng)該能夠記住t時(shí)刻之前見過的信息，但實(shí)際上SimpleRNN并沒有學(xué)習(xí)到t時(shí)刻之前見過的信息，即無法實(shí)現(xiàn)長(zhǎng)期依賴的。其原因在于梯度消失問題（vanishinggradientproblem），隨著層數(shù)的增加，網(wǎng)絡(luò)最終會(huì)因?yàn)樘荻认Щ蛱荻缺ǘ兊脽o法訓(xùn)練。本案例將基于LSTM網(wǎng)絡(luò)實(shí)現(xiàn)唐詩生成。LSTM在許多任務(wù)中往往能比經(jīng)典的RNN表現(xiàn)得更好，這是因?yàn)長(zhǎng)STM可以學(xué)習(xí)長(zhǎng)期依賴關(guān)系。背景利用Python和poetry.txt文本文檔，可以實(shí)現(xiàn)以下目標(biāo)。令訓(xùn)練好的LSTM模型可以根據(jù)給定的訓(xùn)練集生成詩句。令訓(xùn)練好的LSTM模型根據(jù)操作者輸入的四字詞生成詩句。本案例的總體流程圖如下圖所示。分析目標(biāo)本案例的總體主要包括以下4個(gè)步驟。文本預(yù)處理。包括標(biāo)識(shí)文本數(shù)據(jù)中詩句結(jié)束點(diǎn)，去除低頻詞以及構(gòu)建文本（word）到編碼（id）映射。構(gòu)建網(wǎng)絡(luò)。包括設(shè)置配置項(xiàng)參數(shù)，包含網(wǎng)絡(luò)的文件名，語料文本名字以及跨度，同時(shí)生成訓(xùn)練數(shù)據(jù)并構(gòu)建LSTM網(wǎng)絡(luò)。訓(xùn)練網(wǎng)絡(luò)。包括查看LSTM網(wǎng)絡(luò)的學(xué)習(xí)情況，用手動(dòng)輸入的詞生成詩句以及訓(xùn)練網(wǎng)絡(luò)。結(jié)果分析。對(duì)訓(xùn)練結(jié)果進(jìn)行結(jié)果分析，并觀察網(wǎng)絡(luò)根據(jù)輸入文字生成的詩句。分析目標(biāo)本案例基于Keras2.4.3、cuda10.2、cudnn7.6.5和tensorflow-gpu2.3.0環(huán)境下運(yùn)行，其中tensorflow亦可以是cpu版本。本案例用的數(shù)據(jù)是經(jīng)典的詩句數(shù)據(jù)集poetry.txt，整個(gè)txt文檔有43031行。項(xiàng)目目錄包含三個(gè)文件夾，分別是code、data和tmp。如下圖所示。項(xiàng)目工程結(jié)構(gòu)所有原始數(shù)據(jù)，存放在data文件夾，如下圖所示。所有的代碼文件存放于code文件夾，如下圖所示。輸出文件存放于tmp文件夾，如下圖所示。項(xiàng)目工程結(jié)構(gòu)1文本預(yù)處理目錄目標(biāo)分析2構(gòu)建網(wǎng)絡(luò)3訓(xùn)練網(wǎng)絡(luò)4結(jié)果分析5機(jī)器不能理解每個(gè)中文漢字代表的是什么，需要將文本轉(zhuǎn)換為機(jī)器能理解的形式。本案例采用獨(dú)熱編碼one-hot的形式，將所有的文本組成一個(gè)字典，每個(gè)字就能用該字在字典里的序號(hào)表示。例如，“我愛吃香蕉”5個(gè)字，字典形式是['我','愛','吃','香','蕉']，“我”就能用[1,0,0,0,0]表示，“香蕉”用這種形式表示是一個(gè)維度為(2,5)的向量。同理，處理當(dāng)前的詩句文件即將所有的字組成一個(gè)字典，詩句中的每個(gè)字都能用向量來表示。在構(gòu)建LSTM網(wǎng)絡(luò)之前，需要標(biāo)識(shí)詩句的結(jié)束點(diǎn)、去掉數(shù)據(jù)集中低頻的字和構(gòu)建word到id的映射。文本預(yù)處理在每行末尾加上“]”符號(hào)，表示這首詩已經(jīng)結(jié)束。給定前6個(gè)字，生成第7個(gè)字。在后面生成訓(xùn)練數(shù)據(jù)的時(shí)候，會(huì)以6的跨度，1的步長(zhǎng)截取文字，生成語料。例如，“我想要吃香蕉”，以3的跨度生成訓(xùn)練數(shù)據(jù)是（“我想要”“吃香蕉”）。在跨度為6的句子中，前后每個(gè)字都是有關(guān)聯(lián)的，如果出現(xiàn)了“]”符號(hào)，說明“]”符號(hào)之前的和之后的語句是沒有關(guān)聯(lián)的內(nèi)容，分別屬于兩首不同的詩。標(biāo)識(shí)詩句結(jié)束點(diǎn)在原始數(shù)據(jù)集中出現(xiàn)次數(shù)過低的字將被視為異常值刪除，判斷標(biāo)準(zhǔn)是字的出現(xiàn)次數(shù)小于等于2。去掉低頻的字構(gòu)建文本（word）到編碼id的映射，使得構(gòu)建網(wǎng)絡(luò)后能利用映射關(guān)系調(diào)用數(shù)據(jù)。構(gòu)建映射1文本預(yù)處理目錄目標(biāo)分析2構(gòu)建網(wǎng)絡(luò)3訓(xùn)練網(wǎng)絡(luò)4結(jié)果分析5本案例的網(wǎng)絡(luò)結(jié)構(gòu)如右圖所示，包含一個(gè)輸入層、兩個(gè)LSTM層，兩個(gè)丟棄層和一個(gè)全連接層，激活函數(shù)采用Softmax。設(shè)置丟棄層是為了防止過擬合，若網(wǎng)絡(luò)最終的生成結(jié)果的效果不佳，可以通過減少丟棄層的層數(shù)從而提高網(wǎng)絡(luò)的效果。構(gòu)建網(wǎng)絡(luò)在生成訓(xùn)練數(shù)據(jù)之前先設(shè)置配置項(xiàng)參數(shù)，包含網(wǎng)絡(luò)的文件名，語料文本名字以及跨度。設(shè)置配置項(xiàng)參數(shù)生成訓(xùn)練數(shù)據(jù)，x表示輸入，y表示輸出。輸入信息為前6個(gè)字段，輸出信息為第7個(gè)字。例如，“我想要吃香蕉啊”，輸入即為“我想要吃香蕉”，輸出為“啊”。之后將文字轉(zhuǎn)換成向量的形式，需要注意的是，此處的生成器是一個(gè)whileTrue的無限循環(huán)過程。當(dāng)輸入字段長(zhǎng)度大于文本語料字段的長(zhǎng)度時(shí)，下標(biāo)已經(jīng)超過語料的長(zhǎng)度，因此本案例在訓(xùn)練網(wǎng)絡(luò)時(shí)會(huì)限制網(wǎng)絡(luò)學(xué)習(xí)的循環(huán)次數(shù)。生成訓(xùn)練數(shù)據(jù)Keras框架對(duì)各種網(wǎng)絡(luò)層layer都做了封裝，僅需設(shè)置參數(shù)即可調(diào)用運(yùn)行。需要注意的是，函數(shù)build_model包含在類PoetryModel中。構(gòu)建LSTM網(wǎng)絡(luò)1文本預(yù)處理目錄目標(biāo)分析2構(gòu)建網(wǎng)絡(luò)3訓(xùn)練網(wǎng)絡(luò)4結(jié)果分析5首先需要定義一個(gè)函數(shù)，令網(wǎng)絡(luò)在訓(xùn)練過程中可以打印每次迭代學(xué)習(xí)的結(jié)果，方便觀察網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)的進(jìn)程。然后還需要定義一個(gè)函數(shù)，令網(wǎng)絡(luò)根據(jù)操作者輸入的文字生成詩句的函數(shù)。訓(xùn)練網(wǎng)絡(luò)定義一個(gè)函數(shù)，令網(wǎng)絡(luò)訓(xùn)練過程中每次迭代學(xué)習(xí)的結(jié)果都打印出來，需要注意，函數(shù)sample以及函數(shù)generate_sample_result均包含在類PoetryModel中。查看學(xué)習(xí)情況在訓(xùn)練結(jié)束后，網(wǎng)絡(luò)會(huì)根據(jù)輸入的文字生成詩句，如果輸入的文字的數(shù)量小于4，將用隨機(jī)文字補(bǔ)全，例如，輸入“好耶”，則可能會(huì)隨機(jī)補(bǔ)全成“好耶哈哈”。需要注意的是，函數(shù)predict包含在類PoetryModel中。生成詩句self.model.fit_generator()方法中的steps_per_epoch參數(shù)的值表示在一次迭代epoch中調(diào)用多少次生成器generator生成數(shù)據(jù)。number_of_epoch的值表示有多少次迭代。需要注意的是，函數(shù)train包含在類PoetryModel中。設(shè)置完train函數(shù)之后，運(yùn)行主函數(shù)即可。訓(xùn)練網(wǎng)絡(luò)1文本預(yù)處理目錄目標(biāo)分析2構(gòu)建網(wǎng)絡(luò)3訓(xùn)練網(wǎng)絡(luò)4結(jié)果分析5觀察每次迭代的輸出結(jié)果并分析網(wǎng)絡(luò)的學(xué)習(xí)情況。當(dāng)epoch=0時(shí)，網(wǎng)絡(luò)的訓(xùn)練結(jié)果基本是噪聲，此時(shí)網(wǎng)絡(luò)還不懂如何使用標(biāo)點(diǎn)符號(hào)，如下圖所示。結(jié)果分析當(dāng)epoch=10時(shí)，網(wǎng)絡(luò)已能具有一定邏輯的使用標(biāo)點(diǎn)符號(hào)，如下圖所示。當(dāng)epoch=30時(shí)，網(wǎng)絡(luò)輸出的詩句標(biāo)點(diǎn)符號(hào)明顯增多，如下圖所示。結(jié)果分析當(dāng)epoch=60時(shí)，網(wǎng)絡(luò)使用標(biāo)點(diǎn)符號(hào)更具邏輯性，并且出現(xiàn)了四個(gè)字為一組的對(duì)偶句?！安恢匾瓜?。夜火不溪。何何何何。何何火不。”，可惜的是這四句都是以句號(hào)結(jié)尾。如下圖所示。結(jié)果分析當(dāng)epoch=90時(shí)，網(wǎng)絡(luò)已經(jīng)能生成帶有一定意境的語句，如下圖所示。“月森流臺(tái)知。影船流花照?！保M管使用標(biāo)點(diǎn)符號(hào)的能力較差，但是可以看出網(wǎng)絡(luò)依舊有提升空間，本案例網(wǎng)絡(luò)僅僅訓(xùn)練了100次迭代，可以通過增加迭代次數(shù)來提升訓(xùn)練效果。結(jié)果分析最后，輸入四字詞語生成詩句，分別輸入“二天一流”“賽博朋克”和“狂暴飛車”三個(gè)四字詞，觀察生成的結(jié)果，如圖5-13、圖5-14以及圖5-15所示。結(jié)果分析經(jīng)過100次迭代之后，網(wǎng)絡(luò)對(duì)于標(biāo)點(diǎn)符號(hào)的放置依舊缺乏邏輯性，無視標(biāo)點(diǎn)的邏輯性，可以看到一些讀起來不錯(cuò)的詩句，例如，“飛香出蒼雨，車浮赤經(jīng)石。”相