自然語(yǔ)言及語(yǔ)音處理項(xiàng)目式教程 實(shí)訓(xùn)指導(dǎo) 實(shí)訓(xùn)1 配置NLP環(huán)境

《自然語(yǔ)言處理技術(shù)》圖122所示。圖STYLEREF1\s1SEQ圖\*ARABIC\s122下載對(duì)應(yīng)的cuDNN安裝包⑥cuDNN下載好以后，將所得的文件進(jìn)行解壓，然后將文件復(fù)制到CUDA的安裝目錄下，通常在路徑C:\ProgramFiles\NVIDIAGPUComputingToolkit\CUDA\版本號(hào)下，若有文件，則覆蓋原有文件即可。安裝完CUDA和cuDNN后，可以進(jìn)行PyTorch的安裝，基本步驟如下。①進(jìn)入PyTorch官網(wǎng)，找到官網(wǎng)中的“PreviousversionsofPyTorch”按鈕，如REF_Ref136265533\h圖123所示，并單擊進(jìn)入歷史版本下載界面，找到與CUDA版本對(duì)應(yīng)的PyTorch安裝命令，本項(xiàng)目將安裝1.4.0版本的PyTorch，如REF_Ref136252917\h圖124所示。圖STYLEREF1\s1SEQ圖\*ARABIC\s123查看PyTorch歷史版本圖STYLEREF1\s1SEQ圖\*ARABIC\s124查看1.4.0版本的PyTorch②復(fù)制REF_Ref136252917\h圖124紅色框中的代碼，即LinuxandWindows下的代碼，在開(kāi)始菜單欄下，打開(kāi)“AnacondaPrompt”，并將復(fù)制后的代碼進(jìn)行粘貼后運(yùn)行，即可成功安裝PyTorch。在所有庫(kù)安裝完成后，打開(kāi)“AnacondaPrompt”，輸入“condalist”命令，即可查看所有已經(jīng)安裝的庫(kù)，其中，包含Anaconda自帶的標(biāo)準(zhǔn)庫(kù)，如REF_Ref136037409\h圖125所示，可以清晰查看到本項(xiàng)目安裝后的PyPDF2和pyhanlp庫(kù)。圖STYLEREF1\s1SEQ圖\*ARABIC\s125查看所有已經(jīng)安裝的庫(kù)下載數(shù)據(jù)集在進(jìn)行NLP任務(wù)時(shí)，需要使用相應(yīng)的數(shù)據(jù)集，如自然語(yǔ)言處理語(yǔ)料庫(kù)（NLTK數(shù)據(jù)集）stopwords、wordnet等。打開(kāi)Python解釋器，輸入、運(yùn)行如REF_Ref136037454\h代碼11所示的代碼，下載NLTK數(shù)據(jù)集。代碼STYLEREF1\s1SEQ代碼\*ARABIC\s11下載NLTK數(shù)據(jù)集#下載NLTK所需的語(yǔ)料庫(kù)（包括分詞器、停用詞、詞性標(biāo)注器和WordNet等）importnltknltk.download('punkt')nltk.download('stopwords')nltk.download('averaged_perceptron_tagger')nltk.download('wordnet')測(cè)試環(huán)境配置是否成功打開(kāi)Python解釋器，輸入、運(yùn)行如REF_Ref136037476\h代碼12所示的測(cè)試代碼，測(cè)試環(huán)境配置是否成功。代碼STYLEREF1\s1SEQ代碼\*ARABIC\s12測(cè)試環(huán)境配置是否成功#定義一個(gè)文本字符串，對(duì)其進(jìn)行分詞，得到tokenstext="Hello,world!ThisisasampletextforNLPanalysis."tokens=nltk.word_tokenize(text)print(tokens)#從NLTK庫(kù)中獲取英語(yǔ)停用詞集，過(guò)濾掉tokens中的停用詞，得到filtered_tokensstop_words=set(nltk.corpus.stopwords.words('english'))filtered_tokens=[tokenfortokenintokensiftoken.lower()notinstop_words]print(filtered_tokens)#對(duì)tokens進(jìn)行詞性標(biāo)注，得到pos_tagspos_tags=nltk.pos_tag(tokens)print(pos_tags)運(yùn)行REF_Ref136037476\h代碼12，輸出測(cè)試結(jié)果如下，表明環(huán)境配置成功。['Hello',',','world','!','This','is','a','sample','text','for','NLP','analysis','.']['Hello',',','world','!','sample','text','NLP','analysis','.'][('Hello','NNP'),(',',','),('world','NN'),('!','.'),('This','DT'),('is','VBZ'),('a','DT'),('sample','JJ'),('text','NN'),('for','IN'),('NLP','NNP'),('analysis