單元3：詞性標(biāo)注和實(shí)體命名識別4

3.3.3案例實(shí)施3.3.3案例實(shí)施LTP是基于C++開發(fā)的，但是也提供了Python的封裝包——Pyltp。Pyltp的安裝直接使用pip進(jìn)行安裝，在命令行輸入：pipinstallpyltp。如果安裝失敗，可以使用wheel文件進(jìn)行安裝，具體安裝過程如下：首先查看當(dāng)前環(huán)境下Python的版本，在命令行輸入：python-V，根據(jù)Python的不同版本下載相應(yīng)的wheel文件，例如Python為3.6版本，則下載pyltp-0.2.1-cp36-cp36m-win_amd64.whl，然后使用cd命令跳轉(zhuǎn)到wheel文件所在目錄，使用pipinstallwheel文件名進(jìn)行安裝。（一）LTP的安裝3.33.3.3案例實(shí)施在安裝成功之后，需要下載相關(guān)的模型文件。哈工大提供了LTP所需的基本模型，模型下載地址：http://ltp.ai/download.html，選擇其中最新版本的模型文件進(jìn)行下載，如圖3-1所示。例如，當(dāng)前最新模型為3.4.0，則下載ltp_data_v3.4.0.zip。3（一）LTP的安裝圖3-1模型下載3.3.3案例實(shí)施將下載的壓縮包解壓到項(xiàng)目文件夾下，得到LTP的基本模型，如圖3-2所示。3（一）LTP的安裝圖3-2LTP的基本模型3.3.3案例實(shí)施LTP的主要模型：SentenceSplitter：分句模型，將一個段落通過“。”、“？”、“！”等形式分開。Segmentor：分詞模型，支持用戶使用自定義詞典。分詞外部詞典本身是一個文本文件，每行指定一個詞，編碼須為UTF-8。Postagger：詞性標(biāo)注模型，顯示每個詞的詞性，輸入可以為一個詞，也可以為多個詞組成的列表。LTP中采用了863詞性標(biāo)注集，各個詞性含義見表3-2。3（二）LTP的主要模型3.3.3案例實(shí)施表3-2LTP詞性標(biāo)注規(guī)范表3（二）LTP的主要模型3.3.3案例實(shí)施表3-3命名實(shí)體標(biāo)記3（二）LTP的主要模型NamedEntityRecognizer：實(shí)體命名模型，ltp命名實(shí)體類型為：人名（Nh），地名（NS），機(jī)構(gòu)名（Ni）。LTP采用BIESO標(biāo)注體系，其命名實(shí)體標(biāo)記見表3-3。3.3.3案例實(shí)施表3-3命名實(shí)體標(biāo)記3（二）LTP的主要模型NamedEntityRecognizer：實(shí)體命名模型，ltp命名實(shí)體類型為：人名（Nh），地名（NS），機(jī)構(gòu)名（Ni）。LTP采用BIESO標(biāo)注體系，其命名實(shí)體標(biāo)記見表3-3。3.3.3案例實(shí)施3（二）LTP的主要模型Parser：依存句法分析模型。加載模型：frompyltpimportSegmentor,Postagger,Parser,NamedEntityRecognizer#加載分詞模型segmentor=Segmentor()segmentor.load("ltp_data_v3.4.0\cws.model")

#加載命名實(shí)體識別模型recognizer=NamedEntityRecognizer()recognizer.load("ltp_data_v3.4.0\ner.model")3.3.3案例實(shí)施3（三）Parser：依存句法分析模型加載模型：#加載依存語法分析模型parser=Parser()parser.load("ltp_data_v3.4.0\parser.model")

#加載詞性標(biāo)注模型postagger=Postagger()postagger.load("ltp_data_v3.4.0\pos.model")3.3.3案例實(shí)施3（三）Parser：依存句法分析模型分句：frompyltpimportSentenceSplittercontent='句號。問號？嘆號！“雙引號。”漢語省略號……'sents=SentenceSplitter.split(content)forsentinsents:print(sent)輸出結(jié)果如下：句號。問號？嘆號！“雙引號?！睗h語省略號……這里需要注意的是LTP是用于中文處理的，因此盡量不要將LTP用于處理其它語言。3.3.3案例實(shí)施3（三）Parser：依存句法分析模型分詞：frompyltpimportSegmentorsegmentor=Segmentor()#初始化實(shí)例segmentor.load("ltp_data_v3.4.0\cws.model")#加載模型words=segmentor.segment('貝拉克·侯賽因·奧巴馬的身世復(fù)雜，1961年8月4日出生在美國夏威夷州檀香山市，父親是來自肯尼亞的留學(xué)生，母親是堪薩斯州白人。他們二人在就讀夏威夷大學(xué)期間相識。')forwordinwords:print(word,end='\\')segmentor.release()輸出結(jié)果如下：貝拉克·侯賽因·奧巴馬\的\身世\復(fù)雜\，\1961年\8月\4日\出生\在\美國\夏威夷州\檀香山市\(zhòng)，\父親\是\來自\肯尼亞\的\留學(xué)生\，\母親\是\