實(shí)驗(yàn)報(bào)告-中文分詞

3/3實(shí)驗(yàn)報(bào)告-中文分詞實(shí)驗(yàn)報(bào)告1雙向匹配中文分詞

?小組信息

目錄

stringCHzSeg::SegmentHzStrMM(CDict//保存句子s1的分詞結(jié)果

while(!s1.empty())

{

unsignedintlen=s1.size();

//如果待切分的句子大于最大切分單元

//len=最大切分單元,否則len=句子的長度

if(len>MAX_WORD_LENGTH)

len=MAX_WORD_LENGTH;

//取s1句子最左邊長度len為的子句子

stringw=s1.substr(0,len);

//判斷剛剛?cè)〕鰜淼淖泳渥邮遣皇且粋€(gè)詞

boolisw=dict.IsWord(w);

//當(dāng)w中至少有一個(gè)中文字

w=w.substr(0,len);

//再次判斷減字后的w是不是構(gòu)成一個(gè)詞

isw=dict.IsWord(w);

}

s2+=w+SEPARATOR;

s1=s1.substr(w.size());

}//endwhile

returns2;

}

逆向最大匹配算法RMM：

//對(duì)純中文句子s1的逆向減字最大匹配分詞

stringCHzSeg::SegmentHzStrRMM(CDict//保存句子s1的分詞結(jié)果

while(!s1.empty())

{

unsignedintlen=s1.size();

//如果待切分的句子大于最大切分單元

//len=最大切分單元,否則len=句子的長度

if(len>MAX_WORD_LENGTH)

len=MAX_WORD_LENGTH;

//取s1句子最右邊長度len為的子句子

stringw=s1.substr(s1.length()-len,len);

//判斷剛剛?cè)〕鰜淼淖泳渥邮遣皇且粋€(gè)詞

boolisw=dict.IsWord(w);

//當(dāng)w中至少有一個(gè)中文字

w=s1.substr(s1.length()-len,len);

//再次判斷減字后的w是不是構(gòu)成一個(gè)詞

isw=dict.IsWord(w);

}

w=w+SEPARATOR;

s2=w+s2;

//分出一個(gè)詞后的s1

s1=s1.substr(0,s1.length()-len);

}

returns2;

}

?詳例描述：

逆向最大匹配思想是從右向左切分，以“對(duì)外經(jīng)濟(jì)技術(shù)合作與交流不斷擴(kuò)大”為例，詳細(xì)描述算法如下：

輸入例句：S1=“對(duì)外經(jīng)濟(jì)技術(shù)合作與交流不斷擴(kuò)大”；

定義：最大詞長MaxLen=6；S2=“”；分隔符=“/”；

逆向減字最大匹配分詞算法過程如下：

（1）S2=“”；S1不為空，從S1右邊取出候選子串W=“斷擴(kuò)大”；

（2）查詞表，W不在詞表中，將W最左邊一個(gè)字去掉，得到W=“擴(kuò)大”；（3）查詞表，“擴(kuò)大”在詞表中，將W加入到S2中，S2=“擴(kuò)大/”，并將W從S1中去掉，此時(shí)S1=“對(duì)外經(jīng)濟(jì)技術(shù)合作與交流不斷”；

（4）S1不為空，于是從S1左邊取出候選子串W=“流不斷”；

（5）查詞表，W不在詞表中，將W最左邊一個(gè)字去掉，得到W=“不斷”；（6）查詞表，“不斷”在詞表中，將W加入到S2中，S2=“不斷/擴(kuò)大/”，并將W從S1中去掉，此時(shí)S1=“對(duì)外經(jīng)濟(jì)技術(shù)合作與交流”；

（7）S1不為空，于是從S1左邊取出候選子串W=“與交流”；

（8）查詞表，W不在詞表中，將W最左邊一個(gè)字去掉，得到W=“交流”；（9）查詞表，“交流”在詞表中，將W加入到S2中，S2=“交流/不斷/擴(kuò)大/”，并將W從S1中去掉，此時(shí)S1=“對(duì)外經(jīng)濟(jì)技術(shù)合作與”；

（10）S1不為空，于是從S1左邊取出候選子串W=“合作與”；

（11）查詞表，W不在詞表中，將W最左邊一個(gè)字去掉，得到W=“作與”；（12）查詞表，W不在詞表中，將W最左邊一個(gè)字去掉，得到W=“與”；（13）查詞表，“與”在詞表中，將W加入到S2中，S2=“與/交流/不斷/擴(kuò)大/”，并將W從S1中去掉，此時(shí)S1=“對(duì)外經(jīng)濟(jì)技術(shù)合作”；

（14）S1不為空，于是從S1左邊取出候選子串W=“術(shù)合作”；

（15）查詞表，W不在詞表中，將W最左邊一個(gè)字去掉，得到W=“合作”；（16）查詞表，“交流”在詞表中，將W加入到S2中，S2=“合作/與/交流/不斷/擴(kuò)大/”，并將W從S1中去掉，此時(shí)S1=“對(duì)外經(jīng)濟(jì)技術(shù)”；

（17）S1不為空，于是從S1左邊取出候選子串W=“濟(jì)技術(shù)”；

（18）查詞表，W不在詞表中，將W最左邊一個(gè)字去掉，得到W=“技術(shù)”；（19）查詞表，“交流”在詞表中，將W加入到S2中，S2=“技術(shù)/合作/與/交流/不斷/擴(kuò)大/”，并將W從S1中去掉，此時(shí)S1=“對(duì)外經(jīng)濟(jì)

（20）S1不為空，于是從S1左邊取出候選子串W=“外經(jīng)濟(jì)”；

（21）查詞表，W不在詞表中，將W最左邊一個(gè)字去掉，得到W=“經(jīng)濟(jì)”；（22）查詞表，“交流”在詞表中，將W加入到S2中，S2=“經(jīng)濟(jì)/技術(shù)/合作/與/交流/不斷/擴(kuò)大/”，并將W從S1中去掉，此時(shí)S1=“對(duì)外”；（23）S1不為空，由于此時(shí)S1只剩下“對(duì)外”于是從S1左邊取出候選子串W=“對(duì)外”；

（24）查詞表，“對(duì)外”在詞表中，將W加入到S2中，S2=“對(duì)外/經(jīng)濟(jì)/技術(shù)/合作/與/交流/不斷/擴(kuò)大/”，并將W從S1中去掉，此時(shí)S1=“”；（25）S1為空，輸出S2作為分詞結(jié)果，分詞過程結(jié)束。

正向匹配法思想與逆向一樣，只是從左向右切分，因此只舉例逆向最大匹配算法描述。

?軟件演示：

軟件界面：

選擇分詞所要的方式（正向或逆向），然后輸入所要分詞的內(nèi)容，分詞結(jié)果就會(huì)在右邊顯示出來。

正向最大匹配分詞結(jié)果：

逆向最大匹配分詞結(jié)果：

?總結(jié)：

1.使用哈希表存儲(chǔ)字典，啟動(dòng)時(shí)間