基于SVM的初等數(shù)學(xué)問題自動分類的研究與應(yīng)用

1、3啊放女哲UNIVERSITY OF ELECTRONIC SC I ENCE AND TECHNOLOGY OF CHINA碩士學(xué)位論文MASTER THESIS、泓、 論文題目基于SVM的初懿學(xué)問題自動分類的研究與應(yīng)用學(xué)科專業(yè)學(xué) 號作者姓名計(jì)算機(jī)應(yīng)用技術(shù)201421060235指導(dǎo)教師張智慧張景中 院士獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工 作及取得的研充成果。據(jù)我所知，除了文中特別加以標(biāo)注和致謝的地 方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含 為獲得電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。 與我一同工作的同志對本研究所做的任何貢獻(xiàn)

2、均己在論文中作了明 確的說明并表示謝意0論文使用授權(quán)本學(xué)位論文作者完全了解電子科技大學(xué)有關(guān)保留、使用學(xué)位論文 的規(guī)定，有權(quán)保留并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤, 允許論文被查閱和借閱。本人授權(quán)電子科技大學(xué)可以將學(xué)位論文的全 部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或掃描 等復(fù)制手段保存、匯編學(xué)位論文。（保密的學(xué)位論文在解密后應(yīng)遵守此規(guī)定）分類號密級UDC 注學(xué)位論文基于SVM的初等數(shù)學(xué)問題自動分類的研究與應(yīng)用張智慧指導(dǎo)教師電子科技大學(xué)成都申請學(xué)位級別 碩士 學(xué)科專業(yè) 計(jì)算機(jī)軟件與理論提交論文日期2017.3.28論文答辯日期2017.5.12學(xué)位授予單位和日期電子科技

3、大學(xué) 2017年6月答辯委員會主席評閱人Research and Application of The AutomaticClassification of Elementary Mathematical ProblemsBased on SVMA Master Thesis Submitted toUniversity of Electronic Science and Technology of ChinaMajor:Computer Software and TheoryAuthor: Zhang ZhihuiSupervisor:NA.Zhang JingzhongSchool: Sc

4、hool of Computer Science & Engineering摘要眾所周知，隨著計(jì)算機(jī)信息技術(shù)的迅速發(fā)展，信息技術(shù)已經(jīng)在我們生活的方 方面面有所應(yīng)用。在教育領(lǐng)域，人們的目光也逐漸從線下老師輔導(dǎo)以及手工批閱 試卷，解題轉(zhuǎn)向了基于人工智能的互聯(lián)網(wǎng)智能教育。這種新型的數(shù)學(xué)教育理念實(shí) 現(xiàn)的一個重要前提就是對文本自然語言進(jìn)行轉(zhuǎn)換，通俗的講就是把人類理解的數(shù) 學(xué)語句轉(zhuǎn)化為事先定義好的計(jì)算機(jī)存儲知識，來供計(jì)算機(jī)進(jìn)行下一步的處理。這 些處理主要有解題，以及全流程判卷等等。這一前提也可以稱為自然語言處理過 程。而分類問題又是自然語言處理的過程中的主要問題。本文主要分為兩個部分，第一部分是對初等數(shù)學(xué)

5、問題文本進(jìn)行分詞，以及詞性 標(biāo)注和命名實(shí)體識別。第二部分是基于SVM對初等數(shù)學(xué)問題文本進(jìn)行題型分類， 進(jìn)而根據(jù)不同的類別轉(zhuǎn)換成計(jì)算機(jī)推理所需的表現(xiàn)形式。在英文表達(dá)中，每個單詞之間都是有空格的，但是中文則不同，所有的字符 都是連接在一起的，所以需要對中文的文本進(jìn)行分詞。但是數(shù)學(xué)表述中包含了較 多的有特定含義的符號，所以通用的分詞方法行不通。因此需要針對數(shù)學(xué)表述構(gòu) 造專門的分詞器。同樣，數(shù)學(xué)語言表達(dá)中的實(shí)體和普通語言表達(dá)的實(shí)體不同，普 通語言的實(shí)體更多是時間，地點(diǎn)，姓名等。而在數(shù)學(xué)表達(dá)中，包含重要信息的實(shí) 體往往是數(shù)學(xué)名詞，比如三角形，以及各方程等等。因此需要針對初等數(shù)學(xué)方向 定義專門的命名實(shí)體，

6、然后進(jìn)行提取。本論文采用條件隨機(jī)場來進(jìn)行命名實(shí)體標(biāo) 注。初等數(shù)學(xué)問題中涉及的類型有很多，想要對初等數(shù)學(xué)問題進(jìn)行自動求解，首 先要做的是把問題進(jìn)行分類，然后根據(jù)不同的類別調(diào)用相應(yīng)的求解方法。對經(jīng)過 命名實(shí)體模型標(biāo)注的初等數(shù)學(xué)問題文本進(jìn)行文本預(yù)處理，包括去停用詞，建立詞 袋模型。在本論文中，通過卡方統(tǒng)計(jì)量來實(shí)現(xiàn)文本特征向量的選擇。這樣使用特 征向量通過選擇降維技術(shù)能很好的減少計(jì)算量，還能維持分類的精度。最后，根據(jù)本文提出的方法，使用支持向量機(jī)實(shí)現(xiàn)了一套對初等數(shù)學(xué)問題進(jìn) 行命名實(shí)體提取并且對題目進(jìn)行分類的系統(tǒng)。該系統(tǒng)可以準(zhǔn)確標(biāo)注命名實(shí)體，為 后面解題等處理提供知識表示，同時有效的題目分類可以為后面解

7、題或者判卷做 推理剪枝。關(guān)鍵詞：初等數(shù)學(xué)，支持向量機(jī)，題意理解，自然語言處理ABSTRACTIn the field of education, peoples eyes gradually from offline teacher counseling, manual marking the examination paper and problem-solving turned to artificial intelligence based on the Internet intelligence education. An important prerequisite for the

8、realization of this new type of mathematical education idea is to convert the text language. The popular talk is about converting the mathematical statement of human understanding into a pre-defined computer storage knowledge for the next step . These processes include problem solving, paper marking

9、 automatically and so on. This premise can also be called natural language processing. The classification problem is the main problem in the process of natural language processing.This paper is divided into two parts, the first pait is on the primary mathematics problem tokenization as well as Part-

10、of-Speech tagging, the second part is based on SVM on the primary mathematical problem text classification, and then according to different classification methods, the computer can be converted its presentation to solve the problem.In English, each word has a space between them, but the Chinese is d

11、ifferent, all the characters are connected together, so the first step is tokenization. But the mathematical expression contains more symbols with specific meaning, so the general segmentation method does not work. Therefore, we need to construct a special word segmenter for mathematical representat

12、ion. Similarly, the entities in the expression of mathematical language are different from ordinary language, and the entities of ordinary language are usually describe time, place and name. In mathematical expressions, entities that contain important information are belong to mathematical terms, su

13、ch as triangles, and equations. So it is necessary to define a specific named entity for the primary mathematical direction and then extract it. In this paper, the conditional random field is used to the named entity.In the elementary mathematics, automatic question solving involves many different c

14、ategory. Before we solve a question ,the question need to be classified. Then we excute a corresponding solution method according to its category. To classify the question, firstly we preprocess the Named Entity labeled text , the preprocessing includes removing stop words and establishing the bag-o

15、f-words model. Secondly, In this paper, we use the measure of Chi square statistic to choose eigenvectors. So that there is a good reduction in the amount of calculation in using the eigenvectors to reduce the dimension, meanwhile the accuracy of classification can be maintained.Finally, according t

16、o the method proposed in this paper, we have construct a system to classify the initial mathematical problems and classify them with SVM. The system can accurately mark the named entity, for the latter to solve the problem and other processing to provide knowledge, while the effective classification

17、 of the text can be used to solve the problem or make a reasoning pruning.Keywords: Elementary Mathematics, SVM, Problem understanding, Natural Language Processing目錄 TOC o 1-5 h z HYPERLINK l bookmark19 o Current Document 目錄IV HYPERLINK l bookmark27 o Current Document 第一章緒論1 HYPERLINK l bookmark30 o

18、 Current Document 1.1研究工作的背景和意義1 HYPERLINK l bookmark33 o Current Document 1.2國內(nèi)外研究現(xiàn)狀2 HYPERLINK l bookmark36 o Current Document 1.2.1自然語言處理的國內(nèi)外研究現(xiàn)狀2 HYPERLINK l bookmark39 o Current Document 1.2.2智能教輔系統(tǒng)的國內(nèi)外研究現(xiàn)狀3 HYPERLINK l bookmark42 o Current Document 13論文組織結(jié)構(gòu)4 HYPERLINK l bookmark48 o Current Do

19、cument 第二章相關(guān)理論與技術(shù)6 HYPERLINK l bookmark51 o Current Document 2.1自然語言理解概述6 HYPERLINK l bookmark54 o Current Document 2.1.1自然語言處理處理的基本方法6 HYPERLINK l bookmark60 o Current Document Apache Thiift7 HYPERLINK l bookmark64 o Current Document 2.13中文自然語言處理工具8 HYPERLINK l bookmark74 o Current Document 2.2語言模型

20、10 HYPERLINK l bookmark77 o Current Document 2.2.1隱馬爾可夫模型10 HYPERLINK l bookmark80 o Current Document 2.2.2最大炳模型11 HYPERLINK l bookmark87 o Current Document 2.2.3條件隨機(jī)場模型11 HYPERLINK l bookmark90 o Current Document 2.3支持向量機(jī)13 HYPERLINK l bookmark93 o Current Document 2.3.1線性分類13 HYPERLINK l bookmark9

21、6 o Current Document 23.2軟間隔最大化15 HYPERLINK l bookmark101 o Current Document 2.3.3核函數(shù)16 HYPERLINK l bookmark104 o Current Document 2.4本章小結(jié)18 HYPERLINK l bookmark107 o Current Document 第三章 初等數(shù)學(xué)問題分類預(yù)處理模型的構(gòu)建19 HYPERLINK l bookmark110 o Current Document 3.1初等數(shù)學(xué)問題文本的特點(diǎn)19 HYPERLINK l bookmark116 o Current

22、 Document 3.2基于最大炳模型的初等數(shù)學(xué)文本的分詞19 HYPERLINK l bookmark119 o Current Document 3.2.1初等數(shù)學(xué)語言分詞方法20 HYPERLINK l bookmark126 o Current Document 3.2.2基于最大嫡模型的中文分詞21 HYPERLINK l bookmark132 o Current Document 3.3初等數(shù)學(xué)文本的詞性標(biāo)注24 HYPERLINK l bookmark135 o Current Document 3.4初等數(shù)學(xué)文本的命名實(shí)體標(biāo)注25 HYPERLINK l bookmark1

23、38 o Current Document 3.4.1初等數(shù)學(xué)命名實(shí)體類型25 HYPERLINK l bookmark141 o Current Document 3.4.2特征選擇26 HYPERLINK l bookmark159 o Current Document 3.5基于實(shí)體屬性改進(jìn)的指代消解方法30 HYPERLINK l bookmark162 o Current Document 3.5.1指代的類型30 HYPERLINK l bookmark168 o Current Document 3.5.2數(shù)學(xué)實(shí)體模型的構(gòu)建31 HYPERLINK l bookmark171 o

24、 Current Document 3.5.3指代消解32 HYPERLINK l bookmark174 o Current Document 3.6本章小節(jié)33 HYPERLINK l bookmark184 o Current Document 第四章基于SVM的初等數(shù)學(xué)問題的分類35 HYPERLINK l bookmark187 o Current Document 4.1初等數(shù)學(xué)問題的分類方式35 HYPERLINK l bookmark190 o Current Document 4.1.1基于提問方式的分類35 HYPERLINK l bookmark193 o Current

25、 Document 4.1.2基于知識點(diǎn)的分類36 HYPERLINK l bookmark196 o Current Document 種新型詞袋模型的構(gòu)建36 HYPERLINK l bookmark200 o Current Document 4.2.1命名實(shí)體替換36 HYPERLINK l bookmark203 o Current Document 4.2.2過濾停用詞建模37 HYPERLINK l bookmark206 o Current Document 4.2.3同義詞替換建模37 HYPERLINK l bookmark209 o Current Document 43

26、特征選擇38 HYPERLINK l bookmark216 o Current Document 43.1基于卡方檢驗(yàn)的特征提取38 HYPERLINK l bookmark219 o Current Document 43.2詞頻逆文檔頻率統(tǒng)計(jì)40 HYPERLINK l bookmark222 o Current Document 4.3.3文本向量化41 HYPERLINK l bookmark228 o Current Document 4.4基于SVM的初等初等數(shù)學(xué)問題分類算法42 HYPERLINK l bookmark233 o Current Document 一對多題型分類

27、器的構(gòu)建43 HYPERLINK l bookmark236 o Current Document 一對一題型分類器的構(gòu)建43 HYPERLINK l bookmark240 o Current Document SVM 參數(shù)選擇44 HYPERLINK l bookmark246 o Current Document 4.5本章小節(jié)45 HYPERLINK l bookmark249 o Current Document 第五章初等數(shù)學(xué)問題自動分類系統(tǒng)的實(shí)現(xiàn)47 HYPERLINK l bookmark252 o Current Document 5.1初等數(shù)學(xué)問題分類預(yù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

28、47 HYPERLINK l bookmark255 o Current Document 5.1.1預(yù)處理模塊的總體功能設(shè)計(jì)47 HYPERLINK l bookmark258 o Current Document 5.1.2預(yù)處理模塊中各模塊詳細(xì)設(shè)計(jì)47 HYPERLINK l bookmark280 o Current Document 5.2初等數(shù)學(xué)問題的分類53 HYPERLINK l bookmark283 o Current Document 5.2.1分類模塊的總體功能設(shè)計(jì)53 HYPERLINK l bookmark286 o Current Document 5.2.2分類

29、模塊中各模塊詳細(xì)設(shè)計(jì)54 HYPERLINK l bookmark289 o Current Document 5.3初等數(shù)學(xué)問題分類測試56 HYPERLINK l bookmark303 o Current Document 5.4本章小節(jié)58 HYPERLINK l bookmark306 o Current Document 第六章總結(jié)與展望59 HYPERLINK l bookmark309 o Current Document 6.1總結(jié)59 HYPERLINK l bookmark316 o Current Document 6.2研究的不足和展望59 HYPERLINK l b

30、ookmark326 o Current Document 致謝61 HYPERLINK l bookmark329 o Current Document 參考文獻(xiàn)62 HYPERLINK l bookmark378 o Current Document 攻讀碩士學(xué)位期間取得的成果65第一章緒論1.1研究工作的背景和意義數(shù)學(xué)作為人類現(xiàn)代科技文明的基礎(chǔ)，重要性不言而喻，對中小學(xué)生數(shù)學(xué)能力 的培養(yǎng)因此也成了國民教育的重要組成部分。在美國，數(shù)學(xué)問題的解決能力早在 80年代末就成為了學(xué)生成績考核的重要標(biāo)準(zhǔn)；在日本，學(xué)生數(shù)學(xué)能力的培養(yǎng)也在 千禧之年成為初等教育的工作重點(diǎn)。學(xué)生在學(xué)習(xí)過程中常會遇到一些共性

31、的問題, 這些問題會給學(xué)生帶來很大挫折，特別是在學(xué)生沒有得力的人在旁輔導(dǎo)的情況下。當(dāng)前，中國中小學(xué)教育仍是使用一名教師對多名學(xué)生的教育模式。學(xué)生在課 堂遇到的個例性問題很難得到針對性解答，因此除了國家主導(dǎo)的義務(wù)教育，在學(xué) 生和家長對高質(zhì)量教育需求的刺激下，課外輔導(dǎo)班這種教育形式應(yīng)需而生。但是 這種輔導(dǎo)班費(fèi)用較高，輔導(dǎo)水平良莠不齊，對很多家庭來說都是比不小的開銷。 在我國往往好的師資及其相關(guān)教育資源都在城市，而其他地方則相對落后。當(dāng)今 時代，互聯(lián)網(wǎng)發(fā)展迅速，作為互聯(lián)網(wǎng)發(fā)展下的新產(chǎn)物，“互聯(lián)網(wǎng)+”概念自從被提出 以后同，在教育行業(yè)也可以看到互聯(lián)網(wǎng)正在不斷滲透改造傳統(tǒng)的教育模式，相關(guān)的 教學(xué)輔助軟件

32、得到了師生的廣泛使用。我們從上述對我國教育行業(yè)存在的問題的分析可以看出，教學(xué)輔導(dǎo)軟件至少 需要具備以下三個功能：（1）能使每個學(xué)生得到針對性和自動化幫助；（2）無地 域限制性；（3）費(fèi)用成本較低，是絕大多數(shù)家庭能夠接受的費(fèi)用。目前，已問世 的教育輔助軟件很少能有滿足上述所有條件的，比如一些教輔系統(tǒng)僅僅是提供了 一些教學(xué)中的視頻資源，這種方式只是將內(nèi)容呈現(xiàn)給了學(xué)生，無法針對學(xué)生進(jìn)行 有效的個性化的學(xué)習(xí)；部分系統(tǒng)也僅僅是能做到對學(xué)生的客觀題如選擇題等進(jìn)行 判卷，但這類型的題目都是已事先存儲的，對于主觀題的判斷尚無法實(shí)現(xiàn)全自動 化囹，特別是那些使用自然語言描述的試題。對于這些試題，若想讓計(jì)算機(jī)自動解

33、 題5,首要突破的難關(guān)就是讓計(jì)算機(jī)讀懂題目6。自然語言處理是一個由多方向綜合而來的人工智能領(lǐng)域。隨著近些年來計(jì)算 機(jī)處理的速度增加，自然語言處理已經(jīng)在一些領(lǐng)域取得了很大的成果圓，比如搜索 引擎、語音輸入等四。在初等數(shù)學(xué)領(lǐng)域中，自然語言處理也可以依據(jù)其數(shù)學(xué)文本的 描述特點(diǎn)進(jìn)行處理。理解初數(shù)學(xué)描述語言的第一步是如何定義計(jì)算機(jī)的“理解”。從計(jì)算機(jī)的角度來 說，數(shù)學(xué)題意的理解著重于理解的數(shù)學(xué)表達(dá)形式是否能夠讓計(jì)算機(jī)進(jìn)行演繹推理。 而不是通常語言文本中所要求的詞法語法分析。其次要考慮的是如何去理解數(shù)學(xué) 題意。目前，對數(shù)學(xué)自動解題的體型主要集中在代數(shù)和應(yīng)用題上。已知的一些解 題系統(tǒng)的解題能力十分有限，原因

34、如下：（1）初等教育涵蓋的范圍比較大，大體 分為代數(shù)、幾何、函數(shù)。因此，解決小學(xué)的四則運(yùn)算的方法并不適用于初等數(shù)學(xué) 的邏輯推理題；（2）初等數(shù)學(xué)語言更加復(fù)雜：相比小學(xué)數(shù)學(xué)，初等數(shù)學(xué)知識點(diǎn)更 多，另外，隨著學(xué)生綜合素質(zhì)的提高，問題描述上，相應(yīng)的語法也變得復(fù)雜。初 等數(shù)學(xué)題意理解的核心就是如何處理上述各問題。初等數(shù)學(xué)問題求解還設(shè)計(jì)到一 個關(guān)鍵步驟，那就是問題分類。初等數(shù)學(xué)解題涉及的知識體系復(fù)雜，對于不同題 型，構(gòu)建不同的推理模型。所以，對于初等數(shù)學(xué)問題的自動分類在整個系統(tǒng)中 至關(guān)重要。1.2國內(nèi)外研究現(xiàn)狀初等數(shù)學(xué)的智能輔導(dǎo)系統(tǒng)問題大體上可以分解成兩大模塊，包括自然語言 處理，以及自動輔導(dǎo)解題系統(tǒng)。

35、自然語言處理是前提，知識表示是樞紐，自動輔 助解題是核心。1.2.1自然語言處理的國內(nèi)外研究現(xiàn)狀人工智能最初為了讓機(jī)器能更好的為人民工作而提出來的。在它被提出之后， 其中一個重要的工程應(yīng)用是讓人與計(jì)算機(jī)的溝通更加智能和高效。隨著各個領(lǐng)域 功能的逐漸細(xì)化，專門處理人類語言到計(jì)算機(jī)語言的研究領(lǐng)域越來越受到關(guān)注。 自然語言處理的早期，主要的處理技術(shù)是規(guī)則遍歷，這種方法處理起來比較機(jī)械， 但是對于簡單的業(yè)務(wù)也有一定的作用。近年，隨著計(jì)算機(jī)計(jì)算能力的不斷提升， 基于數(shù)理統(tǒng)計(jì)的機(jī)器學(xué)習(xí)方法成為主流?；谝?guī)則的自然語言處理方法，主要包括遞歸轉(zhuǎn)移網(wǎng)絡(luò)、有限狀態(tài)轉(zhuǎn)移網(wǎng)絡(luò)Ml、 一階謂詞演算、短語結(jié)構(gòu)語法、語義網(wǎng)

36、絡(luò)等相關(guān)技術(shù)1習(xí)。該方法的優(yōu)點(diǎn)是表達(dá)明 楚，但缺點(diǎn)也很明顯，需要研究者針對每個語言進(jìn)行大量相應(yīng)語言的學(xué)習(xí)研究， 效果往往還沒統(tǒng)計(jì)的經(jīng)驗(yàn)主義好。在上世紀(jì)50年代，基于統(tǒng)計(jì)的經(jīng)驗(yàn)主義在自然語言處理問題上不斷取得突破， 該方法主要使用數(shù)理統(tǒng)計(jì)的數(shù)學(xué)方法來處理自然語言處理16。特別是隨著計(jì)算機(jī) 性能的不斷提升和機(jī)器學(xué)習(xí)研究成果的涌現(xiàn)，該方法的應(yīng)用范圍和效果都取得了 不錯的進(jìn)展。該方法同樣存在問題，主要是效果主要取決與語料庫的大小質(zhì)量。 而語料的質(zhì)量標(biāo)準(zhǔn)卻還很難量化切。如果定義的標(biāo)簽種類過于多，則會造成信息 爆炸，嚴(yán)重影響效率，得到的模型泛化效果較差。如果標(biāo)簽定義種類過少，則可 能漏掉有用的信息。自然語

37、言處理需要解決的還有理解自然語言語義問題。在上述兩種語義解析 方法中，基于規(guī)則的語義分析無法包涵所有事件，也沒有很好的處理會引起歧義 的文本周。而且當(dāng)規(guī)則集合越來越大時，規(guī)則之間常會發(fā)生互溶性問題。基于統(tǒng) 計(jì)的方法需要大規(guī)模語料的支持，如何建立一個大規(guī)模有效的語料庫成為該方法 的重點(diǎn)。目前，國外的主要的自然語言處理平臺有GATE、Stanford NLP NLTKoGATE 全稱是 General Architecture for Text Engineering,在業(yè)界廣受歡迎，它 有個信息提取框架，被很多研究和教學(xué)自然語言處理的機(jī)構(gòu)所采用。該框架支持 自然語言處理的各個步驟，開發(fā)者只要按照

38、其規(guī)范完成相應(yīng)功能即可。Stanford NLP是美國斯坦福大學(xué)一個教授開發(fā)的自然語言處理技術(shù)集合平臺。在平臺上集 合了很多自然語言處理需要的工具，比如詞性分析，命名實(shí)體識別，共指消解系 統(tǒng)，情感分析，自舉模式學(xué)習(xí)等。NLTK是一套NLP工具集，提供用于擴(kuò)展的接 口，并且能將輸入的樣本數(shù)據(jù)進(jìn)行可視化展示。在國內(nèi)，比較出名的自然語言處理系統(tǒng)主要有ICTCLAS, LTP等。ICTCLAS 主要是使用層疊型馬爾科夫模型進(jìn)行中文分詞。LTP是由哈工大發(fā)布的另一個中 文分詞框架，包括語法分析，句法分析，語義分析。已經(jīng)成為國內(nèi)很受歡迎的處 理平臺。1.2.2智能教輔系統(tǒng)的國內(nèi)外研究現(xiàn)狀早在上世紀(jì)60年代

39、，就出現(xiàn)了能夠讀懂題意并解答問題的智能輔導(dǎo)軟件 STUDENTo該軟件可以理解使用英語描述的代數(shù)問題。它是使用謂詞關(guān)系模型來 表示自然語言文本，然后通過對關(guān)系模型的解析來求解問題。該軟件的主要流程 如下：(1)預(yù)先在電腦中定義一些常用的句式以及將復(fù)雜的句子變成簡單句子的 方法。(2)根據(jù)自定義的字典提取出關(guān)鍵詞(3)將所有的單句轉(zhuǎn)換為各自的關(guān)系 模型。由于該軟件存儲定義的句式比較少，所以很難覆蓋復(fù)雜的句式。盡管如此， 該軟件還是開創(chuàng)了智能輔導(dǎo)數(shù)學(xué)問題軟件的先河。進(jìn)入20世紀(jì)后，隨著人工智能的發(fā)展，各類機(jī)器人開始斬頭露角，具體到智 能教輔領(lǐng)域，各個國家紛紛從解題入手。只有解題，才能獲取智能輔導(dǎo)學(xué)

40、生的高 地。因此智能教輔技術(shù)的核心也就是解題。但是從題目角度來講，類別，難度等 因素使得對系統(tǒng)無法有統(tǒng)一的衡量標(biāo)準(zhǔn)。想要對比智能解題技術(shù)能力的高低，必 須要有共同的參照?，F(xiàn)在國際上比較認(rèn)同的就是各自國家的高考題目。也就是用 高考題來衡量機(jī)器人的解題水平，進(jìn)而側(cè)面反映智能教輔的能力。日本東京大學(xué)于2011年開始研發(fā)他們的高考機(jī)器人Torobo，該機(jī)器人的設(shè)計(jì) 目的是考入東京大學(xué)。但是這個機(jī)器人在數(shù)學(xué)這一科目上就遇到了瓶頸。通過每 一次的測試發(fā)現(xiàn)，其成績增長十分緩慢。究其原因，發(fā)現(xiàn)Torobo更多依賴的是對 現(xiàn)有題庫的學(xué)習(xí)，也就是說題庫中的題目越多，Torobo的解題能力可能會越高。 而對于系統(tǒng)未

41、見過的題目，顯得毫無辦法。最新的預(yù)測顯示，Torobo要想考上之 前所訂立的東京大學(xué)的目標(biāo)，需要學(xué)習(xí)的題目是百萬級的。這無論是費(fèi)用上還是 從數(shù)據(jù)上都是非常不現(xiàn)實(shí)的。在解題中，尤其是數(shù)學(xué)的解題中，主流研究方向都從傳統(tǒng)的規(guī)則方法轉(zhuǎn)向了 基于機(jī)器學(xué)習(xí)的方法上面。但是目前的研究結(jié)果表明因?yàn)轭}目的特征維度復(fù)雜， 很難訓(xùn)練出泛化能力好的模型。本系統(tǒng)作為將要參加高考數(shù)學(xué)的機(jī)器人，創(chuàng)新性的引入了推理思維，通過構(gòu) 建解題所需的知識圖譜，然后使用推理引擎在知識圖譜上面進(jìn)行推理計(jì)算US。 只有這樣，才能是系統(tǒng)面對新出現(xiàn)的題目依然有較高的解題能力。因?yàn)轭}目無論 如何變化，所涉及到的知識點(diǎn)都在知識圖譜上存在。1.3論文

42、組織結(jié)構(gòu)當(dāng)前，現(xiàn)有的初等數(shù)學(xué)題意理解技術(shù)更多是針對簡單代數(shù)題和計(jì)算題I。對 于數(shù)學(xué)文本中描述的其它問題的理解效果十分有限。同時，對于初等數(shù)學(xué)問題進(jìn) 行分類的各式效果也差強(qiáng)人意。本文主要是圍繞初等數(shù)學(xué)問題建立實(shí)體抽取模型, 獲得數(shù)學(xué)實(shí)體。然后在命名實(shí)體模型的基礎(chǔ)上，對數(shù)學(xué)問題進(jìn)行分類。本文主要是利用現(xiàn)有的自然語言處理方法來對初等數(shù)學(xué)問題進(jìn)行題意的理解 以及進(jìn)一步的分類。首先從初等數(shù)學(xué)問題出發(fā)，分析了初等數(shù)學(xué)語言的描述特點(diǎn)。 構(gòu)建了一套基于數(shù)學(xué)信息的實(shí)體模型，討論了基于實(shí)體模型的初等數(shù)學(xué)指代的可 行性，并且基于實(shí)體模型構(gòu)建了初等數(shù)學(xué)指代體系。其次介紹了基于支持向量機(jī) 對初等數(shù)學(xué)問題分類的重點(diǎn)應(yīng)用。

43、在對初等數(shù)學(xué)問題的分類研究中，使用高考題 為重點(diǎn)研究對象，提出了一套基于初等數(shù)學(xué)問題的特征提取方法。然后在現(xiàn)有特 征的基礎(chǔ)上，對初等數(shù)學(xué)題進(jìn)行特征向量化。最后將向量化的初等數(shù)學(xué)訓(xùn)練集進(jìn) 行模型訓(xùn)練，最后得到初等數(shù)學(xué)問題分類模型。本論文共分為六個部分：第1章，緒論。介紹了本課題的研究背景及意義。對自然語言處理以及智能 教輔系統(tǒng)二者的國內(nèi)外研究現(xiàn)狀做了簡要分析介紹；第2章，相關(guān)理論與技術(shù)。重點(diǎn)對本文所涉及的自然語言處理理論進(jìn)行了分 析，還介紹了自然語言處理的常用方法。對一些統(tǒng)計(jì)學(xué)所涉及的常用模型也進(jìn)行 了重點(diǎn)分析，同時介紹了支持向量機(jī)的相關(guān)理論。第3章，初等數(shù)學(xué)問題分類預(yù)處理模型的構(gòu)建。重點(diǎn)介紹了

44、初等數(shù)學(xué)語言與 普通語言的不同，然后針對性的提出數(shù)學(xué)實(shí)體表示方法，最后通過自然語言處理 方法對其進(jìn)行分詞，詞性標(biāo)注，命名實(shí)體標(biāo)注。第4章，基于SVM的初等數(shù)學(xué)問題的分類。通過對命名實(shí)體標(biāo)注過后的初等 數(shù)學(xué)問題進(jìn)行特征提取，進(jìn)而進(jìn)行文本向量化。通過對向量化的文本進(jìn)行支持向 量機(jī)的訓(xùn)練，得到分類模型。第5章，初等數(shù)學(xué)問題自動分類系統(tǒng)的實(shí)現(xiàn)。分析了該系統(tǒng)的整體架構(gòu)，對 其中的各模塊的關(guān)鍵步驟進(jìn)行說明。然后通過兩套高考題目進(jìn)行測試命名實(shí)體的 標(biāo)注，以及題型分類。第6章，總結(jié)與展望。分析和總結(jié)本論文的不足，對研究過程中所遇到的問 題進(jìn)行深入剖析，并對后續(xù)的研究做出進(jìn)一步的規(guī)劃。第二章相關(guān)理論與技術(shù)2.1

45、自然語言理解概述自然語言理解是人工智能與計(jì)算機(jī)科學(xué)與技術(shù)在處理語言問題中的一個重要 應(yīng)用方向A】，目的在于使計(jì)算機(jī)能夠理解人類語言中所包含的某些重要信息。在 最近的幾十年里，由于自然語言理解的相關(guān)理論和技術(shù)的飛速發(fā)展，其廣泛應(yīng)用 在語音識別、信息檢索、機(jī)器翻譯文本挖掘等多個領(lǐng)域2324。自然語言理解和處 理不僅是一門社會需求十分巨大的應(yīng)用性技術(shù)，也是一門具有非常具有科學(xué)研究 意義的自然科學(xué)。2.1.1自然語言處理處理的基本方法在初等數(shù)學(xué)問題解題系統(tǒng)中，無論解什么類型的題目，對于題意的理解是第 一步，題意理解的就是把人類理解的數(shù)學(xué)題目轉(zhuǎn)換成計(jì)算機(jī)系統(tǒng)能夠識別的知識 表示。自然語言處理的一些基本步

46、驟主要有分詞，詞性標(biāo)注和命名實(shí)體識別。分詞。處理中文自然語言問題的首要任務(wù)是分詞，一個好的分詞系統(tǒng)很大程 度上影響了語義理解的正確性2習(xí)。詞是能夠獨(dú)立使用的最小語言單位，而很多孤 立語和黏著語言（如漢語，日語，藏語等）與西方屈折語存在較大的不同，西方 屈折語中每個詞語之間存在空格，天然的將詞語分割開來，而中文文本中沒有類 似的標(biāo)識符。因此，分詞問題是計(jì)算機(jī)在處理孤立語及其黏著語文本時首要面臨 的基礎(chǔ)工作。近幾年，由早期的基于規(guī)則的分詞系統(tǒng)已經(jīng)逐漸演變?yōu)榛诮y(tǒng)計(jì)學(xué) 分詞方式，并且分詞的準(zhǔn)確性更高M(jìn)l。分詞的效果也在不斷的提高。在通用語言 中的分詞已經(jīng)達(dá)到了相當(dāng)高的水平，但是在細(xì)化的各專業(yè)學(xué)科領(lǐng)域

47、還有待加強(qiáng)， 依然存在很多的挑戰(zhàn)27。詞性標(biāo)注。自然語言中每個詞都有其相對應(yīng)的詞性，而詞性標(biāo)注則是給文本 中的每個詞語標(biāo)上其對應(yīng)詞語的屬性2引，例如：“中國”在經(jīng)過詞性標(biāo)注則會標(biāo)識 為名詞。詞性標(biāo)注是詞的一種泛化，在處理絕大部分自語語言問題的時候都需要 進(jìn)行詞性標(biāo)注，因此詞性標(biāo)注是處理自然語言問題一項(xiàng)必不可少的關(guān)鍵步驟。但 是漢語的詞性標(biāo)注同樣面臨一些棘手的問題，比如常用詞兼類現(xiàn)象嚴(yán)重，詞性的 歸類本身帶有主觀性。命名實(shí)體識別。命名實(shí)體識別是預(yù)先將中文表達(dá)中的每個詞語定義為多個不 同的類別2刃，如景點(diǎn)名，人名，電子產(chǎn)品名等等。命名實(shí)體識別是自然語言進(jìn)行 承載信息的重要單位，是對文本進(jìn)行信息處理

48、一項(xiàng)基礎(chǔ)性研究PS。命名實(shí)體識別 是機(jī)器翻譯、問答系統(tǒng)、句法分析、信息提取、等應(yīng)用領(lǐng)域中一項(xiàng)關(guān)鍵的技術(shù)， 它極大的推動了自然語言處理由理論走向工程的進(jìn)程。一般來說，命名實(shí)體識別 的主要是識別文本中的預(yù)先定義的實(shí)體類。和早期的分詞系統(tǒng)一樣早期的命名實(shí) 體識別同樣也是基于規(guī)則實(shí)現(xiàn)的，這種方法實(shí)現(xiàn)代價比較高，同時可移植性也受 到了限制。現(xiàn)階段，由于大規(guī)模語料庫的日漸完善，基于語料庫的統(tǒng)計(jì)方法正日 益成為自然語言處理的主要方式。Apache ThriftThrift采用的服務(wù)端和客戶端模式，其采用接口描述語言定義并且來創(chuàng)建服務(wù), 具有自己內(nèi)部定義的傳輸數(shù)據(jù)標(biāo)準(zhǔn)和和相應(yīng)的傳輸協(xié)議規(guī)范o Thrift通過

49、IDL腳本 對傳輸數(shù)據(jù)的業(yè)務(wù)邏輯和傳輸數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)根據(jù)不同的運(yùn)行環(huán)境來構(gòu)建出其對 應(yīng)的代碼，圖2-1顯示了 Thiift的整體架構(gòu)，可以看到，Thrift其中包含一個完整 的棧結(jié)構(gòu)主要用于服務(wù)端和客戶端的構(gòu)建。Thrift的傳輸協(xié)議主要有兩種，分別是 文本(text)和二進(jìn)制(binary)的傳輸協(xié)議。而一般情況下采用的是二進(jìn)制的傳輸協(xié)議， 相比文本傳輸協(xié)議而言，其傳輸效率更高，要求的帶寬更低。但是有時候?yàn)榱隧?xiàng) 目中某些特殊的需求也會使用文本類型的協(xié)議。從服務(wù)模型方面看，它支持單線 程服務(wù)模型以及多線程的服務(wù)模型。從數(shù)據(jù)傳輸方式的角度看，Thrift支持阻塞式 數(shù)據(jù)傳輸和非阻塞式數(shù)據(jù)傳輸?shù)膬?/p>

50、種數(shù)據(jù)方式。圖2-1 Thrift的整體架構(gòu)2.1.3中文自然語言處理工具自然語言處理工具有很多，比如NLTK WordNet還有HanLP, LTP等，NLTK 是用來構(gòu)建處理人類各種語言的Python程序包。WordNet重點(diǎn)在英語的詞匯處理 上面能力強(qiáng)大。這里重點(diǎn)介紹的是LTP,它是由哈工大社會計(jì)算與信息檢索研究 中心所開發(fā)的，在國內(nèi)外自然語言處理方面有極高的影響力。LTP平臺的總體結(jié) 構(gòu)如圖2-2所示。DLL APIWeb Service分析結(jié)果可視化詞法分析句法分析語義分析依存句法 分析語義角色基于XML的應(yīng)用程序接口基于XML的語言學(xué)知識資源和語料庫資源數(shù)據(jù)操作傳輸與共享圖2-2語

51、言技術(shù)平臺架構(gòu)LTP支持處理的基礎(chǔ)技術(shù)有：詞性標(biāo)注。LTP采用的是基于最大嫡馬爾科夫模型進(jìn)行詞性標(biāo)注，這里支 持的詞性類別是名詞、動詞、形容詞、副詞等。依存句法分析。通過分辨語言組成單位之間的相互依賴存在關(guān)系來表明其 相對應(yīng)的句法結(jié)構(gòu)。簡單的說，依存句法分析就是識別句子中的“主謂賓”、“定狀 補(bǔ)”等語法結(jié)構(gòu)，并且對句式中的各成分之間的關(guān)系進(jìn)行分析。解碼方法采用的是 基于柱狀搜索。語義角色標(biāo)注。語義角色標(biāo)注是一種輕量級的語義法分析技術(shù)，多用于標(biāo) 注句子中某些短語為給定謂詞的論元（語義角色），如主動發(fā)起、被動接受、事件 時間和發(fā)生地點(diǎn)等。推動了機(jī)器人答疑系統(tǒng)、重要信息提取和機(jī)器翻譯等相關(guān)應(yīng) 用的發(fā)

52、展。除此之外，ETP在自然語言處理方面還具有下述優(yōu)勢：LTP提供非常全面的自然語言處理工具包。常規(guī)的處理方法全部涵蓋。ETP能夠返回比較直觀的結(jié)果，方便分析，也方便后續(xù)的系統(tǒng)對其進(jìn)一步 的解析。LTP在處理“國內(nèi)專家學(xué)者40余人參加研討會”的文本的輸出結(jié)果如圖2-3 所示。解析結(jié)果可使用XML的語言表示XML是一種簡單的可擴(kuò)展的標(biāo)記性語 言，多用存儲數(shù)據(jù)，且與平臺無關(guān)，方便跨平臺調(diào)用。如圖2-4所示為LTP對 “國內(nèi)專家學(xué)者40余人參加研討會”進(jìn)行處理的結(jié)果顯示。在數(shù)據(jù)獲取上可以基于HTTP協(xié)議進(jìn)行傳輸。這樣的優(yōu)點(diǎn)是支持跨平臺、跨語言編程并且不需要配置高性能的機(jī)器。*國內(nèi)專宗字者RootnlA

53、0QuanFeat .珊寸會專冢學(xué)者-Root圖2-3語言技術(shù)平臺可視化結(jié)果圖 word id=r* cont=專pos=nr, ne=rOH parent=,2H relate=r,ATT semparent=,2n semrelate=nFeat7 word id=H2 cont=學(xué)者pos=n ne-0r, parent=5 relateATT semparent=,6H semrelate=nAgtr7 word id* cont二”研討會” pos二”n” ne二”0” parent二”6” relate=,VOBu semparent=,6, semrelate=,Cont,7 圖

54、2-4語言技術(shù)平臺處理后的XML結(jié)構(gòu)2.2語言模型2.2.1隱馬爾可夫模型在隱馬爾科夫模型(HMM)中，模型的每個時態(tài)的狀態(tài)是不可見的，只能得 到模型的觀察序列。狀態(tài)的轉(zhuǎn)移概率以及由每個狀態(tài)到可觀察結(jié)果的概率，我 們可以根據(jù)觀察序列和這些轉(zhuǎn)移概率得到概率最大的狀態(tài)序列Hl。HMM可記為一個五元組：2= (S, K, A, B,勿)(2-1)其中，S為狀態(tài)的有限集合，K是輸出符號的有限集合，兀，A和8分別是 初始狀態(tài)的概率，狀態(tài)轉(zhuǎn)移概率和符號發(fā)射概率。NP(X,Y)=RP(y,l 扁).P(x,ly,)(2-2)t=它的模型流程表示如圖2-5所示。圖2-5隱馬爾可夫概率圖模型隱馬爾科夫模型在自然

55、語言處理領(lǐng)域中巳經(jīng)被反復(fù)驗(yàn)證是一種成功的統(tǒng)計(jì)學(xué) 概率模型El。其訓(xùn)練速率快，效率高等眾多優(yōu)點(diǎn)在進(jìn)行序列處理的時候，優(yōu)勢非 常明顯，比如說建模簡單，模型參數(shù)意義明確等，并且相關(guān)的應(yīng)用實(shí)現(xiàn)算法也已 非常的成熟。屬于一種在準(zhǔn)確地匹配時候變數(shù)據(jù)的技術(shù)，除了在上述中的各優(yōu)勢 外，HMM在生物信息學(xué)信號分析、語音模式(如人臉、步態(tài)、表情等)識別、系 統(tǒng)故障診斷排查等的研究中運(yùn)用廣泛，并且取得了豐碩的成果。隱馬爾可夫模型同樣有它的局限性，比如說隱馬爾可夫模型研究的前提是建 立在各個元素間是互相條件獨(dú)立的，但是從工程角度講，這種情況幾乎不可能出 現(xiàn)。2.2.2最大炳模型關(guān)于最大嫡模型，一種最直觀理解就是，當(dāng)我

56、們需要對一個未知分布的隨機(jī) 事件的概率預(yù)測時，對未知的部分不做任何主觀性的假設(shè)W,同時我們的預(yù)測結(jié) 果必須滿足全部已知的條件。從另一角度講，在給定一組事實(shí)的條件下，選擇符 合所有事實(shí)，且在其他方面盡可能均勻的模型35。在這種情況下，要想使預(yù)測的 風(fēng)險降到最低，就必須使未知信息的概率分布最均勻WE。因?yàn)榇藭r整個概率的 分布的信息嫡為最大，這就是最大嫡模型的由來。關(guān)于條件分布p(v I X )的炳為：H(P)= 一旗 P(y, x) logP(y I x) =P(x)P(y I x) log P(y I x)( 2_3)x,y首先對定義的全部約束條件，必須滿足，然后在此基礎(chǔ)上讓信息嫡最大即可， 最

57、大嫡模型P*為:*八*p =arg 吁芝 H(尸)或尸 =argmin-Z/(P) (2_4)綜上，可以得出形式化后的最大嫡模型定義：在給定數(shù)據(jù)集的條件下，定義函數(shù)特征fi(x, y), i = l,2.,n ,根據(jù)經(jīng) 驗(yàn)分布得到滿足約束集的模型集合C ：min P(x)P(y I x) log P(y I x)S.r. Ep(Q = E(Q(2-5)p(貝x) = ly2.2.3條件隨機(jī)場模型條件隨機(jī)場的基本定義是，已知在給定隨機(jī)變量X條件下，隨機(jī)變量丫的馬 爾科夫隨機(jī)場/I。條件隨機(jī)場更多用于對序列進(jìn)行標(biāo)注等問題I。這時，在條件 概率模型P(yix)中，丫是輸出變量，表示這是個已知的標(biāo)記序

58、列，x是輸入變 量，表示是系統(tǒng)需要標(biāo)注的觀察序列4。在模型訓(xùn)練學(xué)習(xí)時，使用訓(xùn)練數(shù)據(jù)集并 利用極大似然估計(jì)或者正則化的極大似然估計(jì)來得到所要的條件概率模P(VIX)。 在最后的預(yù)測解碼時，對于一組給定的輸入序列X來預(yù)測求出條件概率p(ylx)最 大的輸出序列(上標(biāo))Jo定義：設(shè)G = (V,E)是一個概率無向圖，公式中的U表示圖中所有的點(diǎn)的集合， 代表無向圖中全部的無向邊的集合。在給定的X的條件下，如果每個隨機(jī)變量匕 都服從馬爾科夫特性，艮F（匕 IX,匕，林）=F（匕 IX,匕，u）（2-6）對任意節(jié)點(diǎn)u成立，其中，w v表本的是和u兩結(jié)點(diǎn)在圖G =（V,E）中是相 鄰的兩結(jié)點(diǎn)的邊，uv表示節(jié)

59、點(diǎn)以外的所有節(jié)點(diǎn)集。那么（x,y）就構(gòu)成一個條 件隨機(jī)場。條件隨機(jī)場與隱馬爾可夫模型不同，隱馬爾可夫模型是在給定的當(dāng)前狀態(tài)的 條件下，來對下一個狀態(tài)進(jìn)行定義。通常最常使用的是線性條件隨機(jī)場（Linear-chain CRFs）,它是鏈結(jié)構(gòu)的條件 隨機(jī)場模型，其狀態(tài)轉(zhuǎn)換圖如下圖2-6表示：X=X.,Xi.1,Xi圖2-6線性條件隨機(jī)場的概率圖模型令X = 玉,工2，.,氣表示輸入的觀察序列，Y = 外2，.，乂表示對應(yīng)的輸出 有限狀態(tài)的集合，則該序列的概率定義為：P（riX,2）ccexp 旗i，*,X，0 + De（m，X，0 （2-7）k Jk其中，。一i，y，X,，）一一對應(yīng)的觀察序列的標(biāo)

60、記位i-l與標(biāo)記位i間的轉(zhuǎn)移特 征函數(shù)，sy,X,i）觀察序列本身的i位置狀態(tài)特征函數(shù)，也就是說f和s都是 表示不同類型特征的函數(shù)。將設(shè)有Y個轉(zhuǎn)移特征，同時，設(shè)有K2個狀態(tài)特征，記為：JiE，）-（,*）,k = Ki+l;l = l,2,.,K2（2-8）并且記n寫（K，X）=NOtJ,XJ）（2-9）i=l則可得(丫成況)=無fxp(；.(匕 X)(2-10)其中Z(X)=#p0F,(匕X)(5)j條件隨機(jī)場作為一種常規(guī)的概率圖模型，有很多顯著的特點(diǎn)，比如它能夠表 達(dá)遠(yuǎn)距離的特性依賴等，而且能夠得到全局的最優(yōu)結(jié)果。條件隨機(jī)場相比于隱馬 爾科夫模型，不要求各個元素間互相條件獨(dú)立，經(jīng)實(shí)驗(yàn)測試，