數(shù)學(xué)公式識(shí)別技術(shù)研究

1、莎z #丄兇擁諮妙妙e 了“產(chǎn)八 v fv wu.northwestern polytechnical university ming decollege本科畢業(yè)設(shè)計(jì)論文題目數(shù)學(xué)公式識(shí)別技術(shù)研究專(zhuān)業(yè)名稱(chēng)學(xué)生姓名指導(dǎo)教師 畢業(yè)時(shí)間畢業(yè)震任務(wù)書(shū)一、題目數(shù)學(xué)公式識(shí)別技術(shù)研究二、指導(dǎo)思想和目的要求1、利用已有的專(zhuān)業(yè)知識(shí)，培養(yǎng)學(xué)生解決實(shí)際工程問(wèn)題的能力;2、鍛煉學(xué)生的科研工作能力和培養(yǎng)學(xué)生的團(tuán)結(jié)合作攻關(guān)能力;三、主要技術(shù)指標(biāo)1. 研究數(shù)學(xué)公式識(shí)別算法；2. 完成演示程序u!進(jìn)度和要求第01周第02周:英文翻譯;第03周第04周:學(xué)習(xí)圖像處理與模式識(shí)別算法;第05周第10周: 研究公式識(shí)別算法;第11周第

2、16周:設(shè)計(jì)演示程序;第17周第18周:撰寫(xiě)畢業(yè)設(shè)計(jì)論文，論文答辯;五、主要參考書(shū)及參考資料koutroumbas3machinepublicat ions2012markov models for pattern recogni t ion: from theory to appl icationsgernot a. fink, springer; 2nd ed. 20142 pattern recognition sergios theodoridis 、 konstantinos、academic press; 4 edition 2008learning in action paper

3、back peter harrington， manning學(xué)生 指導(dǎo)教師系主任錯(cuò)誤！未指定書(shū)簽。隨著計(jì)算機(jī)技術(shù)的發(fā)展和信息技術(shù)與課程的整合，信息化教育越來(lái)越受到人 們的關(guān)注。多媒體教學(xué)的使用,迫切需要將傳統(tǒng)的鍵盤(pán)輸入轉(zhuǎn)化為手寫(xiě)輸入以提 高課堂的教學(xué)效率。但由于手寫(xiě)數(shù)學(xué)公式本身的特點(diǎn)，如數(shù)學(xué)符號(hào)的相似字符較 多，而r些比較復(fù)雜的數(shù)學(xué)公式存在著上/下標(biāo)的定位問(wèn)題，導(dǎo)致了手寫(xiě)數(shù)學(xué)公 式的識(shí)別會(huì)相對(duì)困難一些。一個(gè)手寫(xiě)的數(shù)學(xué)公式識(shí)別系統(tǒng),總體上分為字符識(shí)別 和公式的結(jié)構(gòu)分析兩個(gè)主要的步驟。其中，字符識(shí)別是公式識(shí)別的基礎(chǔ)。字符識(shí) 別分類(lèi)器的設(shè)計(jì)直接影響到識(shí)別系統(tǒng)的識(shí)別率。而結(jié)構(gòu)分析是公式識(shí)別的關(guān)鍵。 本

4、文第一章介紹了數(shù)學(xué)公式的研究背景，國(guó)內(nèi)外的研究現(xiàn)狀以及相關(guān)的一些商業(yè) 化的產(chǎn)品，介紹了數(shù)學(xué)公式識(shí)別的一般步驟以及本文所做的工作。介紹了一般數(shù) 學(xué)符號(hào)的預(yù)處理和特征提取，以及木文所提出的預(yù)處理方法和邊界特征提取方法 和變換進(jìn)行高維空間的降維，和一些常用的字符識(shí)別的一些方法，提出了組合分 類(lèi)器的思想，以及木文所用的最小距離分類(lèi)器和改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法對(duì)數(shù)學(xué)符號(hào) 的識(shí)別，目的是在能夠識(shí)別數(shù)學(xué)公式的基礎(chǔ)上,增加了學(xué)習(xí)的功能，以便今后識(shí)別 能力的擴(kuò)展。然后對(duì)數(shù)學(xué)公式識(shí)別的結(jié)構(gòu)分析和數(shù)學(xué)公式的輸出做了闡述。主要 介紹了 £|己如何設(shè)計(jì)并實(shí)現(xiàn)卬刷體數(shù)學(xué)公式識(shí)別系統(tǒng)，提出了口己的設(shè)計(jì)思路與 模塊劃分并

5、編寫(xiě)程序?qū)崿F(xiàn)。木文對(duì)公式分析與識(shí)別部分做了較深入的研究，主要從以下幾個(gè)方面進(jìn)行了 改進(jìn)：在公式字符識(shí)別階段，針對(duì)公式自身的特點(diǎn)，捉出了一種基于連通域搜索的 公式字符切分算法，并通過(guò)公式字符識(shí)別結(jié)果的反饋信息對(duì)粘連字符實(shí)行切分， 以改善字符分割的質(zhì)量，在實(shí)驗(yàn)中采用該切分算法取得了比較好的效果。在公式結(jié)構(gòu)分析階段，以公式字符的識(shí)別結(jié)果為基礎(chǔ)，根據(jù)字符的結(jié)構(gòu)布局, 采用“自頂向下”和“自底向上”思想相結(jié)合的策略對(duì)數(shù)學(xué)公式進(jìn)行結(jié)構(gòu)分析。構(gòu)建數(shù)學(xué)公式的符號(hào)關(guān)系樹(shù)。關(guān)鍵詞：公式識(shí)別，二維語(yǔ)法，數(shù)學(xué)公式識(shí)別，結(jié)構(gòu)分析abstractwith the integration of computer techn

6、ology and the development of information technology and curriculum, information technology education has been paid more and more attention. the use of multimedia teaching, the urgent need to the traditional keyboard input into the handwriting input to improve the efficiency of classroom teaching. bu

7、t because the handwriting characteristics of mathematical formula itself, such as the similar characters more mathematical symbols, and some of the more complex mathematical formulas exist problems / subscript position, led to the recognition of handwritten mathematical formula will be harde匚 a hand

8、written mathematical formula recognition system, two main steps in the analysis structure is divided into character recognition and the general formula. among them, character recognition is the basis of formula recognition. design of character recognition classifier directly affect the recognition s

9、ystem. the structure analysis is the key formula recognition. in this paper, the first chapter introduces the research background of handwritten mathematical formula, the domestic and international research status and some business related to the mathematical formula recognition, introduces the gene

10、ral steps and the work done in this pape匚 the pretreatment and feature extraction, the general mathematical symbols, as well as the pretreatment methods and boundary features in high dimension space of dimension reduction method of extraction and transformation in this paper, introduces some common

11、methods of character recognition, the classifier, and identification of neural network bp algorithm used in this paper, the minimum distance classifier and the improvement of mathematical symbols, the purpose is to recognize mathematical formula, increases the learning function, extended for future

12、identification ability. then the output structure analysis and mathematical formula of mathematical formula recognition.mainly introduced how to design and realize the handwritten mathematical formula recognition system, and proposes a new design and module partition their and programming.this paper

13、 makes a research on the formula analysis and recognition part, mainly from the following several aspects of the improvement:in the stage of formula character recognition, according to the characteristics of the proposed formula, a formula for character segmentation algorithm based on connected doma

14、in search, and the formula of the character recognition result feedback is applied to segment the character, in order to improve quality of character segmentation, the segmentation algorithm used in the experiment has achieved fairly good results.in the formula structure analysis, to identify the fo

15、rmula character based on the results, according to the structure character, the htop-downh and hbottom-uph thought of the method of combining mathematical formula structure analysis. constructing mathematical formula for the symbol relation tree.keywords: formula recognition, two-dimensional grammar

16、, mathematical formula recognition, structure analysis目錄摘要iiabstract iv第1章前言11. 1課題研究的背景和意義11. 2國(guó)內(nèi)外公式識(shí)別研究狀況和進(jìn)展21. 3數(shù)學(xué)公式識(shí)別技術(shù)所要解決的問(wèn)題以及采用的方法31. 4數(shù)學(xué)公式識(shí)別技術(shù)研究取得的成果及意義41.4.1符號(hào)識(shí)別的方法41.4.2符號(hào)分割51.4.3分隔符的識(shí)別5第2章數(shù)學(xué)公式識(shí)別系統(tǒng)概況62.1數(shù)學(xué)公式的特點(diǎn)62.1.1數(shù)學(xué)公式屮的符號(hào)62.1.2數(shù)學(xué)公式的運(yùn)算符號(hào)62. 13含義的不確定性72. 2數(shù)學(xué)公式識(shí)別系統(tǒng)的組成結(jié)構(gòu)72. 3數(shù)學(xué)公式識(shí)別的難點(diǎn)9第3章 數(shù)

17、學(xué)公式識(shí)別的相關(guān)技術(shù)103. 1圖像預(yù)處理103. 1. 1圖像的二值化處理103. 1.2圖像的平滑去噪113. 1.3圖像的細(xì)化113. 2常用的幾種字符切分方法113. 2. 1基于結(jié)構(gòu)分析的切分123.2.2以識(shí)別為基礎(chǔ)的切分123. 3粘連字符的切分143. 3. 1基于外部特征的粘連字符切分143. 4數(shù)學(xué)公式識(shí)別中常見(jiàn)的錯(cuò)誤15第4章公式分析與識(shí)別164. 1公式字符識(shí)別164. 1. 1預(yù)處理164. 1.2公式字符的切分174. 1.3公式符號(hào)歸一化234. 14公式字符的識(shí)別244. 2公式結(jié)構(gòu)分析254. 2. 1結(jié)構(gòu)分析預(yù)處理254. 2. 2結(jié)構(gòu)信息預(yù)處理264. 2

18、. 3公式結(jié)構(gòu)分析算法的實(shí)現(xiàn)304.2.4公式結(jié)構(gòu)分析結(jié)果31第5章總結(jié)335. 1論文總結(jié)335. 2下一步工作33致謝35參考文獻(xiàn)36畢業(yè)設(shè)計(jì)小結(jié)391.1課題研究的背景和意義隨著人類(lèi)社會(huì)信息化程度的口益提高，將卬刷文檔轉(zhuǎn)化成相應(yīng)的電了文檔成 為一個(gè)亟待解決的問(wèn)題。利用ocr （optical character recognition,光學(xué)字符 識(shí)別）技術(shù)將印刷文檔輸入計(jì)算機(jī)，是口前公認(rèn)的信息數(shù)字化的高校手段。經(jīng)過(guò) 兒十年的發(fā)展，ocr技術(shù)已經(jīng)進(jìn)入了實(shí)用階段，而且其速度和準(zhǔn)確率也達(dá)到了令 人滿(mǎn)意的程度。近年來(lái)，在ocr技術(shù)的基礎(chǔ)上，結(jié)合字體識(shí)別、表格識(shí)別技術(shù)， 已經(jīng)初步實(shí)現(xiàn)了原文版面的重

19、構(gòu)與再現(xiàn)，這樣就可以方便的編輯和排版。但冃前 這類(lèi)文檔識(shí)別系統(tǒng)（ocr軟件）對(duì)數(shù)學(xué)公式束手無(wú)策，只能按照?qǐng)D像進(jìn)行保存這 樣就不能對(duì)文章的公式進(jìn)行編輯也不能依據(jù)公式內(nèi)容對(duì)文章進(jìn)行檢索。絕大多數(shù) 科技文獻(xiàn)的核心內(nèi)容就是數(shù)學(xué)公式，失去了公式的文章也毫無(wú)意義。所以印刷文 檔屮數(shù)淫公式的處理在ocr系統(tǒng)屮占舉足輕重的地位。木課題研究的是數(shù)學(xué)表達(dá)式中符號(hào)的識(shí)別，木課題研究的實(shí)際意義可以分為 以下幾個(gè)方面：（1）數(shù)學(xué)公式的檢索，提高文獻(xiàn)的科技性。在科技高速發(fā)展的現(xiàn)代，許多科技文獻(xiàn)中包含大量的公式，它們有的和文檔種的 文字混雜在一起（內(nèi)嵌），冇的公式獨(dú)占一行，由于目前沒(méi)冇一種ocr能夠正確 的識(shí)別文獻(xiàn)中的數(shù)學(xué)

20、公式，這些公式都是以圖片的形式存在的。當(dāng)人們對(duì)科技文 獻(xiàn)數(shù)字化時(shí)，其中的格式只能按照?qǐng)D像格式進(jìn)行保存，而不能加以識(shí)別分析。這 樣就不能依據(jù)公式對(duì)文章進(jìn)行檢索，而有的文章的核心內(nèi)容就是這些公式，失去 了公式的文章可能毫無(wú)意義，因而降低了文章的科技性和應(yīng)用性。（2）使公式的輸入自動(dòng)化，解決手動(dòng)輸入的低效率問(wèn)題。隨著計(jì)算機(jī)的普及，在各領(lǐng)域內(nèi)有越來(lái)越多的人耍借助于就計(jì)算機(jī)來(lái)解決科學(xué)上 問(wèn)題，當(dāng)人們想驗(yàn)證或重用某些數(shù)學(xué)公式時(shí)，只能使用專(zhuān)門(mén)的計(jì)算機(jī)軟件（如 matlab）或數(shù)學(xué)排版軟件（如公式編輯器）按照其語(yǔ)法規(guī)則重新輸入，即使是使 用可視化的數(shù)學(xué)公式軟件輸入速度也不可能得到太大的提高。由于數(shù)學(xué)表達(dá)式處

21、了英文字符和阿拉伯?dāng)?shù)字外，還包括許多特殊的字符和希臘字母，使其輸入過(guò)程 復(fù)雜繁瑣，既耗吋又費(fèi)力，且速度慢。長(zhǎng)期以來(lái)計(jì)算機(jī)數(shù)據(jù)輸入因其速度慢、誤 碼率高而成為計(jì)算機(jī)應(yīng)用中的“瓶頸”。（3）節(jié)省空間，提高網(wǎng)絡(luò)傳輸速度。隨著互聯(lián)網(wǎng)的廣泛的使用，人們傳遞信息的方式有原來(lái)的郵寄信件的形式轉(zhuǎn) 向現(xiàn)在的電子郵件，省時(shí)又省力。而含冇大量公式的文獻(xiàn)在網(wǎng)絡(luò)的傳輸中，由于 公式的圖像格式占空間極大，影響傳輸速率。正是這些因素引起人們的注意開(kāi)始 著手這一課題的研究。1.2國(guó)內(nèi)外公式識(shí)別研究狀況和進(jìn)展公式識(shí)別問(wèn)題于1968年由anderson在他的博士論文屮首次提出，但直到九 十年代才成為研究的熱點(diǎn)。數(shù)學(xué)公式識(shí)別技術(shù)發(fā)

22、展如此緩慢，與數(shù)學(xué)公式自身特 點(diǎn)給公式識(shí)別所帶來(lái)的困難是分不開(kāi)的。首先，數(shù)學(xué)公式屮所包含的符號(hào)種類(lèi)特 別多，如英文字母、希臘字母、運(yùn)算符號(hào)等；而且根據(jù)這些符號(hào)所起作用的不同, 在尺寸、位置、形態(tài)上很大差異，例如上下標(biāo)的尺寸遠(yuǎn)小于一般符號(hào)，而功能符 號(hào)（如h）尺寸會(huì)比一般符號(hào)好很多；構(gòu)成函數(shù)的字符多為正方形，而表示變量 的字符多為斜體。另外公式符號(hào)筆畫(huà)少、相似性高、不易區(qū)分。因此公式符號(hào)的 切分與識(shí)別遠(yuǎn)比簡(jiǎn)單的一維分布的普通文本復(fù)雜的多。到目前為止，已有一些文章專(zhuān)門(mén)探討數(shù)學(xué)公式處理某一方面的基木方法，如: 公式含義的分析，公式的定位，符號(hào)的切分識(shí)別等。也冇一些文章不但提出了基 木處理方法，還構(gòu)造

23、了比較完整實(shí)驗(yàn)系統(tǒng)或針對(duì)特定情況處理的實(shí)際系統(tǒng)，但還 沒(méi)有成型的產(chǎn)品問(wèn)世。多數(shù)論文在討論中沿用了傳統(tǒng)的切分和識(shí)別方法，沒(méi)有考 慮到公式的特殊情況。在為數(shù)不多的涉及公式符號(hào)切分和識(shí)別的方法屮，切分環(huán) 節(jié)多是利用投影或間隙特性，而識(shí)別方法仍采用傳統(tǒng)的模板匹配法、結(jié)構(gòu)分析法 和神經(jīng)網(wǎng)絡(luò)法等。okamoto和miac21提出的系統(tǒng)首先運(yùn)用了遞歸目標(biāo)結(jié)構(gòu)分析法 來(lái)分割字母和符號(hào)，同吋建立關(guān)系樹(shù)，然后用傳統(tǒng)的模板匹配法識(shí)別符號(hào)。lee 提出了一個(gè)識(shí)別印刷體數(shù)學(xué)公式的系統(tǒng)。首先運(yùn)用傳統(tǒng)的統(tǒng)計(jì)方法來(lái)識(shí)別單個(gè)字 母和符號(hào)，然后用面向過(guò)程的方法將二維結(jié)構(gòu)的公式轉(zhuǎn)換為一維結(jié)構(gòu)的字符串。 lee和wang提出了既能識(shí)

24、別文木又能識(shí)別數(shù)學(xué)公式的系統(tǒng)，在理解公式的同吋 應(yīng)用特征提取技術(shù)和最近鄰算法來(lái)識(shí)別算法來(lái)識(shí)別字符，建立符號(hào)關(guān)系樹(shù)來(lái)描述 表達(dá)式。此外，還捉出了用于糾正識(shí)別錯(cuò)誤的一些啟發(fā)式規(guī)則。fateman設(shè)計(jì)了 一個(gè)典型的系統(tǒng)，該系統(tǒng)能成功將的排好版的數(shù)學(xué)公式轉(zhuǎn)換成lisp表達(dá)式。對(duì) 識(shí)別部分采用了不同的方法，如計(jì)算用的hausdorff距離和符號(hào)灰度值的計(jì)算。對(duì) 結(jié)構(gòu)分析部分而言，運(yùn)用了一個(gè)簡(jiǎn)單的遞歸降序分割法。該實(shí)驗(yàn)表明最初的由上 而下的設(shè)計(jì)面臨噪聲數(shù)據(jù)時(shí)應(yīng)用很有限，因此，一個(gè)更加結(jié)構(gòu)化的由上至下的方 法替代它獲得了高水平的性能。國(guó)內(nèi)對(duì)數(shù)學(xué)公式識(shí)別的研究尚處于起步階段，冃而還沒(méi)有成形的卬刷體公式 識(shí)別的

25、系統(tǒng)問(wèn)世，主要研究機(jī)構(gòu)冇南開(kāi)人學(xué)機(jī)器智能研究所，哈爾濱工程人學(xué)自 動(dòng)化學(xué)院，沈陽(yáng)工業(yè)大學(xué)和大連理工大學(xué)等等，已有40多篇相關(guān)的論文發(fā)表。綜上所述，卬刷體數(shù)學(xué)公式的識(shí)別是當(dāng)前ocr識(shí)別技術(shù)研究的難點(diǎn)，距離實(shí) 用述冇很大的距離。1.3數(shù)學(xué)公式識(shí)別技術(shù)所要解決的問(wèn)題以及采用的方法數(shù)學(xué)表達(dá)式的識(shí)別研究到今天，經(jīng)過(guò)研究者們的努力，已經(jīng)取得了一定的成 績(jī)。但是，隨著技術(shù)的進(jìn)步以及人們認(rèn)識(shí)的深入，數(shù)學(xué)表達(dá)式的識(shí)別述存在許多 問(wèn)題，等待研究者們更進(jìn)一步的研究。根據(jù)現(xiàn)階段的研究情況，簡(jiǎn)耍提出以下幾 點(diǎn)。模糊問(wèn)題-一當(dāng)表達(dá)式?jīng)]有被正確打印或書(shū)寫(xiě)吋，模糊將會(huì)出現(xiàn)，有研究者 建議用上下文信息來(lái)解決這一問(wèn)題，可提供多個(gè)

26、答案來(lái)參考，這問(wèn)題的研究仍處 于初期，冇待更進(jìn)一步的研究。在過(guò)去，一些研究者在沒(méi)有任何實(shí)驗(yàn)結(jié)杲報(bào)告的情況卞，將他們所強(qiáng)調(diào)的純 理論性的問(wèn)題公布出來(lái)。而對(duì)于那些進(jìn)行了實(shí)驗(yàn)的人，他們的性能評(píng)估方法粗略 的可分成以下三個(gè)主要類(lèi)別。一是依據(jù)測(cè)試結(jié)果是正確的識(shí)別還是錯(cuò)誤的識(shí)別來(lái) 分類(lèi)，二是依據(jù)被測(cè)試表達(dá)式的符號(hào)的識(shí)別速率進(jìn)行分類(lèi)，三是對(duì)一個(gè)或兒個(gè)書(shū) 寫(xiě)著工整寫(xiě)出來(lái)的典型表達(dá)式進(jìn)行識(shí)別，結(jié)呆所冇的表達(dá)式都能夠被正確的識(shí)別 出來(lái)，這一實(shí)驗(yàn)的目的是顯示這一方法至少對(duì)那些典型表達(dá)式有用。數(shù)學(xué)表達(dá)式是由可能非常大的一組字母和字符組成，并且不同學(xué)科的表達(dá)式 的符號(hào)具冇其專(zhuān)業(yè)的語(yǔ)言特性，這使得現(xiàn)冇的系統(tǒng)不得不利用_些

27、符號(hào)組和語(yǔ)法 限制條件，當(dāng)一個(gè)識(shí)別系統(tǒng)被應(yīng)用于其他領(lǐng)域時(shí)，就需要進(jìn)行語(yǔ)法修改，甚至有 時(shí)候需要重新設(shè)計(jì)一個(gè)系統(tǒng)，這就對(duì)研究者們提出了一個(gè)強(qiáng)烈要求，設(shè)計(jì)一個(gè)通 用性比較強(qiáng)的系統(tǒng)來(lái)進(jìn)行數(shù)學(xué)表達(dá)式的識(shí)別?，F(xiàn)階段數(shù)學(xué)表達(dá)式的應(yīng)用主要是在程序的編輯上，也許不久的將來(lái)，基于筆 寫(xiě)計(jì)算機(jī)程序和智能輔助系統(tǒng)將被研究用于學(xué)生的數(shù)學(xué)學(xué)習(xí)。這i切都需要研究 者們付出更多的努力來(lái)實(shí)現(xiàn)它們。伴隨著基于筆寫(xiě)計(jì)算技術(shù)近來(lái)的高漲和光學(xué)掃描技術(shù)的發(fā)展，我們己經(jīng)擁有 了將數(shù)學(xué)表達(dá)式輸入到計(jì)算機(jī)屮的所冇必備的碩件設(shè)備，關(guān)鍵的問(wèn)題是數(shù)學(xué)表達(dá) 式的口動(dòng)識(shí)別，即更重要的在于軟件方面了。數(shù)學(xué)表達(dá)式有兩個(gè)主要階段組成， 即符號(hào)識(shí)別和結(jié)構(gòu)識(shí)別

28、。在本文中我們依據(jù)識(shí)別過(guò)程的每個(gè)階段介紹了許多方 法，在符合識(shí)別小使用了模板匹配、結(jié)構(gòu)、神經(jīng)網(wǎng)絡(luò)、統(tǒng)計(jì)學(xué)等方法，在結(jié)構(gòu)分 析中大部分是采用語(yǔ)法規(guī)則依據(jù)上下文來(lái)分析數(shù)學(xué)表達(dá)式。顯然，數(shù)學(xué)表達(dá)式識(shí) 別屮述冇一些問(wèn)題等待人們一些問(wèn)題去解決，隨著我們將數(shù)學(xué)表達(dá)式應(yīng)用到實(shí)際 中后，會(huì)有更多的應(yīng)用性問(wèn)題顯現(xiàn)出來(lái)，那時(shí)就需要研究者們?nèi)ソ鉀Q更多復(fù)雜的 難題，去完善數(shù)學(xué)表達(dá)式的識(shí)別系統(tǒng)。1.4數(shù)學(xué)公式識(shí)別技術(shù)研究取得的成果及意義141符號(hào)識(shí)別的方法公式中字符的識(shí)別，即識(shí)別系統(tǒng)的低級(jí)識(shí)別是要分割并識(shí)別出數(shù)學(xué)公式中的 所有符號(hào)。就具體的分割方法就不做研究，在數(shù)學(xué)表達(dá)式屮存在一些比較特殊的 符號(hào)，在隨后簡(jiǎn)單的分析一下

29、。一般系統(tǒng)都采用連通體的方法來(lái)進(jìn)行字符分割的。 要對(duì)以下三種情況進(jìn)行連通體合并：字符在垂直方向可分為多個(gè)連通體，例如“i、j、二”等；字符在水平方向可分為多個(gè)連通體，例如“、>>”等；大連通體包含小聯(lián)通體，例如“o”。經(jīng)過(guò)三十多年的研究，許多現(xiàn)存符號(hào)識(shí)別技術(shù)己經(jīng)能夠獲得相當(dāng)令人滿(mǎn)意的 結(jié)果。但是這些識(shí)別技術(shù)屮大多數(shù)技術(shù)只能識(shí)別獨(dú)立的符號(hào)，而在數(shù)學(xué)公式屮存 在復(fù)合的字符，為了止確識(shí)別數(shù)學(xué)公式首先必須將符號(hào)準(zhǔn)確的分割出來(lái)，因此有 符號(hào)的識(shí)別符號(hào)的分割兩大階段。1.4.2符號(hào)分割符號(hào)的分割首先采用公式定位技術(shù)，確定公式的位置，然后對(duì)公式中的毎一 個(gè)符號(hào)根據(jù)分割技術(shù)進(jìn)行分割，符號(hào)分割最基本

30、的方法是將所冇物理結(jié)構(gòu)獨(dú)立的 部分分成一組，而像i、j、二這樣的符號(hào)有多組分構(gòu)成，我們必須將相關(guān)聯(lián)的部 分連起來(lái)以正確的識(shí)別這類(lèi)單個(gè)的字符和字母，還有如、類(lèi)符號(hào)，在它們的冇效 區(qū)域內(nèi)通常包含其他的字符，即子表達(dá)式?，F(xiàn)存的比較突出的分割方法有以下幾 種：（1）兩個(gè)分類(lèi)模塊結(jié)合法，采用數(shù)據(jù)驅(qū)動(dòng)分類(lèi)模塊建立給定數(shù)學(xué)表達(dá)式的 關(guān)系樹(shù)，根據(jù)x軸和y軸上的對(duì)象可以決定如何將數(shù)據(jù)分類(lèi)，然后用知識(shí)驅(qū)動(dòng)分 類(lèi)模塊嘗試修正出數(shù)據(jù)模塊建立的關(guān)系樹(shù)，試著將不同的部分聯(lián)系到一起。（2）通過(guò)水平和垂直結(jié)構(gòu)分割，將給定數(shù)學(xué)表達(dá)式分割為各組分，對(duì)含有 多個(gè)組成部分的符號(hào)要進(jìn)行額外的檢查。（3）用符號(hào)的bounding box

31、es法將符號(hào)從數(shù)學(xué)表達(dá)式屮表達(dá)出來(lái)，又陳遞 歸x-y分割法，其中x為水平分割，y為垂直分割。1.4.3分隔符的識(shí)別符號(hào)被正確的分割后，我們擁有了一系列作用值得對(duì)象，但尚不知道符號(hào) 在數(shù)學(xué)公式中的準(zhǔn)確意義。理論上我們可以在他們被設(shè)計(jì)相應(yīng)的數(shù)據(jù)類(lèi)別時(shí)應(yīng)用 符號(hào)識(shí)別方法進(jìn)行識(shí)別。經(jīng)過(guò)多年的研究，不同的方法被用于不同的符號(hào)識(shí)別， 現(xiàn)在被研究的主要的識(shí)別方法有模板匹配法、結(jié)構(gòu)分析法、神經(jīng)網(wǎng)絡(luò)法以及其它 的統(tǒng)計(jì)方法。第2章數(shù)學(xué)公式識(shí)別系統(tǒng)概況數(shù)學(xué)公式是絕大多數(shù)科技文獻(xiàn)的重要組成組成部分，由于包含許多鍵盤(pán)無(wú)法 直接輸入的特殊符號(hào)，手工輸入困難，因此，研究公式自動(dòng)輸入技術(shù)勢(shì)在必行。 公式口動(dòng)分析與識(shí)別技術(shù)研究

32、的主要困難來(lái)門(mén)于公式的二維歐套結(jié)構(gòu)和所包含 符號(hào)含義的不確定性。2.1數(shù)學(xué)公式的特點(diǎn)在文檔中，數(shù)學(xué)公式在結(jié)構(gòu)上區(qū)別于一般文字的主要特點(diǎn)是:將大小不一定 完全相同的符號(hào)按一定的規(guī)則排列成一個(gè)二維層次結(jié)構(gòu)。主要體現(xiàn)在以下幾個(gè)方 面：2丄1數(shù)學(xué)公式中的符號(hào)數(shù)淫公式符號(hào)可分為基本符號(hào)和特殊符號(hào)，如綁定符號(hào)、界定符號(hào)、運(yùn)算符 號(hào)等，它們有口己的組織準(zhǔn)則，如加號(hào)必須有2個(gè)操作數(shù)等。對(duì)于基本的符號(hào)一般有以下形成規(guī)則：（1）大小相同且相鄰的數(shù)字應(yīng)該是一 個(gè)整體，相鄰但大小不同的就不能成為一個(gè)整體，如5浙就不能作為一個(gè)整體。（2）兒個(gè)相鄰的字母有可能形成一個(gè)整體，如函數(shù)名（tan ,sin）等，但有時(shí) 也代表2

33、個(gè)變量的乘積，如cd,它表示c*d。（3）除了字母和數(shù)字的其它符號(hào)應(yīng) 該獨(dú)自形成一個(gè)整體。對(duì)于特殊的符號(hào)一般有以下3種：（1）綁定關(guān)系符號(hào)，如：分?jǐn)?shù)線、等， 它們同作用域屮子表達(dá)式綁定在起，比如：屮綁定兩個(gè)子表達(dá)式3、i+e （2） 界定符號(hào)，如括號(hào)它將界定符號(hào)間的內(nèi)容看作一個(gè)完整的部分，它具有更高的運(yùn) 算優(yōu)先權(quán)。（3）運(yùn)算符號(hào)，如：+、-、等，它們都約束著各自的操作數(shù)。 2.1.2數(shù)學(xué)公式的運(yùn)算符號(hào)數(shù)學(xué)公式的運(yùn)算符號(hào)包括顯式運(yùn)算符號(hào)和隱式運(yùn)算符號(hào)。顯式運(yùn)算符號(hào)就是 通常的運(yùn)算符號(hào)，可以根據(jù)它們的運(yùn)算優(yōu)先權(quán)規(guī)則來(lái)確定運(yùn)算關(guān)系。如果公式不 是線性的。如c+b/d,可以根據(jù)運(yùn)算符號(hào)的作用域來(lái)確定它

34、們的運(yùn)算關(guān)系。隱式 運(yùn)算符號(hào)曲相對(duì)位置來(lái)確定運(yùn)算關(guān)系，而沒(méi)有明顯的運(yùn)算符號(hào)，如上標(biāo)、下標(biāo)式 的乘號(hào)。例如cd表示變量c和變量d相乘：在2a'p a是2的上標(biāo)，而在b3»p 3 是b的下標(biāo)。2.1.3含義的不確定性同樣的符號(hào)，在不同的位置，其表示的含義可能不相同。例如，i員i點(diǎn)可能表 示乘，可能表示小數(shù)點(diǎn)。在一些數(shù)學(xué)公式圖像還可能是噪聲等。比如dy在公式 中dy表示積分變?cè)?而在公cd+dy中表示d和y相乘。2.2數(shù)學(xué)公式識(shí)別系統(tǒng)的組成結(jié)構(gòu)科技文檔不僅包含普通文字、圖像、圖形，還包含大量的數(shù)學(xué)公式。數(shù)學(xué)公 式識(shí)別系統(tǒng)的構(gòu)建經(jīng)過(guò)三個(gè)步驟：公式提取、公式分析與識(shí)別和公式的重構(gòu)。印

35、刷體數(shù)學(xué)公式識(shí)別過(guò)程如圖2. 1所示。其中橢圓的部分是公式分析和識(shí)別部分， 也是整個(gè)識(shí)別系統(tǒng)的核心部分。何1）掃描輸入圖像：原始圖像通過(guò)光電掃描儀、數(shù)碼攝像機(jī)、ccd器件或電 子傳真機(jī)等獲得二維圖像信息。2）圖像預(yù)處理：包括對(duì)原始圖像去噪、傾斜校正或各種濾波處理。3）數(shù)學(xué)公式的提?。簲?shù)學(xué)公式與普通文字區(qū)別很大，在科技文獻(xiàn)中，在很多 情況都是文本和數(shù)學(xué)公式混合在一起的，耍想真正處理數(shù)學(xué)公式，就必須 從原始的圖像中找出數(shù)學(xué)公式所在的區(qū)域，以便以后使用專(zhuān)門(mén)的方法處理， 所以，識(shí)別前需要從文檔中找出數(shù)學(xué)公式，即頁(yè)面分割，這是公式識(shí)別的第 一步。4）公式分析與識(shí)別：一般分為兩個(gè)階段：字符識(shí)別和結(jié)構(gòu)識(shí)別。

36、在字符識(shí)別 階段，主耍是采用恰當(dāng)?shù)乃惴▽?duì)捉取出的數(shù)學(xué)公式進(jìn)行精確的切分，從切 分得到的單個(gè)公式字符圖像上提取統(tǒng)計(jì)特征和結(jié)構(gòu)特征，包括為此而做的細(xì) 化，歸一化等步驟，并從學(xué)習(xí)得到的特征庫(kù)找到與待識(shí)公式字符相似度最高 的字符類(lèi)；在公式結(jié)構(gòu)分析階段，主要是在正確的切割并識(shí)別公式的每個(gè)符 號(hào)的基礎(chǔ)上，采用某種最佳策略分析符號(hào)之間的關(guān)系并進(jìn)行公式符號(hào)組合， 進(jìn)而確定公式符號(hào)間空間關(guān)系、符號(hào)間邏輯關(guān)系，達(dá)到理解公式含義的目的, 并將公式的分析結(jié)果用關(guān)系樹(shù)或分析樹(shù)的形式表現(xiàn)出來(lái)。公式分析與識(shí)別部 分是整個(gè)卬刷體公式識(shí)別系統(tǒng)的關(guān)鍵環(huán)節(jié)，它直接影響整個(gè)識(shí)別系統(tǒng)的性能 和效率。5）數(shù)學(xué)公式的重構(gòu)：利用前面兩部分的

37、分析、識(shí)別結(jié)果，生成通用的、公式 的原貌的電子文檔，以便進(jìn)一步排版、儲(chǔ)存等，從而避免了手工輸入的這一 繁重勞動(dòng)。冋m/圖像預(yù)處理數(shù)學(xué)公式的提取 數(shù)學(xué)公式的切分公式字符特征的提取公式字符的識(shí)別數(shù)學(xué)公式的結(jié)構(gòu)分析圖2.1印刷體數(shù)學(xué)公式識(shí)別的簡(jiǎn)單過(guò)程公式識(shí)別模塊是整個(gè)數(shù)學(xué)公式識(shí)別系統(tǒng)的關(guān)鍵環(huán)節(jié)。由于公式屮包含數(shù)字、 英文字母、希臘字母、運(yùn)算符號(hào)等多種類(lèi)型的字符和符號(hào)，大小不一，正斜體變 化頻繁，且在空間上呈二維嵌套分布，使得傳統(tǒng)的、比較成熟的ocr核心對(duì)公式 符號(hào)的切分準(zhǔn)確率和識(shí)別率都很低。因此，有必耍針對(duì)公式的特點(diǎn)，研究專(zhuān)門(mén)的 公式符號(hào)切分和識(shí)別算法。公式符號(hào)的識(shí)別性能直接影響結(jié)構(gòu)分析和重構(gòu)等環(huán)節(jié)

38、 的正常進(jìn)行，并最終影響公式識(shí)別系統(tǒng)的整體指標(biāo)，鑒于公式符號(hào)的獨(dú)特之處， 研究準(zhǔn)確性高，適應(yīng)公式特點(diǎn)的字符切分與識(shí)別方法，是十分重要的。因此，它 是數(shù)學(xué)公式識(shí)別系統(tǒng)的核心。2. 3數(shù)學(xué)公式識(shí)別的難點(diǎn)數(shù)學(xué)公式識(shí)別技術(shù)如此緩慢，是與數(shù)學(xué)公式本身的特點(diǎn)分不開(kāi)的。在數(shù)學(xué) 公式屮，字符和符號(hào)是按二維嵌套結(jié)構(gòu)分布的，并冃字符大小不一樣，這使得 公式字符定位和識(shí)別相當(dāng)困難，總的來(lái)說(shuō)，數(shù)學(xué)公式識(shí)別存在著以卜幾個(gè)難點(diǎn)： 公式中字符出現(xiàn)的位置是隨機(jī)的，沒(méi)冇一定的規(guī)律，冇吋只能根據(jù)上下文來(lái) 判斷一個(gè)字符是否為公式字符的一部分，這給公式小字符定位帶來(lái)很大的困 難。 一些公式屮的字符存在粘連現(xiàn)彖，嚴(yán)重彩響了切分和識(shí)別。

39、公式中一些字符有很多部件組成，寬窄不一，給切分造成了不便。本文對(duì)公式分析和識(shí)別做了較深入的研究。在公式字符識(shí)別階段，提出了一 種基于連通域搜索的公式字符切分算法，并利用基于識(shí)別的切分方法，通過(guò)公式 字符識(shí)別結(jié)果的反饋信息對(duì)粘連公式字符實(shí)行再切分，進(jìn)而實(shí)現(xiàn)了公式字符的高 效切分和識(shí)別；在公式結(jié)構(gòu)分析階段，以公式字符的識(shí)別結(jié)呆為基礎(chǔ)，根據(jù)公式 字符的結(jié)構(gòu)布局，采用“自頂向下”與“ 口底向上”相結(jié)合的策略對(duì)數(shù)學(xué)公式進(jìn) 行結(jié)構(gòu)分析，構(gòu)建數(shù)學(xué)公式的識(shí)別系統(tǒng)，以備公式重構(gòu)使用。第3章數(shù)學(xué)公式識(shí)別的相關(guān)技術(shù)公式識(shí)別與分析是公式識(shí)別系統(tǒng)的必要環(huán)節(jié)，公式字符切分的好壞與公式結(jié) 構(gòu)分析的準(zhǔn)確與否直接彩響數(shù)淫公式的

40、識(shí)別效果，因此，選擇一種恰當(dāng)?shù)墓阶?符切分算法和最佳的公式結(jié)構(gòu)分析策略是止確識(shí)別數(shù)學(xué)公式的關(guān)鍵。本章主耍介 紹了圖像處理和幾種常用的字符切分技術(shù)和傳統(tǒng)的公式結(jié)構(gòu)分析策略。3.1圖像預(yù)處理圖像處理，包括圖像增強(qiáng)、圖像復(fù)原，圖像分割、邊緣檢測(cè)等，它的輸入是 圖像，輸岀是經(jīng)過(guò)處理的圖像。在自動(dòng)處理數(shù)學(xué)公式系統(tǒng)中，因現(xiàn)在只研究印刷 體的識(shí)別，故只需要進(jìn)行圖像處理屮的圖像的分割和邊緣檢測(cè)即可。圖像識(shí)別，它是模式識(shí)別的一個(gè)分支，輸入是圖像，輸出是圖像的分類(lèi)和結(jié) 構(gòu)描述。圖像理解，它屈于人工智能領(lǐng)域。它的輸入是圖像，輸出是對(duì)圖像的理 解和描述。3.1.1圖像的二值化處理預(yù)處理是字符識(shí)別的重要環(huán)節(jié)之一，它把

41、原始圖像轉(zhuǎn)換成識(shí)別器所能接受的 表達(dá)形式(二值化)，消除一些與類(lèi)別無(wú)關(guān)的因素(尺寸與位置的固定化)。我們 在電腦屏幕上看到的圖像都是由許多的點(diǎn)構(gòu)成的，這些點(diǎn)稱(chēng)z為像素，是用掃描 的方法進(jìn)行顯示的，圖像掃描后以一個(gè)二維的像素矩陣點(diǎn)陣形式存儲(chǔ)在計(jì)算機(jī)內(nèi) 部，就稱(chēng)之為位圖。現(xiàn)今人多數(shù)掃描儀在進(jìn)行二值圖像掃描時(shí)，都是通過(guò)一個(gè)固 定的閾值將圖像的灰度值做二值化處理，如公式所示：f (x, y)其屮k稱(chēng)為二值化閾值，當(dāng)釆樣點(diǎn)(x, y)的灰度值f(x, y)大于或等于k值， f(x, y)取,小于k時(shí),取0,表示背景部分。3.1.2圖像的平滑去噪數(shù)字圖像在生產(chǎn)過(guò)程中，曲于數(shù)字化設(shè)備等原因經(jīng)常受到噪音污染，

42、因此對(duì) 數(shù)字圖像應(yīng)進(jìn)行去噪處理。傳統(tǒng)的去噪?yún)鸱椒ㄊ腔诟道锶~變換的信號(hào)去噪?yún)鸱?法，可以使得信號(hào)和噪音的重疊部分盡可能小，這樣就可以在頻域通過(guò)時(shí)，不需 改變?yōu)V波方法而將信號(hào)和噪音分隔開(kāi)。但如果信號(hào)和噪音的頻域重合時(shí)，用這種 方法進(jìn)行去噪處理的效果較茅。這一缺陷使得眾多的學(xué)者們開(kāi)始尋找更好的解決 方法。小波變化的粗至精的多分辨分析能力和在吋域和頻域突出信號(hào)的局部特征 的能力在圖像處理、計(jì)算機(jī)視覺(jué)、模式識(shí)別等領(lǐng)域表現(xiàn)了巨大的前景，許多學(xué)者 研究了將小波變化用于噪聲的去除。去噪聲的方法如下：(1) 計(jì)算離散小波變換。(2) 在小波變化域?qū)π〔ㄏ禂?shù)進(jìn)行閾值處理。(3) 計(jì)算逆離散小波變換。3. 1.3

43、圖像的細(xì)化在計(jì)算機(jī)模式識(shí)別屮，為了方便圖像特征的抽取，一般都先進(jìn)行圖像的細(xì)化 處理。圖像細(xì)化就是把二值圖像中具有一定寬度的細(xì)條狀區(qū)域變成一條薄線，細(xì) 化處理能去除字符上不影響連通性的輪廓像索，獲得單位寬度的中心骨架。圖像 細(xì)化大大壓縮了原始圖像的數(shù)據(jù)量，并能保持其形狀的基木拓?fù)浣Y(jié)構(gòu)不變，為字 符識(shí)別中的輪廓跟蹤及特征抽取等后續(xù)工作奠定了基礎(chǔ)。細(xì)化應(yīng)滿(mǎn)足以下條件：(1) 將條形區(qū)域變成一條薄線；(2) 薄線應(yīng)位于原條形區(qū)域的中心；(3) 薄線應(yīng)保持原圖像的拓?fù)涮匦浴?.2常用的幾種字符切分方法字符切分是將版面分析得到的文本塊切分成單字圖像，以利于ocr的處理。 字符切分近幾年來(lái)一直是ocr領(lǐng)域中

44、的關(guān)鍵問(wèn)題。較高的單子識(shí)別正確率與無(wú)限 制印刷體或手寫(xiě)體文木的識(shí)別正確率之間的差距正說(shuō)明了這一點(diǎn)。而且口前在文 字識(shí)別領(lǐng)域所取得大部分進(jìn)展都可歸功于文字切分水平的提高。同樣，數(shù)學(xué)公式 的識(shí)別也受限于公式字符的切分。傳統(tǒng)的字符切分主要有三種基本方式：其一，是基于基本結(jié)構(gòu)的切分，即從 圖像特征中尋找字符切分規(guī)則，該方法主要是根據(jù)字符的形狀和特征結(jié)構(gòu);其二, 是基于整體策略的切分，即系統(tǒng)將字符串作為一個(gè)整體進(jìn)行詞識(shí)別而不是字識(shí) 別，在這種方法加入了上下文關(guān)系等先驗(yàn)知識(shí)；其三，是以識(shí)別為基礎(chǔ)的切分， 通過(guò)識(shí)別反饋判斷切分結(jié)果是否正確。3.2.1基于結(jié)構(gòu)分析的切分這類(lèi)方法主要是利用了漢字是方塊字的幾何特

45、性，如每個(gè)漢字的寬和高都基 木相同，字與字之間的間距也大致相同等，將文木分割成多個(gè)有意義的單元。lu 等人提出了兩種基于字符結(jié)構(gòu)分析的垂直投影切分算法。（1）第一種切分算法主耍依據(jù)字寬和零值劃分的空白間隙，采用投影的方 法切分字符。該算法的缺點(diǎn)就是，在字符粘連的情況卜顯得無(wú)能無(wú)力。（2）另一種切分方法是周期字間距檢測(cè)法（gdp）o首先，該方法利用多行 垂直投影部分去檢測(cè)待切分區(qū)域屮最合適的偏移和傾斜度的大小，傾斜度的估計(jì) 是基于垂直投影的平均字間距長(zhǎng)。如果這兩種方法的估計(jì)超過(guò)了經(jīng)驗(yàn)閾值，或估 計(jì)的傾斜度大小遠(yuǎn)大于平均字行高度，則字體并不是固定大小，需用其他方法， 一般在具體確定切分參數(shù)時(shí)，根據(jù)

46、漢字形狀和結(jié)構(gòu)特點(diǎn)，主觀的加入一些邏輯判 斷。該切分方法的缺點(diǎn)是：（1）分析漢字形狀和結(jié)構(gòu)特點(diǎn)時(shí)工作量較大，且比較 繁瑣，例如從語(yǔ)言文字學(xué)的角度出發(fā)對(duì)漢字結(jié)構(gòu)進(jìn)行了分析。（2）對(duì)漢字的形狀、 結(jié)構(gòu)的分類(lèi)沒(méi)有確切的最優(yōu)解，例如目前尚無(wú)“部件”概念的明確定義；（3）描 述規(guī)則比較復(fù)雜，其至需要專(zhuān)家系統(tǒng)；（4）不易擴(kuò)展功能，如增加字體或漢字、 數(shù)學(xué)公式、英文混排時(shí)，原規(guī)則需耍較大的改變。最主耍是數(shù)學(xué)公式中字符大小 不一，用基于結(jié)構(gòu)分析的方法對(duì)公式字符進(jìn)行切分，誤切率很高，比如根號(hào)表達(dá) 式屮的公式符號(hào)就不能正確切分，所以基于結(jié)構(gòu)分析的切分方法對(duì)數(shù)學(xué)公式的適 應(yīng)性欠佳。3.2.2以識(shí)別為基礎(chǔ)的切分這類(lèi)方

47、法的基本原理是以識(shí)別信度作為切分標(biāo)準(zhǔn)，利用一個(gè)大小可變的滑 動(dòng)窗口來(lái)得到若干候選切分序列，每一序列作為一個(gè)整體用其識(shí)別結(jié)果進(jìn)行評(píng) 價(jià)。評(píng)價(jià)簡(jiǎn)單的歸于各個(gè)切分塊的識(shí)別情況，也可以基于詞匯和語(yǔ)法、詞義等上 下文知識(shí)。在這類(lèi)方法中，字符切分是字符識(shí)別的副產(chǎn)品，而字符識(shí)別本身可由 上卜文分析得到的?；谧R(shí)別的切分方法主要涉及到以卜技術(shù)：滑動(dòng)窗口方法、 閉環(huán)切分識(shí)別和多假設(shè)方式。（1）kovalesky對(duì)滑動(dòng)窗口法做了如下描述：用一個(gè)固定窗口沿一行字符圖像 移動(dòng)，把落入的窗口的部分送入識(shí)別器，若與原型相匹配，滿(mǎn)足某些識(shí)別條件， 則予以承認(rèn)。不過(guò)kovalesky也指岀，在實(shí)踐中仍會(huì)岀現(xiàn)一些差錯(cuò)，這是由于

48、兩 個(gè)相鄰字符的一部分落入窗口時(shí)可能會(huì)與第三個(gè)字符相似，例如相鄰的字符“0”和“c”可能組成一個(gè)字符。為此kovalesky建議要將正行字符一起考慮。（2）casey和nany提出了一個(gè)閉環(huán)切分識(shí)別方法，只有一個(gè)字行能被分割成一 組，可識(shí)別字符時(shí)才接受這個(gè)句子。它們的方法可用圖3-1表示。窗口參數(shù)圖3-1閉壞切分識(shí)別方法示意圖該算法以整行字符作為輸入，曲一個(gè)切分監(jiān)督器ss把窗口初始化為整個(gè)圖 像的寬度，如果圖像中只有一個(gè)字符，則分類(lèi)器一開(kāi)始就認(rèn)出該字符。如果分類(lèi) 器拒識(shí)，則從右側(cè)開(kāi)始縮小閱讀窗口，直至分類(lèi)器能夠有效識(shí)別窗口內(nèi)圖像或者 窗口變得太小。如果分類(lèi)器成功識(shí)別字符序列,ss記錄該識(shí)別效果

49、，標(biāo)記窗口右 側(cè)為截舍點(diǎn)，復(fù)位閱讀窗，左側(cè)對(duì)應(yīng)丁截舍點(diǎn)，而右側(cè)仍然是原圖像末尾。重復(fù) 上述操作直到整個(gè)切分過(guò)程結(jié)束。（3）多假設(shè)識(shí)別方法包括以下兩個(gè)步驟；首先，產(chǎn)生若干假設(shè)切分。然后, 選擇最佳假設(shè)，這種最佳假設(shè)就成為最佳切分路徑，從而得到切分結(jié)果。由于這種基于識(shí)別的切分技術(shù)可以容忍遠(yuǎn)大運(yùn)算量及其具冇上述兩個(gè)特點(diǎn)， 因此它能夠比其它兩種切分方法更適于手寫(xiě)漢字的切分。(4) 該方法首先用一個(gè)切分算法對(duì)整個(gè)圖像進(jìn)行“最大可能”的切分，不 考率是否將字符切錯(cuò)或切碎，這樣就可以將這些切分點(diǎn)進(jìn)行組合，得到一系列的 候選切分方案，然后對(duì)切分后的字符進(jìn)行識(shí)別，從識(shí)別的結(jié)果屮選取一個(gè)最好的 切分方案作為切分結(jié)

50、果。在文獻(xiàn)中有一個(gè)這種方法的簡(jiǎn)單例子，它由一個(gè)切分算 法得到大量的候選切分點(diǎn)，然后將相鄰的候選切分點(diǎn)進(jìn)行組合，并對(duì)切分后的字 符進(jìn)行識(shí)別，如果識(shí)別結(jié)果得到較高的可信度，就將組合后的切分點(diǎn)作為切分最 佳切分方案。曲于該算法可以通過(guò)大量的先驗(yàn)知識(shí)來(lái)進(jìn)行切分指導(dǎo)和判斷，所以 它在具有一定先驗(yàn)知識(shí)的領(lǐng)域應(yīng)用前景很廣。3.3粘連字符的切分出于印刷質(zhì)量或其它問(wèn)題，在包含數(shù)學(xué)公式的印刷文檔中粘連的字符。為了 正確識(shí)別這些字符，必須對(duì)粘連字符進(jìn)行切分。粘連字符的切分技術(shù)可以別分為 兩類(lèi)：基于外部特征的方法和基于識(shí)別的方法。3.3.1基于外部特征的粘連字符切分這類(lèi)方法是通過(guò)統(tǒng)計(jì)字符吊圖像每一列的黑像素在水平方向

51、上的投影，查找 連續(xù)字符之間的空白區(qū)域和粘連區(qū)域，確定分割點(diǎn)的位置。其特點(diǎn)是速度比較快, 實(shí)現(xiàn)較簡(jiǎn)單，但該方法存在以下不足：(1) 對(duì)粘連程度的限制比較苛刻只能適應(yīng)簡(jiǎn)單粘連的情況。(2) 即使對(duì)簡(jiǎn)單粘連的情況，也要求粘連區(qū)在垂直方向不宜過(guò)寬，至少應(yīng)明 顯小于字符的筆畫(huà)寬度才能定位，針對(duì)該點(diǎn)的不足，文獻(xiàn)通過(guò)腐蝕粘連字符的 外輪廓來(lái)減弱粘連程度，但改進(jìn)算法僅適用于粘連處兩側(cè)冇較強(qiáng)波峰情況，且 只能減少一到兩行像素寬度，作用有限。(3) 由于字符可能存在退化現(xiàn)象，該方法常將一個(gè)獨(dú)立字符中的細(xì)筆畫(huà)誤認(rèn) 為粘連區(qū)，如字符u就冇可能因底部被切開(kāi)而誤認(rèn)為11。如圖3-3所示。圖3-3字符的退化3.4數(shù)學(xué)公式

52、識(shí)別中常見(jiàn)的錯(cuò)誤數(shù)學(xué)公式的二維嵌套特性、所包含符號(hào)的復(fù)雜性及多樣性，使得數(shù)學(xué)公式的 識(shí)別出現(xiàn)錯(cuò)誤，常見(jiàn)的錯(cuò)誤冇：（1）常規(guī)ocr字符切分方法主要用于一維線性結(jié)構(gòu)文字，而公式的結(jié)構(gòu)是二 維的，所以傳統(tǒng)的字符切分方法對(duì)數(shù)學(xué)公式中包含特殊字符（如：”等）的表 達(dá)式切分錯(cuò)誤，例如，利用傳統(tǒng)的字符切分方法對(duì)圖3-4所示的數(shù)學(xué)公式進(jìn)行切 分，“”中的子表達(dá)式就不能被正確分割。（2）特征的選擇和捉取沒(méi)有固定的標(biāo)準(zhǔn)，由于對(duì)特征選擇不當(dāng)，會(huì)造成一些 相似字符識(shí)別不清,如o,0, d, s, s,5«如圖3-5所示。（3）數(shù)學(xué)公式符號(hào)之間的空間關(guān)系比較復(fù)雜，出于對(duì)數(shù)學(xué)公式結(jié)構(gòu)分析策略 選擇不佳，容易造成

53、一些空間運(yùn)算符識(shí)別錯(cuò)誤，如圖3-6所示。圖3-4公式的誤切示例識(shí)別結(jié)果原始公式圖3-5公式中相似字符誤識(shí)示例原始公式識(shí)別結(jié)果圖3-6公式中空間運(yùn)算符的誤識(shí)示例第4章公式分析與識(shí)別公式分析和識(shí)別是整個(gè)數(shù)學(xué)公式識(shí)別系統(tǒng)的關(guān)鍵環(huán)節(jié)，直接影響對(duì)公式的理 解與重構(gòu)，一般來(lái)說(shuō)此階段的工作分為兩部分：公式字符識(shí)別和公式結(jié)構(gòu)分析。 4.1公式字符識(shí)別在ocr領(lǐng)域，現(xiàn)冇的識(shí)別技術(shù)已經(jīng)能夠獲得相當(dāng)令人滿(mǎn)意的結(jié)果。但是這些 識(shí)別技術(shù)往往只能識(shí)別獨(dú)立的符號(hào)。而數(shù)學(xué)公式中存在復(fù)合結(jié)構(gòu)的符號(hào)，這給識(shí) 別工作帶來(lái)了很多困難。為了正確識(shí)別數(shù)學(xué)公式，首先必須將公式符號(hào)準(zhǔn)確的分 割出來(lái)。符號(hào)的識(shí)別階段包括三個(gè)階段，即預(yù)處理（平滑

54、去噪）、符號(hào)切分（分 離符號(hào)）、符號(hào)識(shí)別。因?yàn)轭A(yù)處理相對(duì)來(lái)說(shuō)比較簡(jiǎn)單，容易得到理想的結(jié)果，預(yù) 處理過(guò)程后得到了細(xì)化的二值化公式圖像。因此在公式符號(hào)識(shí)別階段，符號(hào)的分 割和符號(hào)的識(shí)別成為研究者們主要研究的目標(biāo)。整個(gè)公式字符識(shí)別過(guò)程如圖4-1 所示。圖4-1數(shù)學(xué)公式字符的識(shí)別過(guò)程示意圖4.1.1預(yù)處理噪聲是對(duì)數(shù)淫公式識(shí)別效果產(chǎn)生彩響的因素。然而在現(xiàn)實(shí)系統(tǒng)屮，噪聲是不可避免的?？梢圆捎脠D像平滑等技術(shù)來(lái)去除噪聲，從而加強(qiáng)有用信息。4.1.2公式字符的切分目前，在印刷體文本等規(guī)范文字符號(hào)的切分和識(shí)別方面，已經(jīng)冇了比較成熟 的方法。而專(zhuān)門(mén)針對(duì)印刷體數(shù)學(xué)公式的分割識(shí)別方法，迄今為止，還沒(méi)有取得滿(mǎn) 意的實(shí)用成

55、果。首先數(shù)學(xué)公式字符的分割做一個(gè)簡(jiǎn)單了解。我們首先使用前而介紹的圖像預(yù)處理方法對(duì)其二值化并進(jìn)行去噪和細(xì)化，得 到效果比較理想的圖片作為輸入。公式的字符分割可以使用連通域法。定義對(duì)于二值圖像，1代表有像索，0 代表無(wú)像素。1. 以一個(gè)值為1的點(diǎn)為起 點(diǎn)，向八領(lǐng)域搜索各個(gè)1值點(diǎn)；2. 對(duì)各個(gè)1值點(diǎn)再進(jìn)行同 樣的八領(lǐng)域搜索，直到遇到像索值0且八領(lǐng)域值都為0的點(diǎn)；3. 記錄這次搜索途徑1值 的點(diǎn)的坐標(biāo)，建立新的數(shù)組，就分割岀一個(gè)字符；4. 遞歸分割直到遍丿力各個(gè) 點(diǎn)，就可以分割出各個(gè)字符，并分別存入數(shù)組中。4.1. 2.1數(shù)學(xué)公式中的符號(hào)具有如下特點(diǎn)：（1）字符木身的形態(tài)不規(guī)范（有很多希臘字符）。（2

56、）大小、字體等變化較多。（3）字符集較大。常見(jiàn)的公式符號(hào)見(jiàn)圖4-2：圖4-2部分?jǐn)?shù)學(xué)公式的符號(hào)示意圖現(xiàn)已提出的比較典型數(shù)學(xué)的數(shù)學(xué)公式切分方法冇以下幾種：faure和wang設(shè)計(jì)了一種手寫(xiě)體數(shù)學(xué)表達(dá)式的系統(tǒng)。問(wèn)在這個(gè)系統(tǒng)屮分為 基于數(shù)據(jù)的模塊和基于知識(shí)的分割模塊。前者首先建立公式的關(guān)系樹(shù)，利用圖像 在x軸和y軸的投影來(lái)決定如何分割公式，但這很難分割出含有“”和分?jǐn)?shù)線 的公式；后者用于調(diào)整前面的關(guān)系樹(shù)，如將一個(gè)有多個(gè)組成部分的符號(hào)（如“”、 “”、“”）合并成整體。okamoto等通過(guò)水平和垂直方向投影的遞歸分割方法來(lái)分割印刷體數(shù)學(xué)公 式。冋但這種算法對(duì)諸如“”、“”、“ ”類(lèi)的符號(hào)的分割需要一些

57、額外的處理。smithies等提出一種數(shù)學(xué)公式切分算法。刪首先，利用該算法產(chǎn)生所有可 能的分割基元，然后，符號(hào)識(shí)別器根據(jù)他們的口j信度進(jìn)行基元的合并。這種算法 簡(jiǎn)單而且速度快，但出錯(cuò)較多，而且需要人工糾錯(cuò)。這兒種典型的切分方法在對(duì)數(shù)學(xué)公式字符進(jìn)行切分時(shí)，各有利弊，切分結(jié)果 你很理想。本文通過(guò)對(duì)上述方法的分析，真的這些切分方法中存在的問(wèn)題，捉出 了一種基于連通域搜索的切分算法。采用這種算法對(duì)公式字符進(jìn)行分割，能獲得 較好的切分結(jié)果。4. 1.2.2基于連通域搜索的切分算法描述該算法只需要對(duì)公式圖像進(jìn)行“自頂向下”和“自底向上”遍歷，就可以將 圖像屮的所冇連通區(qū)域坐標(biāo)信息記錄下來(lái)，供分析、處理使用。其核心思想是開(kāi) 辟了一塊陳為“中介緩沖區(qū)”的、能夠儲(chǔ)存一行圖像數(shù)據(jù)的內(nèi)存單元。利用此緩 沖區(qū)來(lái)記憶當(dāng)前掃描行以前各行的行程鄰近情況。在掃描開(kāi)始之前，將“中介緩 沖區(qū)”清0,在每一次掃描行之前，將“中介緩沖區(qū)”屮不為0的點(diǎn)置1,將當(dāng) 前行不為0的點(diǎn)置2,這樣，在將當(dāng)前行與“中介緩沖區(qū)”進(jìn)行“或”運(yùn)算后, “屮介緩沖區(qū)”各點(diǎn)的值就反映出了當(dāng)前行及英以前行之間的