詞法分析器課程設(shè)計(jì)報告

1、2009-2010學(xué)年第二學(xué)期編譯原理課程設(shè)計(jì)報告學(xué)院（系）：班 級： 學(xué)生姓名： 學(xué) 號 : 指導(dǎo)教師：時間： 2010 年 6 月目錄1. 課程設(shè)計(jì)的目的 1.2課程設(shè)計(jì)的內(nèi)容及要求 1.2.1. 課程設(shè)計(jì)內(nèi)容 1.2.2. 課程設(shè)計(jì)要求 2.2.3. 運(yùn)行環(huán)境 3.2.4. 程序的不足 3.3問題分析及相關(guān)原理介紹 3.3.1. 編譯程序介紹 3.3.2各部分的功能介紹及分析 3.3.3. 算法實(shí)現(xiàn)及模擬 4.3.3.1總體流程圖 4.3.3.2 詳細(xì)的流程圖 5.4設(shè)計(jì)思路及關(guān)鍵問題的解決方法 7.4.1. 設(shè)計(jì)思路及關(guān)鍵問題 7.4.1.1處理時機(jī) 7.4.1.2 一個棘手問題 8.

2、4.2. 解決方法 8.5結(jié)果及測試分析 8.5.1. 待分析程序的部分內(nèi)容 8.5.2. 運(yùn)行結(jié)果 9.6總結(jié) 1.0.6.1. 設(shè)計(jì)過程 1.0.6.2. 困難與收獲 1.1.參考文獻(xiàn) 1.1.附錄 1.1.1.課程設(shè)計(jì)的目的通過課程設(shè)計(jì)實(shí)踐，樹立正確的設(shè)計(jì)思想 ， 鞏固所學(xué)編程語言基本知識，增進(jìn) C 語言 編輯基本功 ；綜 合 運(yùn) 用 所 學(xué) 的 理 論 知 識 ，進(jìn)一步理解高級語言在計(jì)算機(jī)中的執(zhí)行過程， 加深對編譯原理中重點(diǎn)算法和編譯技術(shù)的理解； 掌握課程設(shè)計(jì)的一般方法與步驟， 深入掌握 課程設(shè)計(jì)的基本理論、方法和步驟，提高自己的編程能力，培養(yǎng)好的程序設(shè)計(jì)風(fēng)格。通過課程設(shè)計(jì)， 真正掌握

3、設(shè)計(jì)和構(gòu)造編譯程序的基本原理和常用的編譯技術(shù)， 具備系統(tǒng) 軟件調(diào)試能力和開發(fā)能力， 培養(yǎng)分析問題和解決問題的能力。 同時通過某種編程語言的應(yīng)用， 具備初步的 Windows 環(huán)境下的編程思想。完成本課程設(shè)計(jì)的項(xiàng)目詞法分析器， 理解詞法分析在編譯程序中的作用， 加深對有 窮自動機(jī)模型的理解， 掌握詞法分析程序的實(shí)現(xiàn)方法和技術(shù)， 用 c 語言對一個簡單語言的子 集編制一個一遍掃描的編譯程序，以加深對編譯原理的理解 , 掌握編譯程序的實(shí)現(xiàn)方法和技 術(shù)。2課程設(shè)計(jì)的內(nèi)容及要求2.1. 課程設(shè)計(jì)內(nèi)容設(shè)計(jì)內(nèi)容：完成下述文法所描述的單詞符號的詞法分析程序。-|-| -+|-|*|/|;|(|)|=|=| -

4、a| |z|A|Z-0| |9運(yùn)用 C 語言設(shè)計(jì)詞法分析器， 由指定文件讀入預(yù)分析的源程序， 經(jīng)過詞法分析器的分析， 將結(jié)果寫入指定文件。本程序是在 Visual Studio 環(huán)境下，使用 C 語言作為開發(fā)工具。基于實(shí)驗(yàn)任務(wù)的內(nèi)容 及目的，實(shí)現(xiàn)初步的需求分析，具備詞法分析器的基本功能和整體構(gòu)架。逐步細(xì)化其功 能，做到相應(yīng)模塊的具體化。畫出未成熟的流程圖，確定整體設(shè)計(jì)的走向，在一定范圍 內(nèi)約束編程活動，確保沒有大的問題及缺陷存在，然后通過將來的具體的編程設(shè)計(jì)完善 流程圖。程序設(shè)計(jì)的具體內(nèi)容：在實(shí)際的設(shè)計(jì)中， 預(yù)分析程序保存在文本文件 sourcecode.txt 中，該文件不能由執(zhí) 行程序自動

5、創(chuàng)建，需要在程序執(zhí)行前預(yù)先提供，程序擁有只讀的權(quán)限。程序逐個字符的 分析源程序，能夠識別標(biāo)識符，整數(shù)，分界符，并分別把分析得到的字符寫入相應(yīng)文檔： keyword ， words ， digit ， single ， double ；其它字符標(biāo)示為無法識別，記錄在error文檔中。程序結(jié)束后，將最總結(jié)果寫入文件 Dualistic_formula ，該文件的內(nèi)容包括統(tǒng) 計(jì)結(jié)果(排除重復(fù)出現(xiàn)的字符)和二元式。這七個文件會在程序執(zhí)行時自動創(chuàng)建，程序 結(jié)束時，關(guān)閉文件，但保留文件的內(nèi)容，以供查看和檢驗(yàn)，測試。不同類別的字符通過相應(yīng)的函數(shù)模塊來分析識別。 普通標(biāo)識符由函數(shù) int word( char

6、 ch)來識別，并進(jìn)一步由函數(shù) int keyword (char key )來分離普通標(biāo)識符和關(guān)鍵字；數(shù)字有函數(shù) i nt digit （char ch ）來識別；分界符由函數(shù) 識別；其他字符即為非法字符。int delimiter ( char ch )來和 int countoffinal=0。characters_exist 用來判斷是否是純數(shù)字，countoffinal 用來記錄 finalresult 函數(shù)執(zhí)行的該程序中，全局變量共有兩個 int characters_exist=0次數(shù)。統(tǒng)計(jì)主函數(shù)在內(nèi)， 總共 16個函數(shù)模塊， 除了前面說到得識別字符的函數(shù)外， 還有對文 件進(jìn)行操

7、作的函數(shù)，對數(shù)組操作的函數(shù)和實(shí)現(xiàn)顯示功能的函數(shù)。主函數(shù)中有六個文件指針，一個字符數(shù)組， 十個實(shí)現(xiàn)不同功能的變量。 在程序設(shè)計(jì)過程中及時注釋， 方便復(fù)讀和檢測。2.2. 課程設(shè)計(jì)要求必須運(yùn)用 C 語言設(shè)計(jì)詞法分析器，由指定文件讀入預(yù)分析的源程序，從左至右 描源程序的字符串，按照詞法規(guī)則（正則文法規(guī)則）識別出一個個正確的單詞，并轉(zhuǎn)換 成該單詞相應(yīng)的二元式（種別碼、屬性值）交給語法分析使用。本程序規(guī)定輸出用 KeyWord 代表關(guān)鍵字， Word 代表普通標(biāo)識符， Digit 代表阿拉伯 數(shù)字， SingleWord 代表單分界符 ， DoubleWord 代表雙分界符， ERROR 代表無法別的字

8、 符。了解和掌握詞法分析的方法；編程實(shí)現(xiàn)給定源語言程序的詞法分析器；利用該分析 器掃描源語言程序的字符串，按照給定的詞法規(guī)則，識別出單詞符號作為輸出，發(fā)現(xiàn)其 中的詞法錯誤。不同類別的字符通過相應(yīng)的函數(shù)模塊來分析識別。針對該程序設(shè)計(jì)的具體設(shè)計(jì)： 編程實(shí)現(xiàn)一個簡單的詞法分析器， 可以對一個文件進(jìn)行詞法分析處理。 程序能夠正確識 別文法所規(guī)定的任何組織形式的字符組合。 例如在連續(xù)的分界符中， 如何分離出單分界符和 雙分界符； 字符中間的空格如何處理， 源程序中往往出現(xiàn)大量連續(xù)的空格， 若是全部記錄下 來，沒用實(shí)際意義， 且又浪費(fèi)時間和空間，這樣又如何處理； 普通標(biāo)識符和關(guān)鍵字如何分離 出來；數(shù)字如何

9、判斷，形如 123，a123，123a，123=，=123，123#，#123 的字符串中，哪些 才是整數(shù)，其它的又如何舍去。這些功能都必須實(shí)現(xiàn)。標(biāo)識符是被分界符分開的，只有在遇到分界符時才能判斷前面的字符串是否是標(biāo)識符； 假若非法字符和字母或數(shù)字混雜在一起， 則這些字母或數(shù)字不能形成標(biāo)識符或整數(shù)； 這個問 題并不復(fù)雜，當(dāng)出現(xiàn)連續(xù)的分界符時，棘手的問題才出現(xiàn)。形如 !=-a, 這個分界符字符串 該如何分析呢？第一個字符！ 是單分界符， 那么是不是當(dāng)讀到！ 時就可以立即判斷這是一個 單分界符呢？不能，因?yàn)檫€有形如字符串！=的可能性，這樣一來詞法分析器必須擁有展望未來的能力；那么 是不能判斷為單分

10、界符的， 因?yàn)?，字符組合 =是雙分界符；問題出現(xiàn)了， 字符組合 =是雙分界符，還是單獨(dú)的認(rèn)為第二個 =是單分界符，這就決定與規(guī)定了；既然在 讀到單分界時不能立即判斷其具體歸類， 那么當(dāng)讀到字符 后，還需要進(jìn)一步讀字符 a ， 然后才能判斷字符 是否是單分界符， 這樣一來， 就需要在遇到字母或數(shù)字時， 進(jìn)行對前 面的分界符的判斷，這時又需要退兩步來分析，也就是需要分析字符 a 前面的兩個字符才 能判斷字符 a 前面的一個字符是什么屬性；這就是說，出現(xiàn)連續(xù)的分界符時，需要尾隨的 其他類的字符來輔助，以判斷分界符的具體屬性； 可是， 如果沒有其他字符尾隨呢，最好的 一個分界符該如何處理？還有，如果標(biāo)

11、識符同樣沒有其他字符尾隨，又該如何處理？ 分析得到的字符， 需要寫入文件， 保存以供后用。 重復(fù)出現(xiàn)的字符不能都作為最后結(jié)果 存儲。這些多余的字符是在分析時舍去還是在整個源程序被分析完畢后才進(jìn)一步處理舍的去 問題？可以把讀到的所有合法字符 （出去連續(xù)出現(xiàn)的大量空格） 暫時保存到相關(guān)文件， 待分 析源程序完畢后， 在處理這些文件中的合法字符， 舍去重復(fù)的， 把正確合適的數(shù)據(jù)寫入到另 一個文件，形成二元式，該文件才是最后結(jié)果。程序在實(shí)現(xiàn)基本功能的同時， 以上提出的問題必須小心處理。 在程序設(shè)計(jì)過程中需要及 時注釋。首先整體把握程序設(shè)計(jì)的架構(gòu)和內(nèi)涵，理清需求，得到雛形的流程圖；完成程序編程，滿足前述

12、功能，實(shí)現(xiàn)數(shù)據(jù)的輸入和正確輸出。2.3. 運(yùn)行環(huán)境此法分析器的設(shè)計(jì)和運(yùn)行環(huán)境： Microsoft Windows XP Professional /Microsoft Visual Studio 2005/Visual C+控制臺應(yīng)用程序。2.4. 程序的不足本程序只能分析小型的源程序， 否則將會出現(xiàn)空間分配不足； 能夠分析的字符串的長度 有限，否則，也會出現(xiàn)空間問題。另外，變量反復(fù)使用，不利于閱讀。反復(fù)出現(xiàn)“ fopen被聲明為否決的 這樣的警告信息。程序冗長，未能充分利用C 函數(shù)庫的功能函數(shù)。3問題分析及相關(guān)原理介紹3.1. 編譯程序介紹本詞法分析器， 預(yù)分析程序保存在文本文件 sour

13、cecode.txt 中，該文件不能由執(zhí)行 程序自動創(chuàng)建，需要在程序執(zhí)行前預(yù)先提供，程序擁有只讀的權(quán)限。程序逐個字符的分 析源程序，能夠識別標(biāo)識符，整數(shù)，分界符，并分別把分析得到的字符寫入相應(yīng)文檔： keyword ， words ， digit ， single ， double ；其它字符標(biāo)示為無法識別，記錄在error文檔中。程序結(jié)束后，將最總結(jié)果寫入文件 Dualistic_formula ，該文件的內(nèi)容包括統(tǒng) 計(jì)結(jié)果(排除重復(fù)出現(xiàn)的字符)和二元式。這七個文件會在程序執(zhí)行時自動創(chuàng)建，程序 結(jié)束時，關(guān)閉文件，但保留文件的內(nèi)容，以供查看和檢驗(yàn)，測試。不同類別的字符通過相應(yīng)的函數(shù)模塊來分析識

14、別。 普通標(biāo)識符由函數(shù) int word( char ch)來識別，并進(jìn)一步由函數(shù) int keyword (char key )來分離普通標(biāo)識符和關(guān)鍵字； 數(shù)字有函數(shù) i nt digit ( char ch ) 來識別；分界符由函數(shù) int delimiter ( char ch )來 識別；其他字符即為非法字符。該程序中，全局變量共有兩個 int characters_exist=0 和 int ountoffinal=0。characters_exist 用來判斷是否是純數(shù)字， countoffinal 用來記錄 finalresult 函數(shù)執(zhí)行 的次數(shù)。統(tǒng)計(jì)主函數(shù)在內(nèi)，總共 16 個

15、函數(shù)模塊，除了前面說到得識別字符的函數(shù)外，還有 對文件進(jìn)行操作的函數(shù)， 對數(shù)組操作的函數(shù)和實(shí)現(xiàn)顯示功能的函數(shù)。 主函數(shù)中有六個文件指 針，十一個字符數(shù)組，十個實(shí)現(xiàn)不同功能的變量。 在程序設(shè)計(jì)過程中及時注釋，方便復(fù)讀和 檢測。通過 while 循環(huán)和 fgetc (FILE *fp )實(shí)現(xiàn)對字符的逐個讀入。3.2各部分的功能介紹及分析/* 判斷是否為字母 */* 判斷是否為數(shù)字 */* 判斷是否是分界符 */* 比較關(guān)鍵字 */各函數(shù)及功能說明int word( char ch)int digit( char ch)int delimiter( char ch)int keywordcompar

16、e( char key, char keyword)int keyword( char key)void writetofile( char cha) void keywordtofile( char cha) void wordstofile( char cha) void digittofile( char cha) void singletofile(char cha)void doubletofile(char cha)/* 判斷是否是關(guān)鍵字 */* 將數(shù)組 cha 寫入文件 Dualistic_formula*/* 將關(guān)鍵字寫入文件 keyword*/* 將標(biāo)識符寫入文件 words

17、*/* 將數(shù)字寫入文件 digit*/* 將單分界符寫入文件 single*/* 將雙分界符寫入文件 double*/* 將非法字符寫入文件 error*/* 立即顯示遇到的字符 */void errortofile( char cha) void displayw( char ch, char cha) /* 顯示統(tǒng)計(jì)信息并將二元式寫入文件 Dualistic_formula*/ void finalresult( int df, char filen,FILE *fpp,FILE *fpt)void cleararray( int n, char cha) /* 清空數(shù)組 */3.3. 算

18、法實(shí)現(xiàn)及模擬3.3.1 總體流程圖7流程圖 1while循環(huán)實(shí)現(xiàn)， while (!feof(fpr) 為存放源程序的文本文件。 判斷字符類別由五個函數(shù)實(shí)現(xiàn)： int word( char ch)，其中 fpr=fopen(sourcecode.txt,r)，sourcecode.txt/* 判斷是否為字母 */intdigit( char ch)/* 判斷是否為數(shù)字 */intdelimiter( char ch)/* 判斷是否是分界符 */intkeywordcompare( char key, char keyword)/* 比較關(guān)鍵字 */讀入源文件有函數(shù) int fgetc(FILE

19、 *FILE) 實(shí)現(xiàn)，文件是否結(jié)束及循環(huán)讀入字符由int/* 判斷是否是關(guān)鍵字 */int keyword( char key)存儲或顯示由八個函數(shù)實(shí)現(xiàn)：void writetofile(char cha)void keywordtofile(char cha)void digittofile(char cha)void singletofile(char cha)void doubletofile(char cha)void errortofile(char cha)void displayw(char ch,char cha)void finalresult(int df,char fil

20、en,FILE *fpp,FILE *fpt)3.3.2 詳細(xì)的流程圖 如下：流程圖 2，流程圖 3di巴二亡二-r numberk.pryw=UBUzii-二Ell昨o i-&ta鼻RLParHI-r T K-.n*:ur-馳 TZLB 沖士 一內(nèi)12流程圖 34設(shè)計(jì)思路及關(guān)鍵問題的解決方法4.1. 設(shè)計(jì)思路及關(guān)鍵問題4.1.1 處理時機(jī)確定算法的基本任務(wù)是從字符串表示的源程序中識別出具有獨(dú)立意義的單詞符號， 其基 本思想是根據(jù)掃描到單詞符號的種類， 分別存儲或顯示。 數(shù)字和標(biāo)識符被分界符或非法字符 分開，分界符同樣被數(shù)字或標(biāo)識符或非法字符分開， 當(dāng)非法字符與數(shù)字或標(biāo)識符鄰接或混雜 時，數(shù)字

21、或標(biāo)識符則不能成為數(shù)字或標(biāo)識符，而成為非法字符，這是非法字符的感染特性。 但這個效果在遇到分界符時不起作用， 既分界符遇到非法字符或者和非法字符混雜， 分界符 仍然為分界符。 這就要求， 如果要處理標(biāo)識符， 就必須在遇到后面的分界符時才能有所操作。4.1.2 一個棘手問題數(shù)字同樣如此。 遇到數(shù)字或標(biāo)識符同樣需要處理前面的分界符， 但并不是所有的分解都 必須在遇到數(shù)字或標(biāo)識符后才能處理的。例如出現(xiàn)連續(xù)的分界符時。當(dāng)出現(xiàn)連續(xù)的分界符時，棘手的問題才出現(xiàn)。形如 !=-a, 這個分界符字符串該如何分 析呢？第一個字符！ 是單分界符， 那么是不是當(dāng)讀到！ 時就可以立即判斷這是一個單分界符 呢？不能，因?yàn)?/p>

22、還有形如字符串！ =的可能性，這樣一來詞法分析器必須擁有展望未來的能 力；那么 是不能判斷為單分界符的，因?yàn)?，字符組合=是雙分界符；問題出現(xiàn)了，字符組合=是雙分界符，還是單獨(dú)的認(rèn)為第二個=是單分界符，這就決定與規(guī)定了；既然在讀到單分界時不能立即判斷其具體歸類，那么當(dāng)讀到字符 后，還需要進(jìn)一步讀字符 a ，然后 才能判斷字符 是否是單分界符， 這樣一來， 就需要在遇到字母或數(shù)字時， 進(jìn)行對前面的 分界符的判斷，這時又需要退兩步來分析，也就是需要分析字符 a 前面的兩個字符才能判 斷字符 a 前面的一個字符是什么屬性；這就是說，出現(xiàn)連續(xù)的分界符時，需要尾隨的其他 類的字符來輔助，以判斷分界符的具體

23、屬性； 可是，如果沒有其他字符尾隨呢，最好的一個 分界符該如何處理？還有，如果標(biāo)識符同樣沒有其他字符尾隨，又該如何處理？4.2. 解決方法可以用一個變量來標(biāo)示前面是否出現(xiàn)雙分界符。同樣，用不同的變量實(shí)現(xiàn)不同的功能。下面是本程序的一些功能變量。char ch;int unknown=0;int numofword=0;int numofdigit=0;int numofsingle=0;int catchdoubleword=0;int enddelimit=10;int numofspace=0;/* 接受從文件中讀出的單個字符 */ /* 判斷是否出現(xiàn)無法識別的字符 */ /* 字母數(shù)組中的

24、字母個數(shù) */* 數(shù)字?jǐn)?shù)組中的數(shù)字個數(shù) */* 連續(xù)出現(xiàn)的單分界符個數(shù) */* 是否出現(xiàn)雙分界符 */* 末尾是否存在分界符 */* 限制遇到過多的空格 */5結(jié)果及測試分析5.1.待分析程序的部分內(nèi)容如圖 4. 該待分析源程序非任何編程語言，但完全滿足測試需要。圖45.2.運(yùn)行結(jié)果如圖 5.圖5由此可見，程序運(yùn)行及結(jié)果輸出是完全正確的！6總結(jié)通過課程設(shè)計(jì)，樹立了正確的設(shè)計(jì)思想 ，鞏固了所學(xué)編程語言基本知識，增進(jìn) C 語言編 程基本功 ；學(xué)習(xí)到如何 綜 合 運(yùn) 用 所 學(xué) 的 理 論 知 識 ， 進(jìn)一步理解到高級語言在計(jì)算機(jī) 中的執(zhí)行過程， 加深了對編譯原理中重點(diǎn)算法和編譯技術(shù)的理解， 理解詞

25、法分析在編譯程序 中的作用； 掌握了課程設(shè)計(jì)的一般方法與步驟， 設(shè)計(jì)和構(gòu)造編譯程序的基本原理和常用的編 譯技術(shù)，以及編譯程序的實(shí)現(xiàn)方法和技，提高了自己的編程能力。6.1.設(shè)計(jì)過程首先，根據(jù)課程設(shè)計(jì)的任務(wù)：使用 c 語言編程，實(shí)現(xiàn)詞法分析器的基本功能，來確定本 次程序設(shè)計(jì)的總體目標(biāo)及路線。詳細(xì)閱讀課程設(shè)計(jì)的內(nèi)容及要求，明確接下來的大致作業(yè)。 進(jìn)一步，規(guī)劃算法，描繪出初步的，總體的流程圖。然后，結(jié)合編譯原理相關(guān)書籍，理解程序系統(tǒng)的基本原理。結(jié)合 c 語言相關(guān)書籍，具體 細(xì)化程序設(shè)計(jì)的思路， 粗略確定程序的模塊劃分， 功能劃分， 并確定這些模塊和功能應(yīng)該有 c 語言的哪些函數(shù)來實(shí)現(xiàn)。接下來，著手程序編寫。依次完成源文件的讀入，字符的判斷，文件的讀寫，結(jié)果的輸 出，并在編程過程中反復(fù)完善，多多的測試，及時檢測問題是否存在，若存在，立即改善。 直到程序足夠強(qiáng)壯，功能完善，結(jié)果正確為止。最后，選擇考慮到所有可能的測試數(shù)據(jù)，總體測試詞法分析器的性能。更改輸出數(shù)據(jù) 的格式， 使之布局合理。 在需要的地方增添注釋信息， 刪除設(shè)計(jì)過程中的測試代碼或其他冗 余代碼，美化程序布局，調(diào)整整體的程序代碼間隔。6.2. 困難與收獲首先遇到的困難是對 c 語言的陌生。 雖然花了一個學(xué)期的時間學(xué)習(xí)過 c 語言， 但