設計 詞法分析之基于Lex實現(xiàn)詞法分析

1、詞法分析程序一、設計目的通過編寫并上機調試一個詞法分析程序，掌握在對程序設計語言的源程序進行掃描 的過程中，將其分解成各類單詞的詞法分析方法。二、設計要求要求將用模擬語言書寫的源程序進行詞法分析，輸出源程序清單，token 文件和錯誤信息文件，若有錯誤，必須輸出錯誤在源程序中行號和列號，并將 符號表和字符串以文件的形式寫出來。三、設計說明基于 parser genarator 的詞法分析器構造方法。lex 輸入文件由 3 個部分組成：定義集 （definition），規(guī)則集（rule）和輔助程序集（auxiliary routine）或用戶程序集（user routine）。 這三個部分由位于

2、新一行第一列的雙百分號分開，因此， lex 輸入文件的格式如下 definitions%rules%auxiliary routines而且第一部分用“%”和“%”括起來。第一和第三個部分為 c 語言的代碼和函數(shù)定義，第二個部分為一些規(guī)則。正規(guī)式定義定義正則表達式如下id = letter letter*num = digit digit*letter = a|z|a|zdigit = 0|9keyword = else|if|int|return|void|whilespecial symbol = +|-|*|/|=|=|!=|=|;|，|（|）|/*|*/white space = “

3、”enter = n在 lex 中的構造letter a-za-zdigit 0-9id (letter|_)(letter|digit|_)*error_id (digit)+(letter)+num digit+whitespace t+enter n+轉換規(guī)則定義在 lex 中的規(guī)則定義構造定義識別保留字規(guī)則int|else|return|void|if|whileupper(yytext,yyleng);printf(%d 行 ,lineno);printf(%s reserved wordn,yytext);/保留字定義識別數(shù)字規(guī)則numprintf(%d 行 ,lineno);pr

4、intf(%s numn,yytext);/數(shù)字定義識別專用符號規(guī)則 ,|;|(|)|*|/|+|-|=|=|=|!=|=|/*|*/printf(%d 行 ,lineno);printf(%s special symboln,yytext);/特殊符號定義識別標識符規(guī)則idprintf(%d 行 ,lineno);printf(%s idn,yytext);/標識符定義識別錯誤的字符串規(guī)則當開頭為數(shù)字的后面為字母的字符串時，是錯誤的標識符。 error_idprintf(error:%sn,yytext);/以數(shù)字開頭的字符自動報錯 定義忽略空格規(guī)則whitespace/* skip whi

5、tespace */忽略空格定義忽略回車規(guī)則enterlineno+;/遇到回車自動加行號忽略輔助程序輔助程序集中包括主函數(shù) main （）和輔助函數(shù) toupper（）。程序代碼實現(xiàn)%#include #include #include int yywrap();int lineno=1;%delim tws delim+letter a-za-zdigit 0-9id letter(letter|digit)*number digit+error_id (digit)+(letter)+enter nspchar (|(|)|;|=|,)ariop (+|-|*|/)relop (|=|=

6、|!=)comment /*(*/|*)*/reswd (int|else|return|void|if|while)%ws comment enter lineno+;reswd fprintf(yyout,%d 行tkeywodt%sn,lineno,yytext);spchar fprintf(yyout,%d 行tspchart%sn,lineno,yytext);id fprintf(yyout,%d 行tidentifiert%sn,lineno,yytext);number fprintf(yyout,%d 行tnumbert%sn,lineno,yytext);error_id

7、 fprintf(yyout,%d 行terror_idt%sn,lineno,yytext);ariop fprintf(yyout,%d 行tari_opt%sn,lineno,yytext);relop fprintf(yyout,%d 行trel_opt%sn,lineno,yytext);%int yywrap() return 1;int main(void)char infilename100;printf(輸入文件名：);scanf(%s,infilename);yyin = fopen(infilename,r);yyout = fopen(out,w);yylex();re

8、turn 0;四、運行結果及分析測試的 c 語言代碼：測試結果 ：測試的 c 語言代碼：測試結果：測試代碼：測試結果：五、總結通過本次課程設計的練習，學會運用 lex 自動構造詞法分析器，學會了基于 parser genarator 的詞法分析器構造方法。掌握了詞法分析器的原理以及功能。詞法分析是編譯過程中的一個階段，在語法分析前進行。也可以和語法分析結合在一起作為一遍，由語 法分析程序調用詞法分析程序來獲得當前單詞供語法分析使用。詞法分析程序的主要任 務：讀源程序，產生單詞符號。詞法分析程序的其他任務：濾掉空格，跳過注釋、換行符追蹤換行標志，復制出錯 源程序，宏展開，等等等等。詞法分析工作從語法分析工作獨立出來的原因：簡化設計，改進編譯效率，增加編 譯系統(tǒng)的可移植性 。 而且從劃分關鍵字，運算符，界符，標識符和常量，才發(fā)現(xiàn)數(shù)字， 字