编译原理课程设计—词法分析器

编译原理课程设计（一）——词法分析器1、题目编写程序实现一个简易的词法分析器。

2、实验目的对一段程序代码进行词法分析，将程序段中的关键字、标识符、常数、运算符、界符按照一定的种别编码分析出来。

3、环境及工具操作系统：windows XP ；使用工具：Microsoft Visual C++ 6.0； 编程语言：C 语言；4、分析程序输入：从文件中读入程序段；程序输出：由单词种别和单词符号的属性值组成的二元式；单词种别通常使用整数编码，编码方式可以有多种，在设计词法分析器之前应确定一种程序处理起来较方便的编码方式。

当一个种别中含有多个单词符号时，在分析出其属于哪个种别的时候应同时给出其单词符号属性，本程序为方便起见，采用单词符号本身来作为其属性，以标识同种别种的不同单词符号。

标识符及关键字的识别：字母开头的字母和数字组成的串是多数编程语言的标识符，所以我们的简易词法分析器中，将标识符定义为这种字母数字串。

当第一个字母为字母且紧接着的字符为数字或字母时，应将其串接在一起为一个单词，直到紧跟着的不在是字母数字时。

由于关键字通常为一个单词，则这样得到的串可能是标识符也可能是关键字，又因为一种语言的关键字通常是有限个，则我们可以构造一个存放所有关键字的表，查询关键字表，可以判断得到的串是否为关键字。

界符和运算符的识别：它们多为当个字符，建立两个分别存放界符合运算符的表，读取字符后，进行查表便可以得出它们的类型。

为方便词法分析器的设计，可以使用状态转换图，根据一种特定的编程语言先设计出其状态转换图才能更好将其用代码实现。

典型状态转换图结构如下：(a)有不含回路含分支的状态节点：对应if …else if …else …语句；(b)有含回路的状态节点：对应while …if …语句。

（b ）5、状态转换图6、程序框架描述程序中编写了以下函数，各个函数实现的作用如下：1. GetChar()：将下一输入的字符读入到全局变量ch中，搜素指示器前移一个字符的位置。

2. GetBC()：检查ch中的字符是否为空白，若是则调用GetChar()直至ch中读入一个非空白字符。

3. Concat()：将ch中的字符连接到全局变量strToken中。

4. Retrat()：将搜索指示器回调一个字符的位置，将ch置为空。

5. IsLetter()：判断ch中的字符是否为字母，返回值为bool型，若是，则返回true，反之返回false。

6. IsDigit()：判断ch中的字符是否为数字，返回值为bool型，若是，则返回true，反之返回false。

7. IsReserve()：对strToken中的字符串查找保留字表，返回值为整型，若它是一个保留字，则返回保留字的种别码，否则返回0。

8. IsRalation()：对strToken中的字符串查找关系运算符表，返回值为整型，若它是一个关系运算符，则返回关系运算符的种别码，否则返回0。

9. IsOperate()：对strToken中的字符串查找算术运算符表，返回值为整型，若它是一个算术运算符，则返回算术运算符的种别码，否则返回0。

10. IsBracket()：对strToken中的字符串查找存有各种括号的表，返回值为整型，若它是一个括号字符，则返回括号字符的种别码，否则返回0。

11. IsSign()：对strToken中的字符串查找存有各种标点符号的表，返回值为整型，若它是一个标点符号界符，则返回标点符号的种别码，否则返回0。

实现词法分析功能的子函数的程序框架如下：int code=0; //返回的二元式存放种别码char value[]=””; //返回的二元式中存单词符号属性char strToken[]=””;GetChar();GetBC(); //读取一个非空的字符if(IsLetter()) //判断读取的字符是否为字母beginwhile(IsLetter() or IsDigit()) //紧跟着的字符为字母或数字beginConcat();GetChar(); //连接到strTokenendRetract(); //回调指示器code=IsReserve(); //查询保留字表value=strToken;if(code==0) return($ID,value); //若不是保留字，则为标识符else return($KEYWORD,value);//为保留字endelse if(IsDigit()) //判断读入字符是否为数字beginwhile(IsDigit()) //判断紧跟着的字符为数字beginConcat();GetChar(); //连接到strTokenendRetract();value=strToken;return($INT,value); //返回数字种别码endelse if(IsRalation()!=0) //查询关系运算符表，判断是否为关系运算符beginConcat();value=strToken;return($RALATIONSIGN,value);//返回关系运算符种别码endelse if(IsOperate()!=0)//查询算术运算符表，判断是否为关系运算符beginConcat();value=strToken;return($OPERATESIGN,value);//返回算术运算符种别码endelse if(IsBracket()!=0)//查询括号符表，判断是否为括号符beginConcat();value=strToken;return($BRACKET,value);//返回括号符种别码endelse if(IsSign()!=0) //查询标点界符表，判断是否为标点界符beginConcat();value=strToken;return($SIGN,value);//返回标点界符种别码endelse ProcError(); //错误处理7、实现程序的源程序代码#include "stdafx.h"#include "iostream.h"#include "string.h"#include "stdio.h"#include "stdlib.h"#define $ID 1#define $KEYWORD 2#define $INT 3#define $RLATIONSIGN 4#define $OPERATESIGN 5#define $BRACKET 6#define $SIGN 7char ch,strToken[10]="",str[100]="";char *p=str;charReserveTable[20][10]={"while","for","if","else","do","switch","case","int","float","char","double","break","return","continue"};char RelationTable[3]={'>','<','='};char OperateTable[7]={'+','-','*','/','|','&','!'};char BracketTable[6]={'{','}','[',']','(',')'};char SignTabale[]={',','.',';',':'};typedef struct Two{int code;char value[10];}Two;bool Getchar(){ch=*p;if(ch==0) return false;else{p++;return true;}}void GetBC(){while (ch==' ' || ch=='\n'){Getchar();}}void Concat(){for (int i=0;i<10;i++){if (strToken[i]==0){strToken[i]=ch;strToken[i+1]=0;break;}}}bool IsLetter(){if ('A'<=ch && ch<='Z' || 'a'<=ch && ch<='z') return true;elsereturn false;}bool IsDigit(){if ('0'<=ch && ch<='9')return true;elsereturn false;void Retract(){p--;ch=' ';}Two IsReserve(){Two two;two.code=0;strcpy(two.value,"");int i;for (i=0;i<20;i++){if (!strcmp(strToken,ReserveTable[i])){two.code=$KEYWORD;strcpy(two.value,strToken);break;}}return two;}Two IsRelation(){Two two;two.code=0;strcpy(two.value,"");int i;for (i=0;i<3;i++){if (ch==RelationTable[i]){two.code=$RLATIONsIGN;strcpy(two.value,strToken);break;}}return two;}Two IsOperate(){Two two;two.code=0;strcpy(two.value,"");int i;for (i=0;i<7;i++){if (ch==OperateTable[i]){two.code=$OPERA TESIGN;strcpy(two.value,strToken);break;}}return two;}Two IsBracket(){Two two;two.code=0;strcpy(two.value,"");int i;for (i=0;i<7;i++){if (ch==BracketTable[i]){two.code=$BRACKET;strcpy(two.value,strToken);break;}}return two;}Two IsSign(){Two two;two.code=0;strcpy(two.value,"");int i;for (i=0;i<7;i++){if (ch==SignTabale[i]){two.code=$SIGN;strcpy(two.value,strToken);break;}}return two;}void AnalyseWord(Two *two){two->code=0;strcpy(two->value,"");strcpy(strToken,"");Getchar();GetBC();if (IsLetter()){while (IsLetter() || IsDigit()){Concat();Getchar();}Retract();two->code=IsReserve().code;strcpy(two->value,strToken);if (two->code==0){two->code=$ID;return;}else return;}else if(IsDigit()){while (IsDigit()){Concat();Getchar();}Retract();two->code=$INT;strcpy(two->value,strToken);return;}else if(IsRelation().code!=0){two->code=IsRelation().code;Concat();strcpy(two->value,strToken);return;}else if(IsOperate().code!=0){two->code=IsOperate().code;Concat();strcpy(two->value,strToken);return;}else if(IsBracket().code!=0){two->code=IsBracket().code;Concat();strcpy(two->value,strToken);return;}else if(IsSign().code!=0){two->code=IsSign().code;Concat();strcpy(two->value,strToken);return;}else {printf("Wrong Letter!\n");exit(0);}}int main(int argc, char* argv[]){FILE *fp;Two result;int i=0,j=0;cout<<"*************各个种别码的含义如下**************"<<endl<<endl;cout<<"1--标识符2--关键字3--常数4--关系运算符"<<endl;cout<<"5--算术运算符6--各种括号7--标点符号"<<endl<<endl;cout<<"***********************************************"<<endl;cout<<endl<<"分析结果如下:"<<endl;if((fp=fopen("f:\\test.txt","r"))==NULL){printf("Open file wrong!\n");exit(0);}while(!feof(fp)) {str[i]=fgetc(fp);i++;}str[i-1]=0;Getchar();while(ch!=0){Retract();AnalyseWord(&result);if(j<5){cout<<"<"<<result.code<<","<<result.value<<">"<<"\t";j++;}else{cout<<"<"<<result.code<<","<<result.value<<">"<<endl;j=0;}Getchar();}cout<<endl;return 0;}8、程序处理用例及运行结果本题在文本文件test.txt中存入以下一小段程序代码作为处理用例：程序运行后对上一段代码的分析结果如下：学号：20072394 姓名：袁萍编译原理课程设计（一）——词法分析器9、总结本文所编写的程序成功地实现了简易的词法分析器，能够识别出程序段中的各种单词符号的种别。