C-词法扫描器及语法分析器实现

编译原理课程设计报告课题名称： C-词法扫描器及语法分析器实现目录1 课程设计目标 (2)2 分析与设计 (3)2.1 程序结构 (3)2.2 程序流程 (4)3 词法分析 (5)3.1 代码结构分析 (5)3.2 Token定义 (6)3.2.1 Token的定义和类型 (6)3.2.2 Token的种别码 (6)3.3 DAF分析 (7)3.3.1 删除注释DFA (7)3.3.2 词法分析DFA (9)4 语法分析 (13)4.1 代码结构分析 (13)4.2 节点定义 (14)4.2.1 节点定义和类型 (14)4.2.2 各类型节点的描述 (15)4.3 递归向下语法分析 (15)4.3.1 C-文法 (15)4.3.2 递归向下分析过程 (16)5 测试结果 (33)5.1 流程 (33)5.2 词法分析结果 (33)5.3 词法分析出错 (37)5.4 语法分析结果 (38)5.5 语法分析出错 (40)6 总结 (41)6.1 词法分析编写过程 (41)6.2 语法分析编写过程 (42)6.3 成果和收获 (42)7 附录 (43)7.1 scanner.h源文件 (43)7.2 scanner.cpp源文件 (44)7.3 parser.h源文件 (53)7.4 parser.cpp源文件 (55)1 课程设计目标学生在学习《编译原理》课程过程中，结合各章节的构造编译程序的基本理论，要求用C或C++语言描述及上机调试，实现一个C-Minus 小编译程序（包括词法分析，语法分析等重要子程序），使学生将理论与实际应用结合起来，受到软件设计等开发过程的全面训练，从而提高学生软件开发的能力。

要求：（1）设计词法分析器设计各单词的状态转换图，并为不同的单词设计种别码。

将词法分析器设计成供语法分析器调用的子程序。

功能包括：a. 具备预处理功能。

将不翻译的注释等符号先滤掉，只保留要翻译的符号串，即要求设计一个供词法分析调用的预处理子程序；b. 能够拼出语言中的各个单词；c. 返回（种别码，属性值）。

（2）语法分析要求用学习过的自底向上或自顶向下的分析方法等，实现对表达式、各种说明语句、控制语句进行语法分析。

若语法正确，则用语法制导翻译法进行语义翻译；生成并打印出语法树；若语法错误，要求指出出错性质和出错位置（行号）。

2 分析与设计2.1 程序结构本节主要分析程序的代码结构和代码工程文件的划分。

（程序由两个类组成: Scanner类和Parser类，分别为词法分析和语法分析类。

工程分为四个文件：scanner.h、scanner.cpp、parser.h、parser.cpp，分别对应Scanner类和Parser类的声明和实现文件）。

本程序采用C++语言以面向对象的思想编写，程序分为两部分：词法分析（Scanner）和语法分析（Parser），分别将两个处理阶段封装成Scanner类和Parser类，两个类各司其职，分别完成词法分析和语法分析的任务。

Scanner类主要的工作是过滤注释、词法分析获取Token。

Parser类的主要工作是根据Scanner类词法分析之后的Token进行语法分析，生成语法树，最后并输出语法树。

在处理过程中，Scanner类的对象作为Parser类的一个成员变量，配合Parser类进行语法分析。

工程文件总体上是按照两个类的格局分为四个文件，分别是两个类的声明文件和实现文件。

四个文件分别为scanner.h和scanner.cpp以及parser.h和parser.cpp，他们分别是Scanner类声明文件、Scanner类实现文件、Parser类声明文件、Parser类实现文件。

词法分析scanner.h：与词法分析相关的类（Scanner类）的声明scanner.cpp：词法分析阶段类（Scanner类）的实现语法分析parser.h：与语法分析相关的类（Parser类）的声明parser.cpp：语法分析阶段类（Parser类）的实现2.2 程序流程在程序中，Scanner 类的对象(scanner)作为Parser 类中的一个成员变量，配合Parser 类进行语法分析。

它们的关系是这样的：Parser 类的一个成员变量scanner 首先对源程序删除注释，然后进行词法分析获取所有Token ，并将获取的Token 存储在scanner 对象的tokenList （vector 类型）中。

然后Parser 类的语法分析程序就根据tokenList 中的Token 进行语法分析，生成语法树，最后打印语法树。

同时，这也是程序的流程。

整体程序流程图开始删除注释出错词法分析TF 结束语法分析出错 出错 输出出错信息TF F T从文件获取源代码3 词法分析3.1 代码结构分析词法分析阶段的代码被封装成一个类——Scanner，scanner.h中主要是Scanner类的声明代码，scanner.cpp中主要是Scanner类的实现代码。

Scanner类对外提供的函数主要有：getSourseStringFromFile(string s)（从文件中获取待分析的源代码）、deleteComments()（过滤注释）、scan()（词法分析主程序）。

词法分析的过程主要是：●Scanner调用getSourseStringFromFile(string s)，从文件中获取待分析的源代码●Scanner调用deleteComments()，将注释过滤掉，如果注释出错，则不进行词法分析●Scanner调用scan()，进行词法分析，将分析得到的所有Token保存在Scanner类的成员变量tokenList中，以备语法阶段调用，并将Token输出到文件Token.txt中以上三个函数构成了词法分析的骨架，在Scanner类中还有其他成员变量和函数，主要作为这三个函数处理过程的中间步骤，为这三个函数服务。

Scanner类的代码结构和主要的成员变量和函数如下图所示：其他函数和成员变量的作用和含义：●void backToLastChar()：在词法分析过程中，回退一个字符●DFAState charType(char)：返回字符的类型（按状态分），如white space返回START，0-9返回NUM●char getNextChar()：获取到下一个字符●Token getTokenAt(int)：根据下标从tokenList数组中获取词法分析后所保存的Token（供语法分析阶段调用）●void printToken()：将词法分析好的Token输出到文件Token.txt中●TokenType returnTokenType(string s)：根据字符串返回对应的31种Token类型，如字符串"int"将返回INT，"var"将返回ID●int charIndex：配合getNextChar()和backToLastChar()使用（分别自增和自减1），用以指示当前待分析的char在源代码中的位置●bool commentFlag：标注注释开始的标志，为true时表示正在注释体内，即源代码进入"/*"之后且"*/"之前的状态●int lineCount：对行号计数，表示当前词法分析在源代码的行位置（每次获取到的char为'/n'就自增1）●bool scanSuccess：词法分析是否成功的标志●string sourseString：获取源代码的字符串●string str：在分析过程中保存Token对应的串●vector<Token> tokenList：保存Token序列3.2 Token定义3.2.1 Token的定义和类型Token定义://定义的Token结构体，包括类型、对应的串、所在代码的行号struct Token{TokenType tokenType;string tokenString;int lineNo;};Token类型（TokenType）:程序中，将Token的类型分为31种，分别对应于else、if、int、return、void、while、+、-、*、/、<、<=、>、>=、==、!=、=、;、,、(、)、[、]、{、}、/*、*/、num、id、错误、文件结束，TokenType的定义和种别码分别如下所示：//定义的Token的类型(31种)，分别对应于else、if、int、return、void、while、+、-、*、/、<、<=、>、>=、==、!=、=、;、,、(、)、[、]、{、}、/*、*/、num、id、错误、结束typedef enum{ELSE = 1,IF,INT,RETURN,VOID,WHILE,PLUS,MINUS,TIMES,OVER,LT,LEQ,GT,GEQ,EQ,NEQ,ASSIGN,SEMI,COMMA,LPAREN,RPAREN,LMBRACKET, RMBRACKET,LBBRACKET,RBBRACKET,LCOMMENT,RCOMMENT,NUM,ID,ERROR,ENDFILE} TokenType;3.2.2 Token的种别码TokenType的种别码如下表所示，共31种单词符号种别码Value 单词符号种别码Valueelse ELSE 1 = ASSIGN 17if IF 2 ; SEMI 18int INT 3 , COMMA 19return RETURN 4 ( LPAREN 20void VOID 5 ) RPAREN 21while WHILE 6 [ LMBRACKET 22+ PLUS 7 ] RMBRACKET 23 - MINUS 8 { LBBRACKET 24 * TIMES 9 } RBBRACKET 25 / OVER 10 /* LCOMMENT 26 < LT 11 */ RCOMMENT 27 <= LEQ 12 num NUM 28 > GT 13 id ID 29 >= GEQ 14 错误 ERROR 30 == EQ 15 结束 ENDFILE31 !=NEQ163.3 DAF 分析由于词法分析程序分为两个步骤处理：删除注释和词法分析获取Token 。

所以对应有两个DFA ，程序分别根据这两个DFA 进行编写，现根据DFA 分析两程序deleteComments()和scan()如下：3.3.1 删除注释DFA删除注释的DFA 描述：删除注释的DFA 如下所示，一共分为5个状态，在开始状态1时，如果输入的字符为/,则进入状态2，此时有可能进入注释状态，如果在状态2时，输入的字符为*，则进入注释状态，状态将转到3，如果在状态3时，输入的字符为*，则有可能结束注释状态，此时状态将转到状态4，如果在状态4时输入的字符为/，则注释状态结束，状态转移到结束状态。