编译原理课程设计报告——词法分析器

课程设计任务书

目录

引言 (4)

第一章概述 (5)

1.1设计内容 (5)

1.2设计要求 (5)

第二章设计的基本原理 (6)

2.1 (6)

2.2 (6)

第三章程序设计 (7)

3.1总体方案设计 (7)

3.2各模块设计 (8)

第四章程序测试 (9)

4.1一般测试

4.2出错处理测试

第五章结论 (10)

参考文献 (10)

附录程序清单 (11)

引言

《编译原理》是国内外各高等院校计算机科学技术类专业，特别是计算机软件专业的一门重要专业课程。该课程系统地向学生介绍编译程序的结构、工作流程及编译程序各组成部分的设计原理和实现技术。由于该课程理论性和实践性都比较强，内容较为抽象复杂，涉及到大量的软件设计算法，因此，一直是一门比较难学的课程。为了使学生更好地理解和掌握编译技术的基本概念、基本原理和实现方法，实践环节非常重要，只有通过上机进行程序设计，才能使学生对比较抽象的教学内容产生具体的感性认识，增强学生综合分析问题、解决问题的能力，并对提高学生软件设计水平大有益处。

编译原理涉及词法分析，语法分析，语义分析及优化设计等各方面。词法分析阶段是编译过程的第一个阶段，是编译的基础。这个阶段的任务是从左到右一个字符一个字符地读入源程序，即对构成源程序的字符流进行扫描然后根据构词规则识别单词(也称单词符号或符号)。词法分析程序实现这个任务。词法分析

程序可以使用Lex等工具自动生成。从左到右逐个字符对构成源程序的字符串进行扫描，依据词法规则，识别出一个一个的标记（token），把源程序变为等价的标记串序列。执行词法分析的程序称为词法分析器，也称为扫描器。词法分析是所有分析优化的基础，涉及的知识较少，如状态转换图等，易于实现。本次课程设计，我的选题是词法分析，C++代码实现。

第一章概述

1.1 设计内容

对C语言的一个子集设计并实现一个简单的词法分析器，掌握利用状态转换图

设计词法分析器的基本方法。

1.2 设计要求

利用该词法分析器完成对源程序字符串的词法分析。输出形式是源程序的单词符号二元式的代码，并保存到文件中。

(1) 假设该语言中的单词符号及种别编码如下表所示。

(2) 关键字main int char if else for while都是小写并都是保留字。

算符和界符= + －* / & ＜＜＝＞＞＝＝＝!＝&& || , : ; { } [ ] ( )

ID和NUM的正规定义式为：

ID→letter(letter | didit)*

NUM→digit digit*

letter→a | …| z | A | …| Z

digit→0 | …| 9

如果关键字、标识符和常数之间没有确定的算符或界符作间隔，则至少用一个空格作间隔。空格由空白、制表符和换行符组成。

第二章设计原理

2.1 符号分类

程序语言的单词符号一般分为以下五种：

关键字

标识符

常数

运算符

界符

2.2.词法分析器的二元输出

（单词种别，单词符号的属性值）

单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。

2.3 正规式和状态转换图

第三章程序设计

3.1 总体模块设计

/*用来存储目标文件名*/ string file_name;

/*提取文本文件中的信息。*/

string GetText();

/*获得一个单词符号,从位置i开始查找。

//并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。*/ string GetWord(string str,int i,int& j);

/*这个函数用来除去字符串中连续的空格和换行

int DeleteNull(string str,int i);

/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/

bool IsBoundary(string str,int i);

/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/

bool IsOperation(string str,int i);

/*此函数将一个pair数组输出到一个文件中*/

void OutFile(vector > v);

/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/ vector > analyst(vector vec);

/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/

bool IsKey(string str);

3.2 各模块设计

1.首先根据上面单词符号表及ID和NUM的正规定义式，构造出状态转换图；

2.定义相关的变量和数据结构。关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下：

char KEY_WORDS[7]={″main″,″int″,″char″,″if″,″else″,″for″,″while″}；用以存放单词符号二元式的数据结构可如下定义：

class Word_Analyzer

{

public:

char Content[MAXLENGTH] ;

int val ;

void print();

} ;

3.按照编译程序一遍扫描的要求，把词法分析器Scaner作为一个独立的子程序来设计，通过对Scaner的反复调用识别出所有的单词符号；

4.当Scaner识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。若Scaner无法识别出一个单词符号时，则调用错误处理程序PrintError，显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始识别单词符号。