实现词法分析器

国家人才培养模式创新实验区、云南省教学团队、云南大学软件学院教育创新基金（编号：2009EI08）联合资助项目

实现词法分析器

姓名：

学号：

专业：软件工程

任课教师：柳青

编制时间：2014年4月15

成绩：

云南大学软件学院

2012年6月制表

报告内容：

1、实验目标

了解词法分析程序的两种设计方法：1.根据状态转换图直接编程的方式；2.利用DFA编写通用的词法分析程序。

2、实现方案

背景：

PL/0语言是Pascal语言的子集一种功能简单、结构清晰、可读性强、而又具备了一般高级程序设计语言的必须部分，对PL/0语言的

编译程序能充分体现一个高级语言编译程序实现的基本方法和技术编译的基本过程分为：词法分析、语法分析、语义分析、中间代码生成、代码优化、目标代码生成。另外还有出错处理和表格处理PL/0的词法分析程序是一个独立的过程，其功能是为语法语义分析提供单词，把输入的字符串形式的源程序分割成一个个单词符号

传递给语法语义分析。

硬件环境：Microsoft Windows XP professional2002Inter（R）Core

（TM）2Duo CPUT6670@2.20ghz1.18ghz 3.0GB内存软件环境：Microsoft visual C++express

使用语言：C语言

设置的三个全程变量：syn存放单词类别

n存放用户所定义的值

num存放用户所定义的数

3、实现步骤

1．根据状态转换图直接编程

编写一个词法分析程序，它从左到右逐个字符的对源程序进行扫描，产生一个个的单词的二元式，形成二元式（记号）流文件输出。在此，词法分析程序作为单独的一遍，如下图所示。

具体任务有：

（1）组织源程序的输入

（2）拼出单词并查找其类别编号，形成二元式输出，得到单词流文件

（3）删除注释、空格和无用符号

（4）发现并定位词法错误，需要输出错误的位置在源程序中的第几行。将错误信息输出到屏幕上。

（5）对于普通标识符和常量，分别建立标识符表和常量表（使用线性表存储），当遇到一个标识符或常量时，查找标识符表或常量表，若存在，则返回位置，否则返回0并且填写符号表或常量表。

标识符表结构：变量名，类型（整型、实型、字符型），分配的数据区地址

注：词法分析阶段只填写变量名，其它部分在语法分析、

语义分析、代码生成等阶段逐步填入。

常量表结构：常量名，常量值

2．能对任何S语言源程序进行分析

在运行词法分析程序时，应该用问答形式输入要被分析的S源语言程序的文件名，然后对该程序完成词法分析任务。3．能检查并处理某些词法分析错误

词法分析程序能给出的错误信息包括：总的出错个数，每个错误所在的行号，错误的编号及错误信息。

4.本实验要求处理以下两种错误（编号分别为1，2）：

1：非法字符：单词表中不存在的字符处理为非法字符，处理方式是删除该字符，给出错误信息，“某某字符非法”。

4、结构算法

给出各题目的详细算法描述，数据结构和函数说明，流程图。

1、词法分析器的流程图

2、语法分析器主程序图

3、中间代码生成器流程图：

5、测试用例

输入程序：

float jinlong=1989;if(jinlong==1989)i++;end#预计输出：

(10,float)

(10,jinlong)

(25,=)

(11,1989)

(26,;)

(2,if)

(27,()

(10,jinlong)

(25,=)

(25,=)

(11,1989)

(28,))

(10,i)

(13,+)

(13,+)

(26,;)

(6,end)

(0,#)

6、运行结果

7、实验体会

通过这次实验，我对编译原理这门专业必修课有了进一步的深层次了解，把理论知识应用于实验中，也让我重新熟悉了C语言的相关内容，加深了对C语言知识的深化和用途的理解。相信在以后的毕业设计以及读研自己做项目时可以有更大的提升。