编译原理 大作业

塔里木大学信息工程学院

课程论文

基于 c 语言的简单词法分析器的设计

课程名称编译原理

所属学院信息工程学院

班级计算机16-6

学生姓名李鹏宇

学号 **********

二零一四年十二月

目录

一、引言 (1)

二、基于c 语言词法分析器的设计 (1)

2.1词法分析器的设计原则 (1)

2.2词法分析器的设计对象 (2)

2.3词法分析器的任务及功能 (2)

2.3.1词法分析器的任务 (2)

2.3.2 词法分析程序的功能： (2)

2.4各种单词符号对应的种别码： (2)

三、基于c 语言词法分析器的实现 (3)

3.1词法分析程序的算法思想： (3)

3.2主程序示意图： (3)

3.3函数定义说明 (4)

3.4程序设计实现及功能说明 (4)

3.4.1关键字的定义 (4)

3.4.2符合的关键字的查找 (4)

四、词法分析程序的C语言程序源代码 (5)

五、结果分析： (10)

六、结束语 (11)

参考文献 (7)

摘要：词法分析器构造技术起源于编译器前端的词法分析需求，是编译的第一阶段。其主要任务是读入输入字符，产生记号序列，并提交给语法分析使用。词法分析器技术也经常应用于其他领域，如查询语言与信息检索系统。在每个应用中，最基本的问题是如何设计与说明一种特殊的程序，它能够完成由字符串的模式触发的动作。本文通过实际构造FineC语言（作者设计的一个C语言的轻量子集）的词法分析器对词法分析器的构造原理做了基于实践的探讨。

关键字：词法分析器，双缓冲区，符号表，正则表达式，状态转换图

一、引言

词法分析顾名思义，就是分词。它是用程序设计语言编制出的源程序作为输入，以单词的序列作为输出。分词的过程可以通过编制程序让其自动完成，我们通常把这个分词程序称为词法分析器。词法分析器分析的源程序可以是现有的各类程序设计语言源程序也可以是人为给定的模型语言的源程序。它一般有五个阶段:词法分析,语法分析,语义分析和中间代码产生及优化,目标的代码生成。完成计算机翻译过程的重要阶段,它为以后的语义分析、语法分析打好基础, 做好准备,以便高效的、高质量的生成目标语言的程序。所以词法分析，是编译过程的基础。

二、基于 c 语言词法分析器的设计

2.1词法分析器的设计原则

在编译程序的词法分析,语法分析,语义分析和中间代码的产生及优化阶段中,每个阶段都要遵守功能相等的原则。一个语言的语法的形成是词法规则和语法分析依据的语法规则组成的,衡量一个语法是不是合法要从“形”的角度去出发。因此在词法分析的阶段,重要的研究对象也就变成了词法规则。词法分析程序的输入数据是词法分析器处理的对象,其实是源程序经过了编译预处理,去掉多余的符号后，形成的代码，这样给词法分析较为方便。词法分析的过程是线性的从头到尾扫描一遍,复杂程度较低,易实现。

2.2词法分析器的任务及功能

2.2.1词法分析器的任务

从左到右所有字符逐个的对源程序进行扫描,产生一个一个单词的符号,字

符串的源程序转换成单词符号串中的中间程序。组成语言的基本元素是词法分析程序输出的结果，也就是单词,在实际的处理过程中,输出不一定是单词,而是每个单词相对应的二元式,形为< 单词种别 , 单词符号属性 >。编码的方式由编译系统的开发者决定。故经过词法分析,在输出结果中并没有单词本身。

2.2.2 词法分析程序的功能：

输入：所给文法的原程序字符串。

输出：二元组（syn,token 或 sum ）构成的序列。

其中：Syn：“单词种别码”；

Token：“存放的单词自身字符串”；

Sum：“整型常数”。

例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件，经过词法分析后输出如下序列：

(1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)……

2.3各种单词符号对应的种别码：

表2.3 各种单词符号对应的种别码

三、基于c 语言词法分析器的实现

基于c语言的词法分析器，是它本身程序由 c 语言编写而且它识别的源程序单词串是用 c 语言编写的。本程序编写环境是 Touboc 2.0 ，在 TC 默认途径下编辑一个 c 语言源程序再调用本程序，取名eample.c 方便程序的调用和分析，输出结果是二元式码。

3.1词法分析程序的算法思想：

算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。

3.2主程序示意图：

主程序示意图如图3-1，3-2所示。其中初始包括以下两个方面：

图3-1主程序示意图

⑴关键字表的初值。

关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），

当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下：Char *rwtab[6] = {“begin”, “if”, “then”, “while”, “do”, “end”,};

图3-2主程序示意图

3.3函数定义解释

(1) fopen() 在默认路径下打开分析程序并读入字符串。

(2) otherprocess() 识别当前是其它（标点符号等）。

(3) alphaprocess() 识别当前是数组、保留字、标识符。

(4) search() 查找并识别当前单词类别，并给定单词类别二元式码，决定给定字符串类别码（即单词种别）和记录次序码。

(5) digitprocess() 识别当前是常整数、小数、负小数。

(6) point() 识别当前字符串是指针。

3.4程序设计实现及功能说明

3.4.1关键字的定义

void init()