编译原理 第2章 词法分析

ΧΧΧΧΧ/*ΧΧΧΧΧ*/ΧΧΧΧΧ in_comment: f ……… f / t ………… t / f ……… f
11
0. procedure pro_process() //扫描缓冲区buf[ ]和扫描缓冲区指针i 1. old_c←„\0‟:in_comment←false:cur_c←文件第一个字符:i←1 2. while not eof(“source.txt”) do //文件尚未处理完 3. if not in_comment then //当前字符未处于注释中 4. if old_c='/' and cur_c='*' then //进入注释 5. i←i-1:in_comment←true 6. else 7. if old_c='\' and cur_c=换行符 then i←i-1 //是续行符 8. else 9. if cur_c≥'A' and cur_c≤'Z' then cur_c←cur_c+32 10. if cur_c=制表符 or cur_c=换行符 then cur_c←空格 11. i←i+1:buf[i]←cur_c //送入扫描缓冲区 12. end if 13. end if 14. else //当前字符处于注释中 15. if old_c='*' and cur_c='/' then in_comment←false //离开注释 16. end if 17. old_c←cur_c:cur_c←文件下一个字符 18. end while 19. i←i+1:buf[i] ←'#' 12 20. end procedure
解决办法是超前搜索，一直扫描到右括号后面的字符。若该 字符为字母G或g，则为逻辑IF；若为数字，则为算术IF；若为=， 则为标识符。 超前搜索导致词法分析器实现困难。为了降低词法分析器的 复杂性，避免超前搜索，在实际实现中，大多数语言的编译程序 对用户采取了二条限制措施： ①所有基本字均为保留字，用户不得使用它们作为标识符。 ②将空格、TAB和换行符视为界符。在基本字、用户定义的 标识符和常数之间，若没有运算符或界符，则至少用一个空格 （或TAB、换行符）加以分隔。 这样空格、TAB和换行符不再是没有意义的了，这也就是为 什么在词法分析预处理中将空格、TAB和换行符保留下来的原 因。采用上述二条限制措施，对用户来讲是完全可接受的，并 且已成为程序员进行程序设计的惯例。词法分析器对于所有单 14 词的识别，最多只要向前看一个字符就足够了。
6
设源程序如下所示，其中'\'为续行符。
源程序读入后，输入缓冲区的内容如下所示：
B e g i n / * S = 2 * 3 . 1 4 * R * R + 2 * 3
. 1 4 * R * H * / \n \t R e a l
r , h , s ; \n
\t s = 2 * 3 . \ \n 1 4 * r * ( r + h ) \n E n d \n \0 . . . . . . \0
字母数字 空格

0
字母
① 非字母数字
2
*
17
其中0为初态，2为终态。
③若当前状态是1，只有当输入字符为非字母数字，才可能到达 状态2，显然多读了一个字符，这就是终态结2上星号‘*’的含 义，它并不是正在识别的标识符的组成部分。此时应将其退回， 下次识别单词从该字符开始。 ④单词的尾部空格作为单词的结束标志，单词的前导空格在识 别单词前滤去，所以在初态0有一个标记为空格的自回路。 在词法分析预处理中，空格作为界符被保留下来。由于空格不 是任何单词的组成部分（除字符串常数），故在识别单词前，应 将单词的前导空格滤去。由于空格的特殊性，状态转换图中用虚 线表示（若当前输入字符是空格，重新进入1状态）。在识别标 识符的过程中，当读入的字符不是字母或数字，可能是空格，说 明当前正在识别的单词已完全读入。为程序处理方便起见，不管 是什么字符，均将其退回。若退回的是空格，该空格将成为下一 个单词的前导空格。
㈡状态转换图基本概念及应用
①状态转换图是一个有向图。在状态转换图中，结点代表状态， 用园圈表示。状态之间用箭弧连接。箭弧上的标记代表在射出结 16 状态下可能出现的合法的输入字符。
j ○
○ i
y
x
k ○
②一个状态转换图包含若干个状态 （结点），其中有一个是初态，用符 号指示，是识别字符串的起点。状 态转换图至少有一个终态，表示已识 别出一个字符串（单词），终态用双 圈表示。 例，识别标识符的状态转换图如下 所示：
7
㈡预处理
词法分析器通常由二个部分构成： 预处理程序 扫描器（单词识别程序） ①分成二部分的理由 目前使用的程序设计语言大都采用自由格式书写，允许在 单词之间存在多余的空格、换行和制表符（TAB）。 源程序通常带有注释，注释不是程序的必要组成部分。 有些语言还提供续行功能（例C语言中的续行符'\'），当一 个单词过长（例字符串常数），可分多行列出。 对于Fortran和Cobol之类语言，源程序还受到书写格式的 限制。 词法分析器可在输入缓冲区上直接识别单词，但从程序设计的 角度来看，若把源程序预处理一下，则单词识别就比较容易。8
2.1.3 基本字的识别和超前搜索
程序设计语言单词以基本字识别最为困难，原因如下： ①有些语言对基本字不加保护，用户可用作普通标识符。 ②基本字、用户定义的标识符和常数之间可能没有分隔符。 例标准Fortran对基本字不加保护，用户可以把它们用作普通标 识符。让我们来观察下面三个Fortran语言语句。 IF(5.EQ.M)GOTO55 逻辑IF，当M等于5转标号为55的语句。 IF(5)=55 IF为数组名，IF(5)为下标变量 IF(X+Y)110,120,130 算术IF，当X+Y<0，转标号为110的语句；当X+Y等于0，转 标号为120的语句；当X+Y>0，转标号为130的语句 显然仅根据IF无法判断其为何种单词，可能是基本字，也可能是 13 标识符。
②预处理主要工作 删除注释 删除续行符，以及后续换行符(0AH)。 换行符、TAB和空格具有界符作用，预处理时通常予以保留。 在后面的分析中可以看到，它们的存在反而给后续的单词识别 带来方便。为了简化判断，可在预处理时，将换行符和TAB统 一替换为空格。 大多数语言（除C语言）不区分大小写，可在预处理时，将 大写字母变换成小写字母，或相反，以方便后续处理。 对于受书写格式限制的语言（例Fortran和Cobol），还应识 别标号区，正确给出语句标号。识别续行标志，把相继行捻接 在一起，给出语句结束符。 上述源程序经预处理后，扫描缓冲区中的内容如下所示：
第2章 词法分析
2.1 词法分析器的设计考虑及手工构造
2.1.1 单词类型及二元式编码 2.1.2 源程序的输入及预处理 2.1.3 基本字的识别和超前搜索 2.1.4 遍 2.1.5 状态转换图和词法分析器的手工构造
2.2 正规式、自动机及词法分析器的自动生成
2.2.1 2.2.2 2.2.3 2.2.4 2.2.5 基本概念 正规式与正规集 确定有限自动机（DFA） 非确定有限自动机（NFA） 正规式与确定有限自动机的等价性
㈢遍和编译程序的结构
遍决定了编译程序的结构。在本书中，词法分析器是以函数形 式书写的，函数的返回值是一个单词的二元式。 ①词法分析不作为独立一遍 15 ②词法分析作为独立一遍（本书采用）
2.1.5 状态转换图和词法分析器手工构造
㈠引入状态转换图的必要性
若不考虑科学计数法形式，程序设计语言的无符号实型常数有 三种书写形式，它们是： 无小数部分形式 134. 无整数部分形式 .12 完全形式 3.14 如果考虑科学计数法形式，则无符号实型常数识别更复杂。 直接编写识别无符号实型常数的程序有一定难度，状态转换图是 构造单词识别程序（扫描器）的一种较好工具。
*
+ ( ) , ;
NUL
NUL NUL NUL NUL NUL
计算园柱体表面积的源 程序（输入输出略）如下 所示： Begin/*S=2*3.14* R* R +2*3.14* R*H */ Real r,h,s; s=2*3.14*r*(r+h) End 根据单词二元式编码， 上述程序的单词二元式序 列应为： ('{',"NUL") 5 …………
2.1.4 遍
㈠遍的基本概念
由外存获得前一遍的工作结果(对于第一遍而言，从外存获得源 程序)，完成它所含的有关阶段工作之后，再把结果存于外存。
㈡遍引入的历史背景
早期的计算机内存较小，编译程序相对而言体积较大。使用遍 技术的优点在于，可根据当前遍的工作，装入相应的工作程序。 当一遍工作完之后，内存空间大部分被释放。当下一遍进入后， 几乎可以使用全部存储空间。遍数多一点还有一个好处，即整个 编译程序的逻辑结构较为清晰。但是，遍数多势必增加输入输出 所耗费的时间。
㈠单词类型
任何程序设计语言的单词都可将其分为5种类型，它们是： 基本字 real、integer、…… 标识符 通常为以字母开始的数字字母串（简单变量、标 号、……） 常数 整常数（123）、实常数（123.456）、…… 运算符 +、*、/、…… 界符 ; 、(、)、……
㈡单词的性质
基本字、运算符和界符对于某一程序设计语言来说是确定 的，而源程序中的标识符和常数的个数是不确定的，随源程 序而异。 有些单词由单个字符构成，而有些单词由多个字符构成。 3
10
①算法说明 用伪代码编写预处理程序，输入和预处理可同时进行，无 需输入缓冲区，将读入后经预处理的源程序直接送扫描缓冲 区buf[1..n]。 定义布尔变量 in_comment，记录当前处理字符是否处于 注释。 若in_comment 的值为false，则表示当前读入字符未处于 注释中，此时应将当前处理字符存入扫描缓冲区；若 in_comment 的值为true，则表示当前处理字符处于注释中， 此时无需将该字符存入buf中，相当于掉弃。 当读入“/*”，布尔变量in_comment的值由false变为 true；当读入“*/”，布尔变量in_comment的值由true变 为false。可用变量cur_c记录当前正在处理的字符，用 old_c记录刚处理过的字符。