编译原理chapter2词法分析

delim blank | tab | newline ws delim+
正规式、记号名和属性
空白时词法分析器不返回记号给分析器
ws
__
__
while
while
__
do
do
__
id
id
符号表条目的指针
number
number
数表条目的指针
relop
relop
LT、LE、EQ、NE、GT或GE < < <> > >
9
letter
10
other
*
11 return(installId( ))
简略了
【例2.8】 number digit+ (.digit+)? (E (+ | )? digit+)?
E
digit
digit
digit digit
开始
12
digit
13
.
digit
14
15
E
+/ digit
16
17
约定： （1）闭包运算（算符*）有最高的优先级并且是左结合的运算， （2）连接运算（两个正规式并列）的优先级次之且也是左结合的运算， （3）选择运算（算符|）的优先级最低且仍然是左结合的运算。
【例2.3】 令字母表 = {a, b}，那么
正规式
语言
•a|b
{a, b}
• (a | b) ( | b )
标识符 age
记号名 if for
relation id
number literal
词法记号、模式、词法单元
记号的例子
词法单元（单词）列举
模式的非形式描述
if for < , <= , = , … sum, count, D5
字符i, f 字符f, o, r < 或 <= 或 = 或 … 由字母开头的字母数字串
3.1, 10, 2.8 E12 “seg. error”
任何数值常数
引号“和”之间任意不含 引号本身的字符串
• 历史上词法定义中的一些问题
• 忽略空格带来的困难
Fortran
DO 8 I 3. 75 等同于 DO8I 3. 75
DO 8 I 3, 75
循环，8语句标号循环体结束
• 关键字不保留
正规定义的名字：黑体字
【例2.5】无符号数（整数和浮点数）集合，例1946 ，
11.28 ， 63.6E8 , 1.999E-6，下面是这个串集合的正规定
义
整数部分 小数部分 指数部分
digit 0 | 1 | … | 9 digits digit digit*
optional_fraction .digits|
✓下面是定义字母表Σ上正规式的规则，和每条规则相联系的是被定义的正规式所表 示的语言描述。
（1）ε是正规式，它表示{ε}。 （2）如果a是Σ上的符号，那么a可以作为正规式，它表示语言{a}。 （3）假设r和s都是正规式，它们分别表示语言语言L(r)和语言L(s)，那么( r )|( s )、( r )( s ) 、( r )*和( r )都是正规式，分别表示语言L(r) L(s) 、L(r) L(s)、(L(r))*和 L(r) 。
的记号和属性值：
id，指向符号表中position条目的指针 assign_op id，指向符号表中initial条目的指针 add_op id，指向符号表中rate条目的指针 mul_ op number，整数值60
2.1.3 词法错误
• 词法分析器对源程序采取非常局部的观点
• 例：难以发现下面的错误
IF THEN THEN THEN=ELSE；ELSE …
• 关键字、保留字和标准标识符的区别
• 保留字是语言预先确定了含义的词法单元
• 标准标识符也是预先确定了含义的标识符，但程序可以重新声明它的 含义
2.1.2 词法记号的属性
【例2.1】 语句 position = initial + rate 60
do do relop < | < = | = | < > | > | > = letter A | B | … | Z | a | b | … | z digit 0 | 1 | … | 9 id letter (letter | digit )* number digit+ (.digit+)? (E (+ | )? digit+)?
R 第2章 词法分析
• 词法分析器的任务是把构成源程序的字符流翻译成词法记号流。 • 构造词法分析器的一种简单办法是用状态转换图来描述元词法记号的
结构，然后手工把这种状态转换图翻译成为识别词法记号的程序。
本章内容
✓ 词法分析器：把构成源程序的字符流翻译成记号流，还可以完成 和用户接口的一些任务
✓ 围绕词法分析器的生成展开 ✓ 介绍正规式、状态转换图和有限自动机概念
r* = r+ | r+ = rr* • 零个或一个实例。一元后缀“？”的意思是“零个或一个实例”。
r? = r | • 字符组。[ abc ]（其中a、b、c是字母表的符号）表示正规式
a | b | c。缩写字符组[ a-z ]表示正规式a | b | ... | z
letter_ A | B | … | Z | a | b | … | z | _ digit 0 | 1 | … | 9 id letter_(letter_ |digit)*
18
1946 11.28 63.6E8 1.999E-6
other
other
other
*
19
return( installNum( ) )
填入并返回数值的记号
无符号数的转换图
• 空白的转换图
delim blank | tab | newline ws delim+
delim
开始
delim
other
形式化描述
2.2.1 串和语言
✓字母表：符号的有限集合， 例： = { 0, 1}
✓串：符号的有穷序列，例：0,1,11，10010，0110,
串s的长度是出现在s中符号的个数，写做|s|
✓语言：字母表上的一个串集，例： {, 0, 00, 000, …}, {}, ，{1,10, 11, 100,101, …}
不便于计算机处理
语言的运算 并： 连接： 幂： 闭包： 正闭包：
L M = {s | s L 或 s M } LM = {st | s L 且 t M} L0是{}，Li是Li-1L L = L0 L1 L2 … L+ = L1 L2 …
2.2.2 正规式
✓正规式（又称正规表达式、正则表达式）是按照一组定义规则，由较简单的正规 式构成的，每个正规式r表示一个语言L(r)。这些定义规则说明L(r)如何从r的子正 规式所表示的语言中构造出来。
2.1 词法记号及属性
• 词法分析是编译的第一阶段，它的主要任务是扫描输入字符流，产生 词法分析的词法记号序列。
源程序
子程序
词法分析器
记号(token) 取下一个记号
主程序
语法分析器
符号表
词法分析器和语法分析器的相互作用
2.1.1 词法记号、模式、词法单元
• 词法记号。词法记号（简称记号）是由记号名和属性值构成的二元组 ，属性值不是必须项。记号名是代表一类词法单元的抽象名字，例如
简化表示
letter_ [A - Z a - z _] digit 0 | 1 | … | 9 id letter_(letter_ |digit)*
[0-9]
2.2.4 状态转换图
进一步考虑如何构造词法分析器
【例2.6】某语言while语句中可能出现的部分记号描述。 while while ==
【例2.2】 L: { A, B, …, Z, a, b, …, z }, D: { 0, 1, …, 9 }
L D是字母和数字的集合 LD是所有由一个字母后跟随一个数字组成的串的集合 L6是所有由6个字母组成的串的集合 L*是所有字母串（包括）的集合 L(L D )*是以字母开头的所有字母数字串的集合 D+ 是不含空串的数字串的集合
{aa, ab, ba, bb}
• aa | ab | ba | bb • a* • (a | b)*
{aa, ab, ba, bb} 由字母a构成的所有串集，包括空串 由a和b构成的所有串集，包括空串
正规式的代数规律
r|s=s|r r | ( s | t )= ( r | s ) | t ( rs ) t = r ( st ) r ( s | t )= rs | rt ；( s | t )r = sr | tr
• 绘制状态转换图（简称转换图）是构造词法分析器的第一 步。状态转换图描绘词法分析器被语法分析器调用时，词 法分析器为下一个记号所做的动作。
关系算符的转换图
=
2 return(relop, LE)
1
>
3 return(relop, NE)
<
开始 0
=
other
4 * return(relop, LT)
起名字 正规式
d1 r1 d2 r2 ...
dn rn 的定义序列，各个di的名字都不同，每个ri都是 {d1, d2, …, di-1 } 上的正规式。
【例2.4】C语言的标识符是字母、数字和下划线组成的串， 下面是C语言的标识符的正规定义。
letter_ A | B | … | Z | a | b | … | z | _ digit 0 | 1 | … | 9 id letter_(letter_ |digit)*