编译原理第3章

s的一个后继状态
④ s0∈S，唯一的初态 ⑤ F⊆S，是一个终态集（可空）
§３.３正规表达式与有限自动机
2、DFA的两种表达方式 （1）状态转换矩阵
例：DFA M=（{0，1，2，3}，{a，b}，δ，0，{3}）
其中δ为： δ（0，a）=1 δ（0，b）=2
δ（1，a）=3 δ（1，b）=2
δ（2，a）=1 δ（2，b）=3 δ（3，a）=3 δ（3，b）=3
§３.３正规表达式与有限自动机
例题：
Ａ、已知字母表∑={a，b，c}，试求在该字母表上的仅包括
一个b的所有串的集合相对应的正规式 (a|c)*b(a|c)* B、已知字母表∑={a，b，c}，若集合是包括了最多一个b的 所有串，求其相应的正规式 (a|c)*(b|ε)(a|c)*
§３.３正规表达式与有限自动机
标识符：一般统归为一种
常数：常按整型、实型、布尔型等分类 关键字：全体视为一种／一字一种 运算符：一符一种 界符：一符一种
§３.１对于词法分析器的要求
例：考虑下述Ｃ++代码段：while ( i >= j ) i - -;
经词法分析器处理后，它将被转换为如下的单词 符号序列： < while , - > <(,-> < id ,指向i的符号表项的指针> <>=,-> < id ,指向j的符号表项的指针> <),-> < id ,指向i的符号表项的指针> <--,-> <;,->
④ GetBC
⑤ Concat
子程序过程，检查ch中的字符是否为空白。若是，
则调用GetChar直至ch中进入一个非空白字符。 子程序过程，将ch中的字符连接到strToken之后.
§３.２词法分析器的设计
⑥ IsLetter和IsDigit 布尔函数过程，它们分别判断ch中的 字符是否为字母和数字。 ⑦ Reserve 整型函数过程，对strToken中的字符串查找 保留字表，若它是一个保留字则返回它的编码，否则 返回0值（假定0不是保留字的编码）。 ⑧ Retract 子程序过程，将搜索指示器回调一个字符位置， 将ch置为空白字符。 ⑨ InsertId 整型函数过程，将strToken中的标识符插入
§３.３正规表达式与有限自动机
3、例题 例.程序设计语言中的几类单词可用下述规则描述: ＜标识符＞ｌ｜ｌ ＜字母数字＞ ＜字母数字＞ｌ｜ｄ｜ｌ＜字母数字＞｜ｄ＜字母数字＞ ＜无符号整数＞ｄ｜ｄ＜无符号整数＞ ＜运算符＞＋｜＿｜＊｜／｜＝｜＜=｜＞= | = | < | > ＜界符＞，｜；｜（｜）｜……
§３.３正规表达式与有限自动机
3、等价：若两个正规式所表示的正规集相同，则认 为二者等价
两个等价的正规式Ｕ和Ｖ，记为Ｕ＝Ｖ
例： b(ab)*=(ba)*b (a|b)*=(a*b*)* (a*b*)*=(a|b)* L(a*b*)*=[(L(a))*∪(L(b))*]*={ε,a,b,aa,bb,........}*={ε,a,b,ab,...} L(a|b)* ={a,b}*={ε,a,b,ab,…}
结点到某一终态结点的通路，且这条通路上所有弧
的标记符连接成的字等于α。则成α可为DFA M所识 别（接受/读出）。
若M的初态结点同时又是终态结点，则空字ε可为M所识别/接
受。
DFA M所能识别的字的全体记为L（M）。 若一个DFA M的输入字母表为∑，则称M是∑上的一个DFA。
a
0
1
b a
2
a
3
a，ｂ
§３.１对于词法分析器的要求
一、功能和输出形式
１、功能：输入源程序，输出单词符号 ２、单词符号的分类 （１）关键字:由程序语言定义的具有固定意义的标识符，也
称为保留字或基本字。 例如：Pascal 语言中 begin （２）标识符：用来表示各种名字。
end
if
while 等。
如变量名、数组名、过程名等。
正规式 ba* a(a|b)*
(a|b)*(aa|bb)(a|b)*
正规集 ∑上所有以b为首后跟任 意多个a的字 ∑上所有以a为首的字 ∑上所有含有两个相继的 a或两个相继的b的字
§３.３正规表达式与有限自动机
Ｂ、令∑＝｛Ａ，Ｂ，０，１｝，则： 正规式 (A|B)(A|B|0|1)* 正规集 ∑上的“标识符”的全体 ∑上的“数”的全体
一、输入、预处理
１、预处理：剔掉空白符、跳格符、回车符、换 行符、注解部分等.
原因：
编辑性字符除了出现在文字常数中之外，在别
处的任何出现都无意义.
注解部分不是程序的必要组成部分，它的作用 仅在于改善程序的易读性和易理解性.
§３.２词法分析器的设计
２、预处理子程序： 每当词法分析器调用时，就处理出一串确定长 度（如120个字符）的输入字符，并将其装进词法 分析器所确定的扫描缓冲区中。
（３）常数：整型、实型、布尔型、文字型等 例：100 （５）界符： ， ； 3.14159 （ ） true 等 sample （４）运算符：+、-、*、/
§３.１对于词法分析器的要求
３、输出的单词符号形式 二元式：（单词种别，单词符号的属性值）
通常用“整数编码”
“单词符号的特征或特性”
单词符号的编码：
§３.１对于词法分析器的要求
二、接口设计
１、词法分析器作为独立的一遍
词法分析
字符流 （源程序）
单词序列 （输出在一个中间文件上）
２、词法分析器作为一个独立的子程序，但并不 一定作为独立的一遍
语法分析器
单词 调用（取下一个单词）
词法分析器
优点：使整个编 译程序的结构更 简洁、清晰和条 理化.
§３.２词法分析器的设计
(0|1)(0|1)*
一个正规式的正规集与之完全等价，只是表达形式不同
§３.３正规表达式与有限自动机
２、运算
“｜”（或）：表示从各选择对象中选择
“•”（连接积）：表示“连接”起来
（＊）（闭包）：任意有限次的自重复连接 注： ∞ n S*=∪ S ={ε} ∪S∪SS∪……
n=0
L(r*)=L(r)* 优先级：* > • > ”|”
ｌａ～ｚ中的任一英文字母；ｄ０～９中的任一数字
§３.３正规表达式与有限自动机
二、确定有限自动机DFA （Deterministic Finite Aufomofa）
1、DFA M是一个五元式 M=（S，∑，δ ，S0，F）
其中：
① S——有限集，其中的每个元素称为一个状态 ② ∑——有穷字母表，其中的每个元素称为一个输入字符 ③ δ：S×∑S （即∀状态S∈S，a∈∑，δ（S，a）唯一的确定下一状态） δ（s，a）=s‟:当现行状态为s，输入字符为a时，将转换到下一状态s‟
§３.３正规表达式与有限自动机
例题：
Ａ、L(r|s)
L(rs)
=L(r) ∪L(s)={r} ∪{s}={r,s}
=L(r) L(s)={r} {s}={rs} L((a|b)c)=L(a|b) L(c)={a,b}{c}={ac,bc} B、L((a|b)*)={ε,a,b,aa,ab,ba,bb,…} L(a|(b*))={ε,a,b,bb,bbb,…} C、a|bc* —— a|(b(c*)) ab|c*d —— (ab)|((c*)d)
b
2
a
a
3
a，ｂ
b DFA M:
b
m个状态：图中有 个状态结点; n个输入符号： 每个结点顶多有 条箭弧射出; 每条箭弧用∑中的一个 （相同/不同) 输入字符作标记; 整张图含有 个初态结点和若干个 （可为0）终态结点.
§３.３正规表达式与有限自动机
3、识别（读出/接受） 对于任何∑*中的任何字α，若存在一条从初态
§３.２词法分析器的设计
扫描缓冲区的两个指示器：
一个指向当前正在识别的单词的开始位置（即新
单词的首字符） 起点指示器 一个用于向当前搜索以寻找单词的终点搜索指示器
起点指示器
搜索指示器
图 _ 源程序输入缓冲区的对半互补结构
§３.２词法分析器的设计
二. 单词符号的识别——超前搜索
1．关键字的识别
第３章 词法分析
任务：从左至右逐个字符地对源程序进行扫 描，产生一个个的单词符号，把作为 字符串的源程序改造成为单词符号串。
内容简介：
§3.1 对于词法分析器的要求 一．功能和输出形式 二．接口设计 §3.2 词法分析器的设计 一．输入和预处理 二．单词符号的识别 三．状态转换图及其实现 §3.3 正规表达式与有限自动机 一．单词符号的描述 1. 正规式与正规集 2. 正规文法 二．有限自动机 1.ＤＦＡ ２.ＮＦＡ 3. NFA与DFA的等价 4. DFA的化简 三．正规式与有限自动机的等价性 四．正规文法与有限自动机的等价性 §3.4 词法分析器的自动产生（ＬＥＸ） —— 略
字母或数字
i
其它
j
§３.２词法分析器的设计
C、例 课本43页图3.3；45--46页
§３.３正规表达式与有限自动机
一、正规式，正规集，正规文法 二、确定有限自动机（DFA)
三、非确定有限自动机(NFA)
四、NFA=>DFA=>化简 五、正规式有限自动机 六、左线性正规文法有限自动机 左线性正规文法有限自动机
符号表，返回符号表指针。
⑩ InsertConst 整型函数过程，将strToken中的常数插入 常数表，返回常数表指针。
§３.２词法分析器的设计
B、示例
字母
j k l
i
数字
/
图中结点i所对应的程序段可表示为： GetChar （）; if ( IsLetter( ) ) {…状态j的对应程序段…；} else if ( IsDigit( ) ) {…状态k的对应程序段…；} else if ( ch=„/‟ ) {…状态l的对应程序段…；} else {…错误处理…;} 图中结点i所对应的程序段可表示为： GetChar （）; while (IsLetter ( ) or IsDigit ( ) ) GetChar ( ); …状态j的对应程序段…