Chapter4 - 词法分析复习
第4章词法分析-PPT精选文档
第4 章
词法分析
词法分析程序的设计 单词的描述工具 有限自动机 正规式和有穷自动机的等价性 正规文法和有穷自动机间的转换 词法分析程序的自动构造工具
返回目录
编译原理
4.1 词法分析程序的设计
• 词法分析（lexical analysis）
– 逐个读入源程序字符并按照构词规则切分成一 系列单词。 • 单词是语言中具有独立意义的最小单位，包括保留 字、标识符、运算符、标点符号和常量等。 词法分析是编译过程中的一个阶段，在语法分析前 进行。也可以和语法分析结合在一起作为一遍，由 语法分析程序调用词法分析程序来获得当前单词供 语法分析使用。
编译原理
• 输出表示（单词种别，单词自身的值）。 单词的种别可以用整数编码表示，假如标识符编 码为1，常数为2，保留字为3，运算符为4，界符 为5。
如：程序段 if i=5 then x∶=y；在经词法分析 器扫描后输出的单词符号和它们的表示如下：
编译原理
• 程序段 if i=5 then x∶=y - 保留字if(3，'if') - 标识符i(1，指向i的符号表入口) - 等号=(4，'=') - 常数5(2，'5') - 保留字then(3，'then') - 标识符x(1，指向x的符号表入口) - 赋值号∶=(4，'∶=') - 标识符 y(1，指向y的符号表入口) - 分号；(5，'；')
编译原理
词法分析程序
Token
源程序
词法分析程序
get token
语法分析程序 ….
• 主要任务： –读源程序，产生单词符号。 • 其他任务： –滤掉空格，跳过注释、换行符。 – 追踪换行标志，复制出错源程序。 – 宏展开，……
第4章 词法分析(4、5节)
例：将下图所示的DFA M最小化。 a
a b 1 b 6 b 3
b
a a
4 a
b
a 5 2
a b
7
b
DFA M
解：①首先将M的状态分成两个子集 P0=({1,2,3,4}, {5,6,7})
②在P0中寻找一个子集和一个输入符号，使该子集中的状态 可区分。考察：{1,2,3,4} 因为 {1,2}a={6,7} {5,6,7} {3,4}a={1,4} {1,2,3,4} ③在P1中寻找一个子集和一个输入符号，使该子集的状态可 区别。 a a b 对于{3,4}中： 4 1 b 6 a 由于 {3}a={1} a b {4}a={4} a a b 5 7 所以 P2={{1,2},{3},{4},{5,6,7}} a b 3 b ④在P2中考察{5,6,7} ， b 2 由于 {5}a={7}, {6,7}a={4} DFA M 所以 P2={{1,2},{3},{4},{5},{6,7}} 经观察，不能再划分了。
DFA的最小化的例子
a S
a b
a
b
A
B
a
SLeabharlann b aB最小化的DFA
一. 定义
1.化简的FA：是指没有多余状态且状态中没有两个是互相等 价的。 2.多余状态：从DFA的开始状态出发，任何输入串也不能到 达的那个状态。
3.在DFA中，状态s和t状态等价的条件是：
（1）一致性条件——s和t必须同时为可接受态或不可接 受态。
i=0 ∞
|α|0 =
例： 用正则式描述程序设计语言的词法结构.
解： 令 ={az,09},
正则式 =a|b|…|z
清华大学编译原理Chapter4PPT课件
f
a
b
-0 1 2
132
213
+3 3 3
状态转换表的行标表示状态，列标表示输入 符号，表元素表示f(W,a)的值。
19
定义4.6 字母表V上的状态图SG是如下有向图：
(1)至少有一个初始结点，用“－”标记； (2)至少有一个终止结点，用“＋”标记；
确定，可全体编为一类，称作“一字一类”） ②标识符：用户定义的常量名、变量名、过程名和
类型名（个数不确定，作为一类，称作“一符一 类”） ③常量：12,1997,4.14,‘A’,‘scnu’等（个数不 确定，按类型分类） ④运算符 ＋,－,＊,／, >,>=,<,<=,#等（个数 确定，“一符一类”） ⑤界限符 ；,（）等（个数确定，“一符一类”）
5
词法分析程序输出的单词符号通常用二元式 表示：（单词种别，单词自身的值）
单词种别：表示单词种类，常用整数编码， 它是语法分析需要的 单词自身的值：是编译中其他阶段所需要 的信息
6
(4)词法分析程序的设计过程
3G 3型文法 RE 正则表达式
3G RE
SG 状态图 εFA ε确定自动机
εDFA
εNFA ε非确定自动机
A→0S|1A|ε A=ε+0S+1A ② 解:
17
4.3 有穷自动机(FA)
(1)确定有穷自动机（DFA） 定义4.5 一个确定有限自动机(DFA)M是一个五元 组：M=(K,VT,f,S,Z) 其中 K：有穷状态集； VT：有穷的输入字母表； f：K×VT→K是状态转换函数，即f(W,a)=U
(ba)*b ={(ba)nb|n≥0} b(ab)* =(ba)*b
11
四词法分析PPT课件
正规集
Ｌ(ｅ1) Ｌ(ｅ1)∪Ｌ(ｅ2) Ｌ(ｅ1)Ｌ(ｅ2) (Ｌ(ｅ1))＊
说明: 算符的优先顺序: ‘＊’ > ‘.’ > ‘｜’
‘.’和‘｜’都是左结合
4. 仅由有限次使用上述三步定义的表达式才是 ∑上的正规式，仅由这些正规式所表示的字 集才是∑上的正规集。
例子
令={a，b}， 上的正规式和相应的正规集有
G：S→a A|a
A→dA|d
先由产生式得: S=aA|a
A=d*d
将A代入S中得:
S=ad*d|a
利用正规式变换得 S=a(d*d|ε)=ad*
说明:d*d|ε=(ε|d|dd|…)d|ε
=d|dd|…|ε= d*
所求正规式为ad*
4.2 有穷自动机(也称有限自动机)
是一种识别装置 作用:能准确地识别正规集，即识别正规文法所定 义的语言和正规式所表示的集合 意义:为词法分析程序的自动构造寻找特殊的方法 和工具。 分类: 确定的有穷自动机
其中B为一新非终结符
例: 将R=a(a|d)*转换成相应的正则文法 令转换成文法G=(VN,VT,P,S) 其中VT={a,d}， 文法开始符为S 首先形成S→a(a|d)*,然后变换 S→aA A→(a|d)*
A→(a|d)A A→ε
A→aA A→dA
最终有产生式： S→aA ， A→ ε， A→aA， A→dA
➢描述标识符的正规文法为 <标识符>→l｜l<字母数字> <字母数字>→l｜d｜l<字母数字>｜d<字母数字> ➢描述无符号整数的正规文法
<无符号整数>→d｜d<无符号整数>
4.1.2 正规式(正则表达式) Regular Expression
Chapter4 - 词法分析复习
其中 S={i,1,2} A={1,2,3} B={1,2,4} C={1,2,3,5,6,f} D={1,2,4,5,6,f} E={1,2,4,6,f} F={1,2,3,6,f}
FM 是DFA M的状态转换函数，定义如下： FM （S,a）＝A FM （S,b）＝B FM （A,a）＝C FM （A,b）＝B FM （B,a）＝A FM （B,b）＝D FM （C,a）＝C FM （C,b）＝E FM （D,a）＝F FM （D,b）＝D FM （E,a）＝F FM （E,b）＝D FM （F,a）＝C FM （F,b）＝E
正规文法逐级包含关系文法的形式化说明0型文法对任一产生式都有1型文法除s外对任一产生式都有s不得出现在任何产生式的右部2型文法对任一产生式都有3型文法任一产生式的形式都为aab或aa随着对产生式的约束条件逐渐增强文法描述语言的能力逐渐减字符串识别一个状态转换图可用于识别或接受一定的字符串字母其他字母或数字识别标识符的状态转换图数字其他数字识别整常数的状态转换图终结符上的星号读进不属于标识符部分的字符则把它退还给输入串正规式和正规集的递归定义上的正规式
状态集合I的ε-闭包表示为ε-closure(I)。 状态集I中任何状态S经任意条ε弧而能到达的状态集 S∈ε-closure(I)。 状态集合I的a弧转换表示为move(I,a)，定义为状态集合J， 其中：J是所有那些可从I中的某一状态经过一条a弧而到 达的状态的全体。 Ia = move(I,a) = ε-closure(J)。
因此得出上表 。 根据上述NFA的状态转换图及其确定化过程，可以构造与 它等价的DFA M。
DFA M＝〈{S,A,B,C,D,E,F}，{a,b}，FM，S，{C,D,E,F}〉
编译原理第4章答案
第四章 词法分析1．构造下列正规式相应的DFA ：(1) 1(0|1)*101(2) 1(1010*| 1(010)*1)*0 (3) a((a|b)*|ab *a)*b (4) b((ab)*| bb)*ab 解：(1)1(0|1)*101对应的NFA 为下表由子集法将NFA 转换为DFA ：(2)1(1010*| 1(010)*1)*0对应的NFA 为 10,1下表由子集法将NFA转换为DFA：(3)a((a|b)*|ab *a)*b (略) (4)b((ab)*| bb)*ab (略)2．已知NFA=（{x,y,z},{0,1},M,{x},{z}）其中：M(x,0)={z},M(y,0)={x,y},M(z,0)={x,z},M(x,1)={x}, M(y,1)=φ,M(z,1)={y},构造相应的DFA 。
解：根据题意有NFA 图如下下表由子集法将NFA 转换为DFA ：0，1下面将该DFA最小化：(1)首先将它的状态集分成两个子集：P1={A,D,E},P2={B,C,F}(2)区分P2:由于F(F,1)=F(C,1)=E,F(F,0)=F并且F(C,0)=C,所以F，C等价。
由于F(B,0)=F(C,0)=C,F(B,1)=D,F(C,1)=E,而D，E不等价（见下步），从而B与C，F可以区分。
有P21={C,F},P22={B}。
(3)区分P1:由于A，E输入0到终态，而D输入0不到终态，所以D与A，E可以区分，有P11={A,E},P12={D}。
(4)由于F(A,0)=B,F(E,0)=F,而B，F不等价，所以A，E可以区分。
(5)综上所述，DFA可以区分为P={{A}，{B}，{D}，{E}，{C，F}}。
所以最小化的DFA如下：3.将图确定化：1101111解：下表由子集法将NFA 转换为DFA ：4.把图的(a)和(b)分别确定化和最小化：(a) (b)解： (a):下表由子集法将NFA 转换为DFA ：0，1a可得图（a1），由于F(A,b)=F(B,b)=C,并且F(A,a)=F(B,a)=B,所以A,B 等价，可将DFA 最小化，即：删除B ，将原来引向B 的引线引向与其等价的状态A ，有图(a2)。
《编译原理》第4章词法分析
编译原理武汉大学计算机学院编译原理课程组第4章词法分析·词法分析器·单词符号·词法分析程序设计·词法分析器的自动生成4.1 词法分析器与单词符号词法分析程序依据语言词法规则，分析由字符组成的源程序，把它识别为一个一个具有独立意义的最小语法单位，即“单词”，并识别出与其相关的属性(如是标识符，是界限符，还是数，等等)，再转换成长度上统一的标准形式——属性字，把字符串形式的源程序改造成为单词符号串(属性字)形式的中间程序，以供其它部分使用。
1. 词法分析程序的作用如删除注解、空格、回车符、换行符之类非必要信息，把标识符登录入符号表及某些预加工处理等。
4.1 词法分析器与单词符号2.词法分析程序的地位·作为一个独立阶段⑴能独立地研究词法与语法两方面的特性。
⑵词法规则简单，可建立特别适用的有效分析技术，易于实现词法分析程序生成自动化。
⑶可以就同一语言，为每种不同的机器编写一个词法分析程序，而只编写一个共同的语法分析程序。
每当语法分析程序需要一个单词符号时就调用词法分析子程序，每一次调用，词法分析子程序就从源程序中识别出一个单词符号交给语法分析程序。
2.词法分析程序的地位4.1 词法分析器与单词符号·作为一个独立阶段·安排为一个子程序4.1 词法分析器与单词符号3. 单词符号程序语言的单词符号一般可分为五种：关键字、标识符、常数、运算符、界限符。
•单词种别一类一码；一符一码。
•单词符号的属性值反映单词符号特征或特性的值。
如标识符的符号表指针，常数的常数表指针等。
4.2 扫描程序的设计1．预处理如删除注解、空格、回车符、换行符之类非必要信息。
从源程序中处理出一串确定长度的输入字符，并将其装进词法分析程序指定的缓冲区——扫描缓冲区中。
4.2 扫描程序的设计1．预处理2．单词符号的识别——超前搜索•关键字的识别•标识符的识别•常数的识别•算符和界限符的识别4.2 扫描程序的设计状态转换图的实现：将状态转换图看作是通常的程序框图。
编译原理课件-词法分析
關於有窮自動機將討論如下內容
確定的有窮自動機DFA 不確定的有窮自動機NFA NFA的確定化 DFA的最小化
VT={a,d} VN={S,A,B}
A B(ad)B B
AdB
正規文法和正規式
對G=(VN,VT,P,S),存在一個 =VT上的正規式R : L(R)=L(G)
AxB AxAy Axy
, By ≈ A=xy ≈ A=xy ≈ A=xy
正規文法和正規式
G[s]:SaA|a AaAadAd
A(ad)A(ad)
=f（Q，b）=Q
Q屬於終態。
得證。
a
Ua b, a
S
b
aQ
b
V
b
DFA M所能接受的符號串的全體記為L(M).
對於任何兩個有窮自動機M和M′，如果L(M)=L(M′)，則 稱M與M′是等價的.
結論：
上一個符號串集V是正規的，當且僅當存在一個上 的確定有窮自動機M，使得V=L(M)。
DFA的確定性表現在轉換函數f:K×Σ→K是一個單值函 數，也就是說，對任何狀態k∈K，和輸入符號a∈Σ， f(k,a)唯一地確定了下一個狀態。從狀態轉換圖來看， 若字母表Σ含有n個輸入字元，那麼任何一個狀態結 點最多有n條弧射出，而且每條弧以一個不同的輸入 字元標記。
狀態
字元
a
S
U
U
Q
V
U
Q
Q
b
V0
V0
Q0
Q
编译原理课件chapter4
三地址代码的生成
总结词
三地址代码是一种常见的中间代码形式，它由一系列的三元 式组成，每个三元式包含一个操作符和两个操作数。
详细描述
三地址代码的生成是编译过程中的一个重要步骤，它通过对 源代码进行语法分析和语义分析，将高级语言转换为一系列 的三元式。这些三元式表示了源代码中的运算和数据传输操 作，可以进一步转换为目标代码。
常见的寄存器分配算法包括基于 图的方法、线性扫描算法和遗传
算法等。
目标代码的生成
01
02
03
04
目标代码的生成通常涉及指令 选择、指令调度和代码优化等
步骤。
指令选择是根据中间代码选择 合适的目标指令的过程，需要 考虑指令集架构、语义等约束
。
指令调度是为了确定指令的执 行顺序，以充分利用处理器资
源并提高指令级并行度。
为了能够处理连续输入的字符流，词 法分析器需要使用一个输入缓冲区来 存储尚未处理的字符。
设计状态转换图
根据正则表达式的规则，可以设计出 一个状态转换图，用于描述如何将输 入的字符转换为相应的词法单元。
词法分析器的实现
编写词法分析器程序
根据状态转换图和输入缓冲区的处理 逻辑，可以编写出相应的词法分析器 程序。
循环展开
将循环体多次执行，减 少循环次数，提高程序
运行效率。
循环优化
通过优化循环结构，减 少循环次数，提高程序
运行效率。
函数内联
将函数调用替换为函数 体中的代码，减少函数
调用的开销。
循环优化
01
02
03
04
循环展开
将循环体多次执行，减少循环 次数，提高程序运行效率。
循环合并
将多个循环合并为一个循环， 减少循环次数，提高程序运行
编译原理第四章词法分析
编译原理第四章词法分析第四章词法分析课前索引【课前思考】◇词法分析程序的功能是什么？◇ PL/0词法分析程序识别哪⼏种单词？◇画出PL/0词法分析程序的流程图。
◇ C语⾔，PASCAL语⾔的标识符和数的表⽰分别有什么规定？◇编写⼀个程序（C的，或PASCAL的）识别C++语⾔的标识符。
【学习⽬标】◇明确词法分析在编译过程所处的阶段和作⽤。
◇掌握词法分析程序的⼿⼯实现⽅法。
◇理解通常的单词分类和构词规则。
◇会使⽤单词的描述和识别机制。
◇掌握词法分析程序的⾃动构造原理。
【学习指南】词法分析程序是编译程序的⼀个构成成分，它的主要任务是扫描源程序，按构词规则识别单词，并报告发现的词法错误。
词法分析也是语法分析的⼀部分，把词法分析从语法分析中独⽴出来是为了使编译程序结构清晰，也是为了便于使⽤⾃动构造⼯具，提⾼编译效率。
本章⾸先介绍词法分析程序的功能和设计原则，然后引⼊正规式和其对单词的描述，接着讲述有穷⾃动机理论，最后给出词法分析程序的⾃动构造原理。
【难重点】◇如何设计和实现词法分析程序◇正规式的定义-如何⽤作单词的描述⼯具◇有穷⾃动机的定义和分类-如何⽤作单词的识别系统◇正规式到有穷⾃动机的转换算法-词法分析程序的⾃动构造原理【知识结构】词法分析是编译的第⼀个阶段，它的主要任务是从左⾄右逐个字符地对源程序进⾏扫描，产⽣⼀个个单词序列，⽤以语法分析。
执⾏词法分析的程序称为词法分析程序或扫描程序。
本章我们将讨论词法分析程序的设计原则，单词的描述技术，识别机制及词法分析程序的⾃动构造原理。
词法分析程序的主要任务：- 读源程序，产⽣单词符号词法分析程序的其他任务：- 滤掉空格，跳过注释、换⾏符- 追踪换⾏标志，复制出错源程序，- 宏展开，……本章要点：- 告诉你掌握词法分析程序的设计和实现的办法- ⾸先需要描述和刻画程序设计语⾔中的原⼦单位--单词，其次需要识别单词和执⾏某些相关的动作。
- 描述程序设计语⾔的词法的机制是正则表达式，识别机制是有穷状态⾃动机。
第四章 词法分析课外训练
第四章词法分析
（一）内容
本章介绍编译程序的第一个阶段词法分析的设计原理和设计方法，包括源程序输入与词法分析程序输出、正则文法及其状态转换图、确定的有限自动机（DFA）、不确定的有限自动机（NFA）、正则表达式与正规集。
（二）本章重点
词法分析器的逻辑结构与功能，状态转换图，正规表达式与正规集、DFA、NFA及其等价转换，NFA的确定化，DFA的最小化。
（三）本章难点
正则式与自动机的应用，NFA的确定化，DFA的最小化。
（四）本章考点
正规式到NFA的转换。
NFA的确定化。
DFA的最小化。
（五）学习指导
掌握正规文法、状态转换图、DFA、NFA、正规表达式和正规集的基本概念和词法分析器的设计与程序编写。
词法分析的任务是对源语言所编写的代码进行从左到右的扫描，产生一个个的单词符号（token），由这些单词符号形成的中间程序是后续语法分析输入。
在理论上词法分析器的构造是根据一种语言的正规文法描述形成相应的状态转换图（DFA），若输入字符串能够被该DFA接受，则认为当前输入是语言中的一个单词符号。
因此，DFA的构造是本章学习的重点。
附训练试题：
1写出能被5整除的十进制整数的文法及正规表达式。
2：已知有限自动机如图
(1)以上状态转换图表示的语言有什么特征？
(2)写出其正规式与正规文法.
(3)构造识别该语言的确定有限自动机DFA.
3请构造与正规式R=(a*b)*ba(a|b)*等价的状态最少的DFA（确定有限自动机）
4设字符集∑={ a, b } ,请写出不以a开头的但以aa结尾的字符串集合的正规表达式，并构造与之等价的状态最少的DFA。
编译原理-第四章
id();FUNCTION id():T):T; FUNCTION id(VAR id,…，id:T;id,…,id:T;PROCEDURE
id();FUNCTION id():T): T; RECORD id1:T1,…,idn:Tn END;
❖ 简化的记录信息表RinfTab中的每一项的结构 为：
综合上述内容，类型的内部表示可概括为：
❖ 设某记录类型的RinfTab表如下： RinfTab[rp]:
用length(ftp)表示类型ftp的长度，则有
❖ 此外，我们假定，integer,real,boolean作为标准类型，其内部表示已预 先存放在类型表TypeTab中，且其地址分别为itp,rtp和btp,并假定 length(itp)=length(rtp)= length(btp)=1
❖ 把词法分析从语法分析中独立出来有下述优点：
① 部分编译时间花费在扫描字符上。 ② 单词符号的语法可以用非常简单的文法加以描述。 ③ 对同一语言来说，常有不同的表示方法。 ④ 高级语言时，需要考虑词法和语法两方面的特性，若
把两者分开，有利于分别地研究它们。
❖ 可以把词法分析程序作 为独立的一遍去编写， 它实现源程序的全部词 法分析工作，并把转换 后的内部形式的源程序 传递给语法分析程序。
4.4.4 标识符处理的基本思想
标识符处理的基本思想是： ❖ ① 每当进入新的一层时，记住本层标识符表
SympTab的初始地址； ❖ ② 当遇到定义性标识符时，构造其语义字并去查本
层的标识符表。 ❖ ③ 当编译程序遇到使用性标识符时，也要去查标识
词法分析知识点总结
词法分析知识点总结一、词法分析的基本概念1. 词法分析的定义词法分析是自然语言处理和计算机语言处理中的一个重要领域，它涉及到研究自然语言的词法结构、词法规则、单词辨识和语言模式匹配等内容。
通过词法分析，我们可以更好地理解和解释文本中的语言现象，处理和管理大量的文本数据，并且可以进行文本分类、关键词提取、信息检索和语言模式匹配等各种应用。
2. 词法分析的基本任务词法分析的基本任务包括：单词辨识、分词和断句。
单词辨识是指根据相应的词法规则将文本中的单词和标点符号识别出来；分词是指将文本按照相应的语言规则进行分割，形成一个个有意义的词单元；断句是指将文本按照相应的语言规则进行分割，形成一个个有意义的句子。
3. 词法分析的基本方法词法分析的基本方法包括：基于规则的词法分析和基于统计的词法分析。
基于规则的词法分析是指根据语言的词法规则和语法规则，通过对文本进行分析和处理，得到相应的词法信息；基于统计的词法分析是指根据大量的语料库数据，通过统计分析和机器学习等技术，得到文本中的词法信息。
4. 词法分析的基本原理词法分析的基本原理包括：正则表达式、自动机理论和语言模型。
正则表达式是一种描述文本模式的表达式，通过对文本进行匹配和识别，得到相应的词法信息；自动机理论是一种描述文本结构的理论，通过对文本进行分析和处理，得到相应的词法信息；语言模型是一种描述文本语言现象的模型，通过对文本进行建模和分析，得到相应的词法信息。
二、词法分析的相关知识点1. 词法规则的设计词法规则是词法分析的基础，它包括：单词的形态、语义和用法规则。
单词的形态规则是指单词的结构、词根、词缀、词性和语法等规则；单词的语义规则是指单词的含义、词义和搭配等规则；单词的用法规则是指单词的用法、谓词、主语、宾语和修饰等规则。
2. 分词和断句的处理方法分词和断句是词法分析的基本任务，它包括：正向最大匹配、逆向最大匹配、最短路径匹配和动态规划匹配。
正向最大匹配是指从文本的左边开始匹配，匹配长度最大的词；逆向最大匹配是指从文本的右边开始匹配，匹配长度最大的词；最短路径匹配是指通过路径规划算法，得到最短路径匹配结果；动态规划匹配是指根据文本的属性和上下文，得到最佳的匹配结果。
第4章 词法分析(1-6)
正规集分别为L(e1)和L(e2)，那么，(e1), e1 e2,
e1e2, e1也都是正规式,它们所表示的正规集分 别为L(e1), L(e1)L(e2), L(e1)L(e2)和(L(e1))。 4。仅由有限次使用上述三步骤而定义的表达式才 是上的正规式，仅由这些正规式所表示的集合 才是上的正规集。
7
例如：图3.1的源程序经词法分析器的输出 〈while，—— 〉 〈id，指向i的符号表入口的指针〉
〈relop ， NE 〉
〈id，指向j的符号表入口的指针〉 〈do，—— 〉 〈if，——〉 〈id，指向i的符号表入口的指针〉 〈id，指向j的符号表入口的指针〉
8
3 把词法分析设计成一个独立程序
解： 正规式
a a|b ab a* (a|b)(a|b) (a|b)* (a|b)*(aa|bbb)(a|b)* (a|b)*abb
正规集
{a} {a,b} {ab} { ,a,aa,…} {aa,ab,ba,bb} {a,b}上的任意串 *上所有含有两个相继的a
或三个连续的b的a、b串
以abb结尾的a、b串
定义：如：标识符的文法定义
I-> aA|bA|……|zA
A-> aA|bA|……|zA|ε
A-> 0A|1A|……|9A|ε
或 则 用l代表字母，d代表数字 I->lA A->lA|dA|ε
识别单词的装置：FA（finite automata）
34
2 正则语言的识别装置-FA
为了构造词法分析器，要研究构词法、每种词类的结 构模式以及识别它的数学模型——有穷自动机FA。 FA的模拟程序可以作为词法分析器的控制程序。
第4章 词法分析
5
其他字符
返回S
出口
双界符
• 有穷自动机是一种数学模型，具有离散的输入与输出， 系统可处于有穷状态中的任何一个 • 作为一种识别装置，它能准确地识别正规集，即识别正 规文法所定义的语言和正规式所表示的集合 • 引入有穷自动机这个理论，正是为词法分析程序的自动 构造寻找特殊的方法和工具 有穷自动机分为两类： 确定的有穷自动机（DFA） (Deterministic Finite Automata) 不确定的有穷自动机（NFA） (Nondeterministic Finite Automata)
词法分析程序的输出
词法分析程序所输出的单词符号常常采用以下 二元式表示： (单词种别，单词自身的值)。 单词种别：语法分析需要的信息 单词自身的值：编译其他阶段需要的信息 例如：const i=25,yes=1;
对某些单词来说，不仅仅需要它的值，还需要其它一 些信息以便编译的进行。例如标识符的各种属性可以 保存在符号表中，因此可以用一个指针指向它： （标识符，指向该标识符所在符号表中位置的指针） const i=25,yes=1;对单词i和yes的表示为： （标识符，指向i的表项的指针） （标识符，指向yes的表项的指针）
知 识 结 构
知识结构
⑤ ③
正规文法 ② 描述
正规式
{正规集} ① ⑥ 词法分析
有穷自动机（NFA 寻 找 ④ 特 殊 识别 方 法 和 工 具
DFA)
自动构造工具LEX
本章重点
单词的描述工具 单词的识别系统 设计和实现词法分析程序
首先需要描述和刻画程序设计语言中的原子单位— —单词，其次需要识别单词和执行某些相关的动 作。 描述程序设计语言的词法的机制是正则表达式，识 别机制是有穷状态自动机。
编译原理第4章习题及答案(词法分析)
解：
4.8构造以下3型文法相应的最简自动机(“最简自动机”应该是“最简确定自动机”)：
G:S → aS|bA|a
A → aS|bA|bB
B →bB | b
解：
a
b
Ia
Ib
-S
SZ
A
-S
SZ
A
A
S
AB
+SZ
SZ
A
B
BZ
A
S
AB
+Z
AB
S
ABZ
+ABZ
S
ABZ
4.9构造以下自动机相应的3型文法G：
（3）由正规式(1|…|9)(0|1|2|…|9)*构造的DFA3为：
（4）依题意构造的DFA4为：
（5）确定有限自动机与3型文法等价。而“a和b的个数相等的所有ab串”属上下文有关，需要1型文法描述，故确定有限自动机不能描述。
4.4构造下列正规式相应的NFA，然后转换为DFA：
（1）(a|b)*a(a|b|ε)
习题 第4章词法分析
4.1编写以下字符串集的正规式（若没有正规式则说明原因）：
（1）以a开头和结尾的所有小写字母串；
（2）以a开头或/和结尾的所有小写字母串；
（3）不以0开头的所有数字串；
（4）每个5均在每个1之前的所有数字串；
（5）a和b的个数相等的所有ab串。
4.2简述由下列正规式生成的语言：
（1）(a|b)*a(a|b|ε)
4.5构造自动机A1和A2，使得
L(A1)={ε,an,ban|n≥1}
L(A2)={ε,(ab)n|n≥1}
4.6将下列NFA确定化：
4.7消除下列εDA的ε边：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
例：E(E)(E+E)(E*E+E)(i*E+E)(i*i+E) (i*i+i) 句型：E,(E),(E+E),(E*E+E),(i*E+E),(i*i+E),(i*i+i) 句子：(i*i+i) 终结符号集 VT = { i，+，*，(，) }
文法定义的语言一
文法G2：S→bA，A→aA∣a 推导过程
D b a F
其中 S={i,1,2} A={1,2,3} B={1,2,4} C={1,2,3,5,6,f} D={1,2,4,5,6,f} E={1,2,4,6,f} F={1,2,3,6,f}
FM 是DFA M的状态转换函数，定义如下： FM （S,a）＝A FM （S,b）＝B FM （A,a）＝C FM （A,b）＝B FM （B,a）＝A FM （B,b）＝D FM （C,a）＝C FM （C,b）＝E FM （D,a）＝F FM （D,b）＝D FM （E,a）＝F FM （E,b）＝D FM （F,a）＝C FM （F,b）＝E
确定有限自动机
确定有限自动机(DFA) M是一个五元式 M =（S, , f, S0, Z） 有穷状态集S 有穷的输入字母表，每个元素称为一个输入字符 状态转换函数f，f(s,a) = s’ S0S是唯一的初态 终态集Z，ZS，可空 DFA的确定性 状态转换函数f是一个SS的单值部分映射 若f是一个多值函数且初态不唯一，则M是非确定有限自动机 f(s,a) = s’ 表示：输入字符a，则现行状态s将转换到下一状态s’ s’称为s的一个后继状态 f(s,a)唯一地确定了下一状态
正规式例题
令={a,b}，请写出上的正规式和正规集
正规式 正规集 {}
a ab ab a (ab)(ab) (ab)
(ab)(aabb)(ab)
{a} {a,b} {ab} { ,a, aa, ……, 任意个a的串} {aa, ab, ba, bb} { , a, b, aa, ab, ……, 所有由a和b 组成的串} {上所有含有两个相继的a或 两个相继的b组成的串}
EB→BE aB→ab bB→bb bE→be eE→ee 请给出G8(S)的语言? 解答:
(S→aBE) (EB→BE) (aB→ab) (bB→bb) (bE→be) (eE→ee)
L(G8)={ anbnen | n≥1}, 上下文有关文法
根据语言构造文法一
构造一个文法G4使L(G4)={anbn︱n≥1}
α ∈VN β ∈(VN∪VT)*
3型文法
任一产生式α →β 的形式都为A→aB或A→a
A∈VN B∈VN a∈VT*
随着对 产生式 的约束 条件逐 渐增强， 文法描 述语言 的能力 逐渐减 弱
字符串识别
一个状态转换图可用于识别(或接受)一定的字符串
字母或数字 字母 其他 数字
∵a,b∈∑∴baab∈∑* 由题意可知：
对于t＝baab， DFA M存在一条经过S、V、U、Q和Q的 通路，使得该通路上所有弧的标记符连接成的字等于t。
因此，t 被DFA M所接受。
题：下图是一个NFA的状态转换图，请将 其转化为一个DFA。
解：采用NFA确定化算法（或子集法）。
逐级“包含”关系
文法的形式化说明
0型文法
对任一产生式α →β ,都有
α ∈(VN∪VT)*且至少含有一个非终结符 β ∈(VN∪VT)*
1型文法
除S→ε 外,对任一产生式α →β 都有|α |≤|β | S不得出现在任何产生式的右部
2型文法
对任一产生式α →β ,都有
观察文法特点
每个句子中，a与b的个数必须相同
根据经验猜测文法
G4： S→ aSb ∣ab
根据语言构造文法二
给出产生语言为{anbm|1nm2n}的文法 解答:
G7(S)： S aSb | aSbb S ab
根据语言构造文法三
给出生成下述语言的上下文无关文法： （1）{ anbnambm| n，m>=0} （2）{ 1n0m1m0n| n，m>=0}
文法定义的语言三
文法G3：S→AB，A→aA∣a，B→bB∣b 推导过程
SABab SABaABaAbaaba2b SABabBabbab2 …
归纳得出
L(G3)={ambn︱m,n≥1}
文法定义的语言四
若已知文法G8(S)：
S→aSBE S→aBE
S→aSBE S→aaBEBE S→aaBBEE S→aabBEE S→aabbEE S→aabbeE S→aabbee
G1(S) S→AA A→aAb|ε
G2(S) S→1S0|A
A→0A1|ε
文法二义性证明
请证明下述文法G(<表达式>)是二义的 <表达式>∷= a | (<表达式>) | <表达式> <运算符> <表达式> <运算符>∷= + | - | * | /
若一个文法存在某个句子对应两棵不同的语法树，则称这个文法是二义的 提示：例证法。为句子a+a*a构造两个不同的最右推导。
上下文无关文法
一个上下文无关文法G是一个四元式（VT,VN,S,ρ） 例：G1= < { i，+，*，(，) }，{E}，E， ρ > 终结符号集 VT = { i，+，*，(，) } 非终结符号集 VN = {E} 开始符号 S = E 产生式集ρ→ E+E︱ E*E ︱（E）︱i E E+E E E*E E （E） E I 一个CFG如何定义一个语言呢？
* 2 0
0
1
数字
1
其他
2
*
识别标识符的状态转换图
识别整常数的状态转换图
终结符上的星号“*”
读进不属于标识符部分的字符，则把它退还给输入串
正规式和正规集的递归定义
上的正规式：有限次使用下述三步骤而得到的表达式 和都是上的正规式 任何a ，a是上的一个正规式 假定U和V都是上的正规式 (UV)，(UV)，(U)也都是正规式 上的正规集：由上述正规式所表示的字集 和都是上的正规式 它们所表示的正规集分别为{}和 任何a ，a是上的一个正规式 它所表示的正规集为{a} U和V都是上的正规式 L(U)和L(V)是正规集 L(UV)，L(UV)，L(U)也都是正规集
从开始符号出发，反复使用产生式，对非终结符施行替换和展开
CFG的句型
定义：假定G是一个文法，S 是它的开始符号 * 。如果 S ，则称一个句型。仅含终 结符号的句型是一个句子。文法G所产生的句 子的全体是一个语言，将它记为 L(G)。
L(G ) { | S , V }
0
a
1
b
a
2
{ambn | m,n1}
b
题：证明t=baab被下图的DFA所接受。
证法一： ∵a,b∈∑ ∴baab∈∑* f(S,baab) = f(f(S,b),aab) = f(V,aab) = f(f(V,a),ab) = f(U,ab) = f(f(U,a),b) = f(Q,b) = Q。 Q属于 终态,故得证。
编译程序的工作过程
源程序 表
词法分析器 单词符号
语法分析器 语法单位
出
格
错
语义分析与中间代码生成器
管 优化器 理 中间代码 目标代码生成器 目标代码 理 中间代码 处
编译五个阶段、表格管理和出错处理任务模块的功能
连接积与推导
区分ε ,{ε },Φ Σ ={a,b} Σ * ={ε ,a,b,aa,ab,aabba,…} x=ab,y=cd 则 xy=abcd a0=ε ,a1=a, a2=aa A直接推出,即：A，仅当A是一个产生式, 且,* 如果12…n，则称这个序列是从1到n的一个推导 若存在一个从1到n的推导，则称1可以推导出n 最左推导和最右推导
SbAba SbAbaAbaa … SbAbaA…ba…a
归纳得出
L(G2)={ban︱n≥1}
文法定义的语言二
若已知文法G6(A)： A c|Ab 请给出G6(A)的语言? 解答:
以c开头，后继若干个b L(G6)={c，cb，cbb，}＝{cbn︱n≥1}
非确定有限自动机
非确定有限自动机(NFA) M是一个五元式 a，b M=(S, , f, S0, Z) a，b 0 1 S： 有穷状态集 aa 有穷的输入字母表 bb f：状态转换函数 S0S是非空的初态集 a，b 终态集Z，ZS，可空 2 识别所有含相继两个a NFA的不确定性 或相继两个b的字 状态转换函数为S*2S的部分映射(非单值)
复 习 一
编译程序与程序语言
编译程序是指能够把源语言程序转换成目标语言 程序的一个程序，且两种语言程序逻辑上等价 一个程序设计语言的基本功能是描述数据和对数 据的运算 程序语言的语法范畴一般包括：表达式、语句、 分程序、函数、过程和程序等 单词符号是语言中具有独立意义的最基本结构， 它一般包括：基本字、标识符、常数、运算符和 界符等 中间代码是一种含义明确、便于处理的记号系统， 通常独立于具体的硬件 遍是指对源程序及其中间结果从头到尾扫描一次， 加工处理，生成新的中间结果或目标程序
状态集合I的ε-闭包表示为ε-closure(I)。 状态集I中任何状态S经任意条ε弧而能到达的状态集 S∈ε-closure(I)。 状态集合I的a弧转换表示为move(I,a)，定义为状态集合J， 其中：J是所有那些可从I中的某一状态经过一条a弧而到 达的状态的全体。 Ia = move(I,a) = ε-closure(J)。