编译原理课件03(2)词法分析与有穷自动机

f(Z,0)=A f(Z,1)= Φ f(z, ε)= Φ f(A,0)=A,B f(A,1)= Φ f(A, ε)=Φ f(B,0)= Φ f(B,1)=A f(B, ε)=D 1 0 0
Z
ε A 0 BD源自其状态图如图(a)或(b)所示. 1 0 显然,自动机M是非确定的. 它识别的语言就是文法G[Z] 所描述的语言即 L(G[Z])=L(M)=0(0|01)*0. 0
3.5 正规文法与有穷自动机
右线性正规文法到有穷自动机的转换方法 A→aB 设给定了一个右线性正规文法 A→a G = (VN ,VT , P , S) 则相应的有穷自穷自动机 M = (Q , ∑ , f , q0 , Z ) a= ε A→B 1. 令 Q= VN∪{D} (D ∈VN) / 令f (A , ε)=B Z={D} ∑ = VT q0=S 2. 对G中每一形 A→aB (A ,B∈VN ,a∈VT∪{ε}) 的产生式 , 令 f (A , a)=B
ε
Y
ε
ε
01
X
Y
(10 | 01)(10 | 01) * (c)
Y
R=(10|01)(10|01)*
3.5 正规文法与有穷自动机
前面提到程序设计语言的单词符号可 用乔母斯基3型文法——正规文法来描 述 对于正规文法所描述的语言可用一种 有穷自动机来识别 下面分别就左线性正规文法/右线性正 规文法给出构造相应有穷自动机的方 法
3.5.2 左线性正规文法到有穷自动 机的转换方法
3. 对G中每一形如 A→a (A∈VN, a∈VT∪{ε}) 的产生式, 令 f (q0 , a) =A
例1. 构造下述文法G[A]的自动机. A→A1 | B1 B→B0 | 0 其状态图如下图所示. 0 1 S 0 B 1 A
显然,该自动机是确定的.它识别的语言 就是文法G[A]所描述的语言. 即 L(G[A])=L(M)=00*11*
3.6 词法分析程序的编写方法
构造词法分析程序的方法:
第一种方法是用手工方式,即根据识别语言 单词的状态转换图,使用某种高级语言,例 如C语言直接编写词法分析程序. 第二种方法是利用词法分析程序的自动生成工 具LEX自动生成词法分析程序,本书附录对 LEX作了简单介绍. 下面以某种简单语言为例,对第一种方法作简 要的介绍.
3.4.5 DFA的化简
4.两个状态等价的条件:
(1)一致性条件: 状态s和t必须同时为 终态或非终态. (2)蔓延性条件: 对于所有输入符号a, 状态 s 和 t 必须转到等价的状态里.
5.化简方法
输入:一个DFA M . 输出:接受与M相同语言的DFA M ', 且其状态数最少.
3.4.5 DFA的化简
l
1 0 d
3.4.5 DFA的化简
3.等价状态
设 DFA M=(Q,∑,f, S0, F), s, t∈ Q , 若对任何 α ∈∑*, f (s , α)∈F 当且仅当 f (t , α)∈F ,则称状态 s 和 t 是等价的. 如果 s 和 t 不等价, 则称 s 和 t 是可 区别的. 例如,终态与非终态是可区别的.因 为终态有一条到达自身的ε道路,而非 终态没有到达终态的ε道路.
例2 设DFA M=({A,B,C,D},{0,1}, δ, A,{B}) 其中: δ (A,0)=B δ (A,1)=D δ (B,0)=D δ (B,1)=C δ (C,0)=B δ (C,1)=D δ (D,0)=D δ (D,1)=D 构造一个右线性文法G,使得L(G)=L(M). 该自动机相应的状态转换图如下图所示. 0 B 0 A C 1 0 1 0,1 1
3.5.3 有穷自动机到正规文法的转换
4. 若文法的开始符号S是一个终态,则 将产生式 S→ε 加到P中.
例1 设有穷自动机 M=({S,A},{a,b,0,1} ,f , S , {A}) 其中 f (S,a)=A f (S,b)=A a f (A,a)=A f (A,b)=A b a f (A,0)=A f (A,1)=A S A b 0 M的状态转换图如图所示. 1 根据上述转换规则,与M 等价的正规文法G为: G=({S,A},{a,b,0,1},P,S) 其中P: S→aA | bA A→aA | bA | 0A | 1A | ε 或P: S→aA | bA A→aA | bA| 0A | 1A |a|b |a|b|0|1 自动机M所识别的语言L(M)=L(G)=(a|b)(0|1|a|b)*.
单词值
内部字符串 二进制数值 表示
l|d
右图是一张识别前表的 单词符号的状态转换图. 图中, 状态0为初态, 凡带 双圈者均为终态; 状态17是 识别不出单词符号的出错情 况. l 代表任一字母,d 代 表任一数字. 根据这张转换图,我 们用C语言直接编写出识 别该语言所有单词的词 法分析程序.
0
{E,H,K} {I,L,M} {O,R,T,X}
A
W
H M T
3.4.5 DFA的化简
下面给出化简算法的具体执行步骤: 1. 将DFA M的状态集Q分成两个子集:终 态集F和非终态集F,形成初始分划∏. 2. 对∏使用如下方法建立新分划∏NEW: 对∏的每个状态子集G: (1) 把G分划成新的子集,使得G的两个 状态s和t属于同一子集,当且仅当对任何 输入符号a ,状态s和t转换到的状态都属于 ∏的同一子集.
化简方法: 无多余状态下把M的状态集 Q 分划 成一些不相交的子集,使得每个子集中 任何两个状态是等价的,而任何两个属 于不同子集的状态都是可区别的. 然后在每个子集中任取一个状态作 "代表", 而删去子集中其余状态, 并把 射向其余状态的箭弧都改作射向作"代 表"的状态中.
{A,F,G}
{W,Z}
D
3.5.3 有穷自动机到正规文法的转换
A
0 1
B
0
0 C 1 1
D
0,1 从状态转换图可以看出, 状态D是多余 的,可以去掉,于是得到与M等价的DFA M'的 状态转换图如图所示. 0 0 B A 1 C
例2 设DFA M=({A,B,C,D},{0,1}, δ, A,{B}) 其中: δ (A,0)=B δ (A,1)=D δ (B,0)=D δ (B,1)=C δ (C,0)=B δ (C,1)=D δ (D,0)=D δ (D,1)=D
G=({A,B,C},{0,1}, P, A)其中P为 A→0B | 0 A→0B 或 B→1C | ε B→1C C→0B | 0 C→0B
3.5.3 有穷自动机到正规文法的转换
0
A
0
B
1
C
根据转换规则所求右线性文法为 G=({A,B,C},{0,1}, P, A)其中P为 A→0B | 0 A→0B 或 B→1C | ε B→1C C→0B | 0 C→0B 该自动机所识别的语言为 0(10)*.
3.4.5 DFA的化简
1. DFA的化简
所谓一个DFA M 的化简是指寻找一 个状态数比 M 少的 DFA M' ,使得 L(M)=L(M') . 化简了的DFA满足两个条件: (1) 没有多余状态. (2) 它的状态集中没有两个状态是 互相等价的.
3.4.5 DFA的化简
2. 多余状态
所谓有穷自动机的多余状态是指从 该自动机的开始状态出发,任何输入串 也不能到达的状态.
r1r2 r1| r2 r1r2*r3
B B B
对于
代换为
对于
r1
C
r2
r3
B
代换为
3.4.6 有穷自动机到正规式的转换
例1. 设有穷自动机的状态图如图所示. 试求该自动机识别语言的正规式.
S 0 0 V 1
10 X 10 s 01 (b) z
ε
1 1
U 0 Z
X
S 0
1 1 0
U 0 Z
v 1 (a)
3.5.1 右线性正规文法到有穷自动 机的转换方法
3. 对G中每一形如A→a(A∈VN ,a∈VT) 的产生式, 令 f (A , a)=D 4. 对G中每一形如A→ε (A∈VN )的产生 式, 令A为接受状态或令 f (A , ε)=D
例1 构造下述文法G[Z]的有穷自动机. Z→0A A→0A | 0B B→1A | ε 其状态图如图(a)或(b)所示.
l l
1
d
2
d
l
1
d
3.4.6 有穷自动机到正规式的转换
1. 在 M 的转换图上添加两个结点: X 结和Y结.从X结用ε连线连结到M的 所有初态结点,从 M 的所有终态结点 用ε连线连结到 Y 结,从而构成一新的 非确定有穷自动机 M',它只有一个初 态结 X和一个终态结Y.显然, L(M)=L(M').即,这两个NFA是等价 的.
a a B A a b C b
b a B A a b b
a b a b D b E
a D a
b
E
3.4.5 DFA的化简
例2. 将右面的DFA M最小化 分析 由图可知, l 0 给定的DFA无多 余状态. 初始分划∏=({1,2}{0}) {1,2}l ={2} l {1,2}d ={2} 0 ∏=({1,2}{0})
例1. 将右面的DFA最小化 分析 由图可知,给定 的DFA中无多余状态. 初始分划∏=({A,B,C,D}{E}) {A,B,C,D}a={B} {A,B,C,D}b={C,D,E} ∏=({A,B,C}{D}{E}) {A,B,C}a={B} {A,B,C}b={C,D} ∏=({A,C}{B}{D}{E}) {A,C}a={B} {A,C}b={C} ∏=({A,C}{B}{D}{E})
例如,下表列出了某个简单语言的所有单词符号,以 及它们的种别编码和单词值.