CP03 文法和形式语言基础

第3章文法和形式语言基础形式语言的研究是计算机科学的一个重要领域，约于1956年问世。

当时，Noam Chomsky（乔姆斯基）在研究自然语言时，提出一种文法数学模型。

不久，当用前后文无关文法定义程序设计语言ALGOL60时，人们发现文法的概念对程序员非常重要，相关的研究导致了面向语法编译和编译程序的编译程序的概念，进而使形式语言和自动机理论的关系达到彼此不可分离的程度。

时至今日，不了解形式语言及自动机理论，就不能对计算机科学进行严肃的研究。

形式语言理论是编译的重要理论基础，与词法分析和语法分析关系最大。

本章介绍的是形式语言的一些基本理论，主要是关于语法分析的理论。

3.1 基本概念3.1.1 语言的语法、语义和语用有人（Webster）把语言定义为“为相当大的团体所懂得并使用的字以及组合这些字的方法的统一体”。

但这是不精确的定义。

形式语言则是被抽象地用一个数学系统严密描述的。

以下是句子的层次结构：句子──短语、子句──单词──字符可用一套称为语法或文法的规则实现这种转换。

例1设有两个串：(1) the student studies hard(2) student hard the studies<句子><主语><谓语><名词短语><动词短语><冠词>><动词><副词>the student studies hard句子的构成有三要素：字母表──书写符号语法──组成规则语义──句子的含义。

字典、词典对每个字、词条的注解就是语义“程序”是程序设计语言的一个“句子”。

任一程序都是一个字符串，要根据语法判断是否为合法的句子。

程序的执行结果可视为其语义。

此外，还有语用问题。

（1）语法(s y n t a x)──判断字符串是否为语言的合法程序的规则。

语法规则包括：词法规则（字符组成单词）语法规则（单词组成语法单元）（2）语义(s e m a n t i c s)──赋予程序意义（解释）的规则，语义学：研究符号和它们的意义之间的关系的科学。

例2ALGOL的步长型循环语句的语义：j:=5;FOR i:=1 STEP 10-j UNTIL 10*j DO j:=j-1;①步长值和终值作静态解释（一次性计算）。

循环10次。

Pascal, BASIC, FORTRAN等。

②步长值静态而终值动态解释。

循环4次。

ALGOL③步长值动态而终值静态解释。

循环6次。

④步长值和终值都动态解释。

循环3次。

PL/I, C, C++相当于：for ( i=1, j=5; i<=10*j; i+=10-j ) j--;(3) 语用(p r a g m a t i c s)──语言的实现和使用。

语用学：研究语言符号和使用者之间的关系的一种理论。

例３设字母表为｛０，１｝语法：“任意０１串”语义：“合法的串为二进制整数”语用：“能在定长的存储单元上存放的二进制整数，才是机器能表示的”3.1.2 文法的形式定义只有有限个句子的语言称为有穷语言，否则称为无穷语言。

绝大多数语言是无穷的，要用有穷的规则定义（描述）任一语言。

例４以下是用集合方式描述的三个语言：L1 = { ab, ba, aa, bb }L2 = { a m b n | m,n>=1 } 其中a m=aa…a, b n类似L3 = { a n b n c n | n>=0 }集合只能描述简单的语言。

实际定义语言的工具有两种：文法和自动机。

3.1.2.1符号串及其运算（１）字母表──符号的非空有穷集合。

用V或∑表示。

例５V = { a, b } ∑= { a, b, c }V1 = { a, b, c, …, z } 英语小写字母表V2 = { book, pencil, pen, paper } 也是字母表（单词表）（２）符号串──字母表中的符号按一定顺序组成的任一有穷序列，简称串或者字。

例６设V = { a, b, c }, 则V上的符号串有：a, b, c, aa, ab, ac, ba, bb, bc, ca, cb, cc, abc, acb, …设x是一个符号串，其长度记作| x |，即是x串中所含字符的个数。

长度为０的串称为空串，记作ε。

例７| a | = 1, | abcd | = 4, |ε| = 0（３）符号串的联结（连接，连结，联接）设x = abc, y = fgh是两个符号串，则x和y的联结记作xy = abcfgh也是一个符号串。

这是一种隐式运算，没有运算符。

凡x, y是符号串，有εx = xε= xxεy = xy 但xy = yx不成立| xy | = | x | + | y |设z = xy是符号串，则称x是z的头，y是z的尾。

若y非空，则x是z的真（固有）头或真前缀。

若x非空，则y是z的真（固有）尾或真后缀。

例８设z = abc, 则z的头有ε, a, ab, abc, 除了abc，其余都是固有头；z的尾有ε, c, bc, abc, 除了abc，其余都是固有尾。

（４）符号串集合的乘积（利用串的联结定义）凡A,B是符号串集合，A和B的乘积定义为AB = { xy | x∈A, y∈B }例９设A = { a, b }，B = { c, d }， C = { x, y }，其中x =df, y = ghi , 则有AB = { ac, ad, bc, bd }AC = { ax, ay, bx, by } = { adf, aghi, bdf, bghi }显然，{ε}A = A{ε}=A ∵εx = xε= x{ }A = A{ } = { }注意：{ε}<>{ }, {ε}是空串ε组成的集合，有一个元素，但{ }是空集，没有元素。

{ε}是乘积的幺元，{ }则是乘积的零元。

（５）符号串和符号串集合的方幂（利用串集的乘积定义）凡x是符号串，有x0 =ε, x1 = x, x2= xx, …, x n = xx n-1(n>0)凡A是符号串集合，有A0={ε}, A1=A, A2=AA, …, A n = AA n-1(n>0)例10设A = { a, b }, 则A0={ε}, A1={a, b}, A2={aa, ab, ba, bb }, …（６）符号串集合的（自反）闭包和正闭包凡A是串集，则A的正闭包定义为：A+ = A1∪A2∪…∪A n∪…A的星闭包定义为：A* = {ε}∪A+= A0∪A+例11设A = { a } 则A+= { a, aa, aaa, … } = { a n | n>0 }A* = {ε, a, aa, aaa, … } = { a n | n>=0 }设B = { a, b } 则B* = {ε, a, b, aa, ab, ba, bb, … }显然，凡C是串集，有C+ = CC* = C*C (留作习题)事实上，C n表示C上的长度为n的串集，C+则表示C上所有符号串的集合。

3.1.2.2文法的形式定义（１）形式文法定义3.1文法G是一个四元组：G = ( V N, V T, P, Z )，其中：●V N是非终结符的有穷集合。

非终结符也称为语法单元、语法成分或语法范畴，可分解为若干非终结符或终结符。

●V T是终结符的有穷集合。

终结符是基本符号，不能再分解。

V = V N∪V T称为字汇表（字母表）。

●V N∩V T = Ф●Z是开始符，Z∈V N●P是规则式（产生式）有穷集合。

规则式形如：x→y其中，x∈V*V N V*, 称为规则式的左部；y∈V*, 称为右部例12从例１的语法树可见，分支结点是一些语法单元，均为非终结符；叶子是一些字（词），是终结符。

用一些形式符号按行描述语法树的结构，就构成了文法。

能产生例１的句子的文法为①<句子>→<主语><谓语> 其中,“→”可写为“::=”,②<主语>→<名词短语> “→”表示左边项分解③<谓语>→<动词短语>为右边项，读作④<名词短语>→<冠词><名词> “可分解为”或⑤<动词短语>→<动词><副词> “可以是”或⑥<冠词>→the“定义为”⑦<名词>→student“<>”尖括号内的项为⑧<动词>→studies语法单元，非终结符。

⑨<副词>→hard终结符无尖括号括住。

⑩<副词>→lazily每一行称为规则式。

<句子>是开始符，是第一条规则的左部。

从开始符出发，利用规则式的右部替换左部，便可产生句子：<句子> => <主语> <谓语> 用规则①=> <名词短语> <谓语>②=> <冠词> <名词> <谓语>④=> The <名词> <谓语>⑥=> The student <谓语>⑦=> The student <动词短语>③=> The student <动词> <副词>⑤=> The student studies <副词>⑧=> The student studies hard⑨或=> The student studies lazily⑩例13（p.35, 例3.1）G A = ( V N, V T, P, S )，其中V N = { S }, V T = { 0, 1 },P = { S ::= 0S1, S ::= 01 }简记为：G A[S] = { S ::= 0S1, S ::= 01 }该文法定义的语言是：L(G[S]) = { 0n1n | n>0 }用第一条规则n-1次，再用第二条规则1次。

例14设语言L1 = { n | n是无符号整数}，其文法为G1 = ( V N, V T, P, N )，其中V N = { N, D }, V T = { 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 },P = { 一个m位数使用规则次数为N→ND ①m-1N→D②1如：D→0③N => NDD→1④=> NDDD→2⑤=> NDDDD→3⑥=> DDDDD→4⑦m => 1DDDD→5⑧=> 19DDD→6⑨=> 199DD→7⑩=> 1997D→8D→9 }例15设语言L2 ={a m b n|m,n>0}，其文法为G2 =(V N,V T,P,S)，其中V N ={S,A,B}, V T ={a,b},P = { 产生一个合法句子使用归则次数为S→AB ① 1 如：S => ABA→aA ② m-1 => aABA→a③ 1 => aaABB→Bb ④ n-1 => aaaBB→b } ⑤ 1 => aaab例16设语言L3 ={a n b n c n | n>0}G3 =(V N,V T,P,S)，其中V N ={S,B,C}, V T ={a,b,c},P = { 产生一个合法句子使用归则次数为S→aSBC ① n-1 如:S => aSBCS→aBC ② 1 => aaSBCBCCB→BC ③ ?=> aaaBCBCBC aB→ab ④ 1 => aaaBBCCBCbB→bb ⑤ n-1 => aaaBBCBCCbC→bc ⑥ 1 => aaaBBBCCCcC→cc } ⑦ n-1 => aaabBBCCC=> aaabbBCCC=> aaabbbCCC=> aaabbbcCC=> aaabbbccC=> aaabbbccc（２）Backus范式( BNF )和扩充J. Backus于1959年首先用BNF定义ALGOL60语言语法，与Chomsky的二型文法相似。