lex和Yacc详解

Lex和Y acc工具介绍
――编译原理的实用工具1.词法分词器生成工具lex
Lex的主要功能是生成一个词法分析器(scanner)的C源码。

描述词法分析器的文件，经过lex编译后，生成一个lex.yy.c的文件，然后由C编译器编译生成一个词法分析器。

词法分析器，简单来说，其任务就是将输入的各种符号，转化成相应的标识符(token)，转化后的标识符很容被后续阶段处理。

过程如错误！未找到引用源。

图1
现在这个lex 文件可以用来生成一个统计行数、字符个数和单词个数的工具。

规则段是由正则表达式和相应的动作组成的。

p 1 {action 1}
p 2 {action 2
}
……
p n {action n }
值得注意的是，lex 依次尝试每一个规则，尽可能地匹配最长的输入流。

如果有一些内容根
可以看出lex的确按照最长的规则匹配。

程序段部分放一些扫描器的其它模块，比如一些动作执行时需要的模块。

也可以在另一个程序文件中编写，最后再链接到一起。

生成C代码后，需用C的编译器编译。

连接时需要指定链接库。

gcc的连接参数为 -ll。

2.正则表达式
正则表达式可以描述有穷状态自动机(Finite Automata)接受的语言，也就是定义一个可以接受的串的集合。

转义字符（也称操作符）：
" \ [ ] ^ - ? . * + | ( ) $ / { } % < >
这些符号有特殊含义，不能用来匹配自身。

如果需要匹配的话，可以通过引号(’’)或者转义符号(\)来指示。

比如
C”++”
C\+\+
都可以匹配C++。

非转义字符：所有除了转义字符之外的字符都是非转义字符。

一个非转义字符可以匹配自身。

比如
integer
匹配文本中出现的integer。

通配符：通配符就是”.”（dot），可以匹配任何一个字符。

字符集：用一对[]指定的字符构成一个字符集。

比如[abc]表示一个字符集，可以匹配a、b、c中的任意一个字符。

使用–可以指定范围。

比如[a-z]表示可以匹配所有小写字母的字符集。

重复：
选择和分组：|cd。

3.文法分析器生成工具yacc
简单来说，yacc(Yet Another Compiler-Compiler)就是编译器的编译器。

Yacc是一个通用的工具，能够根据用户指定的规则，生成一个词法分析程序。

yacc能识别LALR(1)且无歧义的文法，它的输入是词法分析器的输出。

我们知道，生成词法分析器是lex分内的事，因此lex和yacc常常珠联璧合。

A表示非终结符名，BODY表示产生式和动作。

产生式包括非终结符和终结符，终结符用’’引用。

一些转义字符，比如’\r’,’\n’等，和C里面的表示是一样的。

动作(action)则是在输入被当前规则识别出来时而执行的。

动作实际上就是C的代码，写在{ }中。

为了沟通词法分析器和动作，yacc引入了形式变量，以$开头。

如果希望获得词法分析器和前面的动作返回的值，我们可以使用$1,$2,…。

$i表示一条规则右侧第i个单元的值。

比如有这样的一条规则，
程序段放一些其它的程序，也可以省略，连%%都可以不要。

连接时需要指定连接库，gcc的参数为-ly。

让我们看一个经典的例子，它实现一个简单的计算器：
%{
# include <stdio.h>
# include <ctype.h>
int regs[26];
int base;
%}
%start list
%token DIGIT LETTER
%left '|'
%left '&'
%left '+' '-'
%left '*' '/' '%'
%left UMINUS /* supplies precedence for unary minus */
%% /* beginning of rules section */
list : /* empty */
| list stat '\n'
| list error '\n'
{ yyerrok; }
;
stat : expr
{ printf( "=%d\n", $1 ); }
| LETTER '=' expr
{ regs[$1] = $3; }
;
expr : '(' expr ')'
{ $$ = $2; }
| expr '+' expr
{ $$ = $1 + $3; }
| expr '-' expr
{ $$ = $1 - $3; }
| expr '*' expr
{ $$ = $1 * $3; }
| expr '/' expr
{ $$ = $1 / $3; }
| expr '%' expr
{ $$ = $1 % $3; }
| expr '&' expr
{ $$ = $1 & $3; }
| expr '|' expr
{ $$ = $1 | $3; }
| '-' expr %prec UMINUS
{ $$ = - $2; }
| LETTER
{ $$ = regs[$1]; }
| number
;
number : DIGIT
{ $$ = $1; base = ($1==0) ? 8 : 10; }
| number DIGIT
{ $$ = base * $1 + $2; }
;
%% /* start of programs */
yylex() { /* lexical analysis routine */
/* returns LETTER for a lower case letter, yylval = 0 through 25 */ /* return DIGIT for a digit, yylval = 0 through 9 */
/* all other characters are returned immediately */
int c;
while( (c=getchar()) == ' ' ) { /* skip blanks */ }
/* c is now nonblank */
if( islower( c ) ) {
yylval = c - 'a';
return ( LETTER );
}
if( isdigit( c ) ) {
yylval = c - '0';
return( DIGIT );
}
return( c );
}
例错误！未定义书签。

example.y
事实上，如果你熟练掌握Lex 和Yacc 的话，它们的强大功能使创建FORTRAN 和C 的编译器如同儿戏。

所以，掌握Lex 和Yacc对学好编译原理作用极大，因为编译原理这门课程并不仅仅是讲解原理的课程，而是一门实践性很强的学科，故拥有好的工具，才能使你的学习更上一层楼。