C语言的lex和yacc工具说明

合集下载

Lex和Yacc从入门到精通（ＰＤＦ）

Lex和Yacc从入门到精通熊春雷Abstract在开发程序的过程中经常会遇到文本解析的问题，例如：解析C语言源程序，编写脚本引擎等等，解决这种文本解析的方法有很多，一种方法就是自己手动用C或者 C++直接编写解析程序，这对于简单格式的文本信息来说，不会是什么问题，但是对于稍微复杂一点的文本信息的解析来说，手工编写解析器将会是一件漫长痛苦而容易出错的事情。

本系列文档就是专门用来由浅入深的介绍两个有名的Unix工具Lex和Yacc，并会一步一步的详细解释如何用这两个工具来实现我们想要的任何功能的解析程序，为了方便理解和应用，我会在该系列的文章中尽可能的采用具体可行的实例来加以阐释，而且这种实例都是尽可能的和具体的系统平台无关的，因此我采用命令行程序作为我们的解析程序的最终结果。

1、环境配置篇开发Lex和Yacc程序最需要的程序就是lex和yacc了，如果你是Unix或者Linux系统，则系统自带了这两个工具，无需安装，不过值得说明的是GNU/Linux下面的Lex是flex，而Yacc则是bison。

另外需要的就是一个C/C++语言编译器，由于我们采用的是GNU的 lex和yacc，所以，理所当然的我们就使用GNU的编译器了，如果是Unix或者Linux系统，那么编译器应该已经安装了。

在这里我重点讨论的是Windows系统环境下的Lex和 Yacc程序的开发，至于为什么选择Windows系统作为开发平台，则是为了尽可能的让初学者容易入门。

1.1．必备工具言归正传，首先列举Windows平台下面Lex和Yacc开发环境所需要安装的程序：1.Lex(flex.exe)和Yacc(bison.exe)环境2.C/C++编译器1.2．flex和bison值得说明的是，flex.exe和bison.exe是UnxUtils包中的文件，已经将许多 Unix/Linux平台的程序都移植到了Windows平台，可以直接到UnxUtils网站下载，下载解压缩之后在系统的PATH环境变量中增加UnxUtils所有的exe文件所在的目录，使得DOS命令行可以直接搜索到flex.exe和bison.exe，除此之外还需要从网络上下载 bison需要的bison.simple和bison.hairy两个文件，并且还要分别设置环境变量 BISON_HAIRY指向bison.hairy，BISON_SIMPLE指向bison.simple。

编译原理-实验二-FLEX词法分析器

编译原理-实验⼆-FLEX词法分析器FLEX词法分析器⼀、Lex和Yacc介绍Lex 是⼀种⽣成扫描器的⼯具。

扫描器是⼀种识别⽂本中的词汇模式的程序。

⼀种匹配的常规表达式可能会包含相关的动作。

这⼀动作可能还包括返回⼀个标记。

当 Lex 接收到⽂件或⽂本形式的输⼊时，它试图将⽂本与常规表达式进⾏匹配。

它⼀次读⼊⼀个输⼊字符，直到找到⼀个匹配的模式。

如果能够找到⼀个匹配的模式，Lex 就执⾏相关的动作（可能包括返回⼀个标记）。

另⼀⽅⾯，如果没有可以匹配的常规表达式，将会停⽌进⼀步的处理，Lex 将显⽰⼀个错误消息。

Yacc代表 Yet Another Compiler Compiler 。

Yacc 的 GNU 版叫做 Bison。

它是⼀种⼯具，将任何⼀种编程语⾔的所有语法翻译成针对此种语⾔的 Yacc 语法解析器。

（下载下载flex和bison。

⽹址分别是/packages/flex.htm和/packages/bison.htm。

）⼆、配置环境（win7）①下载flex和bison并安装到D:\GnuWin32（尽量是根⽬录）②由于我们使⽤的flex和bison都是GNU的⼯具，所以为了⽅便，采⽤的C/C++编译器也采⽤GNU的编译器GCC，当然我们需要的也是Windows版本的GCC了。

所以提前准备好VC 6.0③检验是否可以进⾏lex⽂件编译1.新建⽂本⽂件，更改名称为lex.l，敲⼊下⾯代码%{int yywrap(void);%}%%%%int yywrap(void){return 1;}2.新建⽂本⽂件，更改名称为yacc.y,敲⼊下⾯代码%{void yyerror(const char *s);%}%%program:;%%void yyerror(const char *s){}int main(){yyparse();}我们暂且不讨论上⾯代码的意思。

打开控制台，进⼊到刚才所建⽴⽂件（lex.l,yacc.y）所在的⽂件夹。

lex和Yacc详解

Lex和Y acc工具介绍――编译原理的实用工具1.词法分词器生成工具lexLex的主要功能是生成一个词法分析器(scanner)的C源码。

描述词法分析器的文件，经过lex编译后，生成一个lex.yy.c的文件，然后由C编译器编译生成一个词法分析器。

词法分析器，简单来说，其任务就是将输入的各种符号，转化成相应的标识符(token)，转化后的标识符很容被后续阶段处理。

过程如错误！未找到引用源。

图1现在这个lex 文件可以用来生成一个统计行数、字符个数和单词个数的工具。

规则段是由正则表达式和相应的动作组成的。

p 1 {action 1}p 2 {action 2}……p n {action n }值得注意的是，lex 依次尝试每一个规则，尽可能地匹配最长的输入流。

如果有一些内容根可以看出lex的确按照最长的规则匹配。

程序段部分放一些扫描器的其它模块，比如一些动作执行时需要的模块。

也可以在另一个程序文件中编写，最后再链接到一起。

生成C代码后，需用C的编译器编译。

连接时需要指定链接库。

gcc的连接参数为 -ll。

2.正则表达式正则表达式可以描述有穷状态自动机(Finite Automata)接受的语言，也就是定义一个可以接受的串的集合。

转义字符（也称操作符）：" \ [ ] ^ - ? . * + | ( ) $ / { } % < >这些符号有特殊含义，不能用来匹配自身。

如果需要匹配的话，可以通过引号(’’)或者转义符号(\)来指示。

比如C”++”C\+\+都可以匹配C++。

非转义字符：所有除了转义字符之外的字符都是非转义字符。

一个非转义字符可以匹配自身。

比如integer匹配文本中出现的integer。

通配符：通配符就是”.”（dot），可以匹配任何一个字符。

字符集：用一对[]指定的字符构成一个字符集。

比如[abc]表示一个字符集，可以匹配a、b、c中的任意一个字符。

使用–可以指定范围。

lex工具实例

翻译规则部分(续)

为避免二义性，在Ri中若需出现空格、回车或制表符，则应用‘\s’， ‘\n’，‘\t’表示。每个代码段Actioni可引用已定义的常量、全局变量和外部变量，也可以调用在辅助函数部分定义的函数。
注意:Actioni中的C
程序语句多于一条时, 必须用花括号{ }将它们括起来,否则,LEX将会报错
词法分析程序的使用

用户可通过调用函数yylex()使用词法分析程序。每调用yylex()函数一次，yylex()将从输入流中识别一个单词，并返回一个整型值（被识别出的单词之内部码）。所谓单词的内部码是指词法分析程序在识别出某一类单词时所返回的整型数值（也称为类别码），它由用户自行定义其取值。例如，用户可定义标识符Id的内部码为300，实型数 RealNo的内部码为450等等。一般说来，用户自定义的单词类别码应大于256，而小于256的内部码值可用于字符单词的类别码，用其ASCII码值来表示。如单词 '+'的内部码可定义为‘+’的ASCII码值43。
LEX的命令格式及选项
格式：lex [-ctvn -V -Q[y|n]] [files] 选项： -c 指明动作为C语句(缺省设置). -t 输出到stdout 而不是 lex.yy.c(缺省设置); -v 提供一个两行的统计概述 -n 不输出-v的概述 -V 在stderr上输出lex的版本信息. -Q[y|n] y:在输出文件lex.yy.c上打印版本信息. n:不打印(缺省设置). 若files为多个文件,则被视为一个,若files为空,则使用stdin.
1.声明(declaration)
LEX的声明又可以分两个

Lex和Yacc工具使用方法

编译器的自动生成工具LEX和YACC的使用方法Lex自动地表示把输入串词法结构的正规式及相应的动作转换成一个宿主语言的程序，即词法分析程序，它有一个固定的名字yyler，在这里yyler是一个C语言的程序。

Yylex将识别出输入串中的词形，并且在识别出某词形时完成指定的动作。

看一个简单的例子：写一个lex源程序，将输入串中的小写字母转换成相应的大定字母。

程序如下：%%[a-z]printf(“%c”.yytext[0]+'A'-'a')；上述程序中的第一行%%是一个分界符，表示识别规则的开始。

第二行就是识别规则。

左边是识别小写字母的正规式。

右边就是识别出小写字母时采取的动作:将小写字母转换成相应的大写字母。

Lex的工作原理是将源程序中的正规式转换成相应的确定有限自动机，而相应的动作则插入到yylox中适当的地方，控制流由该确定有限自动机的解释器掌握，不同的源程序，这个解释器是相同的。

1．2 lex源程序的格式lex源程序的一般格式是：{辅助定义的部分}%%{识别规则部分}%%{用户子程序部分}其中用花括号起来的各部分都不是必须有的。

当没有“用户子程序部分”时，第二个%%也可以省去。

第一个%%是必须的，因为它标志着识别规则部分的开始，最短的合法的lex源程序是：%%它的作用是将输入串照原样抄到输出文件中。

识别规则部分是Lex源程序的核心。

它是一张表，左边一列是正规式，右边一列是相应的动作。

下面是一条典型的识别规则：integer printf（"found keywcrd INT"）;这条规则的意思是在输入串中寻找词形“integer”，每当与之匹配成功时，就打印出“foundkeyword INT”这句话。

注意在识别规则中，正规式与动作之间必须用空格分隔开。

动作部分如果只是一个简单的C表达式，则可以写在正规式右边同一行中，如果动作需要占两行以上，则须用花括号括起来，否则会出错。

LEX和YACC的使用（例子）

LEX和YACC的使⽤（例⼦）1、简单C语⾔的词法分析程序;%{#include<stdio.h>#include<stdlib.h>#include<ctype.h>#include<string.h>%}digit [0-9]letter [A-Za-z]other_char [!-@\[-~]id ({letter}|[_])({letter}|{digit}|[_])*string {({letter}|{digit}|{other_char})+}int_num {digit}+%%[ |\t|\n]+ "auto"|"double"|"int"|"struct"|"break"|"else"|"long"|"switch"|"case"|"enum"|"register"|"typedef"|"char"|"extern"|"return"|"union"|"const"|"float"|"short"|"unsigned"|"continue"|"for"|"signed"|"void"|"default"|"go \"([!-~])*\" {printf("CONST_string,%s\n",yytext);}-?{int_num}[.]{int_num}?([E][+|-]?{int_num})? {printf("CONST_real,%s\n",yytext);}"0x"?{int_num} {printf("CONST_int,%s\n",yytext);}","|";"|"("|")"|"{"|"}"|"["|"]"|"->"|"."|"!"|"~"|"++"|"--"|"*"|"&"|"sizeof"|"/"|"%"|"+"|"-"|">"|"<"|">="|"<="|"=="|"!="|"&"|"^"|"|"|"&"|"||"|"+="|"-="|"*="|"/="|"%="|">>="|"<<="|"&="|"^="|"|="|"=" {printf("%s,NULL\n",yytext);}{id} {printf("ID,%s\n",yytext);}{digit}({letter})+ {printf("error1:%s\n",yytext);}%%#include <ctype.h>Upper(char *s,int l){int i;for(i=0;i<l;i++){s[i]=toupper(s[i]);}}yywrap(){return 1;}注意：要得到输出信息，需要⾃⾏添加main函数，lex默认的main函数没有输出的。

YACC

yacc(Yet Another Compiler Compiler)，是一个经典的生成语法分析器的工具。

是Unix/Linux上一个用来生成编译器的编译器（编译器代码生成器）。

yacc生成的编译器主要是用C语言写成的语法解析器（Parser），需要与词法解析器Lex一起使用，再把两部份产生出来的C程序一并编译。

yacc本来只在Unix系统上才有，但现时已普遍移植往Windows 及其他平台。

分析程序生成器(parser generator)是一个指定某个格式中的一种语言的语法作为它的输入，并为该种语言产生分析过程以作为它的输出的程序。

在历史上，分析程序生成器被称作编译-编译程序( compiler- compiler )，这是由于按照规律可将所有的编译步骤作为包含在分析程序中的动作来执行。

现在的观点是将分析程序仅考虑为编译处理的一个部分，所以这个术语也就有些过时了。

合并 LALR(1) 分析算法是一种常用的分析生成器，它被称作 Yacc( yet another compiler- compiler )。

给出 Yacc 的概貌来，将使用Yacc为 TINY 语言开发一个分析程序。

作为 Yacc 对说明文件中的 %token NUMBER 声明的对应。

Yacc 坚持定义所有的符号记号本身，而不是从别的地方引入一个定义。

但是却有可能通过在记号声明中的记号名之后书写一个值来指定将赋给记号的数字值。

yacc的输入是巴科斯范式（BNF）表达的语法规则以及语法规约的处理代码，Yacc输出的是基于表驱动的编译器，包含输入的语法规约的处理代码部分。

yacc是开发编译器的一个有用的工具,采用LALR(1)语法分析方法。

Yacc最初由AT&T的Steven C. Johnson为Unix操作系统开发，后来一些兼容的程序如Berkeley Yacc，GNU bison，MKS yacc和Abraxas yacc陆续出现。

编译原理 lex和yacc的综合设计 python

编译原理lex和yacc的综合设计python
1、Lex和Yacc是一种强大的词法分析和语法分析技术，它们常用于编译器的开发和编写编译器前端。

它们分别可以分析和解释输入字符流，并产生相应的输出。

Lex是一个词法分析器，它可以将输入字符流分解为令牌(即识别的节点)，这些令牌可以用于编写解释器或编译器的前端。

Yacc则是一种用来构建语法分析器的工具，它可以识别输入的令牌序列，并生成相应的程序。

2、编译原理是编译器的最小系统，它涉及源程序的分析和分解，目标程序的生成和优化，以及中间代码的翻译。

Lex和Yacc则是用来处理字符流和语法检查的两个有力工具，在处理中间代码生成和优化方面非常有用，是编译器的核心部分。

3、Lex和Yacc的综合设计一般需要借助某种语言将可执行模块链接起来，最常用的技术是使用C，C是一种高性能语言，可以让开发者实现快速迭代，也可以利用其标准库实现代码复用，因此是完成Lex和Yacc综合设计的最佳语言。

4、Python是一种脚本语言，不适合用于编写Lex和Yacc综合设计，因为Python 并不专业，不能满足低级程序设计的需求，处理过程中往往性能不佳。

LEX和YACC入门

用 %% 符号隔开。第一部分和最后一个部分是宿主语言代码。中间是由一系列规则构成，
LEX 将这些规则翻译为词法分析器。每一个规则依次包含一个正则表达式以及该正则表达式得到匹配时要运行的一些代码。
任何没有得到匹配的文本则简单地拷贝到标准输出。
2020/5/13
6
三、LEX程序设计
LEX正规表达式（1）
expression: value '+' value { System.out.println("Matched a '+' expression.\n"); }
2020/5/13
23
四、YACC程序设计
类似于 LEX, YACC 也有一套变量和函数可供用户来进行功能扩展。
YYSTYPE 定义了用来将值从 lexer 拷贝到解析器或者 YACC 的 yylval （另一个 YACC 变量）的类型。默认的类型是 int 。由于字符串可以从
的值。
2020/5/13
26
四、LEX与YACC结合
2020/5/13
27
public static void main(String args[]) {
int n = 1;
mylexer lexer = new mylexer();
if (lexer.yycreate(null)) {
n = lexer.yylex();
}
System.out.println("word count = "+lexer.wordCount);
两个百分号标记指出了 LEX程序中这一段的结束和三段中第二段的开始。
10

Lex使用指南

Lex使用指南Lex是由美国Bell实验室等人用C语言开发的一种词法分析器自动生成工具，它提供一种供开发者编写词法规则（正规式等）的语言（Lex语言）以及这种语言的翻译器（这种翻译器将Lex语言编写的规则翻译成为C语言程序）。

Lex是linux下的工具，本实验使用的编译工具是cygwin（cygwin在windows下模拟一个linux环境）下的flex，它与lex的使用方法基本相同，只有很少的差别。

一、Lex的基本原理和使用方法Lex的基本工作原理为：由正规式生成NFA，将NFA变换成DFA，DFA经化简后，模拟生成词法分析器。

其中正规式由开发者使用Lex语言编写，其余部分由Lex翻译器完成.翻译器将Lex源程序翻译成一个名为的C语言源文件，此文件含有两部分内容：一部分是根据正规式所构造的DFA状态转移表，另一部分是用来驱动该表的总控程序yylex()。

当主程序需要从输入字符流中识别一个记号时，只需要调用一次yylex()就可以了。

为了使用Lex所生成的词法分析器，我们需要将程序用C编译器进行编译，并将相关支持库函数连入目标代码。

Lex的使用步骤可如下图所示：生成词法分析器的过程：使用所生成的词法分析器的过程：二、lex源程序的写法：Lex源程序必须按照Lex语言的规范来写，其核心是一组词法规则（正规式）。

一般而言，一个Lex源程序分为三部分，三部分之间以符号%%分隔。

`[第一部分：定义段]%%第二部分：词法规则段[%%第三部分：辅助函数段]其中，第一部分及第三部分和第三部分之上的%%都可以省略（即上述方括号括起的部分可以省略）。

以%开头的符号和关键字，或者是词法规则段的各个规则一般顶着行首来写，前面没有空格。

Lex源程序中可以有注释，注释由/*和*/括起，但是请注意，注释的行首需要有前导空白。

1. 第一部分定义段的写法：定义段可以分为两部分：第一部分以符号%{和%}包裹，里面为以C语法写的一些定义和声明：例如，文件包含，宏定义，常数定义，全局变量及外部变量定义，函数声明等。

编译原理之lex,yacc学习

编译原理之lex,yacc学习写在前⾯的⼏句废话最近在项⽬的过程中接触了lex 和 yacc，他们可以帮助我们来实现⾃⼰的领域语⾔。

最典型的应⽤就是可以帮助我们来实现⾃定义测试脚本的执⾏器。

但是，这⾥也有⼀个限制，就是测试脚本要做的基本事情必须有现成的C语⾔库来实现，否则就做不到了；如果基本的操作是⽤java来做的，那么还可以⽤Antlr，这⾥不对Antlr做详细介绍。

lex是什么？教科书上把lex的作⽤的作⽤叫做“词法分析 lexical analysis ”，这个中⽂叫法⾮常让⼈看不明⽩（叫做“符号提取”更合适），其实从它的英⽂单词lexical上来看他的意思其实是⾮常清楚的。

lexical，在webster上的解释是：of or relating to words or the vocabulary of a language as distinguished from its grammar and construction。

指的是：⼀种语⾔中关于词汇、单词的，与之相对的是这种语⾔的语法和组织这么来看的话 lexical analysis 的作⽤就应该是语⾔中的词汇和单词分析。

事实上他的作⽤就是从语⾔中提取单词。

放到编程语⾔中来说，他要做的事情其实就是提取编程语⾔占⽤的各种保留字、操作符等等语⾔的元素。

所以他的另外⼀个名字scanner其实更形象⼀些，就是扫描⼀个⽂本中的单词。

lex把每个扫⾯出来的单词叫统统叫做token，token可以有很多类。

对⽐⾃然语⾔的话，英语中的每个单词都是token，token有很多类，⽐如non(名词)就是⼀个类token，apple就是属于这个类型的⼀个具体token。

对于某个编程语⾔来说，token的个数是很有限的，不像英语这种⾃然语⾔中有⼏⼗万个单词。

lex⼯具会帮我们⽣成⼀个yylex函数，yacc通过调⽤这个函数来得知拿到的token是什么类型的，但是token的类型是在yacc中定义的。

lex与yacc快速入门

lex与yacc快速⼊门第⼀节、lex和yacc是什么？ lex 代表 lexical analyzar（词法分析器），yacc 代表 yet another compiler compiler（编译器代码⽣成器）。

lex和yacc在UNIX下分别叫flex和bison. 可以搜索到很多介绍flex&bison的⽂章，但这类⽂章对初学者来说不太容易看懂。

我们举个简单的例⼦来理解lex和yacc：在linux下，有很多系统配置⽂件，⼀些linux下的软件也有配置⽂件，那么程序是如何读取配置⽂件中的信息的呢？先⽤到lex词法分析器，读取配置⽂件中的关键词（后⾯说到的token标记其实可看做关键词）；然后把关键词递交给yacc，yacc对⼀些关键词进⾏匹配，看是否符合⼀定的语法逻辑，如果符合就进⾏相应动作。

上⾯举的例⼦是分析配置⽂件内容的，当然可分析其他⽂件内容，或者制作编译器等。

第⼆节、⼀个简单的lex程序。

1、程序代码。

来看⼀个简单的lex程序，代码见下⾯，这段lex程序的⽬的是：输⼊⼏⾏字符串，输出⾏数，单词数和字符的个数。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25/******************************************** Name : test.l* Date : Mar. 11, 2014* Blog : /lucasysfeng/* Description : ⼀个简单的lex例⼦,输⼊⼏⾏字符串，* 输出⾏数，单词数和字符的个数。

*******************************************//* 第⼀段 */%{int chars = 0;int words = 0;int lines = 0;%}/* 第⼆段 */%%[a-zA-Z]+ { words++; chars += strlen(yytext); } \n { chars++; lines++; }. { chars++; }%%/* 第三段 */main(int argc, char **argv){yylex();printf("%8d%8d%8d\n", lines, words, chars);}程序中yytext是lex变量，匹配模式的⽂本存储在这⼀变量中。

Yacc使用指南

YACC（BISON）使用指南YACC（Yet Another Compile-Compiler）是语法分析器生成工具，它生成的是LALR分析器。

Yacc于上世纪70年代产生，是美国贝尔实验室的产品，已经用于帮助实现了几百个编译器。

Yacc是linux下的工具，本实验使用的编译工具是cygwin（cygwin在windows下模拟一个linux环境）下的bison，它与Yacc的使用方法基本相同，只有很少的差别。

一．YACC的使用方法：1.用户按照Yacc规定的规则写出文法说明文件，该文件一般以.y为扩展名（有的系统以.grm为扩展名。

）2.Yacc编译器将此文法说明文件（假设该文件为filename.y）转换成用C编写的语法分析器文件filename.tab.c（如果在编译时加上某些参数还可以生成头文件filename.tab.h）。

这个文件里至少应该包含语法分析驱动程序yyparse()以及LALR分析表。

在这个文件里，语法分析驱动程序调用yylex()这个函数获取输入记号，每次调用yylex()都能获取一个输入记号。

yylex()可以由lex生成，也可以自己用c语言写一个yylex()函数，只要每次调用该函数时返回一个记号即可。

3.用C编译器（本实验所给工具为cygwin下的gcc）将filename.tab.c编译为可执行文件（cygwin下默认为a.exe）。

4. a.exe即为可执行的语法分析器。

二．文法说明文件（即Yacc源程序）的写法：文法说明文件，顾名思义，就是将一个语言的文法说清楚。

在Yacc中，这个说明文件可以分为三部分，以符号%%分开：[第一部分：定义段]%%第二部分：规则段[%%第三部分：辅助函数段]其中，第一部分及第三部分和第三部分之上的%%都可以省略（即上述方括号括起的部分可以省略）。

以%开头的符号和关键字，或者是规则段的各个规则一般顶着行首来写，前面没有空格。

1. 第一部分定义段的写法：定义段可以分为两部分：第一部分以符号%{和%}包裹，里面为以C语法写的一些定义和声明：例如，文件包含，宏定义，全局变量定义，函数声明等。

Lex和Yacc解释程序实现方法

ＬＩＵＬｉ —ｎａ，ＹＡＮＧＣｈｕｎ —ｈｕｉ，ＺＨＡＮＧ —Ｊｉｎｇ
（１・Ｔｈｅ４７ｔｈＲｅｓｅａｒｃｈ，础ｅｏｆＣｈｉｎａＥｌｅｃｔｒｏｎｉｃｓＴｅｃｈｎｏｌｏｇｙＧｒｏｕｐＣｏｒｐｏｒａｔｉｏｎ，Ｓｈｅｎｙａｎｇ１１００３２，Ｃｈｉｎａ
中图分类号：ＴＮ４７
文献标识码：Ｂ
文章编号：１００２— ２２７９（２０１３）０１— ００３８— ０３
ＴｈｅＡｃｃｏｍｐｌｉｓｈＭｅｔｈｏｄｏｆＬｅｘａｎｄＹａｃｃＡｎａｌｙｓｉｓＰｒＯｇｒａｍ
ｓｏｕｒｃｅｐｒｏｇｒａｍｉｎｔｏｂｅｓｔｏｂｊｅｃｔｃｏｄｅＣ，ｅｔｃ．，ａｒｅｕｓｅｄｗｉｄｅｌｙ．Ｔｈｅｙｈａｖｅｍａｎｙａｄｖａｎｔａｇｅｓｓｕｃｈａｓｅａｓｙ
１引言
计算机程序输入通常有一些特定的结构，每一个计算机程序的输入都会被定义成可接受的“ 输入
语言” 。输入语言可以是复杂的可编程语言，也可以是简单的数字。但是，输人工具总是会受到不同程度的限制，使用起来十分困难，而且经常是伴随着
ｌｉｎｇｐｒｏｇｒａｍａｎｄａｎａｌｙｓｉｓｐｒｏｇｒａｍ，ｗｈｉｃｈｈａｖｅｂｅｅｎｕｓｅｆｕｌａｎｄｓｔａｎｄａｒｄＵＮＩＸｐｒｏｒａｇｍａｌｒｅａｄｙ．ＬｅｘａｎｄＹａｃｃ，ｉｎｃｌｕｄｉｎｇｔｅｘｔｓｅａｒｃｈｉｎｇｐｒｏｇｒａｍｓｅａｒｃｈｉｎｇｆｒｏｍｔｈｅｉｎｐｕｔｉｆｌｅ，ａｎｄｃｏｍｐｉｌｉｎｇｐｒｏｇｒａｍｔｒａｎｓｌａｔｉｎｇ

Lex与Yacc

|…
进行前执行。
| n { 语义动作n } | 没有{…},则使用缺省的语义动作
; 产生式结束用分号标记
语义动作是C的语句序列（在一对{}中间），可以引用声明段中定义的C变量、宏等，还可以使用yacc的伪变量。
规则段（续）
－yacc中的伪变量（类型缺省为整型）
$$ - 产生式左部非终结符的“值”
向前匹配。如果在匹配的模版中的“/”后跟有后续表达式，只匹配模版中“/”前面的部分。如：如果输入 A01，那么在模版 A0/1 中的 A0 是匹配的。将一系列常规表达式分组。
7
常规表达式举例
常规表达式
含义
joke[rs]
匹配 jokes 或 joker。
A{1,2}shis+ 匹配 AAshis, Ashis, Ashiss, Ashisss。
yywrap()
这一函数在文件（或输入）的末尾调用。如果函数的返回值是1，就停止解析。因此它可以用来解析多个文件。代码可以写在第三段，这就能够解析多个文件。方法是使用 yyin 文件指针（见上表）指向不同的文件，直到所有的文件都被解析。最后，yywrap() 可以返回 1 来表示解析的结束。
FILE* 类型。它指向记录 lexer 输出的位置。缺省情况下，yyin 和 yyout 都指向标准输入和输出。
yytext 匹配模式的文本存储在这一变量中（char*）。
yyleng 给出匹配模式的长度。
yylineno 提供当前的行数信息。（lexer不一定支持。）
14
Lex 函数
yylex() 这一函数开始分析。它由 Lex 自动生成。
$i - 产生式右部第i个文法符号的“值”

Lex和Yacc简明教程

和简明教程 Lex Yacc作者 :Thomas Niemann翻译：傅惠忠目录序言3 导言4 Lex6 理论6练习7 YACC11 理论11练习，第一部分12练习，第二部分15 计算器18 描述18包含文件20Lex21 输入文件Yacc22 输入文件解释器26编译器27图28Lex34 进阶字符串34保留字35lex35 的调试Yacc37 进阶递归37IfElse37 歧义错误信息38继承属性39内含动作39调试Yacc39 参考书目40lex yacc lex yacc本书将教会你如何使用和构造一个编译器。

Lex和Yacc解释程序实现方法

Lex和Yacc解释程序实现方法刘丽娜;杨纯辉;张静【摘要】Lex和Yacc是编译程序和解释程序的设计工具,它们都是20世纪70年代由贝尔实验室开发的,目前已经成为标准的UNIX实用程序.它们的应用范围很广泛,既包括从输入文件中寻找模式的简单文本搜索程序,也包括将源程序变换为最佳的目标代码C编译程序等；具有容易修改、程序维护简单等诸多优点.%The Lex and Yacc, designed by Bell Laboratories in 1970s, are tools of design for compiling program and analysis program, which have been useful and standard UNIX program already. Lex and Yacc, including text searching program searching from the input file, and compiling program translating source program into best object code C, etc. , are used widely. They have many advantages such as easy amending and simple maintenance.【期刊名称】《微处理机》【年(卷),期】2013(034)001【总页数】3页(P38-40)【关键词】Lex词法分析;Yacc语法分析;编译程序【作者】刘丽娜;杨纯辉;张静【作者单位】中国电子科技集团公司第四十七研究所,沈阳110032【正文语种】中文【中图分类】TN471 引言计算机程序输入通常有一些特定的结构，每一个计算机程序的输入都会被定义成可接受的“输入语言”。

输入语言可以是复杂的可编程语言，也可以是简单的数字。

Lex工具

Lex工具是一种词法分析程序生成器，它可以根据词法规则说明书的要求来生成单词识别程序，由该程序识别出输入文本中的各个单词。

1、lex程序的结构-定义部分-规则部分-用户子程序部分其中规则部分是必须的，定义和用户子程序部分是任选的。

(1) 定义部分定义部分起始于"%{"符号，终止于"%}"符号，其间可以是包括include语句、声明语句在内的C语句。

%{#include "stdio.h"#include "y.tab.h"extern int lineno;%}(2) 规则部分规则部分起始于"%%"符号，终止于"%%"符号，其间则是词法规则。

词法规则由模式和动作两部分组成。

模式部分可以由任意的正则表达式组成，动作部分是由C语言语句组成，这些语句用来对所匹配的模式进行相应处理。

需要注意的是，lex将识别出来的单词存放在yytext[]字符数据中，因此该数组的内容就代表了所识别出来的单词的内容。

%%[\t] {;}[0-9]+\.?|[0-9]*\.[0-9]+{ sscanf(yytext,"%1f", &yylval.val);return NUMBER; }\n { lineno++;return '\n'; }. { return yytex+[0]; }%%(3) 用户子程序部分用户子程序部分可以包含用C语言编写的子程序，而这些子程序可以用在前面的动作中，这样就可以达到简化编程的目的。

下面是带有用户子程序的lex程序片段。

"/*" skipcmnts();. /* rest of rules */%%skipcmnts(){for ( ; ; ){while (input()!='*');if(input()!='/')unput(yytext[yylen-1]);else return;}2、lex工具的使用方法首先编写一个lex程序vi lex.l%{#include "stdio.h"%}%%[\n] ;[0-9]+ printf("Interger: %s \n",yytext);[0-9]*\.[0-9]+ printf("Float: %s\n",yytext);[a-zA-Z][a-zA-Z0-9]* printf("Word:%s\n",yytext);. printf("Other symbol:%c\n",yytext[0]);%%然后使用lex将lex.l转换成C语言程序$lex lex.l使用上述命令产生的C语言程序为lex.yy.c然后使用C编译程序将lex.yy.c编译成可执行程序regn$cc -c lex.yy.c$cc lex.yy.o -ll -o regn下面可以使用regn来识别单词$vi testfilex=355y=113p=x/y# ./regn < testfileWord:xOther symbol:=Interger: 355Word:yOther symbol:=Interger: 113Word:pOther symbol:=Word:xOther symbol:/Word:y#yacc工具--------yacc工具是一种语法分析程序生成器，它可以将有关某种语言的语法说明书转换成相应的语法分析程序，由该程序完成对相应语言中语句的语法分析工作。

lex工具介绍

Lex程序的例子（3）
• Lex处理源程序时，辅助函数被直接拷贝到lex.yy.c中 • 辅助函数可在规则中直接调用
Lex中的冲突解决方法
• 冲突：多个输入前缀与某个模式相匹配，或者一个前缀和多个模式匹配 • Lex解决冲突的方法
– 多个前缀可能匹配时，选择最长的前缀
• 保证词法分析器把<=当作一个词法单元识别
词法分析工具Lex/Flex
• Lex/Flex是一个有用的词法分析器生成工具 • 通常和Yacc一起使用，生成编译器的前端
Lex源程序的结构
• 声明部分包含：
– 明示常量：表示常数的标识符 – 正则定义
• 转换规则
– 模式 {动作}
• 模式是正则表达式 • 动作表示识别到相应模式时采取的处理方式。
声明部分 %% 转换规则 %% 辅助函数 Lex程序的形式
• 辅助函数
– 各个动作中使用的函数
词法分析器的工作方式
• Lex生成的词法分析器作为一个函数被调用； • 在每次调用过程中，不断读入余下的输入符号 • 发现最长的、与某个模式匹配的输入前缀时，调用相应的动作；
– 该动作进行相关处理，并把控制返回； – 如果不返回，则词法分析器继续寻找其它词素。
Lex正规式
字符 A-Z, 0-9, a-z . 含义构成了部分模式的字符和数字。匹配任意字符，除了 \n。用来指定范围。例如：A-Z 指从 A 到 Z 之间的所有字符。
[]
一个字符集合。匹配括号内的任意字符。如果第一个字符是 ^ 那么它表示否定模式。例如: [abC] 匹配 a, b, 和 C中的任何一个。
– 某个前缀和多个模式匹配时，选择列在前面的模式
• 如果保留字的规则在标识符的规则之前，词法分析器将识别出保留字