C语言 编译原理实现词法分析程序
编译原理词法分析与语法分析的核心算法
编译原理词法分析与语法分析的核心算法编译原理是计算机科学与技术领域中的一门重要课程。
在编程中，我们常常需要将高级语言编写的程序翻译成机器语言，使计算机能够理解并执行我们编写的程序。
而编译原理中的词法分析和语法分析是编译器的两个核心算法。
一、词法分析词法分析是编译器的第一个阶段，它负责将输入的字符序列（源代码）划分为一个个的有意义的词素（Token），并生成相应的词法单元（Lexeme）。
词法分析的核心算法主要包括以下两个步骤：1. 正则表达式到有限自动机的转换：正则表达式是一种描述字符串匹配模式的表达式，它可以用来描述词法分析中各种词素的规则。
而有限自动机则是一种用来识别或匹配正则表达式所描述的模式的计算模型。
将正则表达式转换为有限自动机是词法分析的关键步骤之一。
2. 词法分析器的生成：在将正则表达式转换为有限自动机后，我们可以使用生成器工具（如Lex、Flex等）来生成词法分析器。
词法分析器可以按照预定的规则扫描源代码，并将识别出的词素转换成相应的词法单元，供后续的语法分析使用。
二、语法分析语法分析是编译器的第二个阶段，它负责分析和处理词法分析阶段生成的词法单元序列，并根据预定的语法规则确定语法正确的序列。
语法分析的核心算法主要包括以下两个步骤：1. 上下文无关文法的定义：上下文无关文法（Context-Free Grammar，简称CFG）是一种用于描述形式语言的文法。
它由一组产生式和终结符号组成，可以用于描述语法分析中的语法规则。
在语法分析中，我们需要根据具体编程语言的语法规则，编写相应的上下文无关文法。
2. 语法分析器的生成：通过使用生成器工具（如Yacc、Bison等），我们可以根据上下文无关文法生成语法分析器。
语法分析器可以根据预先定义的文法规则，对词法单元序列进行分析，并构建出语法树（Parse Tree）供后续的语义分析和代码生成使用。
综上所述，词法分析与语法分析是编译原理中的两个重要阶段，也是实现编译器的核心算法。
编译原理----词法分析程序----C语言版
编译原理----词法分析程序----C语⾔版#include<stdio.h>#include<string.h>#include<stdlib.h>char KeyWord[20][100]={"begin","end","if","while","var","procedure","else","for","do","int","read","write"};char yunsuanfu[]="+-*/<>%=";char fenjiefu[]=",;(){}:";int main(){char test[]="var a=10;\nvar b,c;\nprocedure p; \n\tbegin\n\t\tc=a+b\n\tend\n";int len_yunsuanfu=strlen(yunsuanfu);int len_fenjiefu=strlen(fenjiefu);puts(test);int length=strlen(test),i,j,k;for(i=0;i<length;i++){if(test[i]==' '||test[i]=='\n'||test[i]=='\t')continue;int tag=0;for(j=0;j<len_fenjiefu;j++){if(fenjiefu [j]==test[i]){printf("分界符\t%c\n",test[i]);tag=1;break;}}if(tag==1)continue;tag=0;for(j=0;j<len_yunsuanfu;j++){if(yunsuanfu[j]==test[i]){printf("运算符\t%c\n",test[i]);tag=1;break;}}if(tag==1)continue;if(test[i]>='0'&&test[i]<='9'){printf("数字\t");while(test[i]>='0'&&test[i]<='9'){printf("%c",test[i]);i++;}printf("\n");continue;}char temp[100];j=0;while(test[i]>='0'&&test[i]<='9'||test[i]>='a'&&test[i]<='z'||test[i]>='A'&&test[i]<='Z'||test[i]=='_') {temp[j++]=test[i];i++;}i--;temp[j++]='\0';tag=0;for(j=0;j<20;j++){if(strcmp(temp,KeyWord[j])==0){tag=1;printf("关键字\t%s\n",temp);break;}}if(tag==0)printf("标识符\t%s\n",temp);}}。
编译原理词法分析和语法分析报告 代码(C语言版)
admit=0;
for(in=0;in<cal-1;in++){str[in]=str[in+1];}
str[in]='\0';
cal--;
r_find=r_find->next;
}//:入栈~
if(r_find->line_States==s_find->num&&r_find->rank_Letter==str[0]&&r_find->name=='r'){//:规约
词法分析
三、词法分析程序的算法思想：
算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。
3.1主程序示意图：
否
是
扫描子程序主要部分流程图
是是
否
字母
数字其他
运算符、符号
界符等符号
否
是
词法分析程序的C语言程序源代码：
//词法分析函数: void scan()
//数据传递:形参fp接收指向文本文件头的文件指针；
//全局变量buffer与line对应保存源文件字符及其行号，char_num保存字符总数。
void scan()
{
char ch;
int flag,j=0,i=-1;
while(!feof(fp1))
{
ch=fgetc(fp1);
flag=judge(ch);
struct Sign *next;
编译原理词法分析实验报告
编译原理词法分析实验报告实验一词法分析一、实验目的通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。
并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。
编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。
并依次输出各个单词的内部编码及单词符号自身值。
二、实验内容（1）功能描述：该程序是实现一个词法分析器，词法分析器的功能是输入源程序，输出单词符号。
词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。
本实验中，采用的是将单词分为五种的方法。
识别关键字：main、if、int、for、while、do、return、break、continue；单词种别码为1。
标识符：单词种别码为2。
常数：为无符号整形数；单词种别码为3。
运算符：包括：+、-、*、/、=、>、<、>=、<=、!= ；单词种别码为4。
分隔符：包括：,、;、{、}、(、)；单词种别码为5。
（2）程序结构描述：输入：从控制台输入一段源程序代码，对输入的代码进行词法分析,处理：分离出关键字、标识符、数值、运算符和界符。
输出：在词法分析结果表中输出每个单词所在行号、类型以及它所对应的编码。
其中，编码是自定义的,一种类型对应一个编码。
词法分析结果显示在控制台上。
（3）程序设计思路1、定义编码表，用ArrayList集合存放单词，如：关键字、运算符、分界符。
这三种单词是固定的，标示符和数字这两种单词不存放在集合中。
编码表是固定的，只需要初始化一次就够了，所以将集合定义为static类型，使其在类加载时，进行一次初始化。
2、static char allstr[] = new char[100000];该数组用于存储用户从控制台输入的所有字符。
3、//从键盘获取一个一个的字符public char Getchar() {try {ch = (char) System.in.read();} catch (Exception e) {e.printStackTrace();}return ch;}4、用while循环遍历allstr数组中存放的字符，判断分离出关键字、标示符、数字、运算符、标示符。
编译原理：c语言词法分析器的实现
编译原理：c语⾔词法分析器的实现编译原理：c语⾔词法分析器的实现⼀、前⾔词法分析和语法分析是编译原理中必要的部分，是需要花费⼀定时间去学习理解的，本⽂简单介绍了使⽤c语⾔如何编写c语⾔的词法分析器。
（ps：完整代码的链接在⽂末）⼆、什么是词法分析器定义词法分析器的功能输⼊源程序，按照构词规则分解成⼀系列单词符号。
单词是语⾔中具有独⽴意义的最⼩单位，包括关键字、标识符、运算符、界符和常量等。
(1) 关键字：是由程序语⾔定义的具有固定意义的标识符。
例如begin，end，if，while都是保留字。
这些字通常不⽤作⼀般标识符。
(2) 标识符：⽤来表⽰各种名字，如变量名，数组名，过程名等等。
(3) 常数 ：常数的类型⼀般有整型、实型、布尔型、⽂字型等。
(4) 运算符：如+、-、*、/等等。
(5) 界符 ：如逗号、分号、括号、等等。
输出有了对词法分析器的定义，我们编写的词法分析器的输出理所当然应当是如下的形式：（单词，单词属性，id（种别码））如：（if，关键字，3）id通常情况下可以⾃⼰定义，例如⽆符号整数的id可以设为1，只要能区别不同的属性即可。
（ps：如果在编写时有对应的种别码表，照着写就完事⼉了。
）种别码表⽰例单词符号种别码NUM0Letter1main2三、实现过程如何实现1. 读到空格则略过，读下⼀个字符；若读到的是字母，就再接着读，直到读到的既不是字母也不是数字也不是下划线，并将读到的写⼊到token数组；2. 若读到的是数字，直到读到的不是数字或⼩数点，将读到的写⼊到token数组；3. 若读到的是<|>|=，则再读⼊下⼀位，若为=，则该运算符为<=|>=|==，若为其他字符，则返回<|>|=的种别码；4. 若读到的是/，则读下⼀位，若为*，则说明之后为多⾏注释，⼀直读⼊直到读⼊*，并判断下⼀位是否为/，若是则注释结束，不是继续往下⼀位读⼊；若读⼊\n，则⾏数加⼀，若读⼊的字符与以上都不匹配，则报错，并输出出错⾏数；5. 若读到/时，下⼀位⼜读到/，即读到的是单⾏注释，此时判断下⼀位是否为\n，若是，则注释结束，不是则继续读⼊下⼀位。
c语言编译原理
c语言编译原理C语言编译原理。
C语言是一种广泛应用的计算机编程语言，它的编译原理是理解和掌握C语言的重要基础。
编译原理是指将高级语言编写的程序转换为机器语言的过程，这个过程包括了词法分析、语法分析、语义分析、中间代码生成、代码优化和目标代码生成等步骤。
下面我们将逐步介绍C语言编译原理的相关内容。
首先，词法分析是编译原理的第一步，它的作用是将源程序中的字符序列转换为单词序列，也就是词法单元。
在C语言中，词法单元包括关键字、标识符、常量、运算符和界符等。
词法分析器会逐个读取源程序中的字符，并将其转换为相应的词法单元，然后将这些词法单元传递给语法分析器进行处理。
接着，语法分析是编译原理的第二步，它的作用是根据语法规则检查词法单元序列的结构是否符合语法规则。
在C语言中，语法规则包括了声明、表达式、语句和函数等。
语法分析器会根据这些语法规则对词法单元序列进行分析，并生成相应的语法树。
然后，语义分析是编译原理的第三步，它的作用是对语法树进行遍历和分析，确定程序的语义是否合法。
在C语言中，语义分析包括了类型检查、作用域分析和中间代码生成等。
语义分析器会对语法树进行遍历，检查变量的类型是否匹配、函数的参数是否正确，并生成相应的中间代码。
接下来，中间代码生成是编译原理的第四步，它的作用是将语法树转换为中间代码。
在C语言中，中间代码可以是三地址码、四地址码或者抽象语法树等形式。
中间代码生成器会根据语法树的结构和语义信息生成相应的中间代码，并进行一定的优化。
此外，代码优化是编译原理的第五步，它的作用是对中间代码进行优化，以提高程序的性能和效率。
在C语言中，代码优化包括了常量传播、死代码消除、循环优化和内联展开等。
代码优化器会对中间代码进行分析和变换，以减少程序的执行时间和内存占用。
最后，目标代码生成是编译原理的最后一步，它的作用是将中间代码转换为目标机器的机器代码。
在C语言中，目标代码可以是汇编代码或者机器语言代码。
词法分析程序的设计与实现
词法分析程序的设计与实现方法1：采用C作为实现语言，手工编制一．文法及状态转换图1．语言说明：C语言有以下记号及单词：（1）标识符：以字母开头的、后跟字母或数字组成的符号串。
（2）关键字：标识符集合的子集，该语言定义的关键字有32个，即auto,break,case,char,const,continue,default,do,double,else,enum, extern,float,for,goto,if,int,long,register,return,short,signed,static, sizeof,struct,switch，typedef ,union,unsigned ,void, volatile和while。
（3）无符号数：即常数。
（4）关系运算符：<,<=,==,>,>=,！=。
（5）逻辑运算符：&&、||、！。
（6）赋值号：=。
（7）标点符号：+、++、-、--、*、：、；、（、）、？、/、%、#、&、|、“”、，、.、{}、[]、_、^等（8）注释标记：以“/*”开始，以“*/”结束。
（9）单词符号间的分隔符：空格。
2．记号的正规文法：仅给出各种单词符号的文法产生式（1）标识符的文法id->letter ridrid->ε|letter rid|digit rid（2）无符号整数的文法digits->digit remainderremainder->ε|digit remainder（3）无符号数的文法num->digit num1num1->digit num1|. num2|E num4|εnum2->digit num3num3->digit num3|E num4|εnum4->+digits|-digits|digit num5digits->digit num5num5->digit num5|ε（4）关系运算符的文法relop-> <|<=|==|>|>=|!=（5）赋值号的文法assign_op->=（6）标点符号的文法special_symbol->+|-|*|%|#|^|(|)|{|}|[|]|:|;|”|?|/|,|.& （7）逻辑运算符的文法logic->&&| || | !（8）注释头符号的文法note->/starstar->*3.状态转换图其中，状态0是初始状态，若此时读入的符号是字母，则转换到状态1，进入标识符识别过程；如果读入的是数字，则转换到状态2，进入无符号数识别过程；……；若读入的符号是/，转换到状态11，再读入下一个符号，如果读入的符号是*，则转换到状态12，进入注释处理状态；如果在状态0读入的符号不是语言所定义的单词符号的开始字符，则转换到状态13，进入错误处理状态。
C语言编译原理词法分析和语法分析
C语言编译原理词法分析和语法分析编程语言的编写和使用离不开编译器的支持，而编译器的核心功能之一就是对代码进行词法分析和语法分析。
C语言作为一种常用的高级编程语言，也有着自己的词法分析和语法分析规则。
一、词法分析词法分析是编译器的第一阶段，也是将源代码拆分为一个个独立单词（token）的过程。
在C语言中，常见的单词包括关键字（如if、while等）、标识符（如变量名）、常量（如数字、字符常量）等。
词法分析器会根据预定义的规则对源代码进行扫描，并将扫描到的单词转化为对应的符号表示。
词法分析的过程可以通过有限自动机来实现，其中包括各种状态和状态转换规则。
词法分析器通常会使用正则表达式和有限自动机的方法来进行实现。
通过词法分析，源代码可以被分解为一个个符号，为后续的语法分析提供基础。
二、语法分析语法分析是编译器的第二阶段，也是将词法分析得到的单词序列转换为一棵具有语法结构的抽象语法树（AST）的过程。
在C语言中，语法分析器会根据C语言的文法规则，逐句解析源代码，并生成相应的语法树。
C语言的语法规则相对复杂，其中包括了各种语句、表达式、声明等。
语法分析的过程主要通过递归下降分析法、LR分析法等来实现。
语法分析器会根据文法规则建立语法树的分析过程，对每个语法结构进行逐步推导和分析，最终生成一棵完整的语法树。
三、编译器中的词法分析和语法分析在编译器中实现词法分析和语法分析是一项重要的技术任务。
编译器通常会将词法分析和语法分析整合在一起，形成一个完整的前端。
在C语言编译器中，词法分析和语法分析器会根据C语言的词法规则和文法规则，对源代码进行解析，并生成相应的中间表示形式，如语法树或者中间代码。
词法分析和语法分析的结果会成为后续编译器中各个阶段的输入，如语义分析、中间代码生成、目标代码生成等。
编译器的优化和错误处理也与词法分析和语法分析有密切关系。
因此，对词法分析和语法分析的理解和实现对于编译器开发者而言是非常重要的。
编译原理词法分析和语法分析报告+代码(C语言版)[1]
![编译原理词法分析和语法分析报告+代码(C语言版)[1]](https://img.taocdn.com/s3/m/6a025cd1240c844769eaee6f.png)
词法分析一、实验目的设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。
二、实验要求2.1 待分析的简单的词法（1）关键字：begin if then while do end所有的关键字都是小写。
（2）运算符和界符：= + - * / < <= <> > >= = ; ( ) #（3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义：ID = letter (letter | digit)*NUM = digit digit*（4）空格有空白、制表符和换行符组成。
空格一般用来分隔ID、SUM、运算符、界符和关键字，词法分析阶段通常被忽略。
2.2 各种单词符号对应的种别码：输入：所给文法的源程序字符串。
输出：二元组（syn,token或sum）构成的序列。
其中：syn为单词种别码；token为存放的单词自身字符串；sum为整型常数。
例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件，经过词法分析后输出如下序列：(1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)……三、词法分析程序的算法思想：算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。
3.1 主程序示意图：主程序示意图如图3-1所示。
其中初始包括以下两个方面：⑴关键字表的初值。
关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。
如能查到匹配的单词，则该单词为关键字，否则为一般标识符。
关键字表为一个字符串数组，其描述如下：Char *rwtab[6] = {“begin”, “if”, “then”, “while”, “do”, “end”,};图3-1（2）程序中需要用到的主要变量为syn,token和sum3.2 扫描子程序的算法思想：首先设置3个变量：①token用来存放构成单词符号的字符串；②sum用来整型单词；③syn用来存放单词符号的种别码。
编译原理实验--词法分析器
实验一词法分析器设计【实验目的】1．熟悉词法分析的基本原理，词法分析的过程以及词法分析中要注意的问题。
2．复习高级语言，进一步加强用高级语言来解决实际问题的能力。
3．通过完成词法分析程序，了解词法分析的过程。
【实验内容】用C语言编写一个PL/0词法分析器，为语法语义分析提供单词，使之能把输入的字符串形式的源程序分割成一个个单词符号传递给语法语义分析，并把分析结果（基本字，运算符，标识符，常数以及界符）输出。
【实验流程图】【实验步骤】1．提取pl/0文件中基本字的源代码while((ch=fgetc(stream))!='.'){int k=-1;char a[SIZE];int s=0;while(ch>='a' && ch<='z'||ch>='A' && ch<='Z'){if(ch>='A' && ch<='Z') ch+=32;a[++k]=(char)ch;ch=fgetc(stream);}for(int m=0;m<=12&&k!=-1;m++)for(int n=0;n<=k;n++){if(a[n]==wsym[m][n]) ++s;else s=0;if(s==(strlen(wsym[m]))) {printf("%s\t",wsym[m]);m=14;n=k+1;} }2．提取pl/0文件中标识符的源代码while((ch=fgetc(stream))!='.'){int k=-1;char a[SIZE]=" ";int s=0;while(ch>='a' && ch<='z'||ch>='A' && ch<='Z'){if(ch>='A' && ch<='Z') ch+=32;a[++k]=(char)ch;ch=fgetc(stream);}for(int m=0;m<=12&&k!=-1;m++)for(int n=0;n<=k;n++){if(a[n]==wsym[m][n]) ++s;else s=0;if(s==(strlen(wsym[m]))) {m=14;n=k+1;}}if(m==13) for(m=0;a[m]!=NULL;m++) printf("%c ",a[m]);3．提取pl/0文件中常数的源代码while((ch=fgetc(stream))!='.'){while(ch>='0' && ch<='9'){num=10*num+ch-'0';ch=fgetc(stream);}if(num!=0) printf("%d ",num);num=0;}4．提取pl/0文件中运算符的源代码int ch=fgetc(stream);while(ch!='.'){switch(ch){case'+': printf("+ ");break;case'-': printf("- ");break;case'*': printf("* ");break;case'/': printf("/ ");break;case'>': if(fgetc(stream)=='=')printf(">= "); else printf("> ");break;case'<': if(fgetc(stream)=='=')printf("<= "); else printf("< ");break;case':': printf(":= ");break;case'#': printf("# ");break;case'=': printf("= ");break;default: break;}ch=fgetc(stream);5．提取pl/0文件中界符的源代码int ch=fgetc(stream);while(ch!='.'){switch(ch){case',': printf(", ");break;case';': printf("; ");break;case'(': printf("( ");break;case')': printf(") ");break;default: break;}ch=fgetc(stream);}【实验结果】1．pl/0文件（222.txt）内容const a=10;var b,c;procedure p;beginc:=b+a;end;beginread(b);while b#0 dobegincall p;write(2*c);read(b)endend .2．实验运行结果【实验小结】1.了解程序在运行过程中对词法分析，识别一个个字符并组合成相应的单词，是机器能过明白程序，定义各种关键字，界符。
词法分析 编译原理 C语言版
#include "stdio.h"#include "string.h"#include "stdlib.h"#define al 10#define norw 13#define nmax 14FILE *fin;FILE *fout;char fname[al],fwname[al],a[al+1],id[al+1],sym[20];static char sword[11]={'+','-','*','/','(',')','=',',','.','#',';'};static char ssym[11][al]={"plus","minus","times","slash","lparen","rparen","eql","comma","period","neq","se micolon"};static char word[13][al]={"begin","call","const","do","end","if","odd","procedure","read","then","var","whil e","write"};//保留关键字static char wsym[13][al]={"beginsym","callsym","constsym","dosym","endsym","ifsym","oddsym","procsy m","readsym","thensym","varsym","whilesym","writesym"};//关键字类型int cc,ll,cx,num;char line[81];char ch;int getch(){if(cc==ll)//缓冲是否被读取完毕{if(feof(fin)){return -1;}ll=0;cc=0;ch=' ';while(ch!=10){if(EOF==fscanf(fin,"%c",&ch)){line[ll]=0;break;}line[ll]=ch;ll++;}// linecount++;// printf("开始分析程序的第%d行\n",linecount);// fprintf(fout,"开始分析程序的第%d行\n",linecount);}ch=line[cc];cc++;return 0;}//void error(int rowcount,int wordcount)//{//printf("!第%d行第%d个位置数字越界\n",rowcount,wordcount);//fprintf(fout,"!第%d行第%d个位置数字越界\n",rowcount,wordcount);//}int error(int n){switch(n){case 1:printf("常数说明中的“=”写成“:=”。
编译原理词法分析和语法分析报告+代码[C语言版]
![编译原理词法分析和语法分析报告+代码[C语言版]](https://img.taocdn.com/s3/m/72d7b73c02020740bf1e9b36.png)
词法分析一、实验目的设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。
二、实验要求2.1 待分析的简单的词法（1）关键字：begin if then while do end所有的关键字都是小写。
（2）运算符和界符：= + - * / < <= <> > >= = ; ( ) #（3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义：ID = letter (letter | digit)*NUM = digit digit*（4）空格有空白、制表符和换行符组成。
空格一般用来分隔ID、SUM、运算符、界符和关键字，词法分析阶段通常被忽略。
2.2 各种单词符号对应的种别码：表2.1 各种单词符号对应的种别码2.3 词法分析程序的功能：输入：所给文法的源程序字符串。
输出：二元组（syn,token或sum）构成的序列。
其中：syn为单词种别码；token为存放的单词自身字符串；sum为整型常数。
例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件，经过词法分析后输出如下序列：(1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)……三、词法分析程序的算法思想：算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。
3.1 主程序示意图：主程序示意图如图3-1所示。
其中初始包括以下两个方面：⑴关键字表的初值。
关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。
如能查到匹配的单词，则该单词为关键字，否则为一般标识符。
关键字表为一个字符串数组，其描述如下：Char *rwtab[6] = {“begin”, “if”, “then”, “while”, “do”, “end”,};是图3-1（2）程序中需要用到的主要变量为syn,token和sum3.2 扫描子程序的算法思想：首先设置3个变量：①token用来存放构成单词符号的字符串；②sum用来整型单词；③syn用来存放单词符号的种别码。
编译原理 第五章 词法分析
三、LEX编译程序的工作过程：
1.根据每条识别规则Pi {ACTION i}构造相应的非确 定有限自动机NFA，分别画出它们的状态转换图； 2.将所有的状态转换图连接成一个完整的状态转换图； 3.由状态转换图构造状态转换矩阵； 4.将状态转换矩阵确定化； 5.根据DFA，构造词法分析器；
预处理 子程序 扫描器 单词符号
输入 列表 输入缓冲区
扫描缓冲区
词法分析器的结构
三、设置缓冲器的必要性
之所以要设置缓冲器，是因为对于许多源程序而言，有 时词法分析器为了得到某个单词符号的确切性质，只从该符 号本身所含有的字符不能作出判定，还需要超前扫描若干字 符之后，才能作出确切的分析。 例如：有合法的Fortran语句： DO99K=1，10 和 DO99K=1.10 前者是循环语句，后者是赋值语句，两者的区别在于等 号后的第一个界符不同，前者是逗号，后者是句号，因此为 了识别前者中的关键字‘“DO”，必须超前扫描若干字符之 后，才能作出确切的判定。
3、词法分析器和语法分析器作为协同程序 如果两个或两个以上的程序，他们之间交叉执行，这些程序称为协同程 序。词法分析器和语法分析器也可协工作的方式安排在同一遍中，以生产 者和消费者的关系同步运行。
1.词法分析单独作为一遍
S.P.(字符串)
第一 遍 词法分析 单词 串 S.P.(符号串) 第二 遍 语法分析
例如：
%{ int wordCount = 0; int noCount = 0; %} chars [A-za-z] numbers ([0-9])+ words {chars}+ 注意：凡是对已经定义的正则表达式的名字的引用，都必须用花括 号将它们括起来。在LEX源程序中，起标识作用的符号%%，%{以及%}都 必须处在所在行的最左字符位置。
编译原理实验-词法分析器
编译原理实验-词法分析器⼀、实验⽬的设计、编制、调试⼀个词法分析程序，对单词进⾏识别和编码，加深对词法分析原理的理解。
⼆、实验内容1.选定语⾔，编辑任意的源程序保存在⽂件中；2.对⽂件中的代码预处理，删除制表符、回车符、换⾏符、注释、多余的空格并将预处理后的代码保存在⽂件中；3.扫描处理后的源程序，分离各个单词符号，显⽰分离的单词类型。
三、实验思路对于实验内容1，选择编写c语⾔的源程序存放在code.txt中，设计⼀个c语⾔的词法分析器，主要包含三部分，⼀部分是预处理函数，第⼆部分是扫描判断单词类型的函数，第三部分是主函数，调⽤其它函数；对于实验内容2，主要实现在预处理函数processor()中，使⽤⽂档操作函数打开源程序⽂件(code.txt)，去除两种类型（“//”,“/*…*/”）的注释、多余的空格合并为⼀个、换⾏符、回车符等，然后将处理后的保存在另⼀个新的⽂件(afterdel.txt)中，最后关闭⽂档。
对于实验内容3，打开处理后的⽂件，然后调⽤扫描函数，从⽂件⾥读取⼀个单词调⽤判断单词类型的函数与之前建⽴的符号表进⾏对⽐判断，最后格式化输出。
四、编码设计代码参考了两篇博主的，做了部分改动，添加了预处理函数等1 #include<iostream>2 #include<fstream>3 #include<cstdio>4 #include<cstring>5 #include<string>6 #include<cstdlib>78using namespace std;910int aa;// fseek的时候⽤来接着的11string word="";12string reserved_word[20];//保留13char buffer;//每次读进来的⼀个字符14int num=0;//每个单词中当前字符的位置15int line=1; //⾏数16int row=1; //列数，就是每⾏的第⼏个17bool flag; //⽂件是否结束了18int flag2;//单词的类型192021//预处理函数22int processor(){//预处理函数23 FILE *p;24int falg = 0,len,i=0,j=0;25char str[1000],str1[1000],c;26if((p=fopen("code.txt","rt"))==NULL){27 printf("⽆法打开要编译的源程序");28return0;29 }30else{31//fgets(str,1000,p);32while((c=getc(p))!=EOF){33 str[i++] = c;34 }35 fclose(p);36 str[i] = '\0';37for(i=0;i<strlen(str);i++){38if(str[i]=='/'&&str[i+1]=='/'){39while(str[i++]!='\n'){}40 }//单⾏注释41else if(str[i]=='/'&&str[i+1]=='*'){42while(!(str[i]=='*'&&str[i+1]=='/')){i++;}43 i+=2;44 }//多⾏注释45else if(str[i]==''&&str[i+1]==''){46while(str[i]==''){i++;}47 i--;48if(str1[j-1]!='')49 str1[j++]='';50 }//多个空格，去除空格51else if(str[i]=='\n') {52if(str1[j-1]!='')53 str1[j++]='';54 }//换⾏处理，55else if(str[i]==9){56while(str[i]==9){57 i++;58 }59if(str1[j-1]!='')60 str1[j++]='';61 i--;62 }//tab键处理63else str1[j++] = str[i];//其他字符处理64 }65 str1[j] = '\0';66if((p = fopen("afterdel.txt","w"))==NULL){ 67 printf("can not find it!");68return0;69 }70else{71if(fputs(str1,p)!=0){72 printf("预处理失败！");73 }74else printf("预处理成功！");75 }76 fclose(p);77 }78return0;79 }8081//设置保留字82void set_reserve()83 {84 reserved_word[1]="return";85 reserved_word[2]="def";86 reserved_word[3]="if";87 reserved_word[4]="else";88 reserved_word[5]="while";89 reserved_word[6]="return";90 reserved_word[7]="char";91 reserved_word[8]="for";92 reserved_word[9]="and";93 reserved_word[10]="or";94 reserved_word[11]="int";95 reserved_word[12]="bool";96 }9798//看这个字是不是字母99bool judge_word(char x)100 {101if(x>='a' && x<='z' || x>='A' && x<='Z' ){ 102return true;103 }104else return false;105 }106107//看这个字是不是数字108bool judge_number(char x)109 {110if(x>='0' && x<='9'){111return true;112 }113else return false;114 }115116//看这个字符是不是界符117bool judge_jiefu(char x)118 {119if(x=='('||x==')'||x==','||x==';'||x=='{'||x=='}'){ 120return true;121 }122else return false;123 }124125126//加减乘127bool judge_yunsuanfu1(char x)128 {129if(x=='+'||x=='-'||x=='*')130 {131return true;132 }133else return false;134 }135136//等于赋值，⼤于⼩于⼤于等于，⼩于等于，⼤于⼩于137bool judge_yunsuannfu2(char x)138 {139if(x=='='|| x=='>'||x=='<'||x=='&'||x=='||'){140return true;141 }142else return false;143 }144145146//这个最⼤的函数的总体作⽤是从⽂件⾥读⼀个单词147int scan(FILE *fp)148 {149 buffer=fgetc(fp);//读取⼀个字符150if(feof(fp)){//检测结束符151 flag=0;return0;152 }153else if(buffer=='')154 {155 row++;156return0;157 }158else if(buffer=='\n')159 {160 row=1;161return0;162 }163//如果是字母开头或'_' 看关键字还是普通单词164else if(judge_word(buffer) || buffer=='_')165 {166 word+=buffer;167 row++;168while((buffer=fgetc(fp)) && (judge_word(buffer) || judge_number(buffer) || buffer=='_'))169 {170 word+=buffer;171 row++;172 }173if(feof(fp)){174 flag=0;175return1;176 }177for(int i=1;i<=12;i++){178if(word==reserved_word[i]){179 aa=fseek(fp,-1,SEEK_CUR);//如果执⾏成功，stream将指向以fromwhere为基准，偏移offset（指针偏移量）个字节的位置，函数返回0。
编译原理课程设计报告C-语言词法与语法分析器的实现
编译原理课程设计报告课题名称：编译原理课程设计C-语言词法与语法分析器的实现提交文档学生姓名：提交文档学生学号：同组成员名单：指导教师姓名：指导教师评阅成绩：指导教师评阅意见：..提交报告时间：年月日C-词法与语法分析器的实现1.课程设计目标（1）题目实用性C-语言拥有一个完整语言的基本属性，通过编写C-语言的词法分析和语法分析，对于理解编译原理的相关理论和知识有很大的作用。
通过编写C-语言词法和语法分析程序，能够对编译原理的相关知识：正则表达式、有限自动机、语法分析等有一个比较清晰的了解和掌握。
（2）C-语言的词法说明①语言的关键字：else if int return void while所有的关键字都是保留字，并且必须是小写。
②专用符号：+ - * / < <= > >= == != = ; , ( ) [ ] { } /* */③其他标记是ID和NUM，通过下列正则表达式定义：ID = letter letter*NUM = digit digit*letter = a|..|z|A|..|Zdigit = 0|..|9注：ID表示标识符，NUM表示数字，letter表示一个字母，digit表示一个数字。
小写和大写字母是有区别的。
④空格由空白、换行符和制表符组成。
空格通常被忽略。
⑤注释用通常的c语言符号/ * . . . * /围起来。
注释可以放在任何空白出现的位置(即注释不能放在标记内)上，且可以超过一行。
注释不能嵌套。
（3）程序设计目标能够对一个程序正确的进行词法及语法分析。
2.分析与设计（1）设计思想a.词法分析词法分析的实现主要利用有穷自动机理论。
有穷自动机可用作描述在输入串中识别模式的过程，因此也能用作构造扫描程序。
通过有穷自动机理论能够容易的设计出词法分析器。
b.语法分析语法分析采用递归下降分析。
递归下降法是语法分析中最易懂的一种方法。
它的主要原理是，对每个非终结符按其产生式结构构造相应语法分析子程序，其中终结符产生匹配命令，而非终结符则产生过程调用命令。
词法分析-C语言编译原理
#include <iostream>#include<string>using namespace std;#define N 22int GJZ(string c,string a[N]);int ZM(char c);int SZ(char c);void output(string a[N],string b[N],string c[N],string d[N],string e[N]);void analyse(FILE *fpin,string a[N],string b[N],string c[N],string d[N],string e[N]); char ch =' ';string key[15]={"begin","end","if","then","else","while","write","read","do", "call","const","char","until","procedure","repeat"};void main(){char in_fn[30];FILE * fpin;string a[N],b[N],c[N],d[N],e[N];cout<<"请输入源文件名（包括路径和后缀名）:";for(;;){cin>>in_fn;if((fpin=fopen(in_fn,"r"))!=NULL) break;else cout<<"文件路径错误！请输入源文件名（包括路径和后缀名）:";}analyse(fpin,a,b,c,d,e);fclose(fpin);output(a,b,c,d,e);}//判断是否为关键字int GJZ(string c,string a[N]){int i;for(i=0;i<N;i++) {if(key[i].compare(c)==0){a[i]=c;return 1;}}return 0;}//判断是否为字母int ZM(char c) {int i=0;if(((c<='z')&&(c>='a'))||((c<='Z')&&(c>='A'))){return 1;}else return 0;}//判断是否为数字int SZ(char c){if(c>='0'&&c<='9') return 1;else return 0;}void analyse(FILE *fpin,string a[N],string b[N],string c[N],string d[N],string e[N]){ string arr="";int i=0,j=0,k=0,t=0;while((ch=fgetc(fpin))!=EOF) {arr="";if(ch==' '||ch=='\t'||ch=='\n'){}else if(ZM(ch)){while(ZM(ch)||SZ(ch)){if((ch<='Z')&&(ch>='A'))ch=ch+32;arr=arr+ch;ch=fgetc(fpin);}fseek(fpin,-1L,SEEK_CUR);if(GJZ(arr,a)){}else{b[i]=arr;i++;}}else if(SZ(ch)){while(SZ(ch)||ch=='.'&&SZ(fgetc(fpin))){arr=arr+ch;ch=fgetc(fpin);}fseek(fpin,-1L,SEEK_CUR);c[j]=arr;j++;}else switch(ch){case'+' :case'-' :case'*' :case'=' :case'/' :{e[t]=ch;t++;} break;case'(' :case')' :case'[' :case']' :case';' :case'.' :case',' :case'{' :case'}' :{d[k]=ch;k++;} break;case':' :{ch=fgetc(fpin);if(ch=='='){e[t]=":=";t++;}else {e[t]="=";t++;fseek(fpin,-1L,SEEK_CUR);}}break;case'>' :{ch=fgetc(fpin);if(ch=='=') {e[t]=">=";t++;}if(ch=='>') {e[t]=">>";t++;}else {e[t]=">";t++;fseek(fpin,-1L,SEEK_CUR);}}break;case'<' :{ch=fgetc(fpin);if(ch=='='){e[t]="<=";t++;}else if(ch=='<'){e[t]="<<";t++;}else if(ch=='>') {e[t]="<>";t++;}else{e[t]="<";t++;fseek(fpin,-1L,SEEK_CUR);}}break;default : cout<<ch<<"\t无法识别字符"<<endl;}}}void output(string a[N],string b[N],string c[N],string d[N],string e[N]) {int i;cout<<"关键字为："<<endl;for(i=0;i<N;i++)cout<<a[i]<<" ";cout<<endl;cout<<"标识符为："<<endl;for(i=0;i<N;i++)cout<<b[i]<<" ";cout<<endl;cout<<"常数为："<<endl;for(i=0;i<N;i++)cout<<c[i]<<" ";cout<<endl;cout<<"界符为："<<endl;for(i=0;i<N;i++)cout<<d[i]<<" ";cout<<endl;cout<<"运算符为："<<endl;for(i=0;i<N;i++)cout<<e[i]<<" ";cout<<endl;}txt内容如下：beginx:=9if x>0 then x:=x+1;while a:=0 dob:=2*x/3;end;运行结果：。
编译原理词法分析(C语言)
*
11
{
/
12
}
>
13
#
4 状态转换图
种别码 14 15 16 17 18 19 20 21 22 23 24 25 0
图 1 标识符状态转换图
图 2 无符号整数状态转换图
图 3 无符号数状态转换图
图 4 词法分析转换图
5 流程图
图 5 词法分析流程图
6 程序设计 本实验在程序设计方面做了如下定义： 指针数组*kt[]：用于存放关键字 一维数组 str[]：用于存放输入字符串 一维数组 token[]：用于存放分析过程中的字符
实践是对理论的巩固在这次试验中需要我们先从书本了解什么是词法分析词法分析的过程是怎样的需要我们画出相关的图和表才可能有更加清晰的思路和方法来编制程序代码设计出词法分析器并且实现词法分析器的功能
数学与软件科学学院 实验报告
学期： 2015 至 2016 第 2 学期
2016 年 3 月 1 日
课程名称： 编译原理 专业： 信息与计算科学
列，并且所输出的单词符号通常表示成如下的二元式：
（单词种别，单词自身的值）
表1
C 语言子集的单词符号及种别码表
单词符号
种别码
单词符号
if
1
>=
e
2
<
do
3
<=
while
4
=
case
5
==
switch
6
,
digit(digit)*
7
;
letter(letter|digit)*
8
:
+
9
(
-
10
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
case '>':token[m++]=ch;
ch=prog[p++];
if(ch=='=')
{ syn=24;
token[m++]=ch;
}
{ syn=17;
token[m++]=ch;
}
else
{ syn=13;
p--;
}
break;
{ while(((ch<='z')&&(ch>='a'))||((ch<='Z')&&(ch>='A'))||((ch>='0')&&(ch<='9')))
{token[m++]=ch;
ch=prog[p++];
}
p--;
syn=10;
{ sum=sum*10+ch-'0';
ch=prog[p++];
}
p--;
syn=11;
}
else switch(ch)
{ case '<':token[m++]=ch;
ch=prog[p++];
break;
default: syn=-1;
break;
}
token[m++]='\0';
}
scaner()
{ sum=0;
for(m=0;m<8;m++)token[m++]=NULL;
ch=prog[p++];
m=0;
while((ch==' ')||(ch=='\n'))ch=prog[p++];
if(((ch<='z')&&(ch>='a'))||((ch<='Z')&&(ch>='A')))
{ syn=25;
token[m++]=ch;
}
else
{ syn=18;
p--;
}
break;
for(n=0;n<6;n++)
if(strcmp(token,rwtab[n])==0)
{ syn=n+1;
break;
}
}
else if((ch>='0')&&(ch<='9'))
{ while((ch>='0')&&(ch<='9'))
}
else
{ syn=31;
p--;
}
break;
case '=':token[m++]=ch;
ch=prog[p++];
if(ch=='=')
scaner();
main()
{p=0;
printf("\n please input a string(end with '#'):/n");
do{
scanf("%c",&ch);
prog[p++]=ch;
}while(ch!='#');
p=0;
do{
getch();
exit(0);
default: printf("( %-10s%5d )\n",token,syn);
break;
}
}while(syn!=0);
getch();
}
token[m++]=ch;
break;
case ')': syn=28;
token[m++]=ch;
break;
case '{': syn=5;
token[m++]=
{ syn=22;
token[m++]=ch;
}
else
{ syn=20;
p--;
}
case '-':token[m++]=ch;
ch=prog[p++];
if(ch=='-')
{ syn=29;
token[m++]=ch;
}
else
token[m++]=ch;
break;
case '#': syn=0;
token[m++]=ch;
break;
case ':':syn=17;
token[m++]=ch;
编译原理 词法分析
#include <stdio.h>
#include <string.h>
char prog[80],token[8],ch;
int syn,p,m,n,sum;
char *rwtab[6]={"begin","if","then","while","do","end"};
case '*': syn=15;
token[m++]=ch;
break;
case '/': syn=16;
token[m++]=ch;
break;
case '(': syn=27;
break;
case '}': syn=6;
token[m++]=ch;
break;
case ';': syn=26;
token[m++]=ch;
break;
case '\"': syn=30;
{ syn=14;
p--;
}
break;
case '!':ch=prog[p++];
if(ch=='=')
{ syn=21;
token[m++]=ch;
scaner();
switch(syn)
{case 11:printf("( %-10d%5d )\n",sum,syn);
break;
case -1:printf("you have input a wrong string\n");
else
{ syn=23;
p--;
}
break;
case '+': token[m++]=ch;
ch=prog[p++];
if(ch=='+')