编译原理实验—词法分析器

合集下载

编译原理实验一词法分析

编译原理实验⼀词法分析实验⼀词法分析【实验⽬的】（1）熟悉词法分析器的基本功能和设计⽅法；（2）掌握状态转换图及其实现；（3）掌握编写简单的词法分析器⽅法。

【实验内容】对⼀个简单语⾔的⼦集编制⼀个⼀遍扫描的词法分析程序。

【实验要求】（1）待分析的简单语⾔的词法 1) 关键字 begin if then while do end 2) 运算符和界符 := + - * / < <= <> > >= = ; ( ) # 3) 其他单词是标识符(ID)和整形常数(NUM)，通过以下正规式定义： ID=letter(letter|digit)* NUM=digitdigit* 4) 空格由空⽩、制表符和换⾏符组成。

空格⼀般⽤来分隔 ID、NUM、运算符、界符和关键字，词法分析阶段通常被忽略。

（2）各种单词符号对应的种别编码（3）词法分析程序的功能输⼊：所给⽂法的源程序字符串输出：⼆元组（syn,token 或 sum）构成的序列。

syn 为单词种别码； token 为存放的单词⾃⾝字符串； sum 为整形常数。

【实验代码】1 #include<iostream>2 #include<string.h>3 #include<conio.h>4 #include<ctype.h>5using namespace std;6int sum,syn,p,m,n;7char ch,chs[8],s[100];8char *tab[6]={"begin","if","then","while","do","end"};910int scanner(){11for(n=0;n<8;n++) chs[n]='\0';12 m=0;13 n=0;14 ch=s[p++];15while(ch=='') ch=s[p++];16if(isalpha(ch)){17while(isalpha(ch)||isdigit(ch)){18//isalpha(ch)函数：判断字符ch是否为英⽂字母，⼩写字母为2，⼤写字母为1，若不是字母019//isdigit(ch)函数：判断字符ch是否为数字，是返回1，不是返回020 chs[m++]=ch;21 ch=s[p++];22 }23 syn=10;24for(n=0;n<6;n++)25if(strcmp(chs,tab[n])==0) syn=n+1;26 p--;27 }else if(isdigit(ch)){28 sum=0;29while(isdigit(ch)){30 sum=sum*10+(ch-'0');31 ch=s[p++];32 }33 syn=11;34 p--;35 }else if(ch==':'){36 syn=17;37 chs[m++]=ch;38 ch=s[p++];39if(ch=='='){ syn=18;chs[m]=ch;p++;}40 p--;41 }else if(ch=='<'){42 syn=20;43 chs[m++]=ch;44 ch=s[p++];45if(ch=='>') { syn=21;chs[m]=ch;p++;}46if(ch=='=') { syn=22;chs[m]=ch;p++;}47 p--;48 }else if(ch=='>'){49 syn=23;50 chs[m++]=ch;51 ch=s[p++];52if(ch=='=') { syn=24;chs[m]=ch;p++;}53 p--;54 }else switch(ch){55case'+':syn=13;chs[m]=ch;break;56case'-':syn=14;chs[m]=ch;break;57case'*':syn=15;chs[m]=ch;break;58case'/':syn=16;chs[m]=ch;break;59case'=':syn=25;chs[m]=ch;break;60case';':syn=26;chs[m]=ch;break;61case'(':syn=27;chs[m]=ch;break;62case')':syn=28;chs[m]=ch;break;63case'#':syn=0;chs[m]=ch;break;64default:syn=-1;65 }66return0;67 }68int main(){69 p=0;70 cout<<"Please input code and end with character '#':"<<endl;71do{72//cin>>ch;不识别空格73 ch=getchar();74 s[p++]=ch;75 }while(ch!='#');76 p=0;77do{78 scanner();79switch(syn){80case11:cout<<'('<<syn<<','<<sum<<')'<<endl;break;81case -1:cout<<'('<<syn<<','<<"error"<<')'<<endl;break;82default:cout<<'('<<syn<<','<<chs<<')'<<endl;83 }84 }while(syn!=0);85//getch():是⼀个不回显函数，当⽤户按下某个字符时，函数⾃动读取，⽆需按回车，所在头⽂件是conio.h。

编译原理-词法分析

编译原理-词法分析
词法分析是编译原理中的重要阶段，负责将源代码分解为词法单元，为后续的语法分析准备输入。
词法分析的定义和作用
词法分析是编译器的第一阶段，其主要目的是将源代码转换为有意义的词法单元，如标识符、关键字、操作符等，以便后续的语法分析和语义分析使用。
词法分析的流程
1
扫描
将源代码分割为符号序列。
2
识别
将符号序列映射到相应的词法单元。

归类
将词法单元分为不同的类别，如标识符、关键字、操作符等。
常见的词法分析技术
正则表达式
用于描述词法单元的模式。
有限自动机
用于识别符号序列并生成词法单元。
词法分析器生成器
自动生成词法分析器的工具。
词法分析的应用场景
词法分析广泛应用于编译器、解释器和语言处理工具等领域，确保源代码的正确解析和语义分析。
词法分析的挑战和解决方案
错误处理
如何处理错误输入和不合法的词法单元。
性能优化
如何提高词法分析的速度和效率。
跨平台兼容
如何处理不同编程语言和操作系统的词法规则。
结论和总结
词法分析是编译原理中不可或缺的一部分，对于编译器的正确性和性能有着重要影响。了解词法分析的流程和技术，可帮助开发者构建更高效的编译器和语言处理工具。

编译原理词法分析器语法分析器实验报告

opt2:
printf("请输入各终结符（#号表示结束）Vt[i]:\n");
for(i=0;i<100;i++)
{
scanf("%c",&Vt[i]);
if(Vt[i]=='#')
{
r=i;
break;
}
}
printf("请输入非终结符个数:\n");
scanf("%d",&n);
getchar();
p=s->next;
while(p!=NULL)
{
st[i++]=p->data;
p=p->next;
}
for(j=i-1;j>=0;j--)
printf("%c",st[j]);
for(j=0;j<16-i;j++) //打印对齐格式
printf("%c",' ');
}
char gettop(stackk *s) //返回栈顶元素值
{
stackk *p;
p=(stackk *)malloc(sizeof(stackk));
p->data=x;
p->next=s->next;
s->next=p;
}
void display(stackk *s) //打印现实显示栈内元素
{
stackk *p;
int i=0,j;
char st[100];
#include<string.h>
#include<malloc.h>

词法分析器的实验报告

词法分析器的实验报告词法分析器的实验报告引言：词法分析器是编译原理中的重要组成部分，它负责将源代码中的字符序列转换为有意义的词法单元，为后续的语法分析提供基础。

本实验旨在设计和实现一个简单的词法分析器，并对其进行测试和评估。

实验设计：1. 词法规则设计：在开始实验之前，我们首先需要设计词法规则，即定义源代码中的合法词法单元。

例如，对于一门类C的语言，我们可以定义关键字（如if、while、int等）、标识符、运算符（如+、-、*等）、分隔符（如()、{}等）等。

2. 有限自动机（DFA）的设计：基于词法规则，我们可以设计一个有限自动机，用于识别和分析源代码中的词法单元。

有限自动机是一个状态转换图，其中每个状态代表一种词法单元，而边表示输入字符的转换关系。

3. 实现代码：根据有限自动机的设计，我们可以使用编程语言（如Python、C++等）实现词法分析器的代码。

代码的主要功能包括读取源代码文件、逐个字符进行词法分析、识别和输出词法单元。

实验过程：1. 词法规则设计：我们以一门简单的算术表达式语言为例，设计了以下词法规则：- 数字：由0-9组成的整数或浮点数。

- 运算符：包括+、-、*、/等。

- 分隔符：包括括号()和逗号,。

- 标识符：以字母开头，由字母和数字组成的字符串。

2. 有限自动机（DFA）的设计：我们基于词法规则，设计了一个简单的有限自动机。

该自动机包含以下状态：- 初始状态：用于读取和识别源代码中的字符。

- 数字状态：用于识别和输出数字。

- 运算符状态：用于识别和输出运算符。

- 分隔符状态：用于识别和输出分隔符。

- 标识符状态：用于识别和输出标识符。

3. 实现代码：我们使用Python编程语言实现了词法分析器的代码。

代码主要包括以下功能：- 读取源代码文件。

- 逐个字符进行词法分析，根据有限自动机的设计进行状态转换。

- 识别和输出词法单元。

实验结果：我们对几个测试样例进行了词法分析，并对结果进行了评估。

编译原理实验--词法分析器

实验一词法分析器设计【实验目的】1．熟悉词法分析的基本原理，词法分析的过程以及词法分析中要注意的问题。

2．复习高级语言，进一步加强用高级语言来解决实际问题的能力。

3．通过完成词法分析程序，了解词法分析的过程。

【实验内容】用C语言编写一个PL/0词法分析器，为语法语义分析提供单词，使之能把输入的字符串形式的源程序分割成一个个单词符号传递给语法语义分析，并把分析结果（基本字，运算符，标识符，常数以及界符）输出。

【实验流程图】【实验步骤】1．提取pl/0文件中基本字的源代码while((ch=fgetc(stream))!='.'){int k=-1;char a[SIZE];int s=0;while(ch>='a' && ch<='z'||ch>='A' && ch<='Z'){if(ch>='A' && ch<='Z') ch+=32;a[++k]=(char)ch;ch=fgetc(stream);}for(int m=0;m<=12&&k!=-1;m++)for(int n=0;n<=k;n++){if(a[n]==wsym[m][n]) ++s;else s=0;if(s==(strlen(wsym[m]))) {printf("%s\t",wsym[m]);m=14;n=k+1;} }2．提取pl/0文件中标识符的源代码while((ch=fgetc(stream))!='.'){int k=-1;char a[SIZE]=" ";int s=0;while(ch>='a' && ch<='z'||ch>='A' && ch<='Z'){if(ch>='A' && ch<='Z') ch+=32;a[++k]=(char)ch;ch=fgetc(stream);}for(int m=0;m<=12&&k!=-1;m++)for(int n=0;n<=k;n++){if(a[n]==wsym[m][n]) ++s;else s=0;if(s==(strlen(wsym[m]))) {m=14;n=k+1;}}if(m==13) for(m=0;a[m]!=NULL;m++) printf("%c ",a[m]);3．提取pl/0文件中常数的源代码while((ch=fgetc(stream))!='.'){while(ch>='0' && ch<='9'){num=10*num+ch-'0';ch=fgetc(stream);}if(num!=0) printf("%d ",num);num=0;}4．提取pl/0文件中运算符的源代码int ch=fgetc(stream);while(ch!='.'){switch(ch){case'+': printf("+ ");break;case'-': printf("- ");break;case'*': printf("* ");break;case'/': printf("/ ");break;case'>': if(fgetc(stream)=='=')printf(">= "); else printf("> ");break;case'<': if(fgetc(stream)=='=')printf("<= "); else printf("< ");break;case':': printf(":= ");break;case'#': printf("# ");break;case'=': printf("= ");break;default: break;}ch=fgetc(stream);5．提取pl/0文件中界符的源代码int ch=fgetc(stream);while(ch!='.'){switch(ch){case',': printf(", ");break;case';': printf("; ");break;case'(': printf("( ");break;case')': printf(") ");break;default: break;}ch=fgetc(stream);}【实验结果】1．pl/0文件（222.txt）内容const a=10;var b,c;procedure p;beginc:=b+a;end;beginread(b);while b#0 dobegincall p;write(2*c);read(b)endend .2．实验运行结果【实验小结】1.了解程序在运行过程中对词法分析，识别一个个字符并组合成相应的单词，是机器能过明白程序，定义各种关键字，界符。

编译原理词法分析器

编译原理词法分析器
编译原理词法分析器是编译器中的一个重要组成部分。

它负责将源代码分解成一个个词素（token）。

在进行词法分析过程中，我们需要定义各种词法规则，例如标识符的命名规则、关键字的集合、运算符的定义以及常量的表示方式等。

词法分析器通常使用有限自动机来实现。

有限自动机是一种能接受或拒绝某个输入序列的计算模型。

在词法分析器中，有限自动机可以方便地根据输入字符的不同状态进行相应的转移，直至得到一个完整的词法单元。

在编写词法分析器时，我们通常会先定义各个词法规则，然后将其转化为正则表达式或有限自动机的形式。

接下来，我们会根据这些规则生成一个词法分析器的状态转换图，并使用该图构建词法分析器的代码。

词法分析器的工作过程如下：输入源代码文本，逐个读取字符并根据当前状态进行状态转移。

如果当前字符能够完成一个词法单元的匹配，那么就将当前词法单元输出，并进入下一个状态。

如果当前字符不能完成一个词法单元的匹配，则继续读取下一个字符，直至完成一个词法单元的匹配或遇到非法字符。

通过词法分析器，我们可以将源代码文本转化为一系列的词法单元，例如关键字、标识符、运算符、常量等。

这些词法单元将作为编译器后续阶段的输入，用于进行语法分析和语义分析。

词法分析器是编译器的重要基础工具之一，它能够帮助我们更好地理解和处理源代码。

编译原理词法分析器

编译原理词法分析器编译原理是计算机科学中的重要领域，而词法分析器则是编译器的第一个阶段。

它的主要任务是将源代码转化为一个个词法单元，以便接下来的语法分析和语义分析等阶段进行处理。

在本文中，我们将深入探讨词法分析器的原理和实现。

一、什么是词法分析器词法分析器（Lexical Analyzer）是编译器中实现词法分析的部分。

它负责从源代码中提取出各个合法的词法单元，并进行分类和标记。

词法单元通常包括关键字、标识符、运算符、分隔符和常量等。

二、词法分析器的原理词法分析器的工作原理可以概括为以下几个步骤：1. 预处理：词法分析器首先会对源代码进行预处理，去除注释、替换宏定义等。

2. 分割：将预处理后的源代码分割成一个个字符。

3. 匹配：根据预定义的词法规则，将字符序列匹配到对应的词法单元上。

4. 标记：对每个词法单元都打上相应的标记，以便后续的语法分析。

三、词法分析器的实现1. 正则表达式：词法分析器通常使用正则表达式定义词法规则，用以匹配词法单元。

例如，使用正则表达式"\d+"可以匹配一个或多个数字。

2. 有限自动机：词法分析器可以通过构造有限自动机来进行词法分析。

有限自动机可以根据当前状态和输入字符进行状态转移，最终得到一个词法单元的序列。

3. 符号表：词法分析器使用符号表来存储已经识别出的标识符和关键字，并为每个标识符分配一个唯一的标识符号。

四、应用举例以C语言为例，假设我们要编写一个词法分析器来分析C源代码。

下面是一个简单的示例代码：```c#include <stdio.h>int main() {int a = 10;printf("Hello, World!\n");return 0;}```我们可以使用词法分析器将其分解为以下词法单元序列：1. 关键字：include、stdio、int、main、return2. 标识符：a3. 运算符：=4. 常量：105. 分隔符：()、{}6. 函数名：printf7. 字符串常量："Hello, World!\n"通过词法分析器的处理，我们可以将源代码转化为一个个词法单元，为后续的语法分析提供准备。

编译原理实验报告词法分析器语法分析器

编译原理实验报告词法分析器语法分析器 Document serial number【LGGKGB-LGG98YT-LGGT8CB-LGUT-编译原理实验报告实验一一、实验名称：词法分析器的设计二、实验目的：1，词法分析器能够识别简单语言的单词符号2，识别出并输出简单语言的基本字.标示符.无符号整数.运算符.和界符。

三、实验要求：给出一个简单语言单词符号的种别编码词法分析器四、实验原理：1、词法分析程序的算法思想算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。

2、程序流程图（1）主程序3、各种单词符号对应的种别码五、实验内容：1、实验分析编写程序时，先定义几个全局变量a[]、token[]（均为字符串数组),c,s( char型)，i,j,k（int型），a[]用来存放输入的字符串，token[]另一个则用来帮助识别单词符号，s 用来表示正在分析的字符。

字符串输入之后，逐个分析输入字符，判断其是否‘#’，若是表示字符串输入分析完毕，结束分析程序，若否则通过int digit(char c)、int letter(char c)判断其是数字，字符还是算术符,分别为用以判断数字或字符的情况，算术符的判断可以在switch语句中进行，还要通过函数int lookup(char token[])来判断标识符和保留字。

2 实验词法分析器源程序：#include <>#include <>#include <>int i,j,k;char c,s,a[20],token[20]={'0'};int letter(char s){if((s>=97)&&(s<=122)) return(1);else return(0);}int digit(char s){if((s>=48)&&(s<=57)) return(1);else return(0);}void get(){s=a[i];i=i+1;}void retract(){i=i-1;}int lookup(char token[20]){if(strcmp(token,"while")==0) return(1);else if(strcmp(token,"if")==0) return(2);else if(strcmp(token,"else")==0) return(3);else if(strcmp(token,"switch")==0) return(4);else if(strcmp(token,"case")==0) return(5);else return(0);}void main(){printf("please input string :\n");i=0;do{i=i+1;scanf("%c",&a[i]);}while(a[i]!='#');i=1;j=0;get();while(s!='#'){ memset(token,0,20);switch(s){case 'a':case 'b':case 'c':case 'd':case 'e':case 'f':case 'g':case 'h':case 'i':case 'j':case 'k':case 'l':case 'm':case 'n':case 'o':case 'p':case 'q':case 'r':case 's':case 't':case 'u':case 'v':case 'w':case 'x':case 'y':case 'z':while(letter(s)||digit(s)){token[j]=s;j=j+1;get();}retract();k=lookup(token);if(k==0)printf("(%d,%s)",6,token);else printf("(%d,-)",k);break;case '0':case '1':case '2':case '3':case '4':case '5':case '6':case '7':case '8':case '9':while(digit(s)){token[j]=s;j=j+1;get();}retract();printf("%d,%s",7,token);break;case '+':printf("('+',NULL)");break;case '-':printf("('-',null)");break;case '*':printf("('*',null)");break;case '<':get();if(s=='=') printf("(relop,LE)");else{retract();printf("(relop,LT)");}break;case '=':get();if(s=='=')printf("(relop,EQ)");else{retract();printf("('=',null)");}break;case ';':printf("(;,null)");break;case ' ':break;default:printf("!\n");}j=0;get();} }六：实验结果：实验二一、实验名称：语法分析器的设计二、实验目的：用C语言编写对一个算术表达式实现语法分析的语法分析程序，并以四元式的形式输出，以加深对语法语义分析原理的理解，掌握语法分析程序的实现方法和技术。

编译原理实验报告小结

一、实验背景编译原理是计算机科学的一个重要分支，主要研究如何将高级语言源代码转换为计算机可以执行的机器代码。

本实验旨在通过实践操作，加深对编译原理基本概念和算法的理解，提高编程能力和解决问题的能力。

二、实验目的1. 理解编译原理的基本概念和流程；2. 掌握词法分析和语法分析的基本方法；3. 熟悉编译过程中的中间代码生成和代码优化；4. 培养编程能力和团队协作精神。

三、实验内容1. 词法分析词法分析是编译过程的第一步，其主要任务是将源代码中的字符序列转换成一个个有意义的符号（单词）。

本实验中，我们实现了词法分析器，能够识别出标识符、关键字、运算符、常量等单词。

2. 语法分析语法分析是编译过程的核心，其主要任务是将词法分析器生成的单词序列按照一定的语法规则进行组织，形成语法树。

本实验中，我们实现了递归下降解析法，对表达式、赋值语句、函数定义等语法结构进行了分析。

3. 中间代码生成中间代码生成是编译过程中的一个重要环节，其主要任务是将语法树转换为一种抽象的、与具体机器无关的中间代码。

本实验中，我们实现了三地址代码生成，将语法树转换为三地址代码。

4. 代码优化代码优化是编译过程中的一个关键步骤，其主要任务是在保证程序正确性的前提下，提高程序的性能。

本实验中，我们实现了简单的代码优化，如常数传播、变量替换等。

四、实验结果与分析1. 实验结果通过实验，我们成功实现了词法分析、语法分析、中间代码生成和代码优化等功能。

以一个简单的C语言程序为例，我们能够将其转换为三地址代码，并进行简单的优化。

2. 实验分析（1）词法分析：本实验中，我们通过定义状态转换表和动作表，实现了对C语言源代码的词法分析。

实验结果表明，词法分析器能够准确地识别出标识符、关键字、运算符、常量等单词。

（2）语法分析：递归下降解析法是一种较为直观的语法分析方法。

本实验中，我们实现了递归下降解析法，对表达式、赋值语句、函数定义等语法结构进行了分析。

编译原理实验报告(词法分析器)

实验LEX词法分析器自动生成器一、实验内容：用词法分析自动生成器LEX构造一个简单词法分析器，它能识别文件新行并为其添加行号，并将分析结果发送到屏幕上。

二、实验目的：1.掌握LEX源程序的编写方法。

2.掌握自动生成词法分析器LEX的使用方法和工作原理。

LEX源程序*.L通过LEX编译程序，产生一个C语言版本的词法分析程序*.C。

然后通过C语言编译器，将词法分析程序*.C转换成一个可执行文件*.EXE。

再编制一个测试文本文件*.TXT。

用生成的词法分析程序的可执行文件，对测试程序进行词法分析.三、实验要求1.写好实验预习报告；2.编写上机源程序和测试程序；3.写出实验结果；4.实验完后要上交实验报告；四、相关说明LEX上机过程部分：1）利用编辑器如EDIT编写LEX源程序和测试程序，如SHIYAN11.L和TEST.TXT；2）用LEX编译器编译LEX源程序SHIYAN11.L，格式为：LEX SHIYAN11.L↙如果LEX源程序没有语法错误，将得到一个用C语言描述的没有语法错误词法分析器SHIYAN11.C；3）在TC环境下，对SHIYAN11.C进行编译、连接，从而得到可执行的词法分析器SHIYAN11.EXE；4）利用SHIYAN11.EXE对TEST.TXT进行词法分析，格式为：SHIYAN0.EXE<TEST.TXT↙如果没有写测试程序TEST.TXT，则可测试其他某个程序如SHIYAN11.L。

LEX上机过程如下图所示（alt+c）：五、实验器材硬件：PC机一台软件：Turbo C、LEX.EXE六、参考程序1.LEX源程序：shiyan11.L%{#include "stdio.h"int lineno=1;（）%}line .*\n%%{line} {printf("%2d %s",lineno++,yytext);}%%main(){yylex();return 0;}2.shiyan11.EXE分析shiyan11.L的实验效果如下图所示：。

编译原理词法分析器实验报告

编译原理词法分析器实验报告1. 引言编译原理是计算机科学中的重要概念，它涉及将高级语言程序转换为计算机可执行的低级指令。

词法分析是编译过程中的第一个阶段，它负责将源代码分解为词法单元，为后续的语法分析做准备。

本实验旨在设计和实现一个基本的词法分析器，以了解词法分析的原理和实际应用。

2. 实验目标本实验的主要目标是实现一个基本的词法分析器，能够识别并提取源代码中的各种词法单元。

具体而言，我们将设计一个针对某种编程语言的词法分析器，能够识别关键字、标识符、算术运算符、括号、常量等。

3. 实验环境为了完成本实验，我们需要使用以下工具和环境：•一种编程语言，例如Python、Java或C++•一个文本编辑器，例如Visual Studio Code或Sublime Text•一个命令行终端4. 实验步骤4.1 定义词法规则首先，我们需要定义词法分析器的词法规则。

这些规则描述了编程语言中各种词法单元的模式。

例如，关键字可以被定义为由特定字符组成的字符串，标识符可以被定义为以字母开头并由字母和数字组成的字符串。

4.2 实现词法分析器接下来，我们将根据定义的词法规则，使用编程语言实现一个词法分析器。

在实现过程中，我们可以使用正则表达式来匹配和提取各种词法单元。

4.3 编写测试用例完成词法分析器的实现后，我们需要编写一些测试用例来验证其正确性。

测试用例应该包含各种可能的输入情况，以确保词法分析器能够正确地识别和提取词法单元。

4.4 运行测试用例最后，我们将使用编写的测试用例来运行词法分析器，并检查输出是否符合预期。

如果测试通过，说明词法分析器能够正常工作；否则，我们需要检查代码并进行调试。

5. 实验结果经过实验，我们成功地设计并实现了一个基本的词法分析器。

该词法分析器能够按照预定义的词法规则，正确地识别和提取源代码中的各种词法单元。

在运行测试用例时，词法分析器能够产生符合预期的输出，表明其具有良好的准确性和可靠性。

编译原理实验-词法分析器

编译原理实验-词法分析器⼀、实验⽬的设计、编制、调试⼀个词法分析程序，对单词进⾏识别和编码，加深对词法分析原理的理解。

⼆、实验内容1.选定语⾔，编辑任意的源程序保存在⽂件中；2.对⽂件中的代码预处理，删除制表符、回车符、换⾏符、注释、多余的空格并将预处理后的代码保存在⽂件中；3.扫描处理后的源程序，分离各个单词符号，显⽰分离的单词类型。

三、实验思路对于实验内容1，选择编写c语⾔的源程序存放在code.txt中，设计⼀个c语⾔的词法分析器，主要包含三部分，⼀部分是预处理函数，第⼆部分是扫描判断单词类型的函数，第三部分是主函数，调⽤其它函数；对于实验内容2，主要实现在预处理函数processor()中，使⽤⽂档操作函数打开源程序⽂件(code.txt)，去除两种类型（“//”,“/*…*/”）的注释、多余的空格合并为⼀个、换⾏符、回车符等，然后将处理后的保存在另⼀个新的⽂件(afterdel.txt)中，最后关闭⽂档。

对于实验内容3，打开处理后的⽂件，然后调⽤扫描函数，从⽂件⾥读取⼀个单词调⽤判断单词类型的函数与之前建⽴的符号表进⾏对⽐判断，最后格式化输出。

四、编码设计代码参考了两篇博主的，做了部分改动，添加了预处理函数等1 #include<iostream>2 #include<fstream>3 #include<cstdio>4 #include<cstring>5 #include<string>6 #include<cstdlib>78using namespace std;910int aa;// fseek的时候⽤来接着的11string word="";12string reserved_word[20];//保留13char buffer;//每次读进来的⼀个字符14int num=0;//每个单词中当前字符的位置15int line=1; //⾏数16int row=1; //列数，就是每⾏的第⼏个17bool flag; //⽂件是否结束了18int flag2;//单词的类型192021//预处理函数22int processor(){//预处理函数23 FILE *p;24int falg = 0,len,i=0,j=0;25char str[1000],str1[1000],c;26if((p=fopen("code.txt","rt"))==NULL){27 printf("⽆法打开要编译的源程序");28return0;29 }30else{31//fgets(str,1000,p);32while((c=getc(p))!=EOF){33 str[i++] = c;34 }35 fclose(p);36 str[i] = '\0';37for(i=0;i<strlen(str);i++){38if(str[i]=='/'&&str[i+1]=='/'){39while(str[i++]!='\n'){}40 }//单⾏注释41else if(str[i]=='/'&&str[i+1]=='*'){42while(!(str[i]=='*'&&str[i+1]=='/')){i++;}43 i+=2;44 }//多⾏注释45else if(str[i]==''&&str[i+1]==''){46while(str[i]==''){i++;}47 i--;48if(str1[j-1]!='')49 str1[j++]='';50 }//多个空格，去除空格51else if(str[i]=='\n') {52if(str1[j-1]!='')53 str1[j++]='';54 }//换⾏处理，55else if(str[i]==9){56while(str[i]==9){57 i++;58 }59if(str1[j-1]!='')60 str1[j++]='';61 i--;62 }//tab键处理63else str1[j++] = str[i];//其他字符处理64 }65 str1[j] = '\0';66if((p = fopen("afterdel.txt","w"))==NULL){ 67 printf("can not find it!");68return0;69 }70else{71if(fputs(str1,p)!=0){72 printf("预处理失败！");73 }74else printf("预处理成功！");75 }76 fclose(p);77 }78return0;79 }8081//设置保留字82void set_reserve()83 {84 reserved_word[1]="return";85 reserved_word[2]="def";86 reserved_word[3]="if";87 reserved_word[4]="else";88 reserved_word[5]="while";89 reserved_word[6]="return";90 reserved_word[7]="char";91 reserved_word[8]="for";92 reserved_word[9]="and";93 reserved_word[10]="or";94 reserved_word[11]="int";95 reserved_word[12]="bool";96 }9798//看这个字是不是字母99bool judge_word(char x)100 {101if(x>='a' && x<='z' || x>='A' && x<='Z' ){ 102return true;103 }104else return false;105 }106107//看这个字是不是数字108bool judge_number(char x)109 {110if(x>='0' && x<='9'){111return true;112 }113else return false;114 }115116//看这个字符是不是界符117bool judge_jiefu(char x)118 {119if(x=='('||x==')'||x==','||x==';'||x=='{'||x=='}'){ 120return true;121 }122else return false;123 }124125126//加减乘127bool judge_yunsuanfu1(char x)128 {129if(x=='+'||x=='-'||x=='*')130 {131return true;132 }133else return false;134 }135136//等于赋值，⼤于⼩于⼤于等于，⼩于等于，⼤于⼩于137bool judge_yunsuannfu2(char x)138 {139if(x=='='|| x=='>'||x=='<'||x=='&'||x=='||'){140return true;141 }142else return false;143 }144145146//这个最⼤的函数的总体作⽤是从⽂件⾥读⼀个单词147int scan(FILE *fp)148 {149 buffer=fgetc(fp);//读取⼀个字符150if(feof(fp)){//检测结束符151 flag=0;return0;152 }153else if(buffer=='')154 {155 row++;156return0;157 }158else if(buffer=='\n')159 {160 row=1;161return0;162 }163//如果是字母开头或'_' 看关键字还是普通单词164else if(judge_word(buffer) || buffer=='_')165 {166 word+=buffer;167 row++;168while((buffer=fgetc(fp)) && (judge_word(buffer) || judge_number(buffer) || buffer=='_'))169 {170 word+=buffer;171 row++;172 }173if(feof(fp)){174 flag=0;175return1;176 }177for(int i=1;i<=12;i++){178if(word==reserved_word[i]){179 aa=fseek(fp,-1,SEEK_CUR);//如果执⾏成功，stream将指向以fromwhere为基准，偏移offset（指针偏移量）个字节的位置，函数返回0。

编译原理教程实验报告

一、实验目的本次实验旨在使学生通过编译原理的学习，了解编译程序的设计原理及实现技术，掌握编译程序的各个阶段，并能将所学知识应用于实际编程中。

二、实验内容1. 词法分析2. 语法分析3. 语义分析4. 中间代码生成5. 代码优化6. 目标代码生成三、实验步骤1. 词法分析（1）设计词法分析器，识别输入源代码中的各种词法单元；（2）使用C语言实现词法分析器，并进行测试。

2. 语法分析（1）根据文法规则设计语法分析器，识别输入源代码的语法结构；（2）使用C语言实现语法分析器，并进行测试。

3. 语义分析（1）设计语义分析器，检查语法分析后的语法树，确保语义正确；（2）使用C语言实现语义分析器，并进行测试。

4. 中间代码生成（1）设计中间代码生成器，将语义分析后的语法树转换为中间代码；（2）使用C语言实现中间代码生成器，并进行测试。

5. 代码优化（1）设计代码优化器，对中间代码进行优化，提高程序性能；（2）使用C语言实现代码优化器，并进行测试。

6. 目标代码生成（1）设计目标代码生成器，将优化后的中间代码转换为特定目标机的汇编语言；（2）使用C语言实现目标代码生成器，并进行测试。

四、实验结果与分析1. 词法分析实验结果：成功识别输入源代码中的各种词法单元，包括标识符、关键字、运算符、常量等。

2. 语法分析实验结果：成功识别输入源代码的语法结构，包括表达式、语句、程序等。

3. 语义分析实验结果：成功检查语法分析后的语法树，确保语义正确。

4. 中间代码生成实验结果：成功将语义分析后的语法树转换为中间代码，为后续优化和目标代码生成提供基础。

5. 代码优化实验结果：成功对中间代码进行优化，提高程序性能。

6. 目标代码生成实验结果：成功将优化后的中间代码转换为特定目标机的汇编语言，为程序在目标机上运行做准备。

五、实验心得1. 编译原理是一门理论与实践相结合的课程，通过本次实验，我对编译程序的设计原理及实现技术有了更深入的了解。

编译原理实验报告——词法分析器

编译原理实验报告姓名：关海超学号：200807010209专业：计算机科学与技术班级：08—02班一、实验目的通过设计调试词法分析程序，实现从源程序中分出各种单词的方法；加深对课堂教学的理解；提高词法分析方法的实践能力。

二、词法分析器的实现1、词法分析过程的考虑词法分析器的任务是将程序源代码看做一个字符串，只需从中分离出一个个具有独立意义的单词（包括标识符，符号和常量）即可，而无需考虑其在上下文环境中的正确性。

基于此认识，词法分析的过程可如下描述：本程序中用户源程序存储在文件“E:\prog.txt”文件中，程序首先调用readFromFile()函数将源程序代码从文件中读出，放到数组中暂存，然后主函数调用scaner()函数对其进行逐个扫描，分离出的每个独立单词进行分类判断，构成二元组形式，再将其输出的文件“E:\result.txt”中进行保存。

2、各种单词符号对应的种别码0 标识符21 ret 42 ++ 63 ||1 整型常量22 sho 43 -- 64 ?:2 auto 23 sig 44 - 65 =3 brea 24 siz 45 * 66 +=4 case 25 sta 46 & 67 -=5 char 26 str 47 / 68 *=6 cons 27 swi 48 % 69 /=7 cont 28 typ 49 + 70 %=8 defa 29 uni 50 - 71 >>=9 do 30 uns 51 << 72 <<=10 dou 31 voi 52 >> 73 &=11 els 32 vol 53 < 74 ^=12 enu 33 whi 54 <= 75 |=13 ext 34 ( 55 > 76 ,14 flo 35 ) 56 >= 77 '15 for 36 [ 57 == 78 ;16 got 37 ] 58 != 79 :17 if 38 -> 59 & 80 \{18 int 39 . 60 ^ 81 }19 lon 40 ! 61 | 82 //20 reg 41 ~ 62 &&3、关键数据结构的描述计数器count：将二元组写入文件时通过count判断是否是首次写入，若是则清空文件，否则追加写入；字符串常量endStr：其值为“end”，在分析判断每一单词的种类时，该字符串作为rwtab表的结束标志；数组prog[200]：暂存从文件中读取的源程序代码，该词法分析器约定源代码长度不超过199；数组token[20]：暂存每次分离出的单个具有独立意义的单词，该词法分析器约定每个单词的长度不超过19；结构体result：存放一个单词的种别码和单词本身的值，在写入文件时以结构体中的元素为单位依次写入；4、程序结构的描述本程序采用结构化设计方法，共有两个文件，六个模块，分别介绍如下：rwtab.h文件包含一个模块，即各种单词符号对应的种别码，作为外部文件被main.cpp文件引用。

编译原理_实验一_词法分析

实习一词法分析一、实验目的：根据活动状态转换图，设计并实现一个具体的C语言的词法分析程序，加深对词法分析原理的理解。

并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。

编写一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。

并依次输出各个单词的内部编码及单词符号自身值。

（遇到错误时可显示“Error”，然后跳过错误部分继续显示）。

二、实验过程1.活动状态转化图2.设计思路本C语言词法分析器使用JAVA语言编写。

（1）C语言词法分析●关键字将C语言32关键字"auto", "double", "int", "struct", "break","else","long", "switch", "case", "enum", "register", "typedef","char", " extern", "return", "union", "const", "float", "short"," unsigned", "continue", "for", "signed", "void","default", "goto","sizeof", "volatile", "do", "if", "while", "static"存储在keyword[]字符串数组中；●专用符号= + -* / ＜＝＞＞＝ == ！= ；：， { } [ ] （ )将读入的字符与ASCLL表进行比较判断；对于像“==”，“<=”等字符进行超前搜索；●空格和空白、制表符和换行符。

编译原理词法分析器

编译原理词法分析器
编译原理词法分析器是编译器的一个重要组成部分，负责将输入的源代码转换成一系列的词法单元，供后续的语法分析器进行进一步处理。

词法分析器的主要任务是按照预先定义的词法规则，识别出源代码中的各个合法的词法单元，并将其转化为内部表示形式。

在这个过程中，词法分析器需要读取输入字符流，并根据定义的词法规则进行模式匹配和转换。

一个基本的词法分析器通常由以下几个部分组成：
1. 字符扫描器（Scanner）：负责从输入流中读取字符，并进行必要的预处理。

例如，过滤掉注释、空白字符等。

2. 词法规则（Lexical Rules）：是定义词法单元的正则表达式或者有限自动机。

每个词法单元都有一个对应的识别规则。

3. 标记生成器（Token Generator）：根据词法规则和字符扫描器的输出，生成符合内部表示形式的词法单元。

4. 符号表（Symbol Table）：维护着程序中出现的所有标识符的符号表，包括标识符的名称和属性信息。

词法分析器的工作流程如下：
1. 初始化字符扫描器，读取第一个字符。

2. 逐个字符进行扫描和匹配，直到获取了一个完整的词法单元。

3. 根据匹配到的词法规则，生成对应的词法单元。

4. 如果需要记录标识符信息，将其添加到符号表中。

5. 返回步骤2，直到扫描完整个输入代码。

通过词法分析器的工作，我们能够将输入的源代码按照词法规则进行分割，将其转换为一系列的词法单元，为后续的语法分析器提供了处理的基础。

编译原理词法分析器实验报告

编译原理词法分析器实验报告篇一：编译原理词法分析器实验报告曲阜师范大学实验报告计算机系2008年级软件工程一班组日期2010年10月17日星期日姓名陈金金同组者姓名课程编译原理成绩实验名称：教师签章词法分析器一、实验目的：1·掌握词法分析的原理。

2·熟悉保留字表等相关的数据结构与单词的分类方法。

3·掌握词法分析器的设计与调试。

二、实验内容：根据编译中的分词原理，编写一个词法分析程序：1. 输入：任意一个C 语言程序的源代码。

2. 处理：对输入进行分析，分离出保留字、标识符、常量、算符和界符。

3. 输出：对应的二元式（种别编码自定，可暂编为一类对应一个编码）。

三、实验要求：1. 任选C/C++/Java 中的一种高级程序语言编程完成词法分析器。

2. 词法分析器应以教材所述分词原理为依据，使用恰当的数据结构和方法，结构清晰、高效。

四、实验环境：WindowsXp操作系统，J2SE，Eclipse 集成开发环境五、实验分析：将源代码作为长字符串进行读入，之后通过switch语句，及状态转换图进行词素识别，并对识别的词素进行分类整理以二元式的形式输出。

六、实验过程：1、建立词法分析器界面，很简单：输入框，输出框，执行分析按钮，清空按钮，退出程序按钮。

主要的地方是，考虑mvc开发模式，为model及controller 提供接口。

实现界面如下所示：2、核心代码的编写，考虑到需要进行词素的匹配，创建符号表类SymTable。

提供两个变量，分别存放如下内容：并提供方法insert，lookUp，分别负责标志符的插入和查找。

3.、根据语法规则书写状态转换图，并用switch语句实现：需要注意的地方是，begin和forward 两个指针的移动：通过swith语句识别词素，并在符号表中进行匹配，匹配成功，则返回相应的记号，否则返回id。

七、实验结论：实验过程还算顺利，遇到的一系列问题都得到比较好的解决，当然分析器还有很大的改进空间，这里只是简单的实现了词素的识别及简单的判断。

编译原理实验—词法分析器

编译原理实验一词法分析

编译原理-词法分析

编译原理词法分析器语法分析器实验报告

词法分析器的实验报告

编译原理实验--词法分析器

编译原理词法分析器

编译原理词法分析器

编译原理实验报告词法分析器语法分析器

编译原理实验报告小结

编译原理 实验报告(词法分析器)

编译原理词法分析器实验报告

编译原理实验-词法分析器

编译原理教程实验报告

编译原理实验报告——词法分析器

编译原理_实验一_词法分析

编译原理词法分析器

编译原理词法分析器实验报告

编译原理实验报告(词法分析器)