实验二 词法分析器的构造
编译原理-实验二-FLEX词法分析器
编译原理-实验⼆-FLEX词法分析器FLEX词法分析器⼀、Lex和Yacc介绍Lex 是⼀种⽣成扫描器的⼯具。
扫描器是⼀种识别⽂本中的词汇模式的程序。
⼀种匹配的常规表达式可能会包含相关的动作。
这⼀动作可能还包括返回⼀个标记。
当 Lex 接收到⽂件或⽂本形式的输⼊时，它试图将⽂本与常规表达式进⾏匹配。
它⼀次读⼊⼀个输⼊字符，直到找到⼀个匹配的模式。
如果能够找到⼀个匹配的模式，Lex 就执⾏相关的动作（可能包括返回⼀个标记）。
另⼀⽅⾯，如果没有可以匹配的常规表达式，将会停⽌进⼀步的处理，Lex 将显⽰⼀个错误消息。
Yacc代表 Yet Another Compiler Compiler 。
Yacc 的 GNU 版叫做 Bison。
它是⼀种⼯具，将任何⼀种编程语⾔的所有语法翻译成针对此种语⾔的 Yacc 语法解析器。
（下载下载flex和bison。
⽹址分别是/packages/flex.htm和/packages/bison.htm。
）⼆、配置环境（win7）①下载flex和bison并安装到D:\GnuWin32（尽量是根⽬录）②由于我们使⽤的flex和bison都是GNU的⼯具，所以为了⽅便，采⽤的C/C++编译器也采⽤GNU的编译器GCC，当然我们需要的也是Windows版本的GCC了。
所以提前准备好VC 6.0③检验是否可以进⾏lex⽂件编译1.新建⽂本⽂件，更改名称为lex.l，敲⼊下⾯代码%{int yywrap(void);%}%%%%int yywrap(void){return 1;}2.新建⽂本⽂件，更改名称为yacc.y,敲⼊下⾯代码%{void yyerror(const char *s);%}%%program:;%%void yyerror(const char *s){}int main(){yyparse();}我们暂且不讨论上⾯代码的意思。
打开控制台，进⼊到刚才所建⽴⽂件（lex.l,yacc.y）所在的⽂件夹。
编译原理实验报告
编译原理实验报告一、实验目的本次编译原理实验的主要目的是通过实践加深对编译原理中词法分析、语法分析、语义分析和代码生成等关键环节的理解，并提高实际动手能力和问题解决能力。
二、实验环境本次实验使用的编程语言为 C/C+＋，开发工具为 Visual Studio 2019，操作系统为 Windows 10。
三、实验内容（一）词法分析器的设计与实现词法分析是编译过程的第一个阶段，其任务是从输入的源程序中识别出一个个具有独立意义的单词符号。
在本次实验中，我们使用有限自动机的理论来设计词法分析器。
首先，我们定义了单词的种类，包括关键字、标识符、常量、运算符和分隔符等。
然后，根据这些定义，构建了相应的状态转换图，并将其转换为程序代码。
在实现过程中，我们使用了字符扫描和状态转移的方法，逐步读取输入的字符，判断其所属的单词类型，并将其输出。
（二）语法分析器的设计与实现语法分析是编译过程的核心环节之一，其任务是在词法分析的基础上，根据给定的语法规则，判断输入的单词序列是否构成一个合法的句子。
在本次实验中，我们采用了自顶向下的递归下降分析法来实现语法分析器。
首先，我们根据给定的语法规则，编写了相应的递归函数。
每个函数对应一种语法结构，通过对输入单词的判断和递归调用，来确定语法的正确性。
在实现过程中，我们遇到了一些语法歧义的问题，通过仔细分析语法规则和调整函数的实现逻辑，最终解决了这些问题。
（三）语义分析与中间代码生成语义分析的任务是对语法分析所产生的语法树进行语义检查，并生成中间代码。
在本次实验中，我们使用了四元式作为中间代码的表示形式。
在语义分析过程中，我们检查了变量的定义和使用是否合法，类型是否匹配等问题。
同时，根据语法树的结构，生成相应的四元式中间代码。
（四）代码优化代码优化的目的是提高生成代码的质量和效率。
在本次实验中，我们实现了一些基本的代码优化算法，如常量折叠、公共子表达式消除等。
通过对中间代码进行分析和转换，减少了代码的冗余和计算量，提高了代码的执行效率。
词法分析器实验报告
词法分析器实验报告词法分析器实验报告实验目的:设计、编制、调试一个词法分析子程序,识别单词，加深对词法分析原理的理解。
实验要求:该程序要实现的是一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分界符五大类。
并依次输出各个单词的内部编码及单词符号自身值。
(一)实验内容(1)功能描述:对给定的程序通过词法分析器弄够识别一个个单词符号，并以二元式(单词种别码，单词符号的属性值)显示。
而本程序则是通过对给定路径的文件的分析后以单词符号和文字提示显示。
(2)程序结构描述:函数调用格式:函数调用格式函数名(实在参数表 )Switch(m)、 isKey(String string)、isLetter(char c)、实参isDigit(char c)、isOperator(char c)isKey(String string)、isLetter(char c)、调作为表达式isDigit(char c)、isOperator(char c) 用方作为语句 getChar()、judgement()、法函数的递归调用 isOperator(char c) 、isLetter(char c)、isDigit(char c)参数含义:1String string;存放读入的字符串 String str; 存放暂时读入的字符串 char ch; 存放读入的字符 int rs 判断读入的文件是否为空 char []data 存放文件中的数据 int m;通过switch用来判断字符类型，函数之间的调用关系图:mainComplier..judgementisOperate()M=0 getChar( )isDigit()M=4 For(ch )isLetter() M=2Switch(m)isKey() M=3 函数功能:Judgement()判断输入的字符并输出单词符号，返回值为空; getChar() 读取文件的，返回值为空;isLetter(char c) 判断读入的字符是否为字母的，返回值为Boolean类型; switch (m) 判断跳转输出返回值为空;isOperator(char c)判断是否为运算符的，返回值为Boolean类型;isKey(String string)判断是否为关键字的，返回值为Boolean类型;isDigit(char c) 判断读入的字符是否为数字的，返回值为Boolean类型。
C语言词法分析器构造实验报告
C语言词法分析器构造实验报告02计算机（2）2002374203 冯绍欣一、题目要求：完成一个C语言的词法分析器的构造。
此词法分析器能识别附值语句、循环语句、条件语句、并能处理注释。
二、设计方案：这个词法分析器分析的主要关键字有：main, int, float, char, if, else, for, while, do, switch, case, break; default。
选择要分析的c文件，首先对其去掉注释和与空格处理，再根据字符的不同类型分析。
1、全局数据结构：字符数组set[ ]：存放从文件中读到的所有字符；str[ ]：存放经过注释处理和预空格处理的字符；strtoken[ ]：存放当前分析的字符；结构体KEYTABLE：存放关键字及其标号；全局字符变量ch：当前读入字符；全局整型变量sr, to：数组str, strtoken 的指针。
2、以层次图形式描述模块的组成及调用关系3、主要函数的设计要求（功能、参数、返回值）：openfile：打开文件；GetChar：将下一个输入字符读到ch中，搜索指示器前移一字符位置；GetBC：检查ch中的字符是否为空白。
若是，则调用GetChar直至ch中进入一个非空白字符；Concat：将ch中的字符连接到strtoken之后；IsLetter 和IsDigit：布尔函数过程，分别判断ch中的字符是否为字母和数字；Reserve：整型函数过程，对strtoken中的字符串查找关键字表，若是关键字则返回编码，否则返回-1；Retract：将搜索指示器回调一个字符位置，将ch置为空白字符；reflesh：刷新，把strtoken数组置为空；prearrange1：将注释部分置为空格；prearrange2：预处理空格，去掉多余空格；analysis:词法分析；main：主函数。
4、状态转换图：字符a包括：= , & , | , + , --字符b包括：-- , < , > , | , *字符c包括：, , : , ( , ) , { , } , [ , ] , ! ,# , % , ” , / , * , + , -- , > , <, .三、源代码如下：#include <stdio.h>#include <string.h>char set[1000],str[500],strtoken[20];char sign[50][10],constant[50][10];char ch;int sr,to,id=0,st=0;typedef struct keytable /*放置关键字*/{char name[20];int kind;}KEYTABLE;KEYTABLE keyword[]={ /*设置关键字*/{"main",0},{"int",1},{"float",2},{"char",3},{"if",4},{"else",5},{"for",6},{"while",7},{"do",8},{"switch",9},{"case",10},{"break",11},{"default",12},};openfile() /*打开文件*/{FILE *fp;char a,filename[10];int n=0;printf("Input the filename:");gets(filename);if((fp=fopen(filename,"r"))==NULL){printf("cannot open file.\n");exit(0);}elsewhile(!feof(fp)) /*文件不结束，则循环*/{a=getc(fp); /*getc函数带回一个字符，赋给a*/set[n]=a; /*文件的每一个字符都放入set[]数组中*/n++;}fclose(fp); /*关闭文件*/set[n-1]='\0';printf("\n\n-------------------Source Code--------------------------\n\n");puts(set);printf("\n--------------------------------------------------------\n");}reflesh() /*清空strtoken数组*/{to=0; /*全局变量to是strtoken的指示器*/strcpy(strtoken," ");}prearrange1() /*预处理程序1*/{int i,a,b,n=0;do{if(set[n]=='/' && set[n+1]=='*'){a=n; /*记录第一个注释符的位置*/while(!(set[n]=='*' && set[n+1]=='/'))n++;b=n+1; /*记录第二个注释符的位置*/for(i=a;i<=b;i++) /**/set[i]=' '; /*把注释的内容换成空格，等待第二步预处理*/ }n++;}while(set[n]!='\0');}prearrange2() /*预处理程序2*/{int j=0;sr=0; /*全局变量sr是str[]的指示器*/do{if(set[j]==' ' || set[j]=='\n'){while(set[j]==' ' || set[j]=='\n') /*扫描到有连续的空格或换行符*/j++;str[sr]=' '; /*用一个空格代替扫描到的连续空格和换行符放入str[]*/sr++;}else{str[sr]=set[j]; /*若当前字符不为空格或换行符就直接放入str[]*/sr++;j++;}}while(set[j]!='\0');str[sr]='\0';}char GetChar() /*把字符读入全局变量ch中，指示器sr前移*/{ch=str[sr];sr++;return(str[sr-1]);}void GetBC() /*开始读入符号，直至第一个不为空格*/{while(ch==' '){ch=GetChar();}}Concat() /*把ch中的字符放入strtoken[]*/{strtoken[to]=ch;to++; /*全局变量to是strtoken的指示器*/strtoken[to]='\0';}int IsLetter() /*判断是否为字母*/{if((ch>=65 && ch<=90)||(ch>=97 && ch<=122))return(1);else return(0);}int IsDigit() /*判断是否为数字*/{if(ch>=48 && ch<=57)return(1);else return(0);}int Reserve() /*对strtoken中的字符串查找保留字表，若是则返回它的编码，否则返回－1*/ {int i,k=0;for(i=0;i<=20;i++){if(strcmp(strtoken,keyword[i].name)==0){ k=1;return(keyword[i].kind);}}if(k!=1)return(-1);}void Retract() /*指示器sr回调一个字符位置，把ch置为空*/{sr--;}int InsertId(){int i,k;for(i=0;i<id;i++){k=strcmp(strtoken,sign[i]);if(k==0)return(i);}strcpy(sign[id],strtoken); /*插入标识符*/id++;return(id-1);}int InsertConst(){int i,k;for(i=0;i<st;i++){k=strcmp(strtoken,constant[i]);if(k==0)return(i);}strcpy(constant[st],strtoken); /*插入常数*/st++;return(st-1);}void analysis(){int value;reflesh(); /*清空strtoken数组*/prearrange1(); /*预处理，使注释内容换成单个空格，放回set[]中*/prearrange2(); /*预处理，使set[]中连续的空格置换成单个空格，并把set[]的内容放到str[]中*/GetChar();GetBC(); /*读取第一个字符*/while(ch!='\0') /*当不等于结束符，继续执行*/{if(IsLetter()){while(IsLetter() || IsDigit()) /*若第一个是字符，继续读取，直到出现空格*/{Concat();GetChar();}Retract(); /*指示器sr回调一个字符位置，把ch置为空*/value=Reserve(); /*对strtoken中的字符串查找保留字表，若是则返回它的编码，否则返回－1*/ if(value==-1) /*如果返回值是－1，那就是变量，把它输出*/{InsertId(); /*插入标识符*/printf("\n%s",strtoken);getch();}else /*否则就是关键字，也输出*/{printf("\n%s",strtoken);getch();}reflesh();}else if(IsDigit()){while(IsDigit()) /*否则，若第一个是数字，继续读取，知道出现空格*/{Concat();GetChar();}Retract();InsertConst(); /*插入常数*/printf("\n%s",strtoken);getch();reflesh();}elseswitch(ch) /*否则，若是下面的符号，就直接把它输出*/{case ',':case ';':case '(':case ')':case '{':case '}':case '[':case ']':case '!':case '#':case '%':case '"':case '/':case '*':Concat();printf("\n'%s'",strtoken);getch();reflesh();break;default:if(ch=='=' || ch=='&' || ch=='|' || ch=='+' || ch=='-') /*如果是这些符号，继续读取下一个*/ {Concat(); /*判断是否为==,&&,||,++,--的情况*/GetChar();if(ch==strtoken[0])Concat();elseRetract();printf("\n'%s'",strtoken);getch();reflesh();break;}else if(ch=='+' || ch=='-' || ch=='<' || ch=='>' || ch=='!' || ch=='*'){Concat(); /*判断是否为+=,-=,<=,>=,!=,*=的情况*/GetChar();if(ch=='=')Concat();elseRetract();printf("\n'%s'",strtoken);getch();reflesh();break;}else{printf("Error!");getch();break;}}GetChar();GetBC();}}main(){clrscr();openfile();analysis();printf(“analysis is over!”);}五、测试结果：1、分析文件test1.c中的程序：Input the filename:test.c*****************Original Code************************/* HELLO.C -- Hello, world */#include "stdio.h"#include "conio.h"main(){printf("Hello, world\n");getch();}*****************************************************'#'include'"'stdio'.'h'"''#'include'"'conio'.'h'"'main'('')''{'printf'(''"'Hello','worldError!n'"'')'';'getch'('')'';''}'Analysis is over!六、实验总结：这个程序主要参考书上关于词法分析器的设计。
词法分析器实验报告
词法分析器实验报告引言：词法分析器（Lexical Analyzer）是编译器的重要组成部分，其主要任务是将源代码转化为一个个独立的词法单元，为语法分析器提供输入。
在本次实验中，我们设计并实现了一个简单的词法分析器，通过对其功能和性能的测试，评估其在不同场景下的表现。
实验目的：1. 确定词法分析器的输入和输出要求；2. 通过构建适当的正则表达式规则，匹配不同类型的词法单元；3. 实现一个高效的词法分析器，确保在处理大型源代码时性能不受影响；4. 对词法分析器的功能和性能进行测试和评估。
实验过程：1. 设计词法分析器的接口：1.1 确定输入：源代码字符串。
1.2 确定输出：词法单元流，每个词法单元包含类型和对应的字符串值。
2. 构建正则表达式规则：2.1 识别关键字：根据编程语言的关键字列表构建正则表达式规则，将关键字与标识符区分开。
2.2 识别标识符：一般由字母、下划线和数字组成，且以字母或下划线开头。
2.3 识别数字：整数和浮点数可以使用不同的规则来识别。
2.4 识别字符串：使用引号（单引号或双引号）包裹的字符序列。
2.5 识别特殊符号：各类操作符、括号、分号等特殊符号需要单独进行规则设计。
3. 实现词法分析器：3.1 读取源代码字符串：逐个字符读取源代码字符串，并根据正则表达式规则进行匹配。
3.2 保存词法单元：将匹配到的词法单元保存到一个词法单元流中。
3.3 返回词法单元流：将词法单元流返回给调用者。
4. 功能测试：4.1 编写测试用例：针对不同类型的词法单元编写测试用例，包括关键字、标识符、数字、字符串和特殊符号。
4.2 执行测试用例：将测试用例作为输入传递给词法分析器，并检查输出是否和预期一致。
4.3 处理错误情况：测试词法分析器对于错误输入的处理情况，如非法字符等。
5. 性能测试：5.1 构建大型源代码文件：生成包含大量代码行数的源代码文件。
5.2 执行词法分析：使用大型源代码文件作为输入，测试词法分析器的性能。
编译原理实验二LL(1)语法分析实验报告
专题3_LL(1)语法分析设计原理与实现李若森 13281132 计科1301一、理论传授语法分析的设计方法和实现原理；LL(1) 分析表的构造；LL(1)分析过程；LL(1)分析器的构造。
二、目标任务实验项目实现LL(1)分析中控制程序（表驱动程序）；完成以下描述算术表达式的 LL(1)文法的LL(1)分析程序。
G[E]:E→TE’E’→ATE’|εT→FT’T’→MFT’|εF→(E)|iA→+|-M→*|/设计说明终结符号i为用户定义的简单变量，即标识符的定义。
加减乘除即运算符。
设计要求(1)输入串应是词法分析的输出二元式序列，即某算术表达式“专题 1”的输出结果，输出为输入串是否为该文法定义的算术表达式的判断结果；(2)LL(1)分析程序应能发现输入串出错；(3)设计两个测试用例（尽可能完备，正确和出错），并给出测试结果。
任务分析重点解决LL(1)表的构造和LL(1)分析器的实现。
三、实现过程实现LL(1)分析器a)将#号放在输入串S的尾部b)S中字符顺序入栈c)反复执行c)，任何时候按栈顶Xm和输入ai依据分析表，执行下述三个动作之一。
构造LL(1)分析表构造LL(1)分析表需要得到文法G[E]的FIRST集和FOLLOW集。
构造FIRST(α)构造FOLLOW(A)构造LL(1)分析表算法根据上述算法可得G[E]的LL(1)分析表，如表3-1所示：表3-1 LL(1)分析表主要数据结构pair<int, string>:用pair<int, string>来存储单个二元组。
该对照表由专题1定义。
map<string, int>:存储离散化后的终结符和非终结符。
vector<string>[][]:存储LL(1)分析表函数定义init:void init();功能：初始化LL(1)分析表，关键字及识别码对照表，离散化（非）终结符传入参数：（无）传出参数：（无）返回值：（无）Parse:bool Parse( const vector<PIS> &vec, int &ncol )；功能：进行该行的语法分析传入参数：vec:该行二元式序列传出参数：emsg:出错信息epos:出错标识符首字符所在位置返回值：是否成功解析。
词法分析器实验报告
词法分析器实验报告词法分析器实验报告一、引言词法分析器是编译器中的重要组成部分，它负责将源代码分解成一个个的词法单元，为之后的语法分析提供基础。
本实验旨在设计和实现一个简单的词法分析器，以深入理解其工作原理和实现过程。
二、实验目标本实验的目标是设计和实现一个能够对C语言代码进行词法分析的程序。
该程序能够将源代码分解成关键字、标识符、常量、运算符等各种词法单元，并输出其对应的词法类别。
三、实验方法1. 设计词法规则：根据C语言的词法规则，设计相应的正则表达式来描述各种词法单元的模式。
2. 实现词法分析器：利用编程语言（如Python）实现词法分析器，将源代码作为输入，根据词法规则将其分解成各种词法单元，并输出其类别。
3. 测试和调试：编写测试用例，对词法分析器进行测试和调试，确保其能够正确地识别和输出各种词法单元。
四、实验过程1. 设计词法规则：根据C语言的词法规则，我们需要设计正则表达式来描述各种词法单元的模式。
例如，关键字可以使用'|'操作符将所有关键字列举出来，标识符可以使用[a-zA-Z_][a-zA-Z0-9_]*的模式来匹配，常量可以使用[0-9]+的模式来匹配等等。
2. 实现词法分析器：我们选择使用Python来实现词法分析器。
首先，我们需要读取源代码文件，并将其按行分解。
然后，针对每一行的代码，我们使用正则表达式进行匹配，以识别各种词法单元。
最后，我们将识别出的词法单元输出到一个结果文件中。
3. 测试和调试：我们编写了一系列的测试用例，包括各种不同的C语言代码片段，以测试词法分析器的正确性和鲁棒性。
通过逐个测试用例的运行结果，我们可以发现和解决词法分析器中的问题，并进行相应的调试。
五、实验结果经过多次测试和调试，我们的词法分析器能够正确地将C语言代码分解成各种词法单元，并输出其对应的类别。
例如，对于输入的代码片段：```cint main() {int a = 10;printf("Hello, world!\n");return 0;}```我们的词法分析器将输出以下结果：```关键字：int标识符：main运算符：(运算符：)运算符：{关键字：int标识符：a运算符：=常量：10运算符：;标识符：printf运算符：(常量："Hello, world!\n"运算符：)运算符：;关键字：return常量：0运算符：;```可以看到，词法分析器能够正确地将代码分解成各种词法单元，并输出其对应的类别。
基于LEX的C语言词法分析器
实验二C-语言的词法分析器（基于Lex）1. 课程设计目标自动构造C-语言的的词法分析器，要求能够掌握编译原理的基本理论,，理解编译程序的基本结构，掌握编译各阶段的基本理论和技术，掌握编译程序设计的基本理论和步骤.，增强编写和调试高级语言源程序的能力，掌握词法分析的基本概念和实现方法，熟悉C-语言的各种Token。
2. 分析与设计基于Parser Genarator的词法分析器构造方法Lex输入文件由3个部分组成：定义集（definition），规则集（rule）和辅助程序集（auxiliary routine）或用户程序集（user routine）。
这三个部分由位于新一行第一列的双百分号分开，因此，Lex输入文件的格式如下{definitions}%%{rules}%%{auxiliary routines}而且第一部分用“%{”和“%}”括起来。
第一和第三个部分为C语言的代码和函数定义，第二个部分为一些规则。
定义正则表达式如下ID = letter letter*NUM = digit digit*Letter = a|…|z|A|…|ZDig it = 0|…|9Keyword = else|if|int|return|void|whileSpecial symbol = +|-|*|/|<|<=|>|>=|==|!=|=|;|，|（|）|[|]|{|}|/*|*/White space = “ ”Enter = \n在lex中的构造letter [A-Za-z]digit [0-9]id ({letter}|[_])({letter}|{digit}|[_])*error_id ({digit})+({letter})+num {digit}+whitespace [ \t]+enter [\n]+在Lex中的规则定义构造定义识别保留字规则"int"|"else"|"return"|"void"|"if"|"while"{Upper(yytext,yyleng);printf("%d 行",lineno);printf("%s reserved word\n",yytext);}//保留字定义识别数字规则{num}{printf("%d 行",lineno);printf("%s NUM\n",yytext);}//数字定义识别专用符号规则","|";"|"("|")"|"{"|"}"|"*"|"/"|"+"|"-"|">"|"<"|">="|"<="|"=="|"!="|"="|"/*"|"*/" {printf("%d 行",lineno);printf("%s special symbol\n",yytext);}//特殊符号定义识别标识符规则{id}{printf("%d 行",lineno);printf("%s ID\n",yytext);}//标识符定义识别错误的字符串规则当开头为数字的后面为字母的字符串时，是错误的标识符。
词法分析器的实验报告
词法分析器的实验报告词法分析器的实验报告引言：词法分析器是编译原理中的重要组成部分，它负责将源代码中的字符序列转换为有意义的词法单元，为后续的语法分析提供基础。
本实验旨在设计和实现一个简单的词法分析器，并对其进行测试和评估。
实验设计：1. 词法规则设计：在开始实验之前，我们首先需要设计词法规则，即定义源代码中的合法词法单元。
例如，对于一门类C的语言，我们可以定义关键字（如if、while、int等）、标识符、运算符（如+、-、*等）、分隔符（如()、{}等）等。
2. 有限自动机（DFA）的设计：基于词法规则，我们可以设计一个有限自动机，用于识别和分析源代码中的词法单元。
有限自动机是一个状态转换图，其中每个状态代表一种词法单元，而边表示输入字符的转换关系。
3. 实现代码：根据有限自动机的设计，我们可以使用编程语言（如Python、C++等）实现词法分析器的代码。
代码的主要功能包括读取源代码文件、逐个字符进行词法分析、识别和输出词法单元。
实验过程：1. 词法规则设计：我们以一门简单的算术表达式语言为例，设计了以下词法规则：- 数字：由0-9组成的整数或浮点数。
- 运算符：包括+、-、*、/等。
- 分隔符：包括括号()和逗号,。
- 标识符：以字母开头，由字母和数字组成的字符串。
2. 有限自动机（DFA）的设计：我们基于词法规则，设计了一个简单的有限自动机。
该自动机包含以下状态：- 初始状态：用于读取和识别源代码中的字符。
- 数字状态：用于识别和输出数字。
- 运算符状态：用于识别和输出运算符。
- 分隔符状态：用于识别和输出分隔符。
- 标识符状态：用于识别和输出标识符。
3. 实现代码：我们使用Python编程语言实现了词法分析器的代码。
代码主要包括以下功能：- 读取源代码文件。
- 逐个字符进行词法分析，根据有限自动机的设计进行状态转换。
- 识别和输出词法单元。
实验结果：我们对几个测试样例进行了词法分析，并对结果进行了评估。
词法分析器的构造
实验报告（2015 / 2016学年第二学期）课程名称编译原理实验名称词法分析器的构造实验时间2016 年 4 月 29 日指导单位计算机软件教学中心指导教师学生姓名学院（系）wujun计算机学院、软件学院班级学号专业计算机科学与技术实验报告、实验环境（实验设备）硬件：计算机软件：Visual C ++6.0,'{') ,'int ') ,'a ') ,',') ,'b ') ,'；') ,'a ') ,'=') ,'10') ,'；') ,'b ') ,'=') ,'a ') ,'+') ,'20') ,'；') ,'}')实验原理状态转换图(5 (1 (2 (5 (2 (5 (2 (4 (3 (5 (2 (4 (2 (4 (3 (5 (52、3、实验代码:实验代码：#i nclude <stri ng.h>#in elude <iostream.h>#in elude <fstream>#in clude<stdlib.h>#i nclude<stdio.h>#in clude<ctype.h>struct Char{ //创建一个结构用于存贮关键字char a[15];}；typedef struct Char CH;//定义关键字CH keyWord[67]={"auto","break","case","cout","cin","char","const","continue","d efault", "do","double","else","e num","e ndl","extern","float","for","goto","if","mai n", "in clude","int","lo ng","register","return","short","sig ned","sizeof","static","string","struct","switch","typed ef","union","unsigned","void","stdio","whil e", "ci n"."cout"."catch","calss"."ctype"."stdlib"."fstream"."export"."iostream",cout<v"(2,'"vvwordvv"')"vve ndl; }else if(lsDigit(ch)){do{word[i++] = ch; ch = s[++j];}whil e(IsDigit(ch));j--;word[i] = '\0';cout<<"(3,'"<<word<<"')"<<e ndl;}else if(lsSeparator(ch)){word[0] = ch;cout<<"(5,'"<<word<<"')"<<e ndl;}else{word[0] = ch;if(word[0]=='+'||word[0]=='-'||word[0]=='>'||word[0]=='v'||word[0]=='&'||word[0]=='|'){ if(s[j+1]==word[0] || s[j+1]=='='){word[1] = s[++j]; cout<v"(4,'"vvwordvv"')"vve ndl;} elsecout<v"(4,'"vvwordvv"')"vve ndl;}else if(word[0]=='='||word[0]=='*'||word[0]=='/'||word[0]=='!'||word[0]=='%'||word[0]==z){ if (s[j+1] == '='){word[1] = s[++j]; cout<v"(4,'"vvwordvv"')"vve ndl;} elsecout<v"(4,'"vvwordvv"')"vve ndl;}else if (word[0] == '\\'){if (s[j+1] == 'n' ||s[j+1] == 't' || s[j+i]=='\\'||s[j+1]=='0'){ word[1] = s[++j];cout<v"(4,'"vvwordvv"')"vve ndl;} elsecout<v"(4,'"vvwordvv"')"vve ndl;―U输入代码:Please input you code 'ieoid wi th two^ T7）: int mainO（int辺,b;//定义a・bd += 10.b - a十12.舛求b的值*/return 0;}??输出结果:系统经HfOl理后的输出（去掉注释和换行）：int mainO { int a,b; a +- 10; b - a + 12; return 0; }. 系统经ii预处理冶的输岀〔去掉注释、换行、空格等）：intminO {in坦b; a+=10 ; b-a +12 ! returnO !]词袪分析如下: （1,J int'）（1,J mair?）（5,J C ）（和门（5/ f ）（1； int1〕⑵’『）⑸；）（2f' b'） E ；）伦J a ）（4,7匸）（3,' 10'）⑸’:1、⑵'b1）（4,，J、（2/『）（4,1匸）<3,'挖）（1, ?return7）（3,' 0’ ）（5/ r）（5, 丁）（2）测试二截图输入代码:Please input you code (end with two* ?'): do [ch = getchar(J ;s[i++] - ch;if(ch == 1\n |I ch== 3) for (int j =0; j < 4;j++) fputc (b, fp);fputc(ch, ip);用Ml e(s[i-l] != ??7| | s[i-2] != J输出结果:系统经过预处理后的输出(±4f注释和换行)：,dn C ch = setcha.rO : s[i+*] = ch; if (ch == 1\n" | | ch==| \t* ) f cr L int j =U ；j € 4b j++) fputc (b^ fp) ; f putc (ch, fp); }wiiil日(s[iT] ! = ? 1 || s[i-2] I = ? ?;系统经过预处理后的输出(去掉注釋■换了亍、空梅等)=do 呂e tchar () ; s[i ■*-+■] -ch; if tch==，\n | |ch-=，\t?or (ini j=0; j<4; J-H-)fpoitc(b, fp): fputctch, fp):} flhile(s[i^l] \-r r \ |s[i-2]!=,,):词法分析如T：(1/dD1) (5/C)(2, ' eh J) 任，』)(2,11 get char?) (5/ (!) (5QJ (5/;5) Qd) (5「[') (2/iJ(4,1卄')(妇」) ⑵’山)(5,―)⑸’f )(2?T川)(5,…) 他’\n)(5,…)四、实验小结（包括问题和解决方法、心得体会、意见与建议等）在本实验中，我进一步学习了如何运用输入输出流，对文件进行读写操作。
C语言词法分析器构造实验报告
编译原理C语言词法分析器构造学院：信工班级: 1 4 0学号： **********名：******师：**2014年 6 月12日一、实验题目：编译原理词法分析二、实验内容：2.1主程序设计考虑：主程序的说明部分为各种表格和变量安排空间（关键字和特殊符号表）。
id 和ci 数组分别存放标识符和常数；还有一些为造表填表设置的变量。
主程序的工作部分建议设计成便于调试的循环结构。
每个循环处理一个单词；调用词法分析过程；输出每个单词的内部码（种别编码，属性值）。
建议从文件中读取要分析的符号串。
2.2词法分析过程考虑该过程根据输入单词的第一个有效字符（有时还需读第二个字符），判断单词种别，产生种别编码。
对于标识符和常数，需分别与标识符表和常数表中已登记的元素相比较，如表中已有该元素，则记录其在表中的位置，如未出现过，将标识符按顺序填入数组id 中，将常数存入数组中ci 中，并记录其在表中的位置。
注：所有识别出的单词都用二元组表示。
第一个表示单词的种别编码。
例如：关键字的t=1；标识符的t=2；常数t=3；运算符t=4；界符t=5。
第二个为该单词在各自表中的指针或内部码值（常数表和标识符表是在编译过程中建立起来的。
其i 值是根据它们在源程序中出现的顺序确定的）。
将词法分析程序设计成独立一遍扫描源程序的结构。
其主流程图如下：图1 词法分析程序流程图三、程序源代码：#include "stdafx.h"#include<iostream>#include<string>#include<math.h>#include<fstream>using namespace std;//关键字结构体struct key{string key_word;int bm;string zjf;};//界符结构体struct JF{char jf_ch;int bm;string zjf; };//运算符结构体struct ysf{string ysf_w;int bm;string zjf;};//得到关键字字母表void fuc_K_table(key K_w[]){int i=0;ifstream infile("E:\\cffx\\key.txt",ios::in);if(!infile){cerr<<"open error!"<<endl;}for(i=0;i<12;i++){infile>>K_w[i].key_word ;infile>>K_w[i].bm ;infile>>K_w[i].zjf ; }infile.close ();}//得到界符字母表void fuc_JF_table(JF J_CHAR[]){int i=0;ifstream infile("E:\\cffx\\jf.txt",ios::in);if(!infile){cerr<<"open error!"<<endl; }for(i=0;i<9;i++){infile>>J_CHAR[i].jf_ch;infile>>J_CHAR[i].bm;infile>>J_CHAR[i].zjf; }infile.close ();}//得到运算符表void fuc_ysf_table(ysf YSF_W[]){int i=0;ifstream infile("E:\\cffx\\ysf.txt",ios::in);if(!infile){cerr<<"open error!"<<endl; }for(i=0;i<18;i++){infile>>YSF_W[i].ysf_w;infile>>YSF_W[i].bm; infile>>YSF_W[i].zjf; } infile.close ();}//查找是否为保留字int Reserve(string strToken,key K_w[]){int i=0;for(i=0;i<12;i++)if(strToken==K_w[i].key_word ) return K_w[i].bm;if(i>=12) return -1; }//查找是否为界符int Reservejf(char ch,JF J_CHAR[]){int i=0;for(i=0;i<9;i++)if(ch==J_CHAR[i].jf_ch ) return J_CHAR[i].bm;if(i>=9) return -1;}//查找是否为运算符int Reserveysf(string strToken,ysf YSF_W[]){int i=0;for(i=0;i<18;i++)if(strToken==YSF_W[i].ysf_w ) return YSF_W[i].bm;if(i>=18) return -1;}//将strToken中的常数插入常数表int InsertConst(string strToken,key K_w[]){int i=0,j=0,m=0;while(strToken[i]!='\0') i++;for(j=0;j<i;j++) m=10*m+((int)strToken[j]-48);return m;}//判断是否为字母bool IsLetter(char ch){if((ch>=97&&ch<=122)||( ch>=65&&ch<=90))return true; else return false;} //判断是否为数字bool IsDigit(char ch){if((ch>=48&&ch<=57))return true; else return false;}//判断是否为界符bool IsJF(char ch){switch(ch){case'{': case'}': case'[': case']':case'(': case')':case';': case',':case'"':return true;default:return false;}}//判断是否为运算符bool IsYSF(char ch){bool re=false;switch(ch){case'>': case'<': case'=': case'+': case'-': case'*':case'/': case'%': case'&': case'|': case'!':case'"':{re=true;break;} }return re; }//主函数int main(int argc, char* argv[]){key K_w[12]; JF J_CHAR[9];ysf YSF_W[18];fuc_K_table(K_w); fuc_JF_table(J_CHAR);fuc_ysf_table(YSF_W); int i=0;cout<<"关键字种别编码表："<<endl;for(i=0;i<12;i++)cout<<K_w[i].key_word<<" "<<K_w[i].bm<<endl;cout<<"界符种别编码表："<<endl;for(i=0;i<9;i++)cout<<J_CHAR[i].jf_ch<<" "<<J_CHAR[i].bm<<endl;cout<<"运算符种别编码表："<<endl;for(i=0;i<18;i++)cout<<YSF_W[i].ysf_w<<" "<<YSF_W[i].bm<<endl;cout<<"常数的种别编码为：50"<<endl;cout<<"普通标识符的种别编码为：51"<<endl;FILE*fp;fp=fopen("E:\\cffx\\f1.txt","r");cout<<"词法分析器输出结果为："<<endl;char ch; int digit=0;string strToken;if(fp==NULL){cout<<"error";exit(0);} else{while(ch!='#'){strToken="\0";ch=fgetc(fp);if(ch==' '||ch=='\t'||ch=='\n'){}elseif(IsLetter(ch)){while(IsLetter(ch)||IsDigit(ch)){strToken=strToken+ch;ch=fgetc(fp); }fseek(fp,-1L,SEEK_CUR);i=Reserve(strToken,K_w);if(i>-1)cout<<'('<<strToken<<','<<i<<')'<<endl;elsecout<<'('<<strToken<<",51)"<<endl; }elseif(IsDigit(ch)){while(IsDigit(ch)){strToken=strToken+ch;ch=fgetc(fp); }fseek(fp,-1L,SEEK_CUR);digit=InsertConst(strToken,K_w);cout<<'('<<digit<<",50"<<')'<<endl; }elseif(IsJF(ch)){int jfcount=Reservejf(ch,J_CHAR);cout<<'('<<ch<<','<<jfcount<<')'<<endl; }elseif(IsYSF(ch)){while(IsYSF(ch)){strToken=strToken+ch;ch=fgetc(fp); }fseek(fp,-1L,SEEK_CUR);i=Reserveysf(strToken,YSF_W);if(i>-1)cout<<'('<<strToken<<','<<i<<')'<<endl;elsecout<<"输入符号错误！"<<endl; }}fclose(fp);}return 0;}四、实验截图：F1中是数据为：实验结果为：五、实验总结：这个程序主要参考书上关于词法分析器的设计。
词法分析程序的构造
词法分析程序的构造通达学院题专学班指指日II 词法分析程序的构造业生姓名级学号导教师导单位计算机学院计算机科学与技术系期专业课程设计目：词法分析程序的构造一、课题内容和要求通过状态转换图构造C或者PASCAL语言子集的词法分析程序。
原理解析：选取语言，例如选取了C语言，选取其中一个子集，例如包含了部分关键字main、float、if、for等等，特殊符号( 、的标识符变量以及部分常量等，采用《编译原理》词法分析中有穷自动机的思想构建出该语言子集的状态转换图，并编码实现。
基本要求：（1）将选取的语言子集编写一个简单程序，放在一个文本文件中；（2）要将一个个单词区分清楚并归类(例如for属于关键字)。
二、需求和思路分析本课题是用C++语言设计，选取的是C语言子集。
编写对简单语言进行词法分析的词法分析程序。
1、识别子集中的关键字、标识符、常数、运算符和分界符等。
2、对子集中的字符类型进行归类三、概要设计（1）状态转换图：（2）核心代码：1）定义：char cbuffer;char*keyword[14]={"if","else","for","while","do","float","return","break","con tinue","int","void","main","const","printf"}; //关键字char *border[8]={ "," , ";" , "{" , "}" , "(" , ")" ,":=","."}; //分隔符char *arithmetic[6]={"+" , "-" , "*" , "/" , "++" , "--"}; //运算符char *relation[7]={"" , ">=" , "==" ,"!="};char *lableconst[80];2）函数调用： search(char searchchar[],int wordtype)//查找类型alphaprocess(char buffer) //字符处理过程digitprocess(char buffer) //数字处理过程otherprocess(char buffer) //分隔符、运算符、逻辑运算符等main()//主函数3) 状态类型：状态转换图的形式：■每个状态对应一个带标号的case语句■转向边对应goto语句switch (wordtype){case 1:{ for (i=0;i{if (strcmp(keyword[i],searchchar)==0)return(i+1);}return(0);}case 2:{for (i=0;i{if (strcmp(border[i],searchchar)==0)return(i+1);}return(0);//关系运算符 //标识符}case 3:{for (i=0;i{if (strcmp(arithmetic[i],searchchar)==0) return(i+1);}return(0);}case 4:{for (i=0;i{if (strcmp(relation[i],searchchar)==0)return(i+1);}return(0);}case 5:{for (t=40;t{if (strcmp(searchchar,lableconst[t])==0)//判断该常数是否已出现过return(t+1);}lableconst[t-1]=(char *)malloc(sizeof(searchchar)); //为新的元素分配内存空间strcpy(lableconst[t-1],searchchar); //为数组赋值lableconst 指针数组名constnum++; //常数个数自加return(t);}case 6:{for (i=0;i{if (strcmp(searchchar,lableconst[i])==0) //判断标识符是否已出现过return(i+1);}lableconst[i-1]=(char *)malloc(sizeof(searchchar));strcpy(lableconst[i-1],searchchar);lableconstnum++; //标识符个数自加return(i);}5) 单字符判断if (otypetp=search(othertp,3)) //判断该运算符是否是由连续的两个字符组成的{coutfp.get(buffer);goto out;}else //单字符逻辑运算符{othertp[1]='\0';cout"goto out;}四、详细设计实验环境：visual C++6.0 win7系统源程序代码：#include#include#include#include#includeusing namespace std;ifstream fp("09002801.txt",ios::in);char cbuffer;char*keyword[14]={"if","else","for","while","do","float","return","break","continu e","int","void","main","const","printf"}; //关键字char *border[8]={ "," , ";" , "{" , "}" , "(" , ")" ,":=","."}; //分隔符char *arithmetic[6]={"+" , "-" , "*" , "/" , "++" , "--"}; //运算符char *relation[7]={"" , ">=" , "==" ,"!="}; //关系运算符 char*lableconst[80]; //标识符int constnum=40;int lableconstnum=0; //统计常数和标识符数量int row=1;int search(char searchchar[],int wordtype){int i=0,t=0;switch (wordtype){case 1:{ for (i=0;i{if (strcmp(keyword[i],searchchar)==0)return(i+1);}return(0);}case 2:{for (i=0;i{if (strcmp(border[i],searchchar)==0)return(i+1);}return(0);}case 3:{for (i=0;i{if (strcmp(arithmetic[i],searchchar)==0) return(i+1);}return(0);}case 4:{for (i=0;i{if (strcmp(relation[i],searchchar)==0)return(i+1);}return(0);}case 5:{for (t=40;t{if (strcmp(searchchar,lableconst[t])==0)//判断该常数是否已出现过return(t+1);}lableconst[t-1]=(char *)malloc(sizeof(searchchar)); //为新的元素分配内存空间strcpy(lableconst[t-1],searchchar); //为数组赋值lableconst指针数组名constnum++; //常数个数自加return(t);}case 6:{for (i=0;i{if (strcmp(searchchar,lableconst[i])==0) //判断标识符是否已出现过 return(i+1);}lableconst[i-1]=(char *)malloc(sizeof(searchchar));strcpy(lableconst[i-1],searchchar);lableconstnum++; //标识符个数自加return(i);}default:cout}}char alphaprocess(char buffer) //字符处理过程{int atype;int i=-1;char alphatp[20];while ((isalpha(buffer))||(isdigit(buffer)))//这两个函数分别是判字符和判数字函数位于ctype.h中 {alphatp[++i]=buffer;fp.get(buffer);}alphatp[i+1]='\0';//在末尾添加字符串结束标志if (atype=search(alphatp,1))coutelse{atype=search(alphatp,6); //标识符cout}return(buffer);}char digitprocess(char buffer) //数字处理过程{int i=-1;char digittp[20];int dtype;while ((isdigit(buffer))){digittp[++i]=buffer;fp.get(buffer);}digittp[i+1]='\0';dtype=search(digittp,5);coutreturn(buffer);}char otherprocess(char buffer) //分隔符、运算符、逻辑运算符等 {int i=-1;char othertp[20];int otype,otypetp;othertp[0]=buffer;othertp[1]='\0';if (otype=search(othertp,3)){fp.get(buffer);othertp[1]=buffer;othertp[2]='\0';if (otypetp=search(othertp,3)) //判断该运算符是否是由连续的两个字符组成的{coutgoto out;}else //单字符逻辑运算符{othertp[1]='\0';cout}}if (otype=search(othertp,4)) //关系运算符{fp.get(buffer);othertp[1]=buffer;othertp[2]='\0';if (otypetp=search(othertp,4)) //判断该关系运算符是否是由连续的两个字符组成的 {coutgoto out;}else //单字符逻辑运算符{othertp[1]='\0';cout}}if (buffer=='!') //"=="的判断{fp.get(buffer);if (buffer=='=')//coutfp.get(buffer);goto out;else{if (otype=search(othertp,2)) //分界符{coutfp.get(buffer);goto out;}}if ((buffer!='\n')&&(buffer!=' '))coutfp.get(buffer);out:return(buffer);}void main(){printf("=========================词法分析器==========================\n"); int i;for (i=0;i{lableconst[i]=" ";//用于保存标识符}if (!fp)coutelse{fp.get (cbuffer);while (!fp.eof()){if(cbuffer=='\n'){row++;fp.get(cbuffer);}else if (isalpha(cbuffer)){cbuffer=alphaprocess(cbuffer); }else if (isdigit(cbuffer))cbuffer=digitprocess(cbuffer); }elsecbuffer=otherprocess(cbuffer); }couti=0;while(i{cout}coutcoutgetchar();}}（3）程序流程图：五、测试数据及其结果分析若源程序中没有09002801.txt文档，则会出现如下提示：若文档中包含09002801.txt文档，文档代码为：运行后结果如下：六、调试过程中的问题在代码调试过程中，由于代码编写时将主函数main和文件打开的顺序颠倒，导致未写入源文档也会提示词法分析结束，实际上并未进行词法分析过程，应该提示文件打开错，返回检查。
编译原理实验词法分析器与语法分析器实现
编译原理实验词法分析器与语法分析器实现词法分析器与语法分析器是编译器的两个重要组成部分，它们在编译过程中扮演着至关重要的角色。
词法分析器负责将源代码转化为一个个标记（token）序列，而语法分析器则根据词法分析器生成的标记序列构建语法树，验证源代码的语法正确性。
本实验旨在实现一个简单的词法分析器和语法分析器。
实验一：词法分析器实现在实现词法分析器之前，需要定义所需词法项的规则。
以C语言为例，常见的词法项包括关键字（如int、if、for等）、标识符、运算符（如+、-、*、/等）、常量（如整数、浮点数等）和分隔符（如括号、逗号等）。
接下来，我们来实现一个简单的C语言词法分析器。
1. 定义词法项的规则在C语言中，关键字和标识符由字母、数字和下划线组成，且首字符不能为数字。
运算符包括各种数学运算符和逻辑运算符。
常量包括整数和浮点数。
分隔符包括括号、逗号等。
2. 实现词法分析器的代码下面是一个简单的C语言词法分析器的实现代码：```pythondef lexer(source_code):keywords = ['int', 'if', 'for'] # 关键字列表operators = ['+', '-', '*', '/'] # 运算符列表separators = ['(', ')', '{', '}', ',', ';'] # 分隔符列表tokens = [] # 标记序列列表current_token = '' # 当前标记for char in source_code:if char.isspace(): # 如果是空格，则忽略continueelif char.isalpha(): # 如果是字母，则可能是关键字或标识符的一部分current_token += charelif char.isdigit(): # 如果是数字，则可能是常量的一部分current_token += charelif char in operators or char in separators: # 如果是运算符或分隔符，则当前标记结束if current_token:tokens.append(current_token)current_token = ''tokens.append(char)else: # 如果是其他字符，则当前标记结束if current_token:tokens.append(current_token)current_token = ''return tokens```以上代码通过遍历源代码的字符，根据定义的规则生成一个个标记，存储在`tokens`列表中。
编译原理实验-词法分析器
编译原理实验-词法分析器⼀、实验⽬的设计、编制、调试⼀个词法分析程序，对单词进⾏识别和编码，加深对词法分析原理的理解。
⼆、实验内容1.选定语⾔，编辑任意的源程序保存在⽂件中；2.对⽂件中的代码预处理，删除制表符、回车符、换⾏符、注释、多余的空格并将预处理后的代码保存在⽂件中；3.扫描处理后的源程序，分离各个单词符号，显⽰分离的单词类型。
三、实验思路对于实验内容1，选择编写c语⾔的源程序存放在code.txt中，设计⼀个c语⾔的词法分析器，主要包含三部分，⼀部分是预处理函数，第⼆部分是扫描判断单词类型的函数，第三部分是主函数，调⽤其它函数；对于实验内容2，主要实现在预处理函数processor()中，使⽤⽂档操作函数打开源程序⽂件(code.txt)，去除两种类型（“//”,“/*…*/”）的注释、多余的空格合并为⼀个、换⾏符、回车符等，然后将处理后的保存在另⼀个新的⽂件(afterdel.txt)中，最后关闭⽂档。
对于实验内容3，打开处理后的⽂件，然后调⽤扫描函数，从⽂件⾥读取⼀个单词调⽤判断单词类型的函数与之前建⽴的符号表进⾏对⽐判断，最后格式化输出。
四、编码设计代码参考了两篇博主的，做了部分改动，添加了预处理函数等1 #include<iostream>2 #include<fstream>3 #include<cstdio>4 #include<cstring>5 #include<string>6 #include<cstdlib>78using namespace std;910int aa;// fseek的时候⽤来接着的11string word="";12string reserved_word[20];//保留13char buffer;//每次读进来的⼀个字符14int num=0;//每个单词中当前字符的位置15int line=1; //⾏数16int row=1; //列数，就是每⾏的第⼏个17bool flag; //⽂件是否结束了18int flag2;//单词的类型192021//预处理函数22int processor(){//预处理函数23 FILE *p;24int falg = 0,len,i=0,j=0;25char str[1000],str1[1000],c;26if((p=fopen("code.txt","rt"))==NULL){27 printf("⽆法打开要编译的源程序");28return0;29 }30else{31//fgets(str,1000,p);32while((c=getc(p))!=EOF){33 str[i++] = c;34 }35 fclose(p);36 str[i] = '\0';37for(i=0;i<strlen(str);i++){38if(str[i]=='/'&&str[i+1]=='/'){39while(str[i++]!='\n'){}40 }//单⾏注释41else if(str[i]=='/'&&str[i+1]=='*'){42while(!(str[i]=='*'&&str[i+1]=='/')){i++;}43 i+=2;44 }//多⾏注释45else if(str[i]==''&&str[i+1]==''){46while(str[i]==''){i++;}47 i--;48if(str1[j-1]!='')49 str1[j++]='';50 }//多个空格，去除空格51else if(str[i]=='\n') {52if(str1[j-1]!='')53 str1[j++]='';54 }//换⾏处理，55else if(str[i]==9){56while(str[i]==9){57 i++;58 }59if(str1[j-1]!='')60 str1[j++]='';61 i--;62 }//tab键处理63else str1[j++] = str[i];//其他字符处理64 }65 str1[j] = '\0';66if((p = fopen("afterdel.txt","w"))==NULL){ 67 printf("can not find it!");68return0;69 }70else{71if(fputs(str1,p)!=0){72 printf("预处理失败！");73 }74else printf("预处理成功！");75 }76 fclose(p);77 }78return0;79 }8081//设置保留字82void set_reserve()83 {84 reserved_word[1]="return";85 reserved_word[2]="def";86 reserved_word[3]="if";87 reserved_word[4]="else";88 reserved_word[5]="while";89 reserved_word[6]="return";90 reserved_word[7]="char";91 reserved_word[8]="for";92 reserved_word[9]="and";93 reserved_word[10]="or";94 reserved_word[11]="int";95 reserved_word[12]="bool";96 }9798//看这个字是不是字母99bool judge_word(char x)100 {101if(x>='a' && x<='z' || x>='A' && x<='Z' ){ 102return true;103 }104else return false;105 }106107//看这个字是不是数字108bool judge_number(char x)109 {110if(x>='0' && x<='9'){111return true;112 }113else return false;114 }115116//看这个字符是不是界符117bool judge_jiefu(char x)118 {119if(x=='('||x==')'||x==','||x==';'||x=='{'||x=='}'){ 120return true;121 }122else return false;123 }124125126//加减乘127bool judge_yunsuanfu1(char x)128 {129if(x=='+'||x=='-'||x=='*')130 {131return true;132 }133else return false;134 }135136//等于赋值，⼤于⼩于⼤于等于，⼩于等于，⼤于⼩于137bool judge_yunsuannfu2(char x)138 {139if(x=='='|| x=='>'||x=='<'||x=='&'||x=='||'){140return true;141 }142else return false;143 }144145146//这个最⼤的函数的总体作⽤是从⽂件⾥读⼀个单词147int scan(FILE *fp)148 {149 buffer=fgetc(fp);//读取⼀个字符150if(feof(fp)){//检测结束符151 flag=0;return0;152 }153else if(buffer=='')154 {155 row++;156return0;157 }158else if(buffer=='\n')159 {160 row=1;161return0;162 }163//如果是字母开头或'_' 看关键字还是普通单词164else if(judge_word(buffer) || buffer=='_')165 {166 word+=buffer;167 row++;168while((buffer=fgetc(fp)) && (judge_word(buffer) || judge_number(buffer) || buffer=='_'))169 {170 word+=buffer;171 row++;172 }173if(feof(fp)){174 flag=0;175return1;176 }177for(int i=1;i<=12;i++){178if(word==reserved_word[i]){179 aa=fseek(fp,-1,SEEK_CUR);//如果执⾏成功，stream将指向以fromwhere为基准，偏移offset（指针偏移量）个字节的位置，函数返回0。
词法分析器(含完整源码)
词法分析实验报告一、实验目的与要求：1、了解字符串编码组成的词的内涵,感觉一下字符串编码的方法和解读2、了解和掌握自动机理论和正规式理论在词法分析程序和控制理论中的应用二、实验内容：构造一个自己设计的小语言的词法分析器：1、这个小语言能说明一些简单的变量识别诸如begin，end，if，while等保留字；识别非保留字的一般标识符（有下划线、字符、数字，且第一个字符不能是数字）。
识别数字序列（整数和小数）；识别:=，<=，>=之类的特殊符号以及；，（，）等界符。
2、相关过程（函数）：Scanner()词法扫描程序，提取标识符并填入display表中3、这个小语言有顺序结构的语句4、这个小语言能表达分支结构的语句5、这个小语言能够输出结果总之这个小语言词法分析器能提供以上所说明到的语法描述的功能……三、实验步骤：1、测试评价（1）、测试1：能说明一些简单的变量，如关键字、一般标识符、界符等；（2）、测试2：能输出结果：单词符号(内码形式)、各种信息表(如符号表、常量表等)；（3）、测试程序：var x,y,z;beginx:=2;y:=3;if (x+5>=y*y) thenbeginz:=y*y-x;z:=z+x*x;endelsez:=x+y;prn z;end.（4）、结果：①、从键盘读入；部分结果如下：（类型：该标识符所属的类型，如关键字，变量等；下标：该标识符所对应表（如变量标识符表，常量标识符表等）中其相应的位置，下同）②、从文件读入，输出到文件；部分结果如下：其他测试及结果如下：③、出错处理；注：若有错误，则只指出错误，不输出各个表；（5）、评价：这个小语言程序基本上能完成词法分析阶段的工作，识别诸如begin，if等保留字；识别非保留字的一般标识符（有下划线、字符、数字，且第一个字符不能是数字）。
识别数字序列（整数和小数）；识别:=，<=，>=之类的特殊符号以及；，（，）等界符。
编译原理 实验2 词法分析器
编译原理实验2 词法分析器一、实验目的1. 通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。
2. 掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。
3. 编制一个读单词的程序，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符和分隔符五大类。
并依次输出各个单词的内部编码及单词符号自身值。
（遇到错误时可显示“Error”，然后跳过错误部分继续显示）二、词法分析的基础知识1. 词法分析器的功能和输出格式词法分析器的功能是输入源程序，输出单词符号。
词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。
在本实验中，采用的是一类符号一种别码的方式。
标识符的BNF表示：<标识符>-> <字母><字母数字串><字母数字串>-><字母><字母数字串>|<数字><字母数字串>|ε无符号整数的BNF表示：<无符号整数>-> <数字><数字串><数字串>-> <数字><数字串> |ε运算符的BNF表示：<加法运算符>-> +<减法运算符>-> -<大于关系运算符>-> ><大于等于关系运算符>-> >=2. 超前搜索词法分析时，常常会用到超前搜索方法。
如当前待分析字符串为“a > i”，当前字符为“>”，此时，分析器到底是将其分析为大于关系运算符还是大于等于关系运算符呢？显然，只有知道下一个字符是什么才能下结论。
于是分析器读入下一个字符“+”，这时可知应将“>”解释为大于运算符。
但此时，超前读了一个字符“i”，所以要回退一个字符，词法分析器才能正常运行。
《编译原理》科学实验指导说明书
《编译原理》实验指导书实验一词法分析器的设计一、实验目的和要求加深对状态转换图的实现及词法分析器的理解。
熟悉词法分析器的主要算法及实现过程。
要求学生掌握词法分析器的设计过程，并实现词法分析。
二、实验基本内容给出一个简单语言的词法规则，画出状态转换图，并依据状态转换图编制出词法分析程序，能从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。
并依次输出各个单Error”，然后跳过错误部分继续显示）词法规则如下：三、实验时间：上机三次。
第一次按照自己的思路设计一个程序。
第二、三次在理论课学习后修改程序，使得程序结构更加合理。
四、实验过程和指导：（一）准备：1.阅读课本有关章节（c/c++，数据结构），花一周时间明确语言的语法，写出基本算法以及采用的数据结构和要测试的程序例。
2.初步编制好程序。
3.准备好多组测试数据。
（二）上课上机：将源代码拷贝到机上调试，发现错误，再修改完善。
（三）程序要求：程序输入/输出示例：输入如下一段：main(){/*一个简单的c++程序*/int a,b; //定义变量a = 10;b = a + 20;}要求输出如右图。
要求：(1) 剔除注解符(2) 常数为无符号整数（可增加实型数，字符型数等）（四）练习该实验的目的和思路：程序开始变得复杂起来，可能是大家以前编过的程序中最复杂的，但相对于以后的程序来说还是简单的。
因此要认真把握这个过渡期的练习。
程序规模大概为200行及以上。
通过练习，掌握对字符进行灵活处理的方法。
（五）为了能设计好程序，注意以下事情：1.模块设计：将程序分成合理的多个模块（函数/类），每个模块（类）做具体的同一事情。
2.写出（画出）设计方案：模块关系简图、流程图、全局变量、函数接口等。
3.编程时注意编程风格：空行的使用、注释的使用、缩进的使用等。
4．程序设计语言不限，建议使用面向对象技术及可视化编程语言，如C++，VC,JA V A,VJ++等。
(完整)编译原理实验报告(词法分析器 语法分析器)
编译原理实验报告实验一一、实验名称：词法分析器的设计二、实验目的：1，词法分析器能够识别简单语言的单词符号2，识别出并输出简单语言的基本字。
标示符。
无符号整数.运算符.和界符。
三、实验要求：给出一个简单语言单词符号的种别编码词法分析器四、实验原理:1、词法分析程序的算法思想算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号.2、程序流程图(1）主程序（2）扫描子程序3、各种单词符号对应的种别码五、实验内容:1、实验分析编写程序时，先定义几个全局变量a[]、token[]（均为字符串数组)，c,s( char型)，i,j,k（int型），a［］用来存放输入的字符串,token[]另一个则用来帮助识别单词符号,s用来表示正在分析的字符.字符串输入之后，逐个分析输入字符,判断其是否‘#’,若是表示字符串输入分析完毕，结束分析程序,若否则通过int digit(char c）、int letter(char c）判断其是数字，字符还是算术符,分别为用以判断数字或字符的情况，算术符的判断可以在switch语句中进行，还要通过函数int lookup(char token［])来判断标识符和保留字。
2 实验词法分析器源程序:＃include 〈stdio.h〉＃include <math.h>#include <string。
h>int i,j,k;char c,s,a［20]，token[20]=｛’0’｝;int letter(char s){if（(s〉=97)&&（s〈=122）) return(1);else return（0);｝int digit（char s）｛if（(s〉=48）＆＆（s<=57）) return(1)；else return(0);}void get(){s=a［i];i=i+1；｝void retract()｛i=i-1；}int lookup（char token[20］)｛if（strcmp（token，"while"）==0） return（1）;else if(strcmp(token,"if"）==0) return（2）;else if(strcmp(token,"else”）==0） return(3）;else if（strcmp（token，"switch”)==0） return(4）；else if（strcmp（token,"case")==0） return（5）;else return（0）;｝void main(）｛printf（”please input string ：\n"）；i=0;do{i=i+1；scanf("%c",＆a［i]）;｝while（a[i］!=’#’)；i=1;j=0;get();while(s!=’#')｛ memset(token，0，20);switch（s)｛case 'a':case ’b'：case ’c'：case ’d':case ’e’：case ’f’:case 'g’:case ’h'：case 'i'：case ’j'：case 'k’:case ’l':case 'm’：case 'n':case ’o'：case ’p'：case ’q’：case 'r’:case 's’：case 't’:case ’u’：case ’v’:case ’w’:case ’x'：case ’y':case ’z’：while（letter(s）||digit(s)）{token[j］=s;j=j+1；get()；｝retract();k=lookup（token）;if（k==0)printf（"（%d,％s）”,6,token）;else printf("（%d,—)"，k);break;case ’0':case ’1’:case ’2'：case ’3':case '4’：case '5’：case ’6'：case ’7’：case ’8’:case '9’：while（digit(s）)｛token[j]=s;j=j+1；get（）;｝retract(）;printf(”％d,％s",7,token）；break;case '+'：printf(”（’+',NULL)”）；break;case ’-':printf("（’-'，null）"）;break；case ’＊':printf（”（'＊’，null）"）;break;case '<':get()；if(s=='=’） printf（”（relop,LE)”）；else｛retract(）；printf（"（relop，LT)"）;｝break;case ’='：get（）;if(s=='=’）printf（"(relop,EQ)"）；else{retract（）；printf(”('=',null）”)；｝break；case ’；'：printf（”（；,null)")；break；case ' ’：break；default:printf（"！\n”)；}j=0;get(）；｝ }六：实验结果：实验二一、实验名称：语法分析器的设计二、实验目的：用C语言编写对一个算术表达式实现语法分析的语法分析程序，并以四元式的形式输出，以加深对语法语义分析原理的理解,掌握语法分析程序的实现方法和技术.三、实验原理：1、算术表达式语法分析程序的算法思想首先通过关系图法构造出终结符间的左右优先函数f(a)，g(a）。
词法分析器报告
编译原理实验报告实验题目：词法分析器构造
指导教师：杨建
XX：杨先宇
班级：计13-4
学号：
实验成绩：
fclose(fp);
}
system("pause");
exit(0);
}
问题及处理1、源文件在输入时如果发生错误，系统会直接退出黑屏。
不能处理，加入预处理
后错误报警，这样就可以正确识别输入源程序文件。
2ｇｏｔｏ语句要特别注意加以分析。
３预处理文件可以直接调用节约时间，或者解决方法是建立一个菜单选项，可以跳过预处理直接进行词法分析
４程序执行时输出界面要保持准确性输入，以免手误导致程序出错。
实验结果运行程序，显示初始功能菜单：
选择功能1，输入源文件路径，对其进行词法分析：
按任意键继续是调用了系统功能函数system("pause");
按任意键之后：
实验心得词法分析在编译原理课上老师强调了许多，但是编译原理相对较难理解我在课上认真听了老师讲课，但是课下也看了书，觉得理解太难，通过实验认真查资料以及了。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验二词法分析器的构造
一、实验目的
掌握词法分析器的构造原理，掌握手工编程或LEX编程方法之一。
二、实验内容
编写一个词法分析器，能够将输入的源程序转换为单词序列输出。
三、实验指南
1．正则表达式定义
（1）该语言的关键字：if while do break real true false int char bool float (其中，int、char、bool、float在产生式中为basic)
所有的关键字都是保留字，并且必须是小写。
if|then|else|while|do|break|real|true|false|int|char|bool|float
（2）id和num的正则表达式定义；
letter [A-Za-z]
digit [0-9]
id {letter}({letter}|{digit})*
number {digit}+(\.{digit}+)?(E[+-]?{digit}+)?
（3）专用符号：+ - * / < <= > >= == != = ; , ( ) [ ] { }
relop <|<=|=|<>|>|>=|==|!=|=
addop "+"|"-"|"*"|"/"|";"|","|"("|")"|"["|"]"|"{"|"}"
（4）空格由空白、换行符和制表符组成。
空格通常被忽略，除了它必须分开I D、N U M关键字。
delim [ \t \n ]
ws {delim}+
（5）考虑注释。
注释由/*和*/包含。
注释可以放在任何空白出现的位置，且可以超过一行。
注释不能嵌套。
zhushi "/*"(\"\*\/\"|[^*/]|"*"[^/]|[^*]"/"|\/\*)*"*/"
2．源程序测试示例
要求应自行准备多个源程序片段，运行并测试输出是否合符要求。
示例1：
源程序输入：
{
int i;
if ( i >= 0) i = i + 1;
}
输出token序列如下：
示例2：
源程序片段：
{
int i; int j; float v; float x; float[100] a;
while ( true) {
do i = i + 1; while ( a[i] < v);
do j = j - 1; while ( a[j] > v);
if ( i >= j ) break;
x = a[i]; a[i] = a[j]; a[j] = x;
}
}
实例3：
/**chenhuajie*”/”***/
四、心得体会
通过本次实验，我更加了解正则表达式的用法。
掌握了用flex生成词法程序
的方法。
变编译原理这门课有了更具体的认识。