编译原理 实验2 词法分析器
编译原理-实验二-FLEX词法分析器
编译原理-实验⼆-FLEX词法分析器FLEX词法分析器⼀、Lex和Yacc介绍Lex 是⼀种⽣成扫描器的⼯具。
扫描器是⼀种识别⽂本中的词汇模式的程序。
⼀种匹配的常规表达式可能会包含相关的动作。
这⼀动作可能还包括返回⼀个标记。
当 Lex 接收到⽂件或⽂本形式的输⼊时，它试图将⽂本与常规表达式进⾏匹配。
它⼀次读⼊⼀个输⼊字符，直到找到⼀个匹配的模式。
如果能够找到⼀个匹配的模式，Lex 就执⾏相关的动作（可能包括返回⼀个标记）。
另⼀⽅⾯，如果没有可以匹配的常规表达式，将会停⽌进⼀步的处理，Lex 将显⽰⼀个错误消息。
Yacc代表 Yet Another Compiler Compiler 。
Yacc 的 GNU 版叫做 Bison。
它是⼀种⼯具，将任何⼀种编程语⾔的所有语法翻译成针对此种语⾔的 Yacc 语法解析器。
（下载下载flex和bison。
⽹址分别是/packages/flex.htm和/packages/bison.htm。
）⼆、配置环境（win7）①下载flex和bison并安装到D:\GnuWin32（尽量是根⽬录）②由于我们使⽤的flex和bison都是GNU的⼯具，所以为了⽅便，采⽤的C/C++编译器也采⽤GNU的编译器GCC，当然我们需要的也是Windows版本的GCC了。
所以提前准备好VC 6.0③检验是否可以进⾏lex⽂件编译1.新建⽂本⽂件，更改名称为lex.l，敲⼊下⾯代码%{int yywrap(void);%}%%%%int yywrap(void){return 1;}2.新建⽂本⽂件，更改名称为yacc.y,敲⼊下⾯代码%{void yyerror(const char *s);%}%%program:;%%void yyerror(const char *s){}int main(){yyparse();}我们暂且不讨论上⾯代码的意思。
打开控制台，进⼊到刚才所建⽴⽂件（lex.l,yacc.y）所在的⽂件夹。
编译原理词法分析实验报告
编译原理词法分析实验报告实验名称:词法分析器的设计与实现一、实验目的：1.熟悉编译原理中词法分析的基本概念和原理；2.掌握正则表达式的使用方法；3.实现一个简单的词法分析器。
二、实验内容：1.设计一个简单的编程语言，包含如下几种类型的词法单元：关键字、标识符、常量、运算符和界符。
2.使用正则表达式定义每种词法单元的模式。
3.设计一个词法分析器，将源代码中的每个词法单元识别出来并输出。
三、实验步骤：1. 确定编程语言的词法单元类型和正则表达式模式，定义相应的单词类型（如 TokenType）和模式（如 regex）。
2. 实现一个词法分析器的类 Lexer，包含以下方法：(1)一个构造方法，用于初始化词法分析器的输入源代码。
(2) 一个getNextToken方法，用于获取源代码中的下一个词法单元。
3. 在getNextToken方法中，使用正则表达式逐个识别源代码中的词法单元，并返回相应的Token对象。
4. 设计一个Token类，包含以下属性：词法单元类型、词法单元的值和位置信息等。
5.在主程序中使用词法分析器，将源代码中的每个词法单元识别出来并输出。
四、实验结果：1.设计一个简单的编程语言，包含如下词法单元类型（示例）：(1) 关键字：if、else、while、for等；(2)标识符：变量名等；(3)常量：整数、浮点数、字符串等；(4)运算符：+、-、*、/、=等；(5)界符：(、)、{、}、;等。
2. 实现一个词法分析器，识别出源代码中的每个词法单元，并输出相应的Token对象。
五、实验总结：通过本次实验，我熟悉了编译原理中词法分析的基本概念和原理，并掌握了正则表达式的使用方法。
我成功完成了一个简单的词法分析器的设计与实现，实现了源代码中每个词法单元的识别与输出。
这次实验对我深化了对编译原理中词法分析的理解，并提高了我的编程能力。
《编译原理(实验部分)》实验2_PL0词法分析
《编译原理》(实验部分)实验2_PL0 词法分析一、实验目的加深和巩固对于词法分析的了解和掌握；初步认识PL/0 语言的基础和简单的程序编写；通过本实验能够初步的了解和掌握程序词法分析的整个过程；提高自己上机和编程过程中处理具体问题的能力。
二、实验设备1、P C兼容机一台；操作系统为WindowsWindowsX P2、Visual C++ 6.0 或以上版本，Windows 2000 或以上版本，汇编工具 (在Software 子目录下)。
三、实验原理PL/O语言的编译程序，是用高级语言PASCAL语言书写的。
整个编译过程是由一些嵌套及并列的过程或函数完成。
词法分析程序是独立的过程GETSY完成，供语法分析读单词时使用。
四、实验步骤阅读所给出的词法分析程序( pl0_lexical.c )，搞懂程序中每一个变量的含义，以及每一个过程的作用，并在该过程中进行中文注释；阅读完程序后，画出各过程的流程图；给出的程序包含两处输入错误，利用所给的pl/0 源程序(test.pl0) 对程序进行调试，使其能正确对所给文件进行分析并能够解释运行；在阅读懂所给出的词法分析程序后，将你对词法分析的理解写在实验报告上。
实验代码#include<stdio.h>main(){ printf ("my name is 08061118 yuchaofeng ");}主程序：#include <stdio.h>#include <ctype.h>#include <alloc.h>#include <stdlib.h>#include <string.h>#define NULL 0FILE *fp;char cbuffer;char *key[8]={"DO","BEGIN","ELSE","END","IF","THEN","VAR","WHILE"}; char *border[6]={",",";",":=",".","(",")"};char *arithmetic[4]={"+","-","*","/"};char *relation[6]={"<","<=","=",">",">=","<>"};char *consts[20];char *label[20];int constnum=0,labelnum=0;int search(char searchchar[],int wordtype){int i=0;switch (wordtype) {case 1:for (i=0;i<=7;i++){if (strcmp(key[i],searchchar)==0)return(i+1);};case 2:{for (i=0;i<=5;i++){if (strcmp(border[i],searchchar)==0)return(i+1);};return(0);}case 3:{for (i=0;i<=3;i++){ if (strcmp(arithmetic[i],searchchar)==0){};};return(0);};case 4:{for (i=0;i<=5;i++){ if (strcmp(relation[i],searchchar)==0){return(i+1);};};return(0);};case 5:{for (i=0;i<=constnum;i++){ if (strcmp(consts[i],searchchar)==0){return(i+1);};}consts[i-1]=(char *)malloc(sizeof(searchchar));strcpy(consts[i-1],searchchar);constnum++;return(i);};case 6:{for (i=0;i<=labelnum;i++){ if (strcmp(label[i],searchchar)==0){ return(i+1);};}label[i-1]=(char *)malloc(sizeof(searchchar)); strcpy(label[i-1],searchchar);return(i);};}}char alphaprocess(char buffer){int atype;int i=-1;char alphatp[20];while ((isalpha(buffer))||(isdigit(buffer))){ alphatp[++i]=buffer; buffer=fgetc(fp);}; alphatp[i+1]='\0';if (atype=search(alphatp,1)) printf("%s (1,%d)\n",alphatp,atype-1); else { atype=search(alphatp,6);printf("%s (6,%d)\n",alphatp,atype-1); };return(buffer);char digitprocess(char buffer){int i=-1;char digittp[20];int dtype;while ((isdigit(buffer))){ digittp[++i]=buffer;buffer=fgetc(fp);}digittp[i+1]='\0';dtype=search(digittp,5);printf("%s (5,%d)\n",digittp,dtype-1); return(buffer);}char otherprocess(char buffer){int i=-1;char othertp[20];int otype,otypetp;othertp[0]=buffer;othertp[1]='\0';if (otype=search(othertp,3)){printf("%s (3,%d)\n",othertp,otype-1);buffer=fgetc(fp);goto out;};if (otype=search(othertp,4)){buffer=fgetc(fp);othertp[1]=buffer;othertp[2]='\0';if (otypetp=search(othertp,4)){printf("%s (4,%d)\n",othertp,otypetp-1); goto out;}elseothertp[1]='\0';printf("%s (4,%d)\n",othertp,otype-1);goto out;};if (buffer==':'){ buffer=fgetc(fp);if (buffer=='=')printf(":= (2,2)\n");buffer=fgetc(fp);goto out;}else{if (otype=search(othertp,2)){ printf("%s (2,%d)\n",othertp,otype-1); buffer=fgetc(fp); goto out;}};if ((buffer!='\n')&&(buffer!=' '))printf("%c error,not a word\n",buffer); buffer=fgetc(fp);out: return(buffer);} void main(){ int i;for (i=0;i<=20;i++){label[i]=NULL; consts[i]=NULL;};if ((fp=fopen("skh.c","r"))==NULL) printf("error");else{ cbuffer = fgetc(fp);while (cbuffer!=EOF){if (isalpha(cbuffer)) cbuffer=alphaprocess(cbuffer);else if (isdigit(cbuffer))cbuffer=digitprocess(cbuffer); else cbuffer=otherprocess(cbuffer); };printf("over\n");};}。
编译原理实验词法分析实验报告
编译原理实验词法分析实验报告一、实验目的词法分析是编译过程的第一个阶段，其主要任务是从左到右逐个字符地对源程序进行扫描，产生一个个单词符号。
本次实验的目的在于通过实践，深入理解词法分析的原理和方法，掌握如何使用程序设计语言实现词法分析器，提高对编译原理的综合应用能力。
二、实验环境本次实验使用的编程语言为_____，开发工具为_____。
三、实验原理词法分析的基本原理是根据编程语言的词法规则，将输入的字符流转换为单词符号序列。
单词符号通常包括关键字、标识符、常量、运算符和界符等。
词法分析器的实现方法有多种，常见的有状态转换图法和正则表达式法。
在本次实验中，我们采用了状态转换图法。
状态转换图是一种有向图，其中节点表示状态，有向边表示在当前状态下输入字符的可能转移。
通过定义不同的状态和转移规则，可以实现对各种单词符号的识别。
四、实验步骤1、定义单词符号的类别和编码首先，确定实验中要识别的单词符号种类，如关键字（if、else、while 等）、标识符、整数常量、浮点数常量、运算符（＋、、、／等）和界符（括号、逗号等）。
为每个单词符号类别分配一个唯一的编码，以便后续处理。
2、设计状态转换图根据单词符号的词法规则，绘制状态转换图。
例如，对于标识符的识别，起始状态为“起始状态”，当输入为字母时进入“标识符中间状态”，在“标识符中间状态”中，若输入为字母或数字则继续保持该状态，直到遇到非字母数字字符时结束识别，确定为一个标识符。
3、编写词法分析程序根据状态转换图，使用所选编程语言实现词法分析器。
在程序中，通过不断读取输入字符，根据当前状态进行转移，并在适当的时候输出识别到的单词符号。
4、测试词法分析程序准备一组包含各种单词符号的测试用例。
将测试用例输入到词法分析程序中，检查输出的单词符号是否正确。
五、实验代码以下是本次实验中实现词法分析器的核心代码部分：｀｀｀include ＜stdioh>include ＜ctypeh>／／单词符号类别定义typedef enum ｛KEYWORD,IDENTIFIER,INTEGER_CONSTANT,FLOAT_CONSTANT,OPERATOR,DELIMITER｝ TokenType;／／关键字列表char keywords ＝｛＂if"，＂else"，＂while"，＂for"，＂int"，＂float"，＂void"｝；／／状态定义typedef enum ｛START,IN_IDENTIFIER,IN_INTEGER,IN_FLOAT,IN_OPERATOR｝ State;／／词法分析函数TokenType getToken(char token, int tokenLength) ｛State state ＝ START;int i ＝ 0;while （1) ｛char c ＝ getchar(）；switch （state) ｛case START:if （isalpha(c)）｛state ＝ IN_IDENTIFIER;tokeni+＋＝ c;｝ else if （isdigit(c)）｛state ＝ IN_INTEGER;tokeni+＋＝ c;｝ else if （c ＝＝＇＋＇｜｜ c ＝＝＇＇｜｜ c ＝＝＇＇｜｜ c ＝＝＇／＇｜｜ c ＝＝＇（＇｜｜ c ＝＝＇）＇｜｜ c ＝＝＇；＇｜｜ c ＝＝＇，＇）｛state ＝ IN_OPERATOR;tokeni+＋＝ c;｝ else if （c ＝＝＇＇）｛state ＝ IN_FLOAT;tokeni+＋＝ c;｝ else if （c ＝＝ EOF) ｛tokeni ＝＇＼0'；tokenLength ＝ i;return －1;｝ else ｛tokeni ＝＇＼0'；tokenLength ＝ i;return －2;｝break;case IN_IDENTIFIER:if （isalpha(c) ｜｜ isdigit(c)）｛tokeni+＋＝ c;｝ else ｛ungetc(c, stdin)；tokeni ＝＇＼0'；tokenLength ＝ i;／／检查是否为关键字for （int j ＝ 0; j ＜ sizeof(keywords) ／ sizeof(keywords0)； j+＋）｛if （strcmp(token, keywordsj) ＝＝ 0) ｛return KEYWORD;｝｝return IDENTIFIER;｝break;case IN_INTEGER:if （isdigit(c)）｛tokeni+＋＝ c;｝ else if （c ＝＝＇＇）｛state ＝ IN_FLOAT;tokeni+＋＝ c;｝ else ｛ungetc(c, stdin)；tokeni ＝＇＼0'；tokenLength ＝ i;return INTEGER_CONSTANT;｝break;case IN_FLOAT:if （isdigit(c)）｛tokeni+＋＝ c;｝ else ｛ungetc(c, stdin)；tokeni ＝＇＼0'；tokenLength ＝ i;return FLOAT_CONSTANT;｝break;case IN_OPERATOR: tokeni ＝＇＼0'；tokenLength ＝ i;return OPERATOR; break;｝｝｝int main(）｛char token100;int tokenLength;TokenType tokenType;while （（tokenType ＝ getToken(token, ＆tokenLength)）！＝－1) ｛switch （tokenType) ｛case KEYWORD:printf(＂Keyword: ％s\n"， token)；break;case IDENTIFIER:printf(＂Identifier: ％s\n"， token)；break;case INTEGER_CONSTANT:printf(＂Integer Constant: ％s\n"， token)；break;case FLOAT_CONSTANT:printf(＂Float Constant: ％s\n"， token)；break;case OPERATOR:printf(＂Operator: ％s\n"， token)；break;case DELIMITER:printf(＂Delimiter: ％s\n"， token)；break;｝｝return 0;｝｀｀｀六、实验结果对准备的测试用例进行输入，得到的词法分析结果如下：测试用例 1：｀｀｀int main(）｛int num ＝ 10;float pi ＝ 314;if （num ＞ 5) ｛printf(＂Hello, World!＼n"）；｝｝｀｀｀词法分析结果：｀｀｀Keyword: int Identifier: main Delimiter: （Delimiter: ）｛Identifier: num Operator: ＝Integer Constant: 10；Identifier: float Identifier: pi Operator: ＝Float Constant: 314；Keyword: ifDelimiter: （Identifier: numOperator: ＞Integer Constant: 5）｛Identifier: printfDelimiter: （String: ＂Hello, World!＼n" Delimiter: ）；｝｀｀｀测试用例 2：｀｀｀for （int i ＝ 0; i ＜ 10; i+＋）｛double result ＝ i 25;｀｀｀词法分析结果：｀｀｀Keyword: for Delimiter: （Keyword: int Identifier: i Operator: ＝Integer Constant: 0；Identifier: i Operator: ＜Integer Constant: 10；Identifier: i Operator: ＋＋）Identifier: doubleIdentifier: resultOperator: ＝Identifier: iOperator:Float Constant: 25；｝｀｀｀通过对多个测试用例的分析，词法分析器能够正确识别出各种单词符号，实验结果符合预期。
编译原理 词法分析器
一、实验目的和要求：设计并实现一个PL/0语言(或其它语言,如C语言)的词法分析程序，加深对词法分析原理的理解。
二、实验原理：词法分析是从左向右扫描每行源程序的符号，拼成单词，换成统一的机内表示形式——TOKEN字，送给语法分析程序。
TOKEN字是一个二元式：（单词种别码，自身值）。
PL/0语言单词的种别码参见教材（或自行设定），单词自身值按如下规则给出：1 标识符的自身值是它在符号表的入口地址。
2常数的自身值是常数本身（或它的二进制数值）。
3关键字和界限符的自身值为本身。
三、实验步骤与要求1、设计的词法分析器符合软件工程的要求。
2、编制程序,此程序应具有如下功能:1）输入:字符串(待进行词法分析的源程序),输出:由(种别码,自身值)所组成的二元组序列。
2）功能:a.滤空格b.识别保留字c.识别标识符d.拼数e.拼复合单词: 例如：>=、 <=、 :=3）检查如下错误：a.程序语言的字符集以外的非法字符b.单词拼错,如9A88,而对于将begin拼写成begon的错误,只须把begon当成标识符即可3、请指导教师检查程序和运行结果，评定成绩。
4、撰写并上交实验报告。
四、试验设计和算法分析：实验原理：程序流程：置初值→调用扫描子程序→输出串结束→输出单词二元组→是→否→结束词法分析主程序示意图待分析的简单语言的词法(1) 关键字：begin if then while do end所有关键字都是小写。
（2）运算符和界符：：= + - * / < > <= <> >= ; ( ) #(3)：其他单词是标识符（ID）和整型常数（NUM），通过以下正规式定义：ID=letter(letter | digit)*NUM=digit digit*(4)空格由空白、制表符和换行符组成。
空格一般用来分隔ID、NUM、运算符、界符和关键字，词法分析阶段通常被忽略。
、设计的词法分析器符合软件工程的要求。
编译原理实验整体(2)词法分析器实验报告
int index = stIndexOf("//");
String tmpstr=line.substring(index);
int tmpint = tmpstr.length();
for(int k=0;k<tmpint;k++)
{
i++;
}
token = tmpstr;
{"if",6,"IF"}, {"int",7,"INT"}, {"return",8,"RETURN"},
{"void",9,"VOID"}, {"while",10,"WHILE"},
{"printf",41,"OUTPUT"}, {"scanf",42,"INPUT"},
{"main",43,"MAIN"}, {"function",44,"function"}
if (ch == '\0') {
haveMistake = true;
break;
}
for (int k = 0; k < 4; k++) {
char tmpstr[] = stConDFA[s].toCharArray();
if (in_stConDFA(ch, tmpstr[k])) {
token1 += ch;
理论基础：有限自动机、正规文法
词法分析器：执行词法分析的程序
编译原理词法分析器语法分析器实验报告
printf("请输入各终结符（#号表示结束）Vt[i]:\n");
for(i=0;i<100;i++)
{
scanf("%c",&Vt[i]);
if(Vt[i]=='#')
{
r=i;
break;
}
}
printf("请输入非终结符个数:\n");
scanf("%d",&n);
getchar();
p=s->next;
while(p!=NULL)
{
st[i++]=p->data;
p=p->next;
}
for(j=i-1;j>=0;j--)
printf("%c",st[j]);
for(j=0;j<16-i;j++) //打印对齐格式
printf("%c",' ');
}
char gettop(stackk *s) //返回栈顶元素值
{
stackk *p;
p=(stackk *)malloc(sizeof(stackk));
p->data=x;
p->next=s->next;
s->next=p;
}
void display(stackk *s) //打印现实显示栈内元素
{
stackk *p;
int i=0,j;
char st[100];
#include<string.h>
#include<malloc.h>
编译原理报告—词法分析器
词法分析器的作用词法分析是编译的第一阶段。
词法分析器的主要任务是读入源程序的输入字符，将它们组成词素，生成并输出一个词法单元序列，这个词法单元序列被输出到语法分析器进行语法分析。
另外，由于词法分析器在编译器中负责读取源程序，因此除了识别词素之外，它还会完成一些其他任务，比如过滤掉源程序中的注释和空白，将编译器生成的错误消息与源程序的位置关联起来等。
总而言之，词法分析器的作用如下：1.读入源程序的输入字符，将它们组成词素，生成并输出一个词法单元序列；2.过滤掉源程序中的注释和空白；3.将编译器生成的错误消息与源程序的位置关联起来；4.其它。
词法分析过程首先，对某个正则语言L，构造能够描述其的正则表达式r；然后，需要将r 转换成一个有穷自动机。
这里有三种方法，一是直接转换成NFA，而是直接转换成DFA，三是先转换成NFA，再把NFA 转换成DFA；最后，如果将r 转换成了一个DFA，需要将此DFA 的状态数最小化。
正则表达式正则表达式可以用来描述词素的模式，一个正则表达式可以由较小的正则表达式递归的构建。
对于符号集合∑={a，b}，有：-正则表达式a 表示语言{a}；-正则表达式a|b 表示语言{a，b}；-正则表达式(a|b)(a|b)表示语言{aa，ab，ba，bb}；-正则表达式a*表示语言{ε，a，aa，aaa，…}；-正则表达式(a|b)*表示语言{ε，a，b，aa，ab，ba，bb，aaa，…}；-正则表达式a|a*b 表示语言{a，b，ab，aab，aaab，…}。
上面通过基本的并、连接和闭包运算递归定义了正则表达式有穷自动机一个有穷自动机可以把一个描述词素的模式变成一个词法分析器，从本质上来讲，有穷自动机是与状态转换图相类似的图，它有以下特点：有穷自动机是一个识别器，它只能对每个输入符号串简单的输出“yes”或“no”，表示是否能够识别此符号串；有穷自动机和状态转换图类似，它具有有限个数的结点，每个结点表示一个状态，并且这些状态中有一个初始状态和若干个终止状态。
编译原理实验报告——词法分析器(内含源代码)
编译原理实验（一）——词法分析器一．实验描述运行环境：vc++2008对某特定语言A ，构造其词法规则。
该语言的单词符号包括：12状态转换图3程序流程：词法分析作成一个子程序，由另一个主程序调用，每次调用返回一个单词对应的二元组，输出标识符表、常数表由主程序来完成。
二．实验目的通过动手实践，使学生对构造编译系统的基本理论、编译程序的基本结构有更为深入的理解和掌握；使学生掌握编译程序设计的基本方法和步骤；能够设计实现编译系统的重要环节。
同时增强编写和调试程序的能力。
三．实验任务编制程序实现要求的功能，并能完成对测试样例程序的分析。
四．实验原理char set[1000],str[500],strtaken[20];//set[]存储代码,strtaken[]存储当前字符char sign[50][10],constant[50][10];//存储标识符和常量定义了一个Analyzer类class Analyzer{public:Analyzer(); //构造函数 ~Analyzer(); //析构函数int IsLetter(char ch); //判断是否是字母，是则返回 1，否则返回 0。
int IsDigit(char ch); //判断是否为数字，是则返回 1，否则返回 0。
void GetChar(char *ch); //将下一个输入字符读到ch中。
void GetBC(char *ch); //检查ch中的字符是否为空白，若是，则调用GetChar直至ch进入一个非空白字符。
void Concat(char *strTaken, char *ch); //将ch中的字符连接到strToken之后。
int Reserve(char *strTaken); //对strTaken中的字符串查找保留字表，若是一个保留字返回它的数码，否则返回0。
void Retract(char *ch) ; //将搜索指针器回调一个字符位置，将ch置为空白字符。
编译原理的实验报告
一、实验目的1. 理解编译原理的基本概念和原理。
2. 掌握编译器的各个阶段及其实现方法。
3. 能够运用编译原理的知识解决实际问题。
二、实验环境1. 操作系统：Windows 102. 编程语言：C++3. 开发工具：Visual Studio 20194. 实验内容：词法分析、语法分析、语义分析、中间代码生成、代码优化、目标代码生成三、实验内容1. 词法分析（1）实验目的：实现一个简单的词法分析器，将源代码中的字符序列转换为词法符号序列。
（2）实验步骤：1）定义词法符号类型，包括标识符、关键字、运算符、常量等。
2）设计词法分析器算法，对源代码进行遍历，将字符序列转换为词法符号序列。
3）实现词法分析器程序，输出词法符号序列。
（3）实验结果：输入源代码：int a = 10;输出词法符号序列：{<int, int>, <a, a>, <=, =>, <10, 10>, <;, ;>}2. 语法分析（1）实验目的：实现一个简单的语法分析器，将词法符号序列转换为抽象语法树（AST）。
（2）实验步骤：1）定义语法规则，包括产生式、非终结符、终结符等。
2）设计语法分析算法，根据语法规则对词法符号序列进行解析，生成AST。
3）实现语法分析器程序，输出AST。
（3）实验结果：输入词法符号序列：{<int, int>, <a, a>, <=, =>, <10, 10>, <;, ;>}输出AST：```AST:- ExpressionStatement- Expression- BinaryExpression- Identifier: a- Operator: =- Constant: 10```3. 语义分析（1）实验目的：实现语义分析器，对AST进行语义检查，确保程序的正确性。
（2）实验步骤：1）定义语义规则，包括类型检查、作用域检查等。
编译原理实验词法分析器与语法分析器实现
编译原理实验词法分析器与语法分析器实现词法分析器与语法分析器是编译器的两个重要组成部分，它们在编译过程中扮演着至关重要的角色。
词法分析器负责将源代码转化为一个个标记（token）序列，而语法分析器则根据词法分析器生成的标记序列构建语法树，验证源代码的语法正确性。
本实验旨在实现一个简单的词法分析器和语法分析器。
实验一：词法分析器实现在实现词法分析器之前，需要定义所需词法项的规则。
以C语言为例，常见的词法项包括关键字（如int、if、for等）、标识符、运算符（如+、-、*、/等）、常量（如整数、浮点数等）和分隔符（如括号、逗号等）。
接下来，我们来实现一个简单的C语言词法分析器。
1. 定义词法项的规则在C语言中，关键字和标识符由字母、数字和下划线组成，且首字符不能为数字。
运算符包括各种数学运算符和逻辑运算符。
常量包括整数和浮点数。
分隔符包括括号、逗号等。
2. 实现词法分析器的代码下面是一个简单的C语言词法分析器的实现代码：```pythondef lexer(source_code):keywords = ['int', 'if', 'for'] # 关键字列表operators = ['+', '-', '*', '/'] # 运算符列表separators = ['(', ')', '{', '}', ',', ';'] # 分隔符列表tokens = [] # 标记序列列表current_token = '' # 当前标记for char in source_code:if char.isspace(): # 如果是空格，则忽略continueelif char.isalpha(): # 如果是字母，则可能是关键字或标识符的一部分current_token += charelif char.isdigit(): # 如果是数字，则可能是常量的一部分current_token += charelif char in operators or char in separators: # 如果是运算符或分隔符，则当前标记结束if current_token:tokens.append(current_token)current_token = ''tokens.append(char)else: # 如果是其他字符，则当前标记结束if current_token:tokens.append(current_token)current_token = ''return tokens```以上代码通过遍历源代码的字符，根据定义的规则生成一个个标记，存储在`tokens`列表中。
编译原理实验报告(词法分析器语法分析器)
编译原理实验报告实验一一、实验名称：词法分析器的设计二、实验目的：1，词法分析器能够识别简单语言的单词符号2，识别出并输出简单语言的基本字.标示符.无符号整数.运算符.和界符。
三、实验要求：给出一个简单语言单词符号的种别编码词法分析器四、实验原理：1、词法分析程序的算法思想算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。
2、程序流程图（1）主程序（2）扫描子程序3、各种单词符号对应的种别码五、实验容：1、实验分析编写程序时，先定义几个全局变量a[]、token[]（均为字符串数组),c,s( char型)，i,j,k （int型），a[]用来存放输入的字符串，token[]另一个则用来帮助识别单词符号，s用来表示正在分析的字符。
字符串输入之后，逐个分析输入字符，判断其是否‘#’，若是表示字符串输入分析完毕，结束分析程序，若否则通过int digit(char c)、int letter(char c)判断其是数字，字符还是算术符,分别为用以判断数字或字符的情况，算术符的判断可以在switch语句中进行，还要通过函数int lookup(char token[])来判断标识符和保留字。
2 实验词法分析器源程序：#include <stdio.h>#include <math.h>#include <string.h>int i,j,k;char c,s,a[20],token[20]={'0'};int letter(char s){if((s>=97)&&(s<=122)) return(1);else return(0);}int digit(char s){if((s>=48)&&(s<=57)) return(1);else return(0);}void get(){s=a[i];i=i+1;}void retract(){i=i-1;}int lookup(char token[20]){if(strcmp(token,"while")==0) return(1);else if(strcmp(token,"if")==0) return(2);else if(strcmp(token,"else")==0) return(3);else if(strcmp(token,"switch")==0) return(4);else if(strcmp(token,"case")==0) return(5);else return(0);}void main(){printf("please input string :\n");i=0;do{i=i+1;scanf("%c",&a[i]);}while(a[i]!='#');i=1;j=0;get();while(s!='#'){ memset(token,0,20);switch(s){case 'a':case 'b':case 'c':case 'd':case 'e':case 'f':case 'g':case 'h':case 'i':case 'j':case 'k':case 'l':case 'm':case 'n':case 'o':case 'p':case 'q':case 'r':case 's':case 't':case 'u':case 'v':case 'w':case 'x':case 'y':case 'z':while(letter(s)||digit(s)){token[j]=s;j=j+1;get();}retract();k=lookup(token);if(k==0)printf("(%d,%s)",6,token);else printf("(%d,-)",k);break;case '0':case '1':case '2':case '3':case '4':case '5':case '6':case '7':case '8':case '9':while(digit(s)){token[j]=s;j=j+1;get();}retract();printf("%d,%s",7,token);break;case '+':printf("('+',NULL)");break;case '-':printf("('-',null)");break; case '*':printf("('*',null)");break;case '<':get();if(s=='=') printf("(relop,LE)");else{retract();printf("(relop,LT)");}break;case '=':get();if(s=='=')printf("(relop,EQ)");else{retract();printf("('=',null)");}break;case ';':printf("(;,null)");break;case ' ':break;default:printf("!\n");}j=0;get();} }六：实验结果：实验二一、实验名称：语法分析器的设计二、实验目的：用C语言编写对一个算术表达式实现语法分析的语法分析程序，并以四元式的形式输出，以加深对语法语义分析原理的理解，掌握语法分析程序的实现方法和技术。
编译原理实验报告词法分析器语法分析器
头验一一、实验名称：词法分析器的设计二、实验目的：1词法分析器能够识别简单语言的单词符号2 ，识别出并输出简单语言的基本字•标示符.无符号整数•运算符.和界符三、实验要求：给出一个简单语言单词符号的种别编码词法分析器四、实验原理：1、词法分析程序的算法思想算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。
2、程序流程图（1）主程序验报告(2)扫描子程序3、各种单词符号对应的种别码单词符号种别码助记符内码值while 1 while -if 2 if -else 3 else -switch 4 switch -case 5 case -标识符6 id id在符号表中的位置常数7 num num在常数表中的位置+ 8 + -- 9 - -* 10 * -<= 11 relop LE< 11 relop LT== 11 relop EQ= 12 = -J 13J-五、实验内容：1、实验分析编写程序时，先定义几个全局变量a[] 、token[] (均为字符串数组),c,s( char 型)，i,j,k (int型)，a[]用来存放输入的字符串，token[] 另一个则用来帮助识别单词符号，s 用来表示正在分析的字符。
字符串输入之后，逐个分析输入字符，判断其是否‘#'，若是表示字符串输入分析完毕，结束分析程序，若否则通过int digit(char c) 、int letter(char c) 判断其是数字，字符还是算术符, 分别为用以判断数字或字符的情况，算术符的判断可以在switch 语句中进行，还要通过函数int lookup(char token[]) 来判断标识符和保留字。
2 实验词法分析器源程序：#include <stdio.h> #include <math.h> #include <string.h> int i,j,k;char c,s,a[20],token[20]={'0'};int letter(char s){if((s>=97)&&(s<=122)) return(1);else return(0);}int digit(char s){if((s>=48)&&(s<=57)) return(1);else return(0);void get(){s=a[i];i=i+1;}void retract(){i=i-1;}int lookup(char token[20]){ if(strcmp(token,"while")==0) return(1);else if(strcmp(token,"if")==0) return(2);else if(strcmp(token,"else")==0) return(3);else if(strcmp(token,"switch")==0) return(4);else if(strcmp(token,"case")==0) return(5);else return(0);}void main(){printf("please input string :\n");i=0;do{i=i+1;scanf("%c",&a[i]);}while(a[i]!='#');i=1;j=0;get();while(s!='#'){ memset(token,0,20); switch(s){case 'a':case 'b':case 'c':case 'd':case 'e':case 'f':case 'g':case 'h':case 'i':case 'j':case 'k':case 'l':case 'm':case 'n':case 'o':case 'p': case 'q': case 'r':case 's':case 't':case 'u':case 'v':case 'w':case 'x':case 'y':case 'z':while(letter(s)||digit(s)) {token[j]=s;j=j+1;get();}retract();k=lookup(token); if(k==0)printf("(%d,%s)",6,token); else printf("(%d,-)",k); break; case '0': case '1':case '2':case '3':case '4':case '5':case '6':case '7':case '8':case '9':while(digit(s)){token[j]=s;j=j+1;get();}retract();printf("%d,%s",7,token); break;case '+':printf("('+',NULL)");break;case '-':printf("('-',null)");break;case '*':printf("('*',null)");break;case '<':get();if(s=='=') printf("(relop,LE)");else{retract();printf("(relop,LT)");}break;case '=':get();if(s=='=')printf("(relop,EQ)");else{retract();printf("('=',null)");}break;case ';':printf("(;,null)");break;case ' ':break; default:printf("!\n");}j=0;get();六：实验结果:实验二一、实验名称：语法分析器的设计二、实验目的：用C语言编写对一个算术表达式实现语法分析的语法分析程序，并以四元式的形式输出，以加深对语法语义分析原理的理解，掌握语法分析程序的实现方法和技术。
编译原理实验报告--词法分析器
编译原理实验—词法分析器一、实验目的通过动手实践，使学生对构造编译系统的基本理论、编译程序的基本结构有更为深入的理解和掌握；使学生掌握编译程序设计的基本方法和步骤；能够设计实现编译系统的重要环节。
同时增强编写和调试程序的能力。
二、实验内容及要求对某特定语言A ，构造其词法规则。
该语言的单词符号包括：保留字(见左下表)、标识符（字母大小写不敏感）、整型常数、界符及运算符(见右下表) 。
功能要求如下所示：·按单词符号出现的顺序，返回二元组序列，并输出。
·出现的标识符存放在标识符表，整型常数存放在常数表，并输出这两个表格。
·如果出现词法错误，报出：错误类型，位置（行，列）。
·处理段注释（/* */），行注释（//）。
·有段注释时仍可以正确指出词法错误位置（行，列）。
三、实验过程1、词法形式化描述使用正则文法进行描述，则可以得到如下的正规式:其中ID表示标识符，NUM表示整型常量，RES表示保留字，DEL表示界符，OPR表示运算符。
A→(ID | NUM | RES | DEL | OPR) *ID→letter(letter | didit)*NUM→digit digit*letter→a | … | z | A | … | Zdigit→ 0 | … | 9RES→ program | begin | end | var | int | and | or | not | if | then | else | while | doDEL→( | ) | . | ; | ,OPR→+ | * | := | > | < | = | >= | <= | <>如果关键字、标识符和常数之间没有确定的算符或界符作间隔，则至少用一个空格作间隔。
空格由空白、制表符和换行符组成。
2、单词种别定义；A语言中的单词符号及其对应的种别编码如下表所示：单词符号种别编码单词符号种别编码3、状态转换图；语言A的词法分析的状态转换图如下所示：空格符，制表符或回车符字母或数字4、java旗舰版5、关键算法的流程图及文字解释；程序中用到的函数列表：A类定义各种类函数以及包含主函数public static void main（）变量ch储存当前最新读进的字符的地址strToken存放当前字符串main（） //主函数Analysis（）//分析函数，每次读入一行文件，进行识别处理；char GetChar(); //取得当前位置的字符的内容放入ch，并提前指向下一个字符；char GetNextChar（）；//取得当前位置的下一位置的字符，String ConCat(); //将ch指向的字符连接到strToken后面isLetter(); //判断ch指向的字符是否字母isDigit(); //判断ch指向的字符是否数字add（p，str）; //向p表中插入当前strToken的字符串Boolean findKeyWord(str); //检测当前strToken中的字符串是否保留字,若是,则执行getKeyWordKey（str），返回保留字的id，否则，判别其是否是已存在的标示符，若是，返回标示符的id以及该标示符在表中的位置；findPunctuation（）//判断是否是一个保留的符号；getindex（） //返回已经识别的标示符或者是数字的位置下标；Boolean exist(); //检测当前strToken中的字符串是否在标识符表中已存在,若是,则返回true,否则返回falsevoid callError(); //出错处理过程,将错误的位置报告出来（1）main（）函数的流程图如下:）具体分析流程图：开始类初始化，变量的初始化，准备执行main（）函数调用Analyse（）函数分析输出结果表结束Analyse（str）函数读取第一个字符赋给变量Ch继续判读IndexoutofBound6、测试报告（测试用例，测试结果）；首先输入一个不含错误的程序（两种注释）进行检测：运行后在控制台上得到的结果如下所示：得到的二元组序列如下：经检验，输出的是正确的二元组序列。
编译原理 实验报告(词法分析器)
实验LEX词法分析器自动生成器一、实验内容：用词法分析自动生成器LEX构造一个简单词法分析器，它能识别文件新行并为其添加行号，并将分析结果发送到屏幕上。
二、实验目的：1.掌握LEX源程序的编写方法。
2.掌握自动生成词法分析器LEX的使用方法和工作原理。
LEX源程序*.L通过LEX编译程序，产生一个C语言版本的词法分析程序*.C。
然后通过C语言编译器，将词法分析程序*.C转换成一个可执行文件*.EXE。
再编制一个测试文本文件*.TXT。
用生成的词法分析程序的可执行文件，对测试程序进行词法分析.三、实验要求1.写好实验预习报告；2.编写上机源程序和测试程序；3.写出实验结果；4.实验完后要上交实验报告；四、相关说明LEX上机过程部分：1）利用编辑器如EDIT编写LEX源程序和测试程序，如SHIYAN11.L和TEST.TXT；2）用LEX编译器编译LEX源程序SHIYAN11.L，格式为：LEX SHIYAN11.L↙如果LEX源程序没有语法错误，将得到一个用C语言描述的没有语法错误词法分析器SHIYAN11.C；3）在TC环境下，对SHIYAN11.C进行编译、连接，从而得到可执行的词法分析器SHIYAN11.EXE；4）利用SHIYAN11.EXE对TEST.TXT进行词法分析，格式为：SHIYAN0.EXE<TEST.TXT↙如果没有写测试程序TEST.TXT，则可测试其他某个程序如SHIYAN11.L。
LEX上机过程如下图所示（alt+c）：五、实验器材硬件：PC机一台软件：Turbo C、LEX.EXE六、参考程序1.LEX源程序：shiyan11.L%{#include "stdio.h"int lineno=1;（）%}line .*\n%%{line} {printf("%2d %s",lineno++,yytext);}%%main(){yylex();return 0;}2.shiyan11.EXE分析shiyan11.L的实验效果如下图所示：。
编译原理词法分析器实验报告
编译原理词法分析器实验报告1. 引言编译原理是计算机科学中的重要概念，它涉及将高级语言程序转换为计算机可执行的低级指令。
词法分析是编译过程中的第一个阶段，它负责将源代码分解为词法单元，为后续的语法分析做准备。
本实验旨在设计和实现一个基本的词法分析器，以了解词法分析的原理和实际应用。
2. 实验目标本实验的主要目标是实现一个基本的词法分析器，能够识别并提取源代码中的各种词法单元。
具体而言，我们将设计一个针对某种编程语言的词法分析器，能够识别关键字、标识符、算术运算符、括号、常量等。
3. 实验环境为了完成本实验，我们需要使用以下工具和环境：•一种编程语言，例如Python、Java或C++•一个文本编辑器，例如Visual Studio Code或Sublime Text•一个命令行终端4. 实验步骤4.1 定义词法规则首先，我们需要定义词法分析器的词法规则。
这些规则描述了编程语言中各种词法单元的模式。
例如，关键字可以被定义为由特定字符组成的字符串，标识符可以被定义为以字母开头并由字母和数字组成的字符串。
4.2 实现词法分析器接下来，我们将根据定义的词法规则，使用编程语言实现一个词法分析器。
在实现过程中，我们可以使用正则表达式来匹配和提取各种词法单元。
4.3 编写测试用例完成词法分析器的实现后，我们需要编写一些测试用例来验证其正确性。
测试用例应该包含各种可能的输入情况，以确保词法分析器能够正确地识别和提取词法单元。
4.4 运行测试用例最后，我们将使用编写的测试用例来运行词法分析器，并检查输出是否符合预期。
如果测试通过，说明词法分析器能够正常工作；否则，我们需要检查代码并进行调试。
5. 实验结果经过实验，我们成功地设计并实现了一个基本的词法分析器。
该词法分析器能够按照预定义的词法规则，正确地识别和提取源代码中的各种词法单元。
在运行测试用例时，词法分析器能够产生符合预期的输出，表明其具有良好的准确性和可靠性。
编译原理实验-词法分析器
编译原理实验-词法分析器⼀、实验⽬的设计、编制、调试⼀个词法分析程序，对单词进⾏识别和编码，加深对词法分析原理的理解。
⼆、实验内容1.选定语⾔，编辑任意的源程序保存在⽂件中；2.对⽂件中的代码预处理，删除制表符、回车符、换⾏符、注释、多余的空格并将预处理后的代码保存在⽂件中；3.扫描处理后的源程序，分离各个单词符号，显⽰分离的单词类型。
三、实验思路对于实验内容1，选择编写c语⾔的源程序存放在code.txt中，设计⼀个c语⾔的词法分析器，主要包含三部分，⼀部分是预处理函数，第⼆部分是扫描判断单词类型的函数，第三部分是主函数，调⽤其它函数；对于实验内容2，主要实现在预处理函数processor()中，使⽤⽂档操作函数打开源程序⽂件(code.txt)，去除两种类型（“//”,“/*…*/”）的注释、多余的空格合并为⼀个、换⾏符、回车符等，然后将处理后的保存在另⼀个新的⽂件(afterdel.txt)中，最后关闭⽂档。
对于实验内容3，打开处理后的⽂件，然后调⽤扫描函数，从⽂件⾥读取⼀个单词调⽤判断单词类型的函数与之前建⽴的符号表进⾏对⽐判断，最后格式化输出。
四、编码设计代码参考了两篇博主的，做了部分改动，添加了预处理函数等1 #include<iostream>2 #include<fstream>3 #include<cstdio>4 #include<cstring>5 #include<string>6 #include<cstdlib>78using namespace std;910int aa;// fseek的时候⽤来接着的11string word="";12string reserved_word[20];//保留13char buffer;//每次读进来的⼀个字符14int num=0;//每个单词中当前字符的位置15int line=1; //⾏数16int row=1; //列数，就是每⾏的第⼏个17bool flag; //⽂件是否结束了18int flag2;//单词的类型192021//预处理函数22int processor(){//预处理函数23 FILE *p;24int falg = 0,len,i=0,j=0;25char str[1000],str1[1000],c;26if((p=fopen("code.txt","rt"))==NULL){27 printf("⽆法打开要编译的源程序");28return0;29 }30else{31//fgets(str,1000,p);32while((c=getc(p))!=EOF){33 str[i++] = c;34 }35 fclose(p);36 str[i] = '\0';37for(i=0;i<strlen(str);i++){38if(str[i]=='/'&&str[i+1]=='/'){39while(str[i++]!='\n'){}40 }//单⾏注释41else if(str[i]=='/'&&str[i+1]=='*'){42while(!(str[i]=='*'&&str[i+1]=='/')){i++;}43 i+=2;44 }//多⾏注释45else if(str[i]==''&&str[i+1]==''){46while(str[i]==''){i++;}47 i--;48if(str1[j-1]!='')49 str1[j++]='';50 }//多个空格，去除空格51else if(str[i]=='\n') {52if(str1[j-1]!='')53 str1[j++]='';54 }//换⾏处理，55else if(str[i]==9){56while(str[i]==9){57 i++;58 }59if(str1[j-1]!='')60 str1[j++]='';61 i--;62 }//tab键处理63else str1[j++] = str[i];//其他字符处理64 }65 str1[j] = '\0';66if((p = fopen("afterdel.txt","w"))==NULL){ 67 printf("can not find it!");68return0;69 }70else{71if(fputs(str1,p)!=0){72 printf("预处理失败！");73 }74else printf("预处理成功！");75 }76 fclose(p);77 }78return0;79 }8081//设置保留字82void set_reserve()83 {84 reserved_word[1]="return";85 reserved_word[2]="def";86 reserved_word[3]="if";87 reserved_word[4]="else";88 reserved_word[5]="while";89 reserved_word[6]="return";90 reserved_word[7]="char";91 reserved_word[8]="for";92 reserved_word[9]="and";93 reserved_word[10]="or";94 reserved_word[11]="int";95 reserved_word[12]="bool";96 }9798//看这个字是不是字母99bool judge_word(char x)100 {101if(x>='a' && x<='z' || x>='A' && x<='Z' ){ 102return true;103 }104else return false;105 }106107//看这个字是不是数字108bool judge_number(char x)109 {110if(x>='0' && x<='9'){111return true;112 }113else return false;114 }115116//看这个字符是不是界符117bool judge_jiefu(char x)118 {119if(x=='('||x==')'||x==','||x==';'||x=='{'||x=='}'){ 120return true;121 }122else return false;123 }124125126//加减乘127bool judge_yunsuanfu1(char x)128 {129if(x=='+'||x=='-'||x=='*')130 {131return true;132 }133else return false;134 }135136//等于赋值，⼤于⼩于⼤于等于，⼩于等于，⼤于⼩于137bool judge_yunsuannfu2(char x)138 {139if(x=='='|| x=='>'||x=='<'||x=='&'||x=='||'){140return true;141 }142else return false;143 }144145146//这个最⼤的函数的总体作⽤是从⽂件⾥读⼀个单词147int scan(FILE *fp)148 {149 buffer=fgetc(fp);//读取⼀个字符150if(feof(fp)){//检测结束符151 flag=0;return0;152 }153else if(buffer=='')154 {155 row++;156return0;157 }158else if(buffer=='\n')159 {160 row=1;161return0;162 }163//如果是字母开头或'_' 看关键字还是普通单词164else if(judge_word(buffer) || buffer=='_')165 {166 word+=buffer;167 row++;168while((buffer=fgetc(fp)) && (judge_word(buffer) || judge_number(buffer) || buffer=='_'))169 {170 word+=buffer;171 row++;172 }173if(feof(fp)){174 flag=0;175return1;176 }177for(int i=1;i<=12;i++){178if(word==reserved_word[i]){179 aa=fseek(fp,-1,SEEK_CUR);//如果执⾏成功，stream将指向以fromwhere为基准，偏移offset（指针偏移量）个字节的位置，函数返回0。
编译原理 实验2 词法分析器
编译原理实验2 词法分析器一、实验目的1. 通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。
2. 掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。
3. 编制一个读单词的程序，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符和分隔符五大类。
并依次输出各个单词的内部编码及单词符号自身值。
（遇到错误时可显示“Error”，然后跳过错误部分继续显示）二、词法分析的基础知识1. 词法分析器的功能和输出格式词法分析器的功能是输入源程序，输出单词符号。
词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。
在本实验中，采用的是一类符号一种别码的方式。
标识符的BNF表示：<标识符>-> <字母><字母数字串><字母数字串>-><字母><字母数字串>|<数字><字母数字串>|ε无符号整数的BNF表示：<无符号整数>-> <数字><数字串><数字串>-> <数字><数字串> |ε运算符的BNF表示：<加法运算符>-> +<减法运算符>-> -<大于关系运算符>-> ><大于等于关系运算符>-> >=2. 超前搜索词法分析时，常常会用到超前搜索方法。
如当前待分析字符串为“a > i”，当前字符为“>”，此时，分析器到底是将其分析为大于关系运算符还是大于等于关系运算符呢？显然，只有知道下一个字符是什么才能下结论。
于是分析器读入下一个字符“+”，这时可知应将“>”解释为大于运算符。
但此时，超前读了一个字符“i”，所以要回退一个字符，词法分析器才能正常运行。
编译原理实验报告——词法分析器
编译原理实验报告姓名：关海超学号：200807010209专业：计算机科学与技术班级：08—02班一、实验目的通过设计调试词法分析程序，实现从源程序中分出各种单词的方法；加深对课堂教学的理解；提高词法分析方法的实践能力。
二、词法分析器的实现1、词法分析过程的考虑词法分析器的任务是将程序源代码看做一个字符串，只需从中分离出一个个具有独立意义的单词（包括标识符，符号和常量）即可，而无需考虑其在上下文环境中的正确性。
基于此认识，词法分析的过程可如下描述：本程序中用户源程序存储在文件“E:\prog.txt”文件中，程序首先调用readFromFile()函数将源程序代码从文件中读出，放到数组中暂存，然后主函数调用scaner()函数对其进行逐个扫描，分离出的每个独立单词进行分类判断，构成二元组形式，再将其输出的文件“E:\result.txt”中进行保存。
2、各种单词符号对应的种别码0 标识符21 ret 42 ++ 63 ||1 整型常量22 sho 43 -- 64 ?:2 auto 23 sig 44 - 65 =3 brea 24 siz 45 * 66 +=4 case 25 sta 46 & 67 -=5 char 26 str 47 / 68 *=6 cons 27 swi 48 % 69 /=7 cont 28 typ 49 + 70 %=8 defa 29 uni 50 - 71 >>=9 do 30 uns 51 << 72 <<=10 dou 31 voi 52 >> 73 &=11 els 32 vol 53 < 74 ^=12 enu 33 whi 54 <= 75 |=13 ext 34 ( 55 > 76 ,14 flo 35 ) 56 >= 77 '15 for 36 [ 57 == 78 ;16 got 37 ] 58 != 79 :17 if 38 -> 59 & 80 \{18 int 39 . 60 ^ 81 }19 lon 40 ! 61 | 82 //20 reg 41 ~ 62 &&3、关键数据结构的描述计数器count：将二元组写入文件时通过count判断是否是首次写入，若是则清空文件，否则追加写入；字符串常量endStr：其值为“end”，在分析判断每一单词的种类时，该字符串作为rwtab表的结束标志；数组prog[200]：暂存从文件中读取的源程序代码，该词法分析器约定源代码长度不超过199；数组token[20]：暂存每次分离出的单个具有独立意义的单词，该词法分析器约定每个单词的长度不超过19；结构体result：存放一个单词的种别码和单词本身的值，在写入文件时以结构体中的元素为单位依次写入；4、程序结构的描述本程序采用结构化设计方法，共有两个文件，六个模块，分别介绍如下：rwtab.h文件包含一个模块，即各种单词符号对应的种别码，作为外部文件被main.cpp文件引用。
计算机编译原理---词法分析器实验报告
编译原理实验报告书词法分析器目录1、摘要： (2)2、实验目的： (2)3、任务概述 (3)4、实验依据的原理 (3)5、程序设计思想 (5)6、实验结果分析 (7)7、总结 (9)1、摘要：本实验用C/C++高级语言编写词法分析程序，通过课堂上对词法分析器相关的背景知识的足够了解，清晰词法分析的过程，在脑海中形成词法分析的一般方案，根据方案一步步所要实现的目的，形成对词法分析器程序的模块划分和整体规划，最终实现一个词法分析器。
具体要求能够通过扫描源程序分析出单词符号，将相应字符流转换成内码。
2、实验目的：通过设计、调试词法分析程序，实现从源程序中分出各种单词的方法；熟悉词法分析程序所用的工具自动机，进一步理解自动机理论。
掌握文法转换成自动机的技术及有穷自动机实现的方法。
确定词法分析器的输出形式及标识符与关键字的区分方法。
加深对课堂教学的理解；提高词法分析方法的时间能力。
通过本实验，掌握从源程序文件中读取有效字符的方法和产生源程序的内部表示文件的方法以及掌握词法分析的实现方法，并可以成功的上机调试编出词法分析程序。
3、任务概述用C／C++实现对Pascal的子集程序设计语言的词法识别程序。
词法分析程序的主要工作为：（1）从源程序文件中读入字符。
（2）统计行数和列数用于错误单词的定位。
（3）删除空格类字符，包括回车、制表符空格。
（4）按拼写单词，并用（内码，属性）二元式表示。
（5）根据需要是否填写标识符表供以后各阶段使用。
4、实验依据的原理（1）词法分析器工作流程图图1 词法分析器工作流程图实现流程：从左至右逐个字符地对源程序进行扫描，产生一个个的单词符号，把作为字符串的源程序改造成为单词符号串的中间程序。
词法分析的功能是输入源程序，输出单词符号。
所依据的理论基础有有限自动机、正规式、正规文法。
（2）词法分析器的功能是输入源程序，输出单词符号，单词符号是一个程序语言的基本语法符号，一般分为五种：关键字、标识符、常数、运算符、界符五大类。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
编译原理实验2 词法分析器一、实验目的1. 通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。
2. 掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。
3. 编制一个读单词的程序，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符和分隔符五大类。
并依次输出各个单词的内部编码及单词符号自身值。
（遇到错误时可显示“Error”，然后跳过错误部分继续显示）二、词法分析的基础知识1. 词法分析器的功能和输出格式词法分析器的功能是输入源程序，输出单词符号。
词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。
在本实验中，采用的是一类符号一种别码的方式。
标识符的BNF表示：<标识符>-> <字母><字母数字串><字母数字串>-><字母><字母数字串>|<数字><字母数字串>|ε无符号整数的BNF表示：<无符号整数>-> <数字><数字串><数字串>-> <数字><数字串> |ε运算符的BNF表示：<加法运算符>-> +<减法运算符>-> -<大于关系运算符>-> ><大于等于关系运算符>-> >=2. 超前搜索词法分析时，常常会用到超前搜索方法。
如当前待分析字符串为“a > i”，当前字符为“>”，此时，分析器到底是将其分析为大于关系运算符还是大于等于关系运算符呢？显然，只有知道下一个字符是什么才能下结论。
于是分析器读入下一个字符“+”，这时可知应将“>”解释为大于运算符。
但此时，超前读了一个字符“i”，所以要回退一个字符，词法分析器才能正常运行。
在分析标识符，无符号整数等时也有类似情况。
三、程序要求1. 程序输入示例：如源程序为C语言，输入如下一段：main(){int a, b;a = 10;b = a+20;}2. 程序输出示例：（2，“main”）（5，“（”）（5，“）”）（5，“{”）（1，“int”）（2，“a”）（5，“,”）（2，“b”）（5，“;”）（2，“a”）（4，“=”）（3，“10”）（5，“;”）（2，“b”）（4，“=”）（2，“a”）（4，“+”）（3，“20”）（5，“;”）（5，“}“）3. 具体要求如下：（1）识别保留字：if、int、for、while、do、return、break、continue等。
（2）运算符包括：+、-、*、/、=、>、<、>=、<=、!=（3）分隔符包括：,、;、{、}、(、)（4）常数为无符号整形数；（5）其它的都识别为标识符；4. 程序思路：（1）定义部分：定义常量、变量、数据结构。
（2）初始化：从文件将源程序全部输入到字符缓冲区中。
（3）取单词前：去掉多余空白。
（4）取单词：读出单词的每一个字符，组成单词，分析类型，其中，关键是如何判断取单词结束，取到的单词是什么类型的单词。
（5）显示结果。
四、实验结果#include <stdio.h>#include "stdlib.h"#include <string.h>#define N 100 //定义要分析的标识符或常数的最大个数#define M 20 //标识符的长度char *sourceFile="D:\\AnalyzeFile.txt"; // 定义进行词法分析的源文件char *key[8]={"if","else","for","while","do","return","break","continue"}; // 关键字char *border[6]={",",";","{","}","(",")"}; // 界符定义char *arithmetic[4]={"+","-","*","/"}; // 算术运算符定义char *relation[6]={"<","<=","=",">",">=","<>"}; // 关系运算符定义char *consts[N]; // 常数定义char *label[N]; // 标识符int constnum=0,labelnum=0; // constnum-常数个数;labelnum-标识符个数// 判断一个字符是不是字母int Isletter(char ch){if(ch>='a' && ch<='z'||ch>='A' && ch<='Z')return 1;return 0;}// 判断一个字符是不是数字int IsDigit(char ch){if(ch>='0' && ch<='9')return 1;return 0;}// 判断单词符号类型int search(char searchchar[],int wordtype){int i=0;switch (wordtype){case 1:for (i=0;i<=7;i++){if(strcmp(key[i],searchchar)==0) // 返回具体的关键字return(i+1);}case 2:{for (i=0;i<=5;i++)if(strcmp(border[i],searchchar)==0) // 返回具体的界符return(i+1);return(0);}case 3:{for(i=0;i<=3;i++)if(strcmp(arithmetic[i],searchchar)==0) // 返回具体的算术运算符return(i+1);return(0);}case 4:{for(i=0;i<=5;i++)if(strcmp(relation[i],searchchar)==0) // 返回具体的关系运算符return(i+1);return(0);}case 5:{for(i=0;i<constnum;i++)if(strcmp(consts[i],searchchar)==0) // 返回具体的整型常数return(i+1);consts[i]=(char *)malloc(sizeof(searchchar));strcpy(consts[i],searchchar);constnum++;return(i);}case 6:{for(i=0;i<labelnum;i++)if(label[i]!=NULL)if(strcmp(label[i],searchchar)==0) // 返回标识符return(i+1);label[i-1]=(char *)malloc(sizeof(searchchar));strcpy(label[i-1],searchchar);labelnum++;return(i);}}return -1;}// 常数处理char digitprocess(char buffer,FILE* fp){int i=-1;char digittp[M];int dtype;while ((IsDigit(buffer))){digittp[++i]=buffer;buffer=fgetc(fp);}digittp[i+1]='\0';dtype=search(digittp,5); // 输出整型常数printf("%s (5,%d)\n",digittp,dtype-1);return(buffer);}// 标识符或关键字char alphaprocess(char buffer,FILE* fp){int atype;int i=-1;char alphatp[M];while ((Isletter(buffer))||(IsDigit(buffer))){alphatp[++i]=buffer;buffer=fgetc(fp);}alphatp[i+1]='\0';if (atype=search(alphatp,1)) // 输出关键字printf("%s (1,%d)\n",alphatp,atype-1);else{atype=search(alphatp,6); // 输出标识符printf("%s (6,%d)\n",alphatp,atype-1);}return(buffer);}// 其它处理(运算符,界符等)char otherprocess(char buffer,FILE* fp){int i=-1;char othertp[M];int otype,otypetp;othertp[0]=buffer;othertp[1]='\0';if(otype=search(othertp,3)){printf("%s (3,%d)\n",othertp,otype-1);buffer=fgetc(fp);goto out;}if(otype=search(othertp,4)){buffer=fgetc(fp);othertp[1]=buffer;othertp[2]='\0';if(otypetp=search(othertp,4)){printf("%s (4,%d)\n",othertp,otypetp-1);goto out;}elseothertp[1]='\0';printf("%s (4,%d)\n",othertp,otype-1);goto out;}if(buffer==':'){buffer=fgetc(fp);if (buffer=='=')printf(":= (2,2)\n");buffer=fgetc(fp);goto out;}else{if(otype=search(othertp,2)){printf("%s (2,%d)\n",othertp,otype-1);buffer=fgetc(fp);goto out;}}if((buffer!='\n')&&(buffer!=' '))printf("%c error,not a word\n",buffer);buffer=fgetc(fp);out: return(buffer);}int main(int argc, char* argv[]){int i;FILE *fp; // 文件指针,指向要分析的源程序char cbuffer; // 保存最新读入的字符for (i=0; i<=N; i++){label[i]=NULL; // 初始化标识符consts[i]=NULL; // 初始化常数}if((fp=fopen(sourceFile,"rb"))==NULL) // 判断源文件是否存在printf("文件%s不存在",sourceFile);else{cbuffer = fgetc(fp); // 读入字符while (cbuffer!=EOF) // 如果文件没有结束,就一直循环{if (Isletter(cbuffer)) // 若为字母cbuffer=alphaprocess(cbuffer,fp);else if (IsDigit(cbuffer)) // 若为数字cbuffer=digitprocess(cbuffer,fp);elsecbuffer=otherprocess(cbuffer,fp);}printf("over\n");getchar();}return 0;}。