编译原理词法分析器实验报告

合集下载

编译原理词法分析实验报告

编译原理词法分析实验报告实验名称:词法分析器的设计与实现一、实验目的：1.熟悉编译原理中词法分析的基本概念和原理；2.掌握正则表达式的使用方法；3.实现一个简单的词法分析器。

二、实验内容：1.设计一个简单的编程语言，包含如下几种类型的词法单元：关键字、标识符、常量、运算符和界符。

2.使用正则表达式定义每种词法单元的模式。

3.设计一个词法分析器，将源代码中的每个词法单元识别出来并输出。

三、实验步骤：1. 确定编程语言的词法单元类型和正则表达式模式，定义相应的单词类型（如 TokenType）和模式（如 regex）。

2. 实现一个词法分析器的类 Lexer，包含以下方法：(1)一个构造方法，用于初始化词法分析器的输入源代码。

(2) 一个getNextToken方法，用于获取源代码中的下一个词法单元。

3. 在getNextToken方法中，使用正则表达式逐个识别源代码中的词法单元，并返回相应的Token对象。

4. 设计一个Token类，包含以下属性：词法单元类型、词法单元的值和位置信息等。

5.在主程序中使用词法分析器，将源代码中的每个词法单元识别出来并输出。

四、实验结果：1.设计一个简单的编程语言，包含如下词法单元类型（示例）：(1) 关键字：if、else、while、for等；(2)标识符：变量名等；(3)常量：整数、浮点数、字符串等；(4)运算符：+、-、*、/、=等；(5)界符：(、)、{、}、;等。

2. 实现一个词法分析器，识别出源代码中的每个词法单元，并输出相应的Token对象。

五、实验总结：通过本次实验，我熟悉了编译原理中词法分析的基本概念和原理，并掌握了正则表达式的使用方法。

我成功完成了一个简单的词法分析器的设计与实现，实现了源代码中每个词法单元的识别与输出。

这次实验对我深化了对编译原理中词法分析的理解，并提高了我的编程能力。

编译原理词法分析实验报告

词法分析器实验报告一、实验目的选择一种编程语言实现简单的词法分析程序，设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。

二、实验要求2.1 待分析的简单的词法（1）关键字：begin if then while do end所有的关键字都是小写。

（2）运算符和界符：= + - * / < <= <> > >= = ; ( ) #（3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义：ID = letter (letter | digit)*NUM = digit digit*（4）空格有空白、制表符和换行符组成。

空格一般用来分隔ID、SUM、运算符、界符和关键字，词法分析阶段通常被忽略。

2.2 各种单词符号对应的种别码：表2.1 各种单词符号对应的种别码2.3 词法分析程序的功能：输入：所给文法的源程序字符串。

输出：二元组（syn,token或sum）构成的序列。

其中：syn为单词种别码；token为存放的单词自身字符串；sum为整型常数。

例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件，经过词法分析后输出如下序列：(1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)……三、词法分析程序的算法思想：算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。

3.1 主程序示意图：主程序示意图如图3-1所示。

其中初始包括以下两个方面：⑴关键字表的初值。

关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。

如能查到匹配的单词，则该单词为关键字，否则为一般标识符。

关键字表为一个字符串数组，其描述如下：Char *rwtab[6] = {“begin”, “if”, “then”, “while”, “do”, “end”,};图3-1（2）程序中需要用到的主要变量为syn,token和sum3.2 扫描子程序的算法思想：首先设置3个变量：①token用来存放构成单词符号的字符串；②sum用来整型单词；③syn 用来存放单词符号的种别码。

编译原理实验词法分析实验报告

编译原理实验词法分析实验报告一、实验目的词法分析是编译过程的第一个阶段，其主要任务是从左到右逐个字符地对源程序进行扫描，产生一个个单词符号。

本次实验的目的在于通过实践，深入理解词法分析的原理和方法，掌握如何使用程序设计语言实现词法分析器，提高对编译原理的综合应用能力。

二、实验环境本次实验使用的编程语言为_____，开发工具为_____。

三、实验原理词法分析的基本原理是根据编程语言的词法规则，将输入的字符流转换为单词符号序列。

单词符号通常包括关键字、标识符、常量、运算符和界符等。

词法分析器的实现方法有多种，常见的有状态转换图法和正则表达式法。

在本次实验中，我们采用了状态转换图法。

状态转换图是一种有向图，其中节点表示状态，有向边表示在当前状态下输入字符的可能转移。

通过定义不同的状态和转移规则，可以实现对各种单词符号的识别。

四、实验步骤1、定义单词符号的类别和编码首先，确定实验中要识别的单词符号种类，如关键字（if、else、while 等）、标识符、整数常量、浮点数常量、运算符（＋、、、／等）和界符（括号、逗号等）。

为每个单词符号类别分配一个唯一的编码，以便后续处理。

2、设计状态转换图根据单词符号的词法规则，绘制状态转换图。

例如，对于标识符的识别，起始状态为“起始状态”，当输入为字母时进入“标识符中间状态”，在“标识符中间状态”中，若输入为字母或数字则继续保持该状态，直到遇到非字母数字字符时结束识别，确定为一个标识符。

3、编写词法分析程序根据状态转换图，使用所选编程语言实现词法分析器。

在程序中，通过不断读取输入字符，根据当前状态进行转移，并在适当的时候输出识别到的单词符号。

4、测试词法分析程序准备一组包含各种单词符号的测试用例。

将测试用例输入到词法分析程序中，检查输出的单词符号是否正确。

五、实验代码以下是本次实验中实现词法分析器的核心代码部分：｀｀｀include ＜stdioh>include ＜ctypeh>／／单词符号类别定义typedef enum ｛KEYWORD,IDENTIFIER,INTEGER_CONSTANT,FLOAT_CONSTANT,OPERATOR,DELIMITER｝ TokenType;／／关键字列表char keywords ＝｛＂if"，＂else"，＂while"，＂for"，＂int"，＂float"，＂void"｝；／／状态定义typedef enum ｛START,IN_IDENTIFIER,IN_INTEGER,IN_FLOAT,IN_OPERATOR｝ State;／／词法分析函数TokenType getToken(char token, int tokenLength) ｛State state ＝ START;int i ＝ 0;while （1) ｛char c ＝ getchar(）；switch （state) ｛case START:if （isalpha(c)）｛state ＝ IN_IDENTIFIER;tokeni+＋＝ c;｝ else if （isdigit(c)）｛state ＝ IN_INTEGER;tokeni+＋＝ c;｝ else if （c ＝＝＇＋＇｜｜ c ＝＝＇＇｜｜ c ＝＝＇＇｜｜ c ＝＝＇／＇｜｜ c ＝＝＇（＇｜｜ c ＝＝＇）＇｜｜ c ＝＝＇；＇｜｜ c ＝＝＇，＇）｛state ＝ IN_OPERATOR;tokeni+＋＝ c;｝ else if （c ＝＝＇＇）｛state ＝ IN_FLOAT;tokeni+＋＝ c;｝ else if （c ＝＝ EOF) ｛tokeni ＝＇＼0'；tokenLength ＝ i;return －1;｝ else ｛tokeni ＝＇＼0'；tokenLength ＝ i;return －2;｝break;case IN_IDENTIFIER:if （isalpha(c) ｜｜ isdigit(c)）｛tokeni+＋＝ c;｝ else ｛ungetc(c, stdin)；tokeni ＝＇＼0'；tokenLength ＝ i;／／检查是否为关键字for （int j ＝ 0; j ＜ sizeof(keywords) ／ sizeof(keywords0)； j+＋）｛if （strcmp(token, keywordsj) ＝＝ 0) ｛return KEYWORD;｝｝return IDENTIFIER;｝break;case IN_INTEGER:if （isdigit(c)）｛tokeni+＋＝ c;｝ else if （c ＝＝＇＇）｛state ＝ IN_FLOAT;tokeni+＋＝ c;｝ else ｛ungetc(c, stdin)；tokeni ＝＇＼0'；tokenLength ＝ i;return INTEGER_CONSTANT;｝break;case IN_FLOAT:if （isdigit(c)）｛tokeni+＋＝ c;｝ else ｛ungetc(c, stdin)；tokeni ＝＇＼0'；tokenLength ＝ i;return FLOAT_CONSTANT;｝break;case IN_OPERATOR: tokeni ＝＇＼0'；tokenLength ＝ i;return OPERATOR; break;｝｝｝int main(）｛char token100;int tokenLength;TokenType tokenType;while （（tokenType ＝ getToken(token, ＆tokenLength)）！＝－1) ｛switch （tokenType) ｛case KEYWORD:printf(＂Keyword: ％s\n"， token)；break;case IDENTIFIER:printf(＂Identifier: ％s\n"， token)；break;case INTEGER_CONSTANT:printf(＂Integer Constant: ％s\n"， token)；break;case FLOAT_CONSTANT:printf(＂Float Constant: ％s\n"， token)；break;case OPERATOR:printf(＂Operator: ％s\n"， token)；break;case DELIMITER:printf(＂Delimiter: ％s\n"， token)；break;｝｝return 0;｝｀｀｀六、实验结果对准备的测试用例进行输入，得到的词法分析结果如下：测试用例 1：｀｀｀int main(）｛int num ＝ 10;float pi ＝ 314;if （num ＞ 5) ｛printf(＂Hello, World!＼n"）；｝｝｀｀｀词法分析结果：｀｀｀Keyword: int Identifier: main Delimiter: （Delimiter: ）｛Identifier: num Operator: ＝Integer Constant: 10；Identifier: float Identifier: pi Operator: ＝Float Constant: 314；Keyword: ifDelimiter: （Identifier: numOperator: ＞Integer Constant: 5）｛Identifier: printfDelimiter: （String: ＂Hello, World!＼n" Delimiter: ）；｝｀｀｀测试用例 2：｀｀｀for （int i ＝ 0; i ＜ 10; i+＋）｛double result ＝ i 25;｀｀｀词法分析结果：｀｀｀Keyword: for Delimiter: （Keyword: int Identifier: i Operator: ＝Integer Constant: 0；Identifier: i Operator: ＜Integer Constant: 10；Identifier: i Operator: ＋＋）Identifier: doubleIdentifier: resultOperator: ＝Identifier: iOperator:Float Constant: 25；｝｀｀｀通过对多个测试用例的分析，词法分析器能够正确识别出各种单词符号，实验结果符合预期。

编译原理实验报告

编译原理实验报告一、实验概述本次实验旨在设计并实现一个简单的词法分析器，即实现编译器的第一个阶段，词法分析。

词法分析器将一段源程序代码作为输入，将其划分为一个个的词法单元，并将其作为输出。

二、实验过程1.设计词法规则根据编程语言的规范和所需实现的功能，设计词法规则，以明确规定如何将源程序代码分解为一系列的词法单元。

2.实现词法分析器采用合适的编程语言，根据所设计的词法规则，实现词法分析器。

词法分析器的主要任务是读入源程序代码，并将其根据词法规则进行分解，生成对应的词法单元。

3.测试词法分析器设计测试用例，用于检验词法分析器的正确性和性能。

测试用例应包含各种情况下的源程序代码。

4.分析和修正错误根据测试过程中发现的问题，分析产生错误的原因，并进行修正。

重复测试和修正的过程，直到词法分析器能够正确处理所有测试用例。

三、实验结果我们设计了一个简单的词法分析器，并进行了测试。

测试用例涵盖了各种情况下的源程序代码，包括正确的代码和错误的代码。

经过测试，词法分析器能够正确处理所有的测试用例。

词法分析器将源程序代码分解为一系列的词法单元，每个词法单元包含了单词的种类和对应的值。

通过对词法单元的分析，可以进一步进行语法分析和语义分析，从而完成编译过程。

四、实验总结通过本次实验，我深入了解了编译原理的词法分析阶段。

词法分析是编译器的第一个重要阶段，它将源程序代码分解为一个个的词法单元，为后续的语法分析和语义分析提供基础。

在实现词法分析器的过程中，我学会了如何根据词法规则设计词法分析器的算法，并使用编程语言实现词法分析器。

通过测试和修正，我掌握了调试和错误修复的技巧。

本次实验的经验对我今后的编程工作有很大帮助。

编译原理是计算机科学与技术专业的核心课程之一，通过实践能够更好地理解和掌握其中的概念和技术。

我相信通过进一步的学习和实践，我能够在编译原理领域取得更大的成果。

编译原理实验报告

编译原理实验报告一、实验目的编译原理是计算机科学中的重要学科，它涉及到将高级编程语言转换为计算机能够理解和执行的机器语言。

本次实验的目的是通过实际操作和编程实践，深入理解编译原理中的词法分析、语法分析、语义分析以及中间代码生成等关键环节，提高我们对编译过程的认识和编程能力。

二、实验环境本次实验使用的编程语言为C+＋，开发环境为Visual Studio 2019。

此外，还使用了一些相关的编译工具和调试工具，如 GDB 等。

三、实验内容（一）词法分析器的实现词法分析是编译过程的第一步，其任务是将输入的源程序分解为一个个单词符号。

在本次实验中，我们使用有限自动机的理论来设计和实现词法分析器。

首先，定义了各种单词符号的类别，如标识符、关键字、常量、运算符等。

然后，根据这些类别设计了相应的状态转换图，并将其转换为代码实现。

在实现过程中，使用了正则表达式来匹配输入字符串中的单词符号。

对于标识符和常量等需要进一步处理的单词符号，使用了相应的规则进行解析和转换。

（二）语法分析器的实现语法分析是编译过程的核心环节之一，其任务是根据给定的语法规则，分析输入的单词符号序列是否符合语法结构。

在本次实验中，我们使用了递归下降的语法分析方法。

首先，根据实验要求定义了语法规则，并将其转换为相应的递归函数。

在递归函数中，通过对输入单词符号的判断和处理，逐步分析语法结构。

为了处理语法错误，在分析过程中添加了错误检测和处理机制。

当遇到不符合语法规则的输入时，能够输出相应的错误信息，并尝试进行恢复。

（三）语义分析及中间代码生成语义分析的目的是对语法分析得到的语法树进行语义检查和语义处理，生成中间代码。

在本次实验中，我们使用了三地址码作为中间代码的表示形式。

在语义分析过程中，对变量的定义和使用、表达式的计算、控制流语句等进行了语义检查和处理。

对于符合语义规则的语法结构，生成相应的三地址码指令。

四、实验步骤（一）词法分析器的实现步骤1、定义单词符号的类别和对应的正则表达式。

词法分析器的实验报告

词法分析器的实验报告词法分析器的实验报告引言：词法分析器是编译原理中的重要组成部分，它负责将源代码中的字符序列转换为有意义的词法单元，为后续的语法分析提供基础。

本实验旨在设计和实现一个简单的词法分析器，并对其进行测试和评估。

实验设计：1. 词法规则设计：在开始实验之前，我们首先需要设计词法规则，即定义源代码中的合法词法单元。

例如，对于一门类C的语言，我们可以定义关键字（如if、while、int等）、标识符、运算符（如+、-、*等）、分隔符（如()、{}等）等。

2. 有限自动机（DFA）的设计：基于词法规则，我们可以设计一个有限自动机，用于识别和分析源代码中的词法单元。

有限自动机是一个状态转换图，其中每个状态代表一种词法单元，而边表示输入字符的转换关系。

3. 实现代码：根据有限自动机的设计，我们可以使用编程语言（如Python、C++等）实现词法分析器的代码。

代码的主要功能包括读取源代码文件、逐个字符进行词法分析、识别和输出词法单元。

实验过程：1. 词法规则设计：我们以一门简单的算术表达式语言为例，设计了以下词法规则：- 数字：由0-9组成的整数或浮点数。

- 运算符：包括+、-、*、/等。

- 分隔符：包括括号()和逗号,。

- 标识符：以字母开头，由字母和数字组成的字符串。

2. 有限自动机（DFA）的设计：我们基于词法规则，设计了一个简单的有限自动机。

该自动机包含以下状态：- 初始状态：用于读取和识别源代码中的字符。

- 数字状态：用于识别和输出数字。

- 运算符状态：用于识别和输出运算符。

- 分隔符状态：用于识别和输出分隔符。

- 标识符状态：用于识别和输出标识符。

3. 实现代码：我们使用Python编程语言实现了词法分析器的代码。

代码主要包括以下功能：- 读取源代码文件。

- 逐个字符进行词法分析，根据有限自动机的设计进行状态转换。

- 识别和输出词法单元。

实验结果：我们对几个测试样例进行了词法分析，并对结果进行了评估。

编译原理实验报告——词法分析器(内含源代码)

编译原理实验（一）——词法分析器一．实验描述运行环境：vc++2008对某特定语言A ，构造其词法规则。

该语言的单词符号包括：12状态转换图3程序流程：词法分析作成一个子程序，由另一个主程序调用，每次调用返回一个单词对应的二元组，输出标识符表、常数表由主程序来完成。

二．实验目的通过动手实践，使学生对构造编译系统的基本理论、编译程序的基本结构有更为深入的理解和掌握；使学生掌握编译程序设计的基本方法和步骤；能够设计实现编译系统的重要环节。

同时增强编写和调试程序的能力。

三．实验任务编制程序实现要求的功能，并能完成对测试样例程序的分析。

四．实验原理char set[1000],str[500],strtaken[20];//set[]存储代码,strtaken[]存储当前字符char sign[50][10],constant[50][10];//存储标识符和常量定义了一个Analyzer类class Analyzer{public:Analyzer(); //构造函数 ~Analyzer(); //析构函数int IsLetter(char ch); //判断是否是字母，是则返回 1，否则返回 0。

int IsDigit(char ch); //判断是否为数字，是则返回 1，否则返回 0。

void GetChar(char *ch); //将下一个输入字符读到ch中。

void GetBC(char *ch); //检查ch中的字符是否为空白，若是，则调用GetChar直至ch进入一个非空白字符。

void Concat(char *strTaken, char *ch); //将ch中的字符连接到strToken之后。

int Reserve(char *strTaken); //对strTaken中的字符串查找保留字表，若是一个保留字返回它的数码，否则返回0。

void Retract(char *ch) ; //将搜索指针器回调一个字符位置，将ch置为空白字符。

编译原理词法分析报告

实验一：词法分析一、实验目的：1、通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。

并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。

2、编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本关键字、标识符、常数、运算符、分隔符五大类。

并依次输出各个单词的内部编码及单词符号自身值。

（遇到错误时可显示“Error”，然后跳过错误部分继续显示）二、实验预习提示1、词法分析器的功能和输出格式词法分析器的功能是输入源程序，输出单词符号。

词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。

本实验中，采用的是一类符号一种别码的方式。

2、单词的BNF表示<标识符>-> <字母><字母数字串><字母数字串>-><字母><字母数字串>|<数字><字母数字串>|<下划线><字母数字串>|ε<无符号整数>-> <数字><数字串><数字串>-> <数字><数字串> |ε<加法运算符>-> +<减法运算符>->-<大于关系运算符>->><大于等于关系运算符>-> >=3、“超前搜索”方法词法分析时，常常会用到超前搜索方法。

如当前待分析字符串为“a>+”,当前字符为’>’，此时，分析器到底是将其分析为大于关系运算符还是大于等于关系运算符呢？显然，只有知道下一个字符是什么才能下结论。

于是分析器读入下一个字符’+’，这时可知应将’>’解释为大于运算符。

但此时，超前读了一个字符’+’，所以要回退一个字符，词法分析器才能正常运行。

在分析标识符，无符号整数等时也有类似情况。

编译原理实验报告

编译原理实验报告一、实验目的本次实验的目的是了解编译原理的基本知识，并运用所学知识实现一个简单的词法分析器。

二、实验内容1.设计一个词法分析器，能够识别并输出源程序中的关键字、标识符、常数和运算符等。

2.设计并实现一个词法分析器的算法。

3.对编写的词法分析器进行测试。

三、实验过程1.设计词法分析器的算法在设计词法分析器的时候，需要先了解源程序的基本构成，了解关键字、标识符、常数和运算符等的特点，以及它们在源程序中的表示形式。

然后，根据这些特点，设计一个适合的算法来进行词法分析。

2.实现词法分析器根据设计好的算法，在编程语言中实现词法分析器。

在实现过程中，需要根据不同的词法单元，设计相应的正则表达式来进行匹配和识别。

3.测试词法分析器编写几个简单的测试用例，对词法分析器进行测试。

检查输出结果是否正确，并根据实际情况对词法分析器进行调试和优化。

四、实验结果经过测试，词法分析器能够正确识别并输出源程序中的关键字、标识符、常数和运算符等。

测试用例的输出结果与预期结果一致。

五、实验总结通过本次实验，我学习了编译原理的基本知识，掌握了词法分析器的设计和实现方法。

在实验过程中，我遇到了一些困难和问题，但通过仔细思考和查阅文献资料，最终成功地完成了实验任务。

这次实验不仅帮助我巩固了所学知识，还提高了我的编程能力和解决问题的能力。

通过实践，我深刻体会到了编译原理在软件开发中的重要性和作用，并对将来的学习和工作有了更好的规划和方向。

通过本次实验，我对编译原理的相关知识有了更深入的理解和掌握，对词法分析器的设计和实现方法有了更加清晰的认识。

同时，我还学会了如何进行实验报告的撰写，提高了我的文档写作能力。

通过本次实验，我不仅实现了实验的目标，还提高了自己的综合素质和能力。

编译原理实验报告--词法分析器

编译原理实验—词法分析器一、实验目的通过动手实践，使学生对构造编译系统的基本理论、编译程序的基本结构有更为深入的理解和掌握；使学生掌握编译程序设计的基本方法和步骤；能够设计实现编译系统的重要环节。

同时增强编写和调试程序的能力。

二、实验内容及要求对某特定语言A ，构造其词法规则。

该语言的单词符号包括：保留字(见左下表)、标识符（字母大小写不敏感）、整型常数、界符及运算符(见右下表) 。

功能要求如下所示：·按单词符号出现的顺序，返回二元组序列，并输出。

·出现的标识符存放在标识符表，整型常数存放在常数表，并输出这两个表格。

·如果出现词法错误，报出：错误类型，位置（行，列）。

·处理段注释（/* */），行注释（//）。

·有段注释时仍可以正确指出词法错误位置（行，列）。

三、实验过程1、词法形式化描述使用正则文法进行描述，则可以得到如下的正规式:其中ID表示标识符，NUM表示整型常量，RES表示保留字，DEL表示界符，OPR表示运算符。

A→(ID | NUM | RES | DEL | OPR) *ID→letter(letter | didit)*NUM→digit digit*letter→a | … | z | A | … | Zdigit→ 0 | … | 9RES→ program | begin | end | var | int | and | or | not | if | then | else | while | doDEL→( | ) | . | ; | ,OPR→+ | * | := | > | < | = | >= | <= | <>如果关键字、标识符和常数之间没有确定的算符或界符作间隔，则至少用一个空格作间隔。

空格由空白、制表符和换行符组成。

2、单词种别定义；A语言中的单词符号及其对应的种别编码如下表所示：单词符号种别编码单词符号种别编码3、状态转换图；语言A的词法分析的状态转换图如下所示：空格符，制表符或回车符字母或数字4、java旗舰版5、关键算法的流程图及文字解释；程序中用到的函数列表：A类定义各种类函数以及包含主函数public static void main（）变量ch储存当前最新读进的字符的地址strToken存放当前字符串main（） //主函数Analysis（）//分析函数，每次读入一行文件，进行识别处理；char GetChar(); //取得当前位置的字符的内容放入ch，并提前指向下一个字符；char GetNextChar（）；//取得当前位置的下一位置的字符，String ConCat(); //将ch指向的字符连接到strToken后面isLetter(); //判断ch指向的字符是否字母isDigit(); //判断ch指向的字符是否数字add（p，str）; //向p表中插入当前strToken的字符串Boolean findKeyWord(str); //检测当前strToken中的字符串是否保留字,若是,则执行getKeyWordKey（str），返回保留字的id，否则，判别其是否是已存在的标示符，若是，返回标示符的id以及该标示符在表中的位置；findPunctuation（）//判断是否是一个保留的符号；getindex（） //返回已经识别的标示符或者是数字的位置下标；Boolean exist(); //检测当前strToken中的字符串是否在标识符表中已存在,若是,则返回true,否则返回falsevoid callError(); //出错处理过程,将错误的位置报告出来（1）main（）函数的流程图如下:）具体分析流程图：开始类初始化，变量的初始化，准备执行main（）函数调用Analyse（）函数分析输出结果表结束Analyse（str）函数读取第一个字符赋给变量Ch继续判读IndexoutofBound6、测试报告（测试用例，测试结果）；首先输入一个不含错误的程序（两种注释）进行检测：运行后在控制台上得到的结果如下所示：得到的二元组序列如下：经检验，输出的是正确的二元组序列。

编译原理实验报告(词法分析器)

实验LEX词法分析器自动生成器一、实验内容：用词法分析自动生成器LEX构造一个简单词法分析器，它能识别文件新行并为其添加行号，并将分析结果发送到屏幕上。

二、实验目的：1.掌握LEX源程序的编写方法。

2.掌握自动生成词法分析器LEX的使用方法和工作原理。

LEX源程序*.L通过LEX编译程序，产生一个C语言版本的词法分析程序*.C。

然后通过C语言编译器，将词法分析程序*.C转换成一个可执行文件*.EXE。

再编制一个测试文本文件*.TXT。

用生成的词法分析程序的可执行文件，对测试程序进行词法分析.三、实验要求1.写好实验预习报告；2.编写上机源程序和测试程序；3.写出实验结果；4.实验完后要上交实验报告；四、相关说明LEX上机过程部分：1）利用编辑器如EDIT编写LEX源程序和测试程序，如SHIYAN11.L和TEST.TXT；2）用LEX编译器编译LEX源程序SHIYAN11.L，格式为：LEX SHIYAN11.L↙如果LEX源程序没有语法错误，将得到一个用C语言描述的没有语法错误词法分析器SHIYAN11.C；3）在TC环境下，对SHIYAN11.C进行编译、连接，从而得到可执行的词法分析器SHIYAN11.EXE；4）利用SHIYAN11.EXE对TEST.TXT进行词法分析，格式为：SHIYAN0.EXE<TEST.TXT↙如果没有写测试程序TEST.TXT，则可测试其他某个程序如SHIYAN11.L。

LEX上机过程如下图所示（alt+c）：五、实验器材硬件：PC机一台软件：Turbo C、LEX.EXE六、参考程序1.LEX源程序：shiyan11.L%{#include "stdio.h"int lineno=1;（）%}line .*\n%%{line} {printf("%2d %s",lineno++,yytext);}%%main(){yylex();return 0;}2.shiyan11.EXE分析shiyan11.L的实验效果如下图所示：。

词法分析实验报告心得(3篇)

第1篇一、实验背景词法分析是编译原理中的一项基本任务，它将源程序中的字符序列转换成一系列具有独立意义的记号（Token）。

本次实验旨在通过词法分析实验，加深对词法分析过程的理解，掌握词法分析器的实现方法，并提高编程能力。

二、实验目的1. 理解词法分析的基本概念和过程。

2. 掌握词法分析器的实现方法。

3. 提高编程能力，为后续编译原理的学习打下基础。

三、实验内容本次实验采用Java语言编写词法分析器，实现了对C语言源程序的词法分析功能。

具体实验内容包括：1. 定义词法分析器类，包含状态转移表、符号表等数据结构。

2. 设计状态转移函数，实现字符序列到Token的转换。

3. 实现词法分析器的入口函数，接收源程序字符串，输出Token序列。

四、实验步骤1. 创建词法分析器类，定义状态转移表、符号表等数据结构。

2. 设计状态转移函数，根据输入字符和当前状态，输出下一个状态和对应的Token。

3. 实现词法分析器的入口函数，接收源程序字符串，初始化状态和位置指针，遍历源程序字符序列。

4. 在遍历过程中，根据状态转移函数输出Token，并更新状态和位置指针。

5. 当遇到输入字符串结束时，输出剩余的Token，并结束词法分析过程。

五、实验心得1. 词法分析是编译过程中的第一步，它将源程序中的字符序列转换成具有独立意义的Token，为后续的语法分析和语义分析提供基础。

2. 在实现词法分析器时，需要仔细分析源程序中的字符序列，确定状态转移表和符号表的内容。

这有助于提高词法分析器的准确性和效率。

3. 在编写状态转移函数时，要考虑各种可能的输入情况，确保能够正确处理各种字符序列。

同时，要注意状态转移函数的健壮性，避免出现错误。

4. 在实现词法分析器时，需要关注数据结构的组织方式。

合理的数据结构可以提高程序的可读性和可维护性。

5. 通过本次实验，我深刻体会到编程的乐趣和挑战。

在实现词法分析器过程中，我不断学习新的知识，提高了解决问题的能力。

编译原理词法分析器实验报告

编译原理词法分析器实验报告1. 引言编译原理是计算机科学中的重要概念，它涉及将高级语言程序转换为计算机可执行的低级指令。

词法分析是编译过程中的第一个阶段，它负责将源代码分解为词法单元，为后续的语法分析做准备。

本实验旨在设计和实现一个基本的词法分析器，以了解词法分析的原理和实际应用。

2. 实验目标本实验的主要目标是实现一个基本的词法分析器，能够识别并提取源代码中的各种词法单元。

具体而言，我们将设计一个针对某种编程语言的词法分析器，能够识别关键字、标识符、算术运算符、括号、常量等。

3. 实验环境为了完成本实验，我们需要使用以下工具和环境：•一种编程语言，例如Python、Java或C++•一个文本编辑器，例如Visual Studio Code或Sublime Text•一个命令行终端4. 实验步骤4.1 定义词法规则首先，我们需要定义词法分析器的词法规则。

这些规则描述了编程语言中各种词法单元的模式。

例如，关键字可以被定义为由特定字符组成的字符串，标识符可以被定义为以字母开头并由字母和数字组成的字符串。

4.2 实现词法分析器接下来，我们将根据定义的词法规则，使用编程语言实现一个词法分析器。

在实现过程中，我们可以使用正则表达式来匹配和提取各种词法单元。

4.3 编写测试用例完成词法分析器的实现后，我们需要编写一些测试用例来验证其正确性。

测试用例应该包含各种可能的输入情况，以确保词法分析器能够正确地识别和提取词法单元。

4.4 运行测试用例最后，我们将使用编写的测试用例来运行词法分析器，并检查输出是否符合预期。

如果测试通过，说明词法分析器能够正常工作；否则，我们需要检查代码并进行调试。

5. 实验结果经过实验，我们成功地设计并实现了一个基本的词法分析器。

该词法分析器能够按照预定义的词法规则，正确地识别和提取源代码中的各种词法单元。

在运行测试用例时，词法分析器能够产生符合预期的输出，表明其具有良好的准确性和可靠性。

编译原理词法分析器实验报告

}
entity[count-1].idname=yytext;
fprintf(fpout,"%d [line:%d]: \"%s\" %s \n",count,linenum,entity[count-1].idname,entity[count-1].idproperty);
}
fclose(fpout);
char*idproperty; //token属性值；
char*idname; //识别的token名字；
}entity[maxnum]; //定义1000个这样的token，大小可改变；
char filename[maxname]; //源程序文件名；
int errnum=0; //错误token的数目；
case 2:entity[count-1].idproperty="number";break;
case 3:entity[count-1].idproperty="arithmetic-op";break;
case 4:entity[count-1].idproperty="relation-op";break;
3.识别出的单词以<种别码，值>的形式保存在符号表中，正确设计和维护符号表；
4.对于源程序中的词法错误，能够做出简单的错误处理，给出简单的错误提示，保证顺利完成整个源程序的词法分析
3．规则
•语句类型：
–赋值语句，if...then..., while...do..., read, write, call,复合语句begin... end，说明语句：const..., var..., procedure…

编译原理实验词法分析实验报告

编译原理实验词法分析实验报告一、实验目的词法分析是编译过程中的第一个阶段，其主要任务是从输入的源程序中识别出具有独立意义的单词符号，并将其转换为内部编码形式。

本次实验的目的是通过设计和实现一个简单的词法分析程序，深入理解词法分析的基本原理和方法，提高对编程语言语法结构的认识和编程能力。

二、实验原理词法分析的基本原理是根据编程语言的词法规则，使用有限自动机或正则表达式等技术来识别单词符号。

在本次实验中，我们采用了状态转换图的方法来设计词法分析器。

状态转换图是一种用于描述有限自动机的图形表示方法，它由状态节点和有向边组成。

每个状态节点表示自动机的一个状态，有向边表示状态之间的转换条件。

当输入字符与当前状态的转换条件匹配时，自动机将从当前状态转换到下一个状态。

当到达一个终态时，表示识别出了一个单词符号。

三、实验环境本次实验使用了 Python 编程语言，并在 PyCharm 集成开发环境中进行开发和调试。

四、实验内容1、定义单词符号的种类和编码关键字：如｀if`、｀else`、｀while` 等标识符：由字母、数字和下划线组成，且以字母或下划线开头常数：包括整数和浮点数运算符：如｀＋｀、｀｀、｀｀、｀／｀等分隔符：如｀（）｛｝，；｀等2、设计状态转换图根据单词符号的定义，设计了相应的状态转换图，用于识别不同类型的单词符号。

例如，对于标识符的识别，从起始状态开始，当输入字符为字母或下划线时，进入标识符状态，继续输入字母、数字或下划线，直到遇到非标识符字符为止，此时到达终态，识别出一个标识符。

3、实现词法分析程序使用 Python 语言实现了基于状态转换图的词法分析程序。

程序首先读取输入的源程序文本，然后逐个字符进行处理，根据当前状态和输入字符进行状态转换，当到达终态时，输出识别出的单词符号及其编码。

4、进行测试编写了一些测试用例，包括包含各种单词符号的源程序代码。

运行词法分析程序对测试用例进行分析，检查输出结果是否正确。

编译原理_词法分析器实验报告

编译原理_词法分析器实验报告一．实验题目和要求。

题目：设计PL / 0语言的词法分析器。

要求：单词（关键字）;begin end if then else while write read docall const var procedure repeat until运算符：+ - * / := = <>(#) < <= > >=界符：， . ； ( )标识符：字母打头的字母数字串，长度不超过10.常数：整数，所含数字的个数不超过14.返回单词形式：二元式（种别，属性值）二．实验平台。

PC机： Windows XP操作系统编程环境： Turbo C 2.0编程语言： C语言三．实验算法说明。

定义2个全局变量char ch和char strtoken分别用来存放最新读入的源程序字符和构成单词符号的字符串。

然后用各个子函数的功能和读文件内容的操作，实现对源程序的词法分析，分别进行关键字，标识符，常数，运算符和界符的分析确认，然后将对应的二元式结果输出。

首先用户输入要读文件的名称，然后程序会把文件的内容读到定义的够大的字符数组str（相当于词法分析的一个缓冲区）里，然后开始从str里一个一个的读出字符并放在专门用来暂时存放单词数组strtoken里进行词法分析，若符合语言的规则，则打印出相关的说明信息，即该字符或字符串的二元式信息，可以清楚的明白该字符的种别和属性值。

如果读入的字符或字符串是非法的，即不是语法规定或是没有意义的字符或字符串，程序会提示相关的错误信息并进行一定四．程序子函数功能说明。

1.void getChar( ) 将下一个输入字符读到ch中，搜索指示器前移一个字符的位置。

2. void getBc( ) 检查ch中的字符是否为空白，若是，则调用getChar( )，直到ch中进入一个非空的字符。

3.void retract( ) 将搜索指示器回调一个字符位置，将ch置为空白字符。

编译词法分析实验报告

一、实验目的1. 理解词法分析的基本概念和原理。

2. 掌握词法分析器的实现方法。

3. 熟悉C语言在词法分析中的应用。

4. 提高编程能力和问题解决能力。

二、实验环境1. 操作系统：Windows 102. 编程语言：C3. 开发环境：Visual Studio 2019三、实验内容1. 设计词法分析器，实现对源代码的词法分析。

2. 将源代码分解为单词序列。

3. 输出单词序列及对应的词法类型。

四、实验步骤1. 分析源代码中的词法单位，确定词法类型。

2. 设计词法分析器的状态转换表。

3. 编写词法分析器代码。

4. 测试词法分析器，验证其正确性。

五、实验过程1. 分析源代码中的词法单位在C语言中，词法单位包括标识符、关键字、运算符、分隔符、常量等。

本实验以C语言为例，分析源代码中的词法单位，确定词法类型。

2. 设计词法分析器的状态转换表根据词法单位，设计词法分析器的状态转换表。

状态转换表包括当前状态、输入字符、下一状态、输出词法类型和对应动作。

3. 编写词法分析器代码根据状态转换表，编写词法分析器代码。

以下为词法分析器的主要功能模块：（1）初始化：设置初始状态、词法类型和单词长度。

（2）读取字符：从源代码中读取字符，并判断字符类型。

（3）状态转换：根据状态转换表，更新当前状态、输出词法类型和单词长度。

（4）输出结果：将单词序列及对应的词法类型输出到屏幕。

4. 测试词法分析器编写测试用例，验证词法分析器的正确性。

测试用例包括以下几种情况：（1）包含各种词法单位的源代码。

（2）包含注释的源代码。

（3）包含错误标识符的源代码。

六、实验结果与分析1. 实验结果通过测试，词法分析器能够正确识别源代码中的各种词法单位，并将单词序列及对应的词法类型输出到屏幕。

以下为部分测试结果：```int a = 10; // 输出：int, 标识符if (a > 0) // 输出：if, 关键字{// 输出：{, 分隔符// ...// 输出：}, 分隔符}// 输出：//, 注释开始注释内容// 输出：//, 注释结束```2. 实验分析（1）实验过程中，通过对词法分析原理的学习，加深了对编译原理的理解。

编译原理词法分析器实验报告

编译原理词法分析器实验报告篇一：编译原理词法分析器实验报告曲阜师范大学实验报告计算机系2008年级软件工程一班组日期2010年10月17日星期日姓名陈金金同组者姓名课程编译原理成绩实验名称：教师签章词法分析器一、实验目的：1·掌握词法分析的原理。

2·熟悉保留字表等相关的数据结构与单词的分类方法。

3·掌握词法分析器的设计与调试。

二、实验内容：根据编译中的分词原理，编写一个词法分析程序：1. 输入：任意一个C 语言程序的源代码。

2. 处理：对输入进行分析，分离出保留字、标识符、常量、算符和界符。

3. 输出：对应的二元式（种别编码自定，可暂编为一类对应一个编码）。

三、实验要求：1. 任选C/C++/Java 中的一种高级程序语言编程完成词法分析器。

2. 词法分析器应以教材所述分词原理为依据，使用恰当的数据结构和方法，结构清晰、高效。

四、实验环境：WindowsXp操作系统，J2SE，Eclipse 集成开发环境五、实验分析：将源代码作为长字符串进行读入，之后通过switch语句，及状态转换图进行词素识别，并对识别的词素进行分类整理以二元式的形式输出。

六、实验过程：1、建立词法分析器界面，很简单：输入框，输出框，执行分析按钮，清空按钮，退出程序按钮。

主要的地方是，考虑mvc开发模式，为model及controller 提供接口。

实现界面如下所示：2、核心代码的编写，考虑到需要进行词素的匹配，创建符号表类SymTable。

提供两个变量，分别存放如下内容：并提供方法insert，lookUp，分别负责标志符的插入和查找。

3.、根据语法规则书写状态转换图，并用switch语句实现：需要注意的地方是，begin和forward 两个指针的移动：通过swith语句识别词素，并在符号表中进行匹配，匹配成功，则返回相应的记号，否则返回id。

七、实验结论：实验过程还算顺利，遇到的一系列问题都得到比较好的解决，当然分析器还有很大的改进空间，这里只是简单的实现了词素的识别及简单的判断。

(完整)编译原理实验报告(词法分析器语法分析器)

编译原理实验报告实验一一、实验名称：词法分析器的设计二、实验目的：1，词法分析器能够识别简单语言的单词符号2，识别出并输出简单语言的基本字。

标示符。

无符号整数.运算符.和界符。

三、实验要求：给出一个简单语言单词符号的种别编码词法分析器四、实验原理:1、词法分析程序的算法思想算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号.2、程序流程图(1）主程序（2）扫描子程序3、各种单词符号对应的种别码五、实验内容:1、实验分析编写程序时，先定义几个全局变量a[]、token[]（均为字符串数组)，c,s( char型)，i,j,k（int型），a［］用来存放输入的字符串,token[]另一个则用来帮助识别单词符号,s用来表示正在分析的字符.字符串输入之后，逐个分析输入字符,判断其是否‘#’,若是表示字符串输入分析完毕，结束分析程序,若否则通过int digit(char c）、int letter(char c）判断其是数字，字符还是算术符,分别为用以判断数字或字符的情况，算术符的判断可以在switch语句中进行，还要通过函数int lookup(char token［])来判断标识符和保留字。

2 实验词法分析器源程序:＃include 〈stdio.h〉＃include <math.h>#include <string。

h>int i,j,k;char c,s,a［20]，token[20]=｛’0’｝;int letter(char s){if（(s〉=97)&&（s〈=122）) return(1);else return（0);｝int digit（char s）｛if（(s〉=48）＆＆（s<=57）) return(1)；else return(0);}void get(){s=a［i];i=i+1；｝void retract()｛i=i-1；}int lookup（char token[20］)｛if（strcmp（token，"while"）==0） return（1）;else if(strcmp(token,"if"）==0) return（2）;else if(strcmp(token,"else”）==0） return(3）;else if（strcmp（token，"switch”)==0） return(4）；else if（strcmp（token,"case")==0） return（5）;else return（0）;｝void main(）｛printf（”please input string ：\n"）；i=0;do{i=i+1；scanf("%c",＆a［i]）;｝while（a[i］!=’#’)；i=1;j=0;get();while(s!=’#')｛ memset(token，0，20);switch（s)｛case 'a':case ’b'：case ’c'：case ’d':case ’e’：case ’f’:case 'g’:case ’h'：case 'i'：case ’j'：case 'k’:case ’l':case 'm’：case 'n':case ’o'：case ’p'：case ’q’：case 'r’:case 's’：case 't’:case ’u’：case ’v’:case ’w’:case ’x'：case ’y':case ’z’：while（letter(s）||digit(s)）{token[j］=s;j=j+1；get()；｝retract();k=lookup（token）;if（k==0)printf（"（%d,％s）”,6,token）;else printf("（%d,—)"，k);break;case ’0':case ’1’:case ’2'：case ’3':case '4’：case '5’：case ’6'：case ’7’：case ’8’:case '9’：while（digit(s）)｛token[j]=s;j=j+1；get（）;｝retract(）;printf(”％d,％s",7,token）；break;case '+'：printf(”（’+',NULL)”）；break;case ’-':printf("（’-'，null）"）;break；case ’＊':printf（”（'＊’，null）"）;break;case '<':get()；if(s=='=’） printf（”（relop,LE)”）；else｛retract(）；printf（"（relop，LT)"）;｝break;case ’='：get（）;if(s=='=’）printf（"(relop,EQ)"）；else{retract（）；printf(”('=',null）”)；｝break；case ’；'：printf（”（；,null)")；break；case ' ’：break；default:printf（"！\n”)；}j=0;get(）；｝ }六：实验结果：实验二一、实验名称：语法分析器的设计二、实验目的：用C语言编写对一个算术表达式实现语法分析的语法分析程序，并以四元式的形式输出，以加深对语法语义分析原理的理解,掌握语法分析程序的实现方法和技术.三、实验原理：1、算术表达式语法分析程序的算法思想首先通过关系图法构造出终结符间的左右优先函数f(a)，g(a）。

编译原理词法分析器实验报告

编译原理词法分析实验报告

编译原理词法分析实验报告

编译原理实验词法分析实验报告

编译原理实验报告

编译原理实验报告

词法分析器的实验报告

编译原理实验报告——词法分析器(内含源代码)

编译原理词法分析报告

编译原理实验报告

编译原理实验报告--词法分析器

编译原理 实验报告(词法分析器)

词法分析实验报告心得(3篇)

编译原理词法分析器实验报告

编译原理词法分析器实验报告

编译原理实验词法分析实验报告

编译原理_词法分析器实验报告

编译词法分析实验报告

编译原理词法分析器实验报告

(完整)编译原理实验报告(词法分析器 语法分析器)

编译原理实验报告(词法分析器)

(完整)编译原理实验报告(词法分析器语法分析器)