编译原理 实验 词法分析 程序源码

csu
cout<<"open file failed!"<<endl; exit(1); }
//从文件将源程序全部输入到字符缓冲区中 while((ch = fgetc(fp)) != EOF) {
buffer += ch; } cout<<buffer<<endl;
//词法分析过程 for(int i=0; i<buffer.size(); i++) {
"int",
"long",
"short", "double", "float",
"char", "wchar_t", "true",
"false", "bool",
"signed", "unsigned", "define",
"struct","enum", "union", "new",
"delete",
if (token.size() != 0) {
cout<<"(1, \""<<token<<"\")"<<endl; token = ""; } } //判断 token 是否为常量，若是则输出 token 并置空 else if ( isConstant(token) ) { if (token.size() != 0) {
#define MAX_KEYWORD 100 //关键字个数
#define MAX_OPERATE 50
//运算符个数
#define MAX_SEPARAROR 20 //分隔符个数
string keyword[MAX_KEYWORD] =
{"include", "main",
"void",
"using", "namespace",
csu
//token 既非关键字，又非常量，则判断为标识符，输出 token 并置空 else {
if (token.size() != 0) {
cout<<"(2, \""<<token<<"\")"<<endl; token = ""; } }
//输出分隔符，空格、换行符、制表符除外 if (buffer[i] == ' ' || buffer[i] == '\n' || buffer[i] == '\t') { } else {
csu
cout<<"(3, \""<<token<<"\")"<<endl; token = ""; } } //token 既非关键字，又非常量，则判断为标识符，输出 token 并置空 else { if (token.size() != 0) { cout<<"(2, \""<<token<<"\")"<<endl; token = ""; } }
i++; } i += 2; } else { //输出运算符
csu
cout<<uffer[i]<<"\")"<<endl; //$$$$$判断运算符是否为符合运算符，如+=, *=等 if ( isOperate(buffer[i+1]) ) {
cout<<"(4, \""<<buffer[i+1]<<"\")"<<endl; i++; } } } //既非分隔符，又非运算符，则把字符 ch 加到字符串 token 中 else { token += buffer[i]; } }
五、实验报告要求
详细说明你的程序的设计思路和实现过程。用有限自动机或者文法的形式 对词法定义做出详细说明，说明词法分析程序的工作过程，说明错误处理的实 现。
参考资料
一、程序要求
1、以下面一段程序为例
main() {
int a,b; a = 10; b = a + 20; }
2、需要识别的词
1. 关键字：if、int、for、while、do、return、break、continue；单 词种别码为 1。
"extern", "default","friend", "try",
"throw",
"typedef", "virtual" };
char operate[MAX_OPERATE] =
{'+', '-', '*', '/', '%', '=', '<', '>',
'|', '&', '!', '^'
csu
return true; } } return false; }
/* * 是否为常量 */
bool isConstant(string str) {
for (int i=0; i<str.size(); i++) {
if ( str[i]<'0' || str[i]>'9' ) {
return false; } }
cout<<"(5, \""<<buffer[i]<<"\")"<<endl; }
csu
} //如果是运算符，判断 token 并输出,且输出该运算符 else if ( isOperate(buffer[i]) ) {
//判断 token 是否为关键字，若是则输出 token 并置空 if ( isKeyword(token) ) {
//判断是否为单行注释 if (buffer[i] == '/' && buffer[i+1] =='/') {
//直到这一行结束为止
csu
while (buffer[i] != '\n') {
i++; } i += 2; } else if (buffer[i] == '/' && buffer[i+1] =='*') { //直到遇见*/为止 while ( !(buffer[i] == '*' && buffer[i+1] == '/') ) {
return 0; }
2. 标识符；单词种别码为 2。 3. 常数为无符号整形数；单词种别码为 3。
csu 4. 运算符包括：+、-、*、/、=、 、<、 =、<=、!= ；单词种别码为 4。 5. 分隔符包括：,、;、{、}、(、)； 单词种别码为 5。 3、程序输出形式 要求输出下面的形式： （2，”main”） （5，”（“） （5，”）“） （5，”{“） （1，”int”） （2，”a”） （5，”,”） （2，”b”） （5，”;”） （2，”a”） （4，”=”） （3，”10”） （5，”;”） （2，”b”） （4，”=”） （2，”a”）
护符号表； 4. 对于源程序中的词法错误，能够做出简单的错误处理，给出简单的错
误提示，保证顺利完成整个源程序的词法分析；
四、实验步骤
1. 定义目标语言的可用符号表和构词规则； 2. 依次读入源程序符号，对源程序进行单词切分和识别，直到源程序结
csu 束； 3. 对正确的单词，按照它的种别以<种别码，值>的形式保存在符号表中； 4. 对不正确的单词，做出错误处理。
1. 定义部分：定义常量、变量、数据结构。 2. 初始化：从文件将源程序全部输入到字符缓冲区中。 3. 取单词前：去掉多余空白。 4. 取单词：利用实验一的成果读出单词的每一个字符，组成单词，分析
类型。 5. 显示结果。
csu
程序源代码: #include<iostream> #include<fstream> #include<string> using namespace std;
for (int i=0; i<MAX_SEPARAROR; i++) {
if (ch == separator[i]) {
return true; } } return false; }
/* * 是否为运算符 */
bool isOperate(char ch) {
for (int i=0; i<MAX_OPERATE; i++)