编译原理第三章素材

2018/10/13
TJNU-COCIE-WJW
22
2. 直接分析法（续2） 分析流程图
下一个语句 否 字符是否读来 是 读 一 个 符 号
该字符是什么
字母 子 程 序 1
·
子 程 序 2
数字 子 程 序 3
*
子 程 序 4 出口
其他 子 程 序 5
2018/10/13
TJNU-COCIE-WJW
2018/10/13 TJNU-COCIE-WJW 11
三、例子
例1：FORTRAN编译程序的词法分析器，在扫描输 入串： IF （5. EQ .M） GOTO 100 输出的单词如下：
单词符号 IF 左括号 整常数 等号 标识符 右括号 GOTO 标号
2018/10/13
2018/10/13 TJNU-COCIE-WJW 4
2.单词的种类 （1）基本字（保留字，关键字） 由程序语言定义的具有固定意义的标识符。 用户不能用来表示变量名，函数名等标识符 例：C语言中的“if” “else” “while” … （2）标识符 用户使用的，用来表示各种名字，变量名，函数 名等
0
Y
2
注意：一个完整的状态转换图有n个状态，其中有 一个初态，至少要有一个终态(用双圆圈表示)
2018/10/13 TJNU-COCIE-WJW 25
3. 状态转换图法（续2） (4)举例 例1：构造一个识别标识符的状态转换图 解：
字母或数字 0 字母 1 其他 2
*
其中“*”表示在该状态下多读进一个字符 识别：name1
2018/10/13
TJNU-COCIE-WJW
29
1、SL的单词符号及其内部表示（P42)
单词符号 DIM IF DO STOP END 标识符 常数（整型） = + * ** , （ ）
2018/10/13
种别编码 1 2 3 4 5 6 7 8 9 10 11 12 13 14
助记符号 $DIM $IF $DO $STOP $END $ID $INT $ASSIGN $PLUS $STAR $POWER $COMMA $LPAR $RPAR
词法分析器输出的单词符号常常用二元式来表示：
<单词种别，单词符号的属性值>
2018/10/13
TJNU-COCIE-WJW
7
1. 单词种别 通常用整数编码来表示 （1）关键字，运算符，界符 一字一种编码（处理起来比较方便） 例：if，else，‘(’，‘+’，… （2）常数 按类型分别给出编码 例：整型，实型，布尔型，… （3）标识符 统归一种，只给一个编码 例：变量名，函数名等都是一种编码
23
3. 状态转换图法 (1)状态转换图：一张有限方向图 (2)状态转换图的功能 识别（接受）一定的符号串（单词）
2018/10/13
TJNU-COCIE-WJW
24
3. 状态转换图法（续1） (3)状态转换图的结构 ①结点：代表状态，用圆圈表示 ②箭弧：状态之间用箭弧连接 ③箭弧上的标记：代表在射出节点下可能出现的 字符或字符串 X 1 例：
2018/10/13 TJNU-COCIE-WJW 19
1. 超前搜索法（续2） (4) 算符和界符的识别 应将那些由多个字符复合成的算符和界符拼成一个 单词符号 例：++ ->=
2018/10/13
TJNU-COCIE-WJW
20
2. 直接分析法 （1）基本思想 根据读来的第一个字符的种类分别转到各种 子程序处理。这些子程序功能就是识别以相 应字符开头的各种单词。 （2）方法 以FORTRAN语言为例，分成几种情况 ①以字母开头的 基本字、标识符、格式说明符，… IF WHILE
2018/10/13 TJNU-COCIE-WJW 13
3.2 词法分析器的设计
一、词法分析器的结构
源程序
输入
预处理 子程序
输入 缓冲区
列表
扫描缓冲区 扫描器
单词符号
2018/10/13 14
TJNU-COCIE-WJW
1. 输入缓冲区、预处理子程序 （1）输入源程序文本，放入输入缓冲区中，词 法分析工作可在这个输入缓冲区中工作 （2）剔除无用的空白，跳格(TAB)，回车，换 行等编辑性字符；若空白符号为单词符号的界 符，就将若干空白和并为1个 （3）剔除注释行，比如/*…*/ （4）如果是FORTRAN语言，区分标号区、续 行区和给出句末符 （5）源程序的出错列表打印 （6）将预处理好的子程序放到扫描缓冲区中
2018/10/13 TJNU-COCIE-WJW 21
2. 直接分析法（续1） ②以小数点开头的 .34 .EQ. .TRUE. .FALSE. 等 ③以数字开头的 常数、格式语句、重复说明 WRITE(6,10) X,Y 10 FORMAT(2X, F10.4, F9.3) ④以*开头的：* ** ⑤除此之外：都是一个基本字符表示一个单词
2018/10/13
TJNU-COCIE-WJW
5
2.单词的种类（续） （3）常数 整型、实型、逻辑、字符… 例：1000，3.14，TRUE，“Abcd” （4）运算符 +、-、*、/ … （5）界符 ， ； { } （）…
2018/10/13 TJNU-COCIE-WJW 6
二、单词的表示形式
内码值 内部字符串 标准二进制 30
TJNU-COCIE-WJW
2.为了讨论方便，对SL加三点限制 （1）所有基本字都规定为保留字（用户不能 用它们来定义标识符的，避免超前搜索 ） （2）对基本字只构造一个基本字表，不构造 其状态转换图（只要识别出是一个标识符， 就去查基本字表看看是否是基本字）
（3）对基本字，标识符和常数之间要留有间 隔符（避免超前搜索）
经词法分析器处理后，将被转换成如下单词符号序列： 单词符号 <单词种别编码，单词符号的属性值> while < while，- > ( < ( ，- > i < id，指向i的符号表项的指针> >= < >= ，- > j < id，指向j的符号表项的指针> ) < )， - > i < id，指向i的符号表项的指针> -< --，- > ； <;,->
2018/10/13 TJNU-COCIE-WJW 8
1. 单词种别（续） 注意： (1)若一个种别只包含一个单词符号（一种一字）， 对于该单词符号，种别编码就可以代表它自身了。 例如：关键字，运算符，界符 (2)若一个种别包含有多个单词符号（一种多字）， 对于该种别的每个单词符号，除了给出种别编码， 还需给出单词符号的属性值 例如：整型常数，实型常数，布尔常数，标识符
2018/10/13 TJNU-COCIE-WJW 15
2.扫描缓冲区、扫描器 （1）扫描缓冲区 设两个半区，可互补使用
前半区
起点指针
设两个指针
后半区
搜索指针
起点指针：指出正在识别单词起点位置 搜索指针：向前搜索以寻找单词终点
（2）扫描器：扫描缓冲区，直接进行单词的识别
2018/10/13 TJNU-COCIE-WJW 16
END
超前扫描很多字符，直到扫描到可以肯定词性的 地方为止
2018/10/13 TJNU-COCIE-WJW 18
1. 超前搜索法（续1） (2) 标识符的识别 一般是以字母开头后跟数字/字母的字符串，后边 一般都有算符和界符，比较好识别 (3)常数的识别 例：对于FORTRAN 5.EQ.M （5==M） 5.E08 （5*108) 直到超前扫描到字母Q时才能确定5的词性 3HABC （“ABC”） 3H是词头，代表长度为3的字符串常数
2018/10/13
TJNU-COCIE-WJW
9
2.单词符号的属性信息 单词符号的属性：指单词符号的特性或特征
单词符号的属性值：反映单词特性或特征的值
2018/10/13
TJNU-COCIE-WJW
10
2.单词符号的属性信息（续） 属性值的表示方法： （1）基本字，运算符，界符（一字一种） 只给其种别编码，不给出它的属性值 例：基本字while表示成： <$WHILE, - > （2）常数 表示成标准的二进制形式 例：1024表示成：<$CONST, 1024的二进制表示> （3）标识符 用字符串编码或对应的符号表项地址 例：name表示成：<$ID，“name”> 或<$ID, 指向name的符号表项的指针>
2018/10/13 TJNU-COCIE-WJW 26
3. 状态转换图法（续3） 例2：构造一个识别整数的状态转换图，说说识 别256过程 解：
数字 1
0
数字
非数字
2
*
2018/10/13
TJNU-COCIE-WJW
27
3. 状态转换图法（续4） 例3： 识别FORTRAN实型常数的状态转换图 解： E|D
<单词种别编码，单词符号的属性值> <34，- > <2 ，- > <20，5的二进制表示> <6 ，- > <26，‘M’ > <16，- > <40，- > <19，‘100’二进制表示>
TJNU-COCIE-WJW 12
例2：考虑下面C++的一段代码： while ( i >= j) i--;
32
4. 状态转换图的程序实现 思路：为每个状态结点都编写一个子程序 首先，设以下一些变量或过程 ch:字符变量,存放最新读进的源程序字符 strToken:字符数组,存放构成单词符号的字符串 GetChar:子程序过程,将下一输入字符读到ch中,搜索指 示器前移一字符位置 GetBC:子程序过程,检查ch中的字符是否为空白,若是, 则调用GetChar直至ch中进入一个非空白字符 Concat:子程序过程,将ch中的字符连接到strToken之 后.例如,假定strToken原来的值为“AB”,而ch中存放 着‘C’,经调用Concat后,strToken的值就变为“ABC”