tex文件解析

基于pyparsing的tex文件解析
黄
本文用python的解析工具pyparsing对tex文件进行解析.主要是解析数学
公式.首先从数学类tex文件中总结出tex数学公式的上下文无关文法.然后
用pyparsing写出解析程序.解析结果可以表示tex中数学公式的逻辑结构.
1形式文法基本原理
主要关注上下文无关文法(context-free grammar).
定义1.1(上下文无关文法)上下文无关文法有四部分组成:非终止符号集V,
终止符号集Σ,起始符号S∈V,产生式规则集P,记为G=(V,Σ,V,P).这些集合
是有限的.其中产生式规则集包含形如
A→α
的表达式,其中A∈V,α∈(V∪Σ)∗,即由V∪Σ零个或多个元素组成.一般A可以
按箭头的反方向回溯到S.
上下文无关文法G生成的语言用L(G)表示.比上下文无关文法简单的是正则表达式,而比上下文相关文法复杂的是上下文相关文法.
注1.1为了简化产生式规则的书写我们会用到一些正则表达式,如αβ,α|β,α∗,α+,α?等.请参考有关正则表达式的书籍.
注1.2本文用⟨·⟩的形式表示非终止符,意义明确的就不再写出其产生式规则,
如⟨数字⟩，甚至也不再指明哪些是终止符号哪些是非终止符号.为了不产生歧义
或者阅读方便,在必要的时候给终止符号加上引号.
1
2数学类TEX文件基本内容
上下文无关形式文法主要被用于解析计算机程序——计算机程序的文法几乎无一例外都是上下文无关形式文法.如C语言声明变量的格式为
⟨变量声明⟩→⟨类型⟩⟨标识符⟩(=⟨表达式⟩)?′;′
其中标识符可用包含字母数字和下划线的正则表达式来表示.
实际上,数学公式甚至命题或定理也通常是上下文无关形式文法.一般包含四则运算的数学公式的文法可以定义为
S→⟨原子表达式⟩|S⟨op⟩S|(S)
⟨原子表达式⟩→⟨数字⟩+[.⟨数字⟩+]|⟨字母⟩
⟨op⟩→+|−|×|∗|·|÷|/
⟨原子表达式⟩是不能再分解的数学表达式.⟨数字⟩,⟨字母⟩意义明确不再写出相应的产生式.其中非终止符号集V={S,⟨op⟩,⟨原子表达式⟩,⟨数字⟩,⟨字母⟩},其余为终止符号.显然(a+2.3)×c,(a+2.3)·c可由该文法生成,但(a+2.3)c不行.要生成(a+2.3)c,建议加入S→S(S)|(S)S,实际上数学符号通常是单个字母(文法中就是这么规定的),因此也可以直接加入S→SS.
2数学类tex文件基本内容
tex文件主要包含普通文本和会被计算机执行的命令组成.有点类似于网络语言HTML.对于数学类tex文件,我们主要关注和数学符号或公式相关的命令.数学符号和公式要在特定的环境才能显示和被编译.一般数学公式包含在两个$$(或者双美元号$$.$$)之间,如果单独一行则应包含在或者.
从文件中抽取公式后,我们就要对数学公式本身进行解释,这是本文的主要内容.数学公式主要有一些英文字母、数字、数学符号、带转义字符在\的命令和特殊字符组成，如
∫∞
0f(z)dz=
∑
k
a k z k≈
∑
i=1
w i e x i f(x i)
其源码为
\int_0^\infty f(x)dx\approx\sum_{i=1}w_ie^{x_i}f(x_i)
2
3数学公式文法
我们把这些符号分成如下三类:
(1)字母数字与数学符号:x,f,e等,它们的特点是如实显示;
(2)带转义字符的命令:\int,\infty,\approx它们的特点是由转义字符和英文
字母组成,整个命令名从转义字符开始到非字母字符结束,代表数学符号;
有些命令没有参数,如\sin显示sin,有些命令有参数如\bar{x},显示为¯x,又
如\frac{x}{y}显示x.可以根据参数数量分成几个子类.在数学类文件中通
常不会出现含三个火三个以上的参数的命令.
(3)特殊字符:上标记号^,下标记号_.这些命令会改变后接符号的字体和显示方
式,可用{}包含若干个作为下标的字符.如x_{ij}显示x ij.因此可以勉强归
为含一个参数的第二类.
还有一些带转义字符的特殊符号\%显示%,但并不常用，我们可以把这类符号归
到第二类.
3数学公式文法
Tex的数学公式有自身的结构,如命令参数包含在{},命令都以\开始且只含
英文字母.但这些结构是为了美化数学符号的显示,接近数学符号的手写风格,
并不是为了表示数学结构,计算机也无法直接理解,和可执行的程序（如C语言）
也不一样.比如\sin在Tex中是没有参数的,可是作为数学表达式确实有参数的,
但\infty只代表∞,在Tex和数学中都是无参数的,即只是一个常量.这种不一致
不止于此.积分\int,求和\sum的情况更麻烦.
我们的任务就是要总结出数学公式的文法,然后通过文法解析出它的结构,
然后用数学化的结构来表示.比如用int(f(x),0,∞),表示积分\int_0^\infty f(x)dx.解析积分可用文法：
⟨积分表达式⟩→⟨转义⟩′int′⟨下标⟩⟨组块⟩⟨上标⟩⟨组块⟩⟨表达式⟩′d′⟨变量⟩
⟨组块⟩→⟨字母⟩|⟨数字⟩|{⟨表达式⟩}
⟨表达式⟩→(略)
一个单独的表达式,包括积分表达式,往往嵌在自然语言里,被$$包含.完整
的数学公式或命题,像自然语言一样有名词动词连词,表达式就是名词,等号不等
3
4PYPARSING程序实现
号属于符号等是动词,逻辑连词就是连词.要解析tex中的数学公式是要解析完整的命题的.
⟨命题⟩→⟨公式⟩|⟨命题⟩⟨逻辑连词⟩⟨命题⟩|非⟨命题⟩
⟨公式⟩→⟨表达式⟩(⟨符号⟩⟨表达式⟩)+
⟨符号⟩→=|<|>|≤|≥|···
⟨逻辑连词⟩→与|或
4pyparsing程序实现
Pyparsing是用Python实现的文法解析程序.出于实用的目的,它的解析能力并不完全等价于上下文无关的形式文法,而是更接近于或就是PEG(parsing expression grammar)文法.不过编写解析数学公式(一般也认为是上下文无关的)并不困难.pyparsing的用法可查询其主页.编写程序时,我们先定义pyparsing 解析器（对象）准确表达上下文无关文法,然后调用解析器的解析方法，最后整理解析结果得到我们要的信息.
大致上分两步,先从tex文件中抽取数学表达式,然后解析数学表达式.这一步比较容易,不做特别地讨论.
下面制作一个解析器来解析积分表达式以及其他数学表达式.
我们列出用于解析数学公式的代码.
[此处插入Python源代码]
我们来做一个测试,以证明程序的有效性.
[此处插入解析结果]
目前该解析器还只能解析相对简单的tex文本，有待进一步改进.
4。