中文印刷体文档数学公式识别系统

ｅｘｐｒｅｓｓｉｏｎｓ
ａｎｄ
ｔｏ
ｒｅｃｏｎｓｔｒｕｃｔ ｔｈｅ
ａｓ
ｒｅｃｏｇｎｉｚｅｄ ｆｏｌｌｏｗｓ：
ｅｘｐｒｅｓｓｉｏｎｓ
ｉｎｔｏ
ｐｕｂｌｉｃａｔｉｏｎ ｆｏｒｍａｔ．１１１ｅ ｓｙｓｔｅｍ ｗｏｒｋｓ
Ｆｉｒｓｔｌｙ，Ｉｍａｇｅ Ｐｒｅｔｒｅａｔｍｅｎｔ．Ｉｔ ｗｉｌｌ ｉｍｐｏｒｔ ｎｏｉｓｅ ｉｎ ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ｉｍａｇｅ
Ｃｈａｒａｃｔｅｒ
Ｒｅｃｏｇｎｉｔｉｏｎ）。ＯＣＲ实际上是把
含有印刷体字符或手写体字符（数字、字母、汉字等）的文档图像进行识别 并转换为计算机可以理解的代码（如ＡＳＣＩＩ码）的过程。０ｃＲ涉及模式识别、 图像处理、数字信号处理、人工智能、模糊数学、信息论等学科，是一门综 合性的研究课题。人们对ＯＣＲ的研究从２０世纪５０年代就开始了，它是模式 识别领域中最早开始被人们研究的领域之一，但早期这方面的研究受到了当 时计算机计算及存储能力的限制。从２０世纪８０年代初开始，随着信息技术 的迅猛发展，人们也逐渐显示出对ＯＣＲ越来越浓厚的研究兴趣。这不仅是因 为该领域充满了无数令人兴奋的挑战，也是因为实用ｏＣＲ系统研究的成果能 给社会带来巨大的经济效益。经过多年的研究和发展，字符识别技术有了长 足的进步，不断涌现出大量的成果。 按照文字的书写方式不同，字符识别技术可分为印刷体字符识别和手写 体字符识别两大类，后者又可根据字符数据产生的方式不同分为联机 （Ｏｎ—ｌｉｎｅ）和脱机（Ｏｆｆ－ｌｉｎｅ）两种。印刷体字符由于其书写规范、规格统一的 特点，其识别技术已经趋于成熟和完善，市场上推出的识别产品也日臻成熟， 识别效果已经较好，即使对印刷质量较差的文档图像也能达到较高的识别率。 目前主流的ＯＥＲ系统能够高效、准确的识别文档中的文字，已经广泛应用于 办公自动化、快速录入等领域，克服了人工输入费时费力的缺点。这方面国 内有代表性的研究单位有清华文通、汉王、北京信息工程学院，国家智能计
作者（签字）：
杰盘
日期：
炒７年弓月７日
哈尔滨工稃大学硕士学位论文
第１章绪论
１．１课题研究的目的和意义
随着计算机的普及，人们越来越多的使用计算机处理日常工作和存储信 息。信息化时代的到来，使因特网成为传播、交换信息的主要途径。另外， 对于业务繁忙的公司，如银行、海关、税务和教育等部门，必须在有限的时 间内，查找和处理数量巨大的文件流。所有这些，都迫切要求使用一些廉价 而又有效的方法，把现存的印刷在纸上的文献转化为相应的电子形式，使之 便于计算机处理及因特网传播。 字符识别是模式识别学科的一个传统研究领域，从五十年代开始，许多 研究者就在这一领域开展了广泛的探索，推动了模式识别的发展。字符识别 最主要的应用就是０ｃＲ（ｏｐｔｉｃａｌ
Ｃｈｉｎｅｓｅ ｃｈａｒａｃｔｅｒｓ． Ａｎｄ ｔｈｅｎ，Ｓｙｍｂｏｌ ｎｅｅｄ ｔｏ ｋｎｏｗ
Ｒｅｃｏｇｎｉｔｉｏｎ．Ｆｏｒｍｕｌａｓ
ｗｅ ｇｅｔ ｈａｖｅ
ｍａｎｙ
ｃｈａｒａｃｔｅｒｓ，ｗｅ
ｆｏｒｍｕｌａ ｃｏｎｔａｉｎｓ，ｔｈｅ
ｌｏｃａｔｉｏｎ ｒｅｌａｔｉｏｎ
ｑｕｉｃｋ ａｐｐｒｏａｃｈ ｔｏ ｓｅｇｍｅｎｔ ｅａｃｈ ｃｈａｒａｃｔｅｒ ｆｒｏｍ ｔｈｅ
哈尔滨工程大学硕士学位论文
算机研究中心以及重庆大学光机所。现在对于汉字这样的超大字符集，识别 率也达到了９５％以上【ｌｌ。对于联机手写字符识别，数据是通过书写者使用一 支特殊的笔在一块电子平板上书写获得的，即字符的识别与人的书写必须同 时进行。联机字符识别的研究也比较成熟，国内外已经有多家公司从事联机 手写字符识别的产品开发，市场上常见的“手写板”就是这样的产品。联机 字符识别主要用于信息产品（个人电脑、手机、ＰＤＡ等）的电子笔输入，以 及数字签名验证、笔迹鉴定等信息安全领域。对于脱机字符识别，数据则是 通过对写好或打印出来的文档扫描成图像获得的。脱机情况下的字符识别比
Ａｂｓｔｒａｃｔ
Ｗｉｔｈ
ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｓｃｉｅｎｃｅ ａｎｄ ｔｅｃｈｎｏｌｏｇｙ ｎｏｗａｄａｙｓ，ｍａｔｈｅｍａｔｉｃａｌ
ａｒｅ
ｅｘｐｒｅｓｓｉｏｎｓ
ｔｈｅ
ｃｏｒｅ
ｐａｒｔ ｏｆ ｍｏｓｔ ｓｃｉｅｎｃｅ ａｎｄ ｔｅｃｈｎｏｌｏｇｙ ｄｏｃｕｍｅｎｔｓ．Ｂｕｔ ｉｔ ｉｓ
ｌｅｖｅｌ ｏｆ ｓｃｉｅｎｃｅ ａｎｄ
ｓｅａｒｃｈｅｓ，ａｎｄ ｔｈｅｒｅｆｏｒｅ ｉｍｐｒｏｖｅ ｔｈｅ
ｔｅｃｈｎｏｌｏｇｙ
ｉｎ
ｌｉｔｅｒａｔｕｒｅ．
他ｅ
ｓｙｓｃｅｍ ｐｒｏｐｏｓｅｄ ｉｎ ｔｈｉｓ ａｒｔｉｃｌｅ ｈａｓ ｔｈｅ ａｂｉｌｉｔｙ
ｔＯ
ｒｅｃｏｇｎｉｚｅ
ｍａｔｈｅｍａｔｉｃｓ
ｐａｒｔｉｃｕｌａｒ
具有重要意义。
国外于２０世纪６０年代后期开始数学公式识别的研究，进入９０年代，这
个领域的研究热度逐渐增加，作为文档电子化必须要解决的问题，数学公式 识别得到了越来越多的关注。数学公式与普通文本相比有许多不同的特点， 根式、分式、上／下标、极限以及矩阵等特殊结构的存在，使得数学公式在结 构上具有二维特征，这决定了数学公式识别应该包含符号识别与公式结构分 析两部分。而结构分析的准确性会直接影响对公式的理解与重构，因此它决 定了公式识别效果的好坏，是公式识别的关键。 根据数学公式输入方式的不同，可将数学公式识别系统分成两类：联机 数学公式识别和脱机数学公式识别。
特别困难，这也制约了利用计算机和网络开展数学辅助教学的发展。因此对 它的研究可以使数学表达式用于检索。提高文献的科技性：实现公式输入的
自动化，以解决手动输入的低效率问题；改变数学表达式图片的存在形式， 可以节省空间，提高网络的传输速度等。 目前广泛应用的ｏｃＲ系统对手写、印刷体文本都有很高的识别率，己经 广泛应用于办公自动化等领域，克服了人工输入费时费力的缺点。但是它只 憨识别单个字符，还不能分析公式结构，这样就失去了公式所表达的数学含 义。因此，本文提出一种对文档中的数学公式定位提取后利用基于特征字符 的印刷体数学公式识别方法的设计思想，并给出了完整算法，将印刷体的数 学公式（图像格式）转换成可编辑的电子格式。本文主要分为以下几个部分：
ｅｘｐｒｅｓｓｉｏｎ ｕｎｔｉｌ
哈尔滨工稃大学硕士学能论文
Ａｔ ｔｈｅ ｅｎｄ，Ｏｕｔｐｕｔ ｔｈｅ ｒｅｓｕＲ．Ｉｎ ｔｈｉｓ ｐａｒｔ ｗｅ ｉｎｔｒｏｄｕｃｅ ｈｏｗ
ｔｏ ｕｓｅ
Ｗｏｒｄ ＥＱ，
ａ
ａｎｄ ｆｉｎａｌｌｙ，ｗｅ仃ａｎｓｆｅｒ ｔｈｅ ｇｒａｍｍａｒ ｔｒｅｅ ｐｒｏｄｕｃｅｄ ｂｙ ｔｈｅ ｓｔｒｕｃｔｕｒｅ ａｎａｌｙｚｅｒ ｉｎｔｏ
联机的情况要复杂的多，市场上的一些产品识别效果都不太理想，对书写的
规范性要求较高，脱机识别主要应用于银行票据处理、邮政信件自动分拣、 商业表格识别等领域。
在科技高速发展的现代，许多科技文献中不仅包含普通文字，图像和图
形，还包含大量的数学公式，已有的ＯＣＲ产品只能识别字符，一般不具备数
学公式的识别与重构功能，仍需要按照图片来处理公式，存储数据量大且无 法编辑、修改。因此，研究公式识别与重构，对于拓宽ＯＣＲ系统的应用领域
ｏｎ
ａｎｄ
ｓｙｍｂｏｌｓ ｂｕｔ ａｌｓｏ ｏｆ ｉｔｓ ｃｈａｎｇｅａｂｌｅ ｌａｙｏｕｔ
ｔｈｅ ｍａｔｈｅｍａｔｉｃａｌ ｅｘｐｒｅｓｓｉｏｎｓ，ｗｈｉｃｈ ａｒｅ ｃｏｍｐｏｓｅｄ ｏｆ
ｅｘｐｒｅｓｓｉｏｎｓ ｂｅ
ａｎｄ ｔｅｃｈｎｏｌｏｇｙ，Ｃａｎ ｍａｋｅ ｔｈｅ ｍａｔｈｅｍａｔｉｃａｌ
ｃｏｎｔａｉｎ
ｍａｔｈｅｍａｔｉｃａｌ
ｍａｔｈｅｍａｔｉｃａｌ ｆｏｒｍｕｌａｓ
ｉｓｏｌａｔｅｄ ａｎｄ
ａｒｅ
ｆｏｒｍｕｌａｓ．Ｗｈｅｎ ｌｉｎｅｓ ｔｌｌａｔ ｃｏｎｆｉｒｍｅｄ，ｍａｔｈｅｍａｔｉｃａｌ ｆｏｒｍｕｌａ ｓｙｍｂｏｌｓ
ｃｏｎｔａｉｎ
ｃａｎ
ｂｅ
ｌａｂｅｌｅｄ
ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｍｏｒｐｈｏｌｏｇｉｃａｌ ｄｉｆｆｅｒｅｎｃｅｓ ｂｃｔｗｅｇｎ ｔｈｅｍ ａｎｄ
ｃｒｅａｔｉｏｎ，ａｎｄ ｉｔ ｉｓ ｈａｒｄ ｔｏ ｄｅａｌ ｗｉｍ ｓｕｃｈ ｐｉｃｔｕｒｅｓ ｄｉｒｅｃｔｌｙ，ＳＯ ｗｅ ｎｅｅｄ ｄｏ ｓｏｍｅ ａｔ ｆｉｒｓｔ ｔｏ ｍａｋｅ ｔｈｅ ｐｉｃｔｕｒｅ ｍｏｒｅ ａｐｐｒｏｐｒｉａｔｅ ｔｏ ｄｉｓｐｏｓｅ．
ｊｏｂ
Ｓｅｃｏｎｄｌｙ，Ｍａｔｈｅｍａｔｉｃａｌ Ｆｏｒｍｕｌａ Ｌａｂｅｌｉｎｇ．Ｉｎ ｔｈｉｓ ｔｈｅｓｉｓ，ａ
ｉｓ ｐｒｏｐｏｓｅｄ ｔｏ
ｓｔａｔｉｓｔｉｃａｌ ｍｅｔｈｏｄ
ｊｕｄｇｅ ｗｈｅｔｈｅｒ ｏｎｅ
ｏｒ
ｔｅｘｔ
ｌｉｎｅ ｉｎ
ａ
ｔｙｐｅｓｅｔ Ｃｈｉｎｅｓｅ ｄｏｃｕｍｅｎｔ
ｃｏｎｔａｉｎｓ
ｍａｔｈｅｍａｔｉｃａｌ ｆｏｒｍｕｌａｓ １ｉｎｅｓ ａｎｄ ｌｉｄｉｆｆｅｒ ｇｒｅａｔｌｙ ｂｅｔｗｅｅｎ ｐｕｒｅ ｔｅｘｔ
Ｗｏｒｄ ＥＱ ｄｏｃｕｍｅｎｔ．
Ｋｅｙｗｏｒｄｓ：ｍａｔｈｅｍａｔｉｃａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ；ｓｔｒｕｃｔｕｒｅ ａｎａｌｙｓｉｓ；ｆｏｒｍｕｌａ ｅｘｔｒａｃｔｉｏｎ；ｓｙｍｂｏｌ ｌａｂｅｌｉｎｇ；ｓｙｍｂｏｌ ｒｅｃｏｇｎｉｔｉｏｎ
哈尔滨工程大学
学位论文原创性声明
ｏｎ
ｅｘｔｒｅｍｅｌｙ ｄｉｆｆｉｃｕｌｔ ｔｏ ｅｘｐｒｅｓｓ ｔｈｅ ｍａｔｈｅｍａｔｉｃａｌ ｆｏｒｍｕｌａ
ｃｏｍｐｕｔｅｒ
ｎｏｔ ｏｎｌｙ
ｂｅｃａｕｓｅ ｏｆ ｉｔｓ ｖａｒｉｏｕｓ ｃｈａｒａｃｔｅｒｓ
ｗａｙｓ．Ｓｏ ｔｈｅ ｒｅｓｅａｒｃｈｅｓ ｍａｎｙ ｒｕｌｅｓ ｏｆ ｓｃｉｅｎｃｅ ｕｓｅｄ ｉｎ
进行分割，并对不同的特征字符，采用不同的处理算法，找出各个特征予块。
直到子块中无上下标。然后送行识别。 最后就是结果输出。在这一部分给出了Ｗｏｒｄ ＥＱ域的使用方法。并把结 构分析生成的语法树转换为可编辑的Ｗｏｒｄ ＥＱ格式。 关键词：公式识别；结构分析；公式提取：字符定位；符号识别
哈尔滨工程大学硕士学位论文
本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献的引用已在文中指出，并与参考文献相对应。除文中已 注明引用的内容外，本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。
首先是预处理。图像在生成的过程中容易引进噪声，为了使图像达到我
们的要求，要对它进行二值化、平滑去噪、细化、大小归一化等处理。 其次是公式定位。利用统计计算文档正文一行文本字符宽度２阶中心矩 的修正值大小来判定这行文本中是否含有数学公式。在判定含有数学公式的 文本行中，利用数学公式符号与汉字字符外部形态特征的不同把它们区分开， 并定位数学公式。 然后是公式字符识别。由于定位的是～个整体的公式，而我们需要知道 公式包含的各个字符以及它们之间的位置关系，因此，就要分割公式所包含 的字符并且识别它们。本文采用快速算法进行字符的分割，用模板匹配的方 法进行字符识别。 接下来研究结构分析。本文采用基于特征字符的方法进行结构分析，提 出了特征字符和特征子块的概念。对输入的公式，按照特征字符的处理算法
哈尔滨工程大学 硕士学位论文 中文印刷体文档数学公式识别系统 姓名：李蕊 申请学位级别：硕士 专业：模式识别与智能系统 指导教师：王科俊 20070201
哈尔滨工程大学硕士学位论文
摘要
在科技高度发展的现代，数学表达式是大多数科技文献的核心。但是， 数学公式由于使用特殊符号繁多，排版格式复杂多变，因而在计算机上处理
ｆｏｒｍｕｌａ ｂａｓｅｄ
ｔｈｅｒｅ ｉｓ
ｎｏ
ｃｈａｒａｃｔｅｒｉｓｔｉｃ
ｃｈａｒａｃｔｅｒ．Ｗｅ
ｄｉｆｆｅｒｅｎｔ ａｌｇｏｒｉｔｈｍ
ｉｎｐｕｔ
ｄｅａｌ ｗｉ廿ｌ ｄｉｆｆｅｒｅｎｔ
ｃｈａｒａｅｔｅｒｉｓｔｉｃ ｓｕｐｅｒｓｃｒｉｐｔ
ｏｒ
ｃｈａｒａｃｔｅｒ．Ｗｅ ｓｅｇｍｅｎｔ ｔｈｅ
ｓｕｂｓｃｒｉｐｔ ｉｎ ｔｈｅ ｂｌｏｃｋ．
ｂｅｔｗｅｅｎ ｃｈａｒａｃｔｅｒｓ．Ｗｅ ＵＳｅ ｔｈｅ ｆｏｒｍｕｌａ ａｎｄ Ｗｅ ｃａｎ ｒｅｃｏｇｎｉｚｅ
ｓｔｒｕｃｔｕｒｅ ｏｆｔｈｅ ｔｏ
ｓｙｍｂｏｌ
ｗｉⅡｌ ｔｅｍｐｌａｔｅ ｍａｒｃｈｉｎｇ．
Ｆｏｌｌｏｗｉｎｇ．Ｓｔｒｕｃｔｕｒｅ
ｏｎ
Ａｎａｌｙｓｉｓ．Ｗｅ ａｎａｌｙｚｅ ｔｈｅ
ｕｓｅ