基于结构特征的碎纸片的拼接复原问题

承诺书我们仔细阅读了《全国大学生数学建模竞赛章程》和《全国大学生数学建模竞赛参赛规则》（以下简称为“竞赛章程和参赛规则”，可从全国大学生数学建模竞赛网站下载）。

我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括电话、电子邮件、网上咨询等）与队外的任何人（包括指导教师）研究、讨论与赛题有关的问题。

我们知道，抄袭别人的成果是违反竞赛章程和参赛规则的，如果引用别人的成果或其他公开的资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。

我们郑重承诺，严格遵守竞赛章程和参赛规则，以保证竞赛的公正、公平性。

如有违反竞赛章程和参赛规则的行为，我们将受到严肃处理。

我们授权全国大学生数学建模竞赛组委会，可将我们的论文以任何形式进行公开展示（包括进行网上公示，在书籍、期刊和其他媒体进行正式或非正式发表等）。

我们参赛选择的题号是（从A/B/C/D中选择一项填写）： B赛区评阅编号（由赛区组委会评阅前进行编号）：编号专用页赛区评阅编号（由赛区组委会评阅前进行编号）：全国统一编号（由赛区组委会送交全国前编号）：全国评阅编号（由全国组委会评阅前进行编号）：基于结构特征的碎纸片的拼接复原问题摘要碎纸自动拼接技术是图像处理与模式识别领域中的一个典型的应用，该技术通过扫描和图像提取技术获取一组碎纸片的形状、纹理及内容等信息，然后利用计算机进行相应理解从而实现对这些碎纸片的全自动或半自动拼接还原。

针对问题一，考虑到纵切的碎纸片所含有的信息量较大，利用图像处理中的信号匹配方法，结合左右两个碎纸片的灰度像素矩阵的边缘特征，建立基于结构特征的灰度匹配模型，对英文字母制定了灰度相似的配准规则，使待拼接的碎纸片边缘的对应行像素之差的平方和最小；而结合中文字符的横笔结构特征，对中文字制定了“横笔”匹配相似度的配准规则，并给出了最终的碎纸拼接图和拼接次序，拼接的正确率是100%。

针对问题二，对于既纵切又横切的情形，每一个纸片的边缘所含的信息量相对较少，故对中、英文碎片的拼接复原需各自建模分析。

首先利用“分而治之”的思想，将一个难以直接解决的大问题，分割成一些规模较小的相同问题。

对于中文碎片拼接复原，根据中文的方块特点，给出了中文的文字结构特征向量及其边缘像素的特征向量。

根据这些结构特征向量对所有的碎纸片进行粗分类，在此基础上设计了基于边缘特征的匹配规则集，对每一行从左到右在进行细匹配。

利用等距序列图像的快速拼接技术拼出左边第一列，基于灰度匹配，将图像转化为二值图像并对每行进行最优匹配。

先按照行配准，然后再进行列配准，最终匹配出误差最小的图像；对于英文碎片复原同样采取人工干预粗分类，粗匹配后，采用神经网络算法对碎片图像训练、学习构建BP网络对英文字母进行匹配识别，结合剪枝定界法实现英文碎片的拼接复原。

发现每行匹配率为78.85%，整篇匹配率大约为68.73%。

针对问题三，由于碎片数据均为双面打印文件，文字特征相同，仅用问题二中的方法产生的误差太大，仍沿用粗分类特点通过神经网络拼接、灰度匹配修正、人工干预，结合等距序列拼接技术实现单面拼接，然后验证反面的正确性并修正。

关键词：图像拼接，灰度配准，结构特征，配准规则，神经网络一、问题重述破碎文件的拼接在司法物证复原、历史文献修复以及军事情报获取等领域都有着重要的应用。

拼接复原工作若由人工完成，准确率较高，但效率很低。

特别是当碎片数量巨大，人工拼接很难在短时间内完成任务。

现试图开发碎纸片的自动拼接技术，以提高拼接复原效率。

我们需要建立数学模型解决以下问题：1. 对于给定的来自同一页印刷文字文件的碎纸机破碎纸片（仅纵切），建立碎纸片拼接复原模型和算法，并针对附件1、附件2给出的中、英文各一页文件的碎片数据进行拼接复原。

如果复原过程需要人工干预，写出干预方式及干预的时间节点。

2. 对于碎纸机既纵切又横切的情形，设计碎纸片拼接复原模型和算法，并针对附件3、附件4给出的中、英文各一页文件的碎片数据进行拼接复原。

如果复原过程需要人工干预，写出干预方式及干预的时间节点。

3. 现实情形中可能有双面打印文件的碎纸片拼接复原问题需要解决。

附件5给出的是一页英文印刷文字双面打印文件的碎片数据。

尝试设计相应的碎纸片拼接复原模型与算法，并就附件5的碎片数据给出拼接复原结果。

二、问题分析碎纸自动拼接复原技术在司法鉴定，历史研究等领域都有着广泛的应用。

近年来,随着德国斯塔西文件的恢复工程的公布,碎纸文件复原技术的研究引起了人们的广泛关注。

碎纸自动拼接技术是模式识别领域中的一个很典型的应用。

涉及数字图像处理，机器学习等多个学科，充分体现了当下多学科相互融合的学科特点，这也正说明了碎纸自动拼接本身具有一定的难度。

匹配技术是碎纸自动拼接技术的关键，它可以分为两个步骤：局部拼接和全局恢复。

局部拼接是指碎片两两之间的拼接问题，全局拼接是关于一组碎片之间的匹配问题。

局部匹配技术可以分为两类，一类比较具体，多对应图像低层像素或像素的集合，统称为图像匹配；另一类则比较抽象，主要与图像或目标的性质有关统称为广义匹配。

图像匹配包括模板匹配、目标匹配和动态模式匹配。

广义匹配包括关系匹配、线图同构和特征内容匹配。

特征内容匹配包括颜色匹配、纹理匹配、形状匹配和综合特征匹配等。

目前对碎纸拼接的研究，主要应用的是特征内容的匹配，本文应用其中的轮廓匹配。

碎纸拼接中的匹配技术，与传统匹配技术不同，它的特征都是未知的，没有先验知识可以参考，这也是碎纸拼接的难点。

对于传统破碎文件的拼接，更多的使用破碎纸片的边缘形状提取其轮廓曲线并利用计算机算法进行拼接，但现今越来越多的破碎纸片拼接问题中破碎纸片的边缘形状都近似相同，边缘形状拼接不再实用。

而对于边缘相似的破碎纸片的拼接，理想的计算机拼接过程应当与人工拼接的结果相同，但计算机无法完全的识别破碎纸片上带有的信息，所以对于现有算法只能近似完成破碎纸片的拼接。

针对问题一，因使用碎纸机对纸片进行纵切，每个纵切的纸片所含的信息量较大，所以对于问题一，利用左右两个纸片的边缘特征，可以制定灰度相似的配准规则，使得纸片边缘的对应行像素之差的平方和最小，拼接成功率将会更高。

针对问题二，使用碎纸机对纸片进行纵切且横切，问题变的复杂，由于纸片数量多，且碎纸片包含的信息少，用灰度匹配的话，一定会有较大的误差。

如果单纯考虑使用某种算法在解空间中进行遍历搜索最优匹配，算法的复杂度较高。

如何合理的减小误差又不至于增加太多的工作量，就需要找到恰当的算法和模型对问题一进行优化。

我们可以利用“分而治之”的思想，首先把所有的纸片按照其字符的结构特征（如行间距，列间距，字高，字宽，字间距等）进行粗分类，然后通过人工干预，拼出左边第一列，先按照行配准，然后在进行列配准。

对于每一行配准，我们可以刻画每个碎纸片的特征，分为结构特征和边缘像素特征。

对于碎纸片，我们在寻找某个边的待选碎片时，可以指定规则来提升效率，比如在左边匹配时，用行间距过滤掉不符合的碎片(也就是过滤掉不符合约束条件的取值范围)，也就是剪枝定界法；如果带匹配的左边是有黑色数值的，再用目标碎片右边应该也有黑色数值，且出现的位值相近过滤掉图片；再用拼接好的图片中的字间距看看是否符合一个字的宽度等。

通过配准规则，结合字符的结构特征和边缘特征，我们应该可以得出第二问的配准图像。

针对问题三，碎片依然被纵切、横切成了209块。

但本题中还加入了正反两面，增加了问题的复杂性，不过建模的总体思想并没有变。

首先我们要通过配准规则，结合字符的结构特征和边缘特征对碎片进行一次拼接，但误差将会很大。

为更好的减小误差，我们可以结合灰度匹配和人工干预对已生成的图像进行修正。

三、符号说明四、模型假设结合本题实际，为了确保模型求解的准确性和合理性，我们排除了一些因素的干扰，提出以下几点假设：1.假设每条碎纸片都保持完整，无破损。

2.假设碎纸机切纸片的切口都较整齐。

3.假设同一页文件上文字的打印墨浓度相同。

4.假设同一页文件上文字的字体相同，同一页文件上文字只包含中文或者英文。

5.假设文件上文字颜色不受空气中水分等其他因素的影响.6.假设图像不许进行降噪、平滑滤波等预处理。

五、模型的建立与求解5.1模型建立前的准备5.1.1设置匹配准则集本题目并不是一个简单的图像拼接问题，所以我们设置包含灰度匹配、基于特征、BP神经网络、异或运算相结合的匹配准则集。

1.灰度匹配灰度匹配的基本思想:以统计的观点将图像看成是二维信号，采用统计相关的方法寻找信号间的相关匹配。

利用两个信号的相关函数，评价它们的相似性以确定同名点。

灰度匹配通过利用某种相似性度量，如相关函数、协方差函数、差平方和、差绝对值和等测度极值，判定两幅图像中的对应关系。

最经典的灰度匹配法是归一化的灰度匹配法，其基本原理是逐像素的把一个以一定大小的实时图像窗口的灰度矩阵，与参考图像的所有可能的窗口灰度阵列，按某种相似性度量方法进行搜索比较的匹配方法，从理论上说就是采用图像相关技术。

2.基于特征大多数完整文字文档的文字行方向和行间距平行且单一，如果碎片内的文字行在碎片边缘断裂，那么与它相邻的碎纸片在边缘处一定有相同高度、相同间距的文字行，凭此特征可以很容易得从形状相似的多碎片中挑选出相邻碎片。

因文字行的高度特征、间距特征的识别比字迹断线识别和文字图像的理解实现起来更容易些，利用碎片内文字行特征拼接相似的碎纸片理论上是可行的。

3.BP神经网络BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。

输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。

当实际输出与期望输出不符时，进入误差的反向传播阶段。

误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。

周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。

4.异或运算异或逻辑的真值表如图1所示，其逻辑符号如图2所示。

异或逻辑的关系是：当不同时，输出；当相同时，输出。

“”是异或运算符号，异或逻辑也是与或非逻辑的组合，其逻辑表达式为：由图1可知，异或运算的规则是0⊕0=0,0⊕1=11⊕0=1,1⊕1=0口诀：相同取0，相异取1事实上，XOR 在英文里面的定义为either one (is one), but not both，也即只有一个为真（1）时，取真（1）。