基于hough变换的倾斜文档图像快速校正

基于hough变换的倾斜文档图像快速校正
冯雷;耿英楠
【摘要】对文档图像字符识别时,需要对有倾斜的图像进行校正,以提高分割和识别的精度.提出一种基于梯度方向统计的倾斜文档图像快速校正方法,该方法利用图像的梯度方向分段累积直方图,得到图像的大致倾斜角度,然后利用hough变换思想,在获取的大致角度范围内对图像进行投影,得到精确的图像倾斜角度,有效地缩小了hough变换角度的搜索范围.对手写和打印体文档图像进行的实验结果表明,与传统的hough变换投影方法相比,该方法的算法执行时间大幅度减小,对图像噪声也具有很强的抗干扰能力.%During the document images' character recognition,skew correction could improve the accuracy of segmentation and recognition.A fast correction method of skew document image based on gradient direction statistics is proposed.The method uses the gradient direction of the image to accumulate the histogram to obtain the approximate inclination angle of the image.Then,using the hough transform idea,the image is taken in the approximate angle range to shoot,get accurate image skew angle,effectively narrowing the hough transform angle search range.Experiments on handwritten and printed document images show that compared with the traditional hough transform projection method,the algorithm execution time of the method is greatly reduced,and the image noise also has strong anti-interference ability.
【期刊名称】《内蒙古师范大学学报（自然科学汉文版）》
【年(卷),期】2017(046)002
【总页数】4页(P219-222)
【关键词】文档图像;倾斜校正;字符识别;hough变换;梯度方向;累积直方图
【作者】冯雷;耿英楠
【作者单位】长春工程学院电气与信息工程学院,吉林长春130012;长春工程学院电气与信息工程学院,吉林长春130012
【正文语种】中文
【中图分类】TP391.41
随着手机、数码相机、扫描仪等设备的快速发展,图像采集已经越来越简单,因此对纸质文档上的字符识别也得到越来越多的重视.在图像采集阶段,由于纸质材料放置不当或采集设备拍摄角度不正等原因,使采集到的文档图像发生倾斜,给后期识别对象的位置提取和字符识别带来影响.因此,对图像进行位置校正非常关键.倾斜角度是指文本基准线和水平方向的倾角[1],文本基准线一般是指文档图像中绝大多数文字的排列方向,而获取基准方向的角度,是图像校正的关键.
目前,对倾斜文档的图像校正主要采用倾斜角度检测方法进行旋正校正.文献 [2] 提出的投影方法,可以估计得到倾斜角度,精度为±10°度,精度较低; 文献 [3-4] 采用hough变换,通过寻找图像中的直线得到倾斜角度; 文献 [5] 采用对连通域做K近邻聚类的方法,得到整体连通域的方向.这两类方法在图像噪声较小的情况下精度较高,但是计算量较大.本文针对以上算法的优缺点,提出由粗到精的两步法得到图像的精确旋转角度,首先通过图像的梯度方向累积直方图,有效地解决文档噪声对直接采用hough变换投影的影响,得到图像的大致倾斜角度,然后利用hough变换思想,在
获取的大致角度范围内对图像进行投影,得到精确的图像倾斜角度,从而极大地缩小了hough变换的角度投影范围.
1.1 hough变换投影法
经典的hough变换常用来做图像中的直线检测,其原理是假设同一直线上的所有点(xi,yi),符合直线方程yi=kmxi+bm,将(x,y)坐标系转换到(k,b)坐标系,则直线上(xi,yi)点的数量,相当于在(km,bm)点处的投影值,投影值越大,成为一条直线的可能性就越大.为了解决垂直直线和参数的非线性离散化问题,一般将直角坐标系转换到极坐标系下进行hough变换计算,计算公式为r=x cos θ+y sin θ,其中r为原点到直线的垂直距离,θ为r与x轴的夹角.例如,对空间坐标点(x1,y1),(x2,y2),(x3,y3)分别计算θ和对应的rθ,当θ=a和rθ=b时,3条曲线交于一点,即该3点的直线方程参数为(θ=a,rθ=b).在文档图像校正时,取交点最多时对应的θ作为倾斜角.
1.2 梯度方向累积直方图
计算图像倾斜角度需要在[0°,180°)各个角度上都遍历一遍图像上所有的边缘点,计算量非常大.另外,纸质文档在使用过程中容易留下涂改笔迹、油墨污点等噪声,当噪声较大时,会影响正确倾斜角度的计算.针对这两个问题,本文利用图像梯度方向,得到图像的大概偏转角度,从而缩小hough变换时角度的遍历范围,同时也减小了噪声对精确角度计算的影响.图像梯度方向可以由sobel算子计算得到,
α(x,y)=atan (Gy/Gx),
其中为被卷积的图像.
通常情况下,文档中文字大体往一个方向书写,因此主体梯度方向会集中在某个角度范围内.为了统计方便,把由(2)式得到的弧度转为角度,范围是[0,180°),并统计其阶段累积直方图,
其中:即为梯度方向直方图; k是统计直方图的范围为符号函数; O为梯度方向图像,例如倾斜文档图像(图1)的梯度方向图如图2所示; edge为边缘检测图像.因此,本
文算法的详细步骤为:
Step 1: 将输入的图像I转换为灰度图,并进行高斯卷积滤波,输出为filterImg; Step 2: 计算filterImg的canny边缘,输出为edge;
Step 3: 计算filterImg的梯度方向,并将弧度转换为角度,当角度值theta>180°时,令theta=theta-180,输出为O;
Step 4: 利用(2)式,计算O的累计直方图A;
Step 5: 统计A中最大值对应的角度i,即为该文档的大致倾斜角度;
Step 6: 在 [i-k,i+k]角度范围内,利用hough变换遍历edge上的所有边缘点,并返回hough变换投影值最多时对应的θ角度,该角度即为图像倾斜角;
Step 7: 根据倾斜角θ对图像进行反向旋转,得到校正后的图像correctImg.
图3是图1梯度方向的阶段累积直返图,横坐标表示角度,范围是从 [0,180),纵坐标表示累积值.在计算阶段累计直方图时,(1)式的累计范围k设为10,实验效果较好.图3中峰值对应的横坐标值为24,则在使用hough变换时,在[14°,34°]范围内进行精确角度计算.而用原始hough变换方法计算时,需要对一个M×N的图像,访问180×M×N个像素点,改进后缩小到20×M×N次,减少了大量的计算时间.
图4是hough变换关于(rθ,θ)的累计投影值,图中的灰度值越大,成为直线的可能性就越大.本例在[14°,34°]范围内,对图1的canny边缘检测图像进行hough变换直线检测,返回最大投影值时对应的倾斜角度为20°.图5是反向旋转20°后的校正图像,其中的直线是hough变换在图1上投影值最大时,对应的直线在旋转后图像上的位置.
本文算法利用C++编程实现,其中利用opencv 3.1实现canny边缘检测和梯度方向计算.取图像尺寸为1920×1081,比较传统hough变换投影法和本文算法的算法执行时间,结果显示,传统hough变换投影法的计算时间为4.1 s,而本文算法的计算时间为0.36 s,性能提升了约10倍.
纸质材料在流通过程中,存在人工涂改、磨损等现象,当噪声形成的直线长度大于文档上的基准线长度时,利用hough变换的方法会影响旋转的效果.图6(a)上的两条黑色线条,是模拟噪声画上去的线条,图6(b)和(c)分别是传统方法和本文方法的旋转性能比较.效果表明,本文方法具较强的抗干扰能力.另外,本文方法同样适合手写体文档的图像校正,效果如图7所示.
采用级联式的分级倾角检测策略,由粗到精逐步得到文档倾斜角度,主要解决了hough变换耗时长的问题.采用统计图像梯度方向累积直方图的方法,不仅快速缩小了hough变换的角度遍历范围,同时减小了文档上噪声对计算旋转角度的影响.统计图像梯度方向累积直方图的方法,具有一定特征的统计特性,从实验效果来看,对噪声具有较好适应性,并且性能稳定.另外,本文方法也适用手写体文档的倾斜校正,并且可以推广到车牌、身份证、银行卡、票据等图像的旋转校正上去,具有一定的实际应用价值.
【相关文献】
[1] Slavik P,Govindaraju V. Equivalence of different methods for slant and skew corrections in word recognition applications [J]. IEEE Trans on
PAMI,March,2001,23(3):323-326.
[2] Jiang X,Bunke H,Widmer-Kljajo D. Proceedings of the Fifth International Conference on Document Analysis and Recognition,Bangalore [C]// Bangalore,India. The Institute of Electrical and Electronics Engineers,Inc,1999:629-632.
[3] Srihari S,Govindaraju V. Analysis of textual images using the Hough transform [J]. Machine Vision and Applications,1989,2:141-153.
[4] Singha C,Bhatiab N,Kaurc A. Hough transform based fast skew detection and accurate skew correction methods [J]. Pattern Recognition,2008,41:3528-3546.
[5] Zhixin Shi,Venu Govindaraju. Skew detection for complex document images using fuzzy runlength [C]// Proceedings of the Seventh International Conference on Document Analysis and Recognition,2003:715-719.。