电子稳像技术CCD成像空间校正方法研究报告

基于电子稳像技术的CCD成像空间校正方法研究摘要：针对彩色线阵ccd应用时，出现的成像三色错位问题进行了研究，提出了基于电子稳像技术的ccd成像空间校正方法。

与传统方法相比，该方法引入了电子稳像技术的思想，巧妙运用帧间运动的处理手段解决了帧内运动的问题。

首先对线阵ccd得到的图像进行彩色图像分离，再通过特征点提取，特征点匹配，错位参数估计，图像补偿，彩色图像合成等过程，最终获得校正后的彩色图像。

仿真实验表明，该方法能有效解决三色错位问题，改善图像质量。

关键词：彩色线阵ccd ；三色错位；特征点提取；特征点匹配；参数估计近年来，ccd器件及其应用技术的研究取得了惊人的进展，特别是在图像传感和非接触测量领域的发展更为迅速。

面阵ccd广泛用于各种摄像机和数码相机等领域。

线阵ccd主要用于产品尺寸的高速非接触检测，在线分级与加工，表面质量评定，机器视觉中的精确定位等。

结合课题“运动员跑步计时器工程”，对彩色线阵ccd应用时，出现的成像三色错位的问题进行了研究。

分析了问题产生的原因，介绍了目前常规的校正方法，提出了基于电子稳像技术的ccd成像空间校正方法。

该方法引入电子稳像技术，有效地解决了ccd成像的三色错位问题，经matlab仿真实验后，获得了理想的校正结果。

而且该方法不仅在物体匀速运动时有效，在物体非匀速运动时同样有效。

线阵ccd成像技术应用于运动员跑步的示意如图1所示。

1ccd成像介绍多年前科研人员就已经实现了ccd彩色成像，该技术的实现目前一般采用如下2种方法。

第1种是彩色三ccd，即采用分光棱镜和3个ccd组合。

棱镜将光线中的红、绿、蓝三个基色分开，使其分别投射在一个块ccd上，这样，每块ccd就只对1种基色分量感光。

第2种是彩色单ccd。

最常用的做法就是在ccd表面覆盖rgb三色滤光片，以1 : 2 : 1的比例构成。

由于彩色单ccd价格明显便宜，所以占据主流市场，本研究就是针对线阵彩色单ccd进行的。

图1线阵ccd成像技术应用于运动员跑步的示意图线阵彩色单ccd有3列间隔的光敏元件，分别用于感光置于同一位置p的红、绿、蓝颜色分量，通过a/d转换后,再将3列ccd感光的图像数据合成复原为位置p物体的数字图像。

然而由于这3列ccd是在同一触发脉冲下工作的，这3列ccd并不是对同一位置进行感光，而是对前后有一定间隔的3个位置分别进行感光，如图2所示。

由于这种相机本身存在不可避免的系统问题，成像3色出现错位现象，从而影响图像的成像质量，如图3所示。

图2成像三色错位的原理图3成像三色错位现象课题“运动员跑步计时器工程”，需在跑道的终点线附近采用高速线阵彩色单ccd拍摄运动员冲刺时的画面。

设定采集速率为 1 000 f/s，得到的图像如图4所示。

可以发现图像产生了3色错位现象，尤其是运动员的腿部，表现明显，因为腿部的运动频率最快。

图4线阵彩色单ccd拍摄的运动员跑步图像2基于电子稳像技术的校正方法由线阵彩色单ccd摄像机的结构带来的这种彩色图像的三色错位,严重影响了图像原始数据的真实性和有效性，必须加以校正。

目前，国内外有以下2种主要方法，通过异步时钟控制曝光校正:1］,通过软件校正［2］。

比较以上方法可发现，软件校正不需要改变ccd的硬件，更具有实用性。

数据冗余与数据重新定位的方法是软件校正的主要方法，但是，此种方法仅对匀速运动物体有效，而无法应用于线阵ccd拍摄、检测非匀速物体。

本文针对非匀速物体的情形，提出了采用电子稳像思想来进行软件校正。

传统思维上，电子稳像技术是处理帧间运动，而ccd的这种成像问题严格意义上属于帧内运动，但是，本文首先把线阵ccd拍摄的数十帧看做一幅图像，接着把一幅彩色图像分离成红色分量、绿色分量、蓝色分量3幅图像，通过上述两步骤后，即可将电子稳像技术应用于线阵ccd成像。

2.1彩色图像的r/g/b分离通过matlab平台，对一幅运动员的彩色图像进行r/g/b分离后的效果如图5所示。

硬件环境为：cpu2.80 ghz，内存0.98 gb。

图5红色/绿色/蓝色分量图像2.2特征点提取图像的特征点是指两帧图像中对比例、旋转、平移等变换保持一致性的特征，如线交叉点、物体边缘点、角点、闭区域的中心点等。

常用的特征点提取方法］3 4］有：边缘点提取方法，如log操作数、canny操作数、基于小波变换的算法等；角点提取算法，女口kitchen 法、susan 法、harris 法等。

harris 角点检测算法［5］是由chris harris 和mike stephens在1988年提出的。

定义下式来计算harris 算法的角点响应函数：r(x,y>=det(m> —k(tr(m>>2(1> 式中:det(m>=ab —c2, tr(m>=a+b表示矩阵m的迹；k是harris 系数。

a=( i x>2, b=( i y>2, c=( i x> • ( i y>。

i x 表示图像i 在x方向的导数，i y表示图像i在y方向的导数。

harris算法稳定性高，对噪声不敏感，基于它的优点，本文最终采用改进型harris算法进行特征点的提取。

2.3特征点匹配所谓特征点的匹配就是在当前帧中找到与参考帧中每一特征点的惟一匹配点，在帧间建立特征点的对应关系。

特征点匹配的正确性，对于图像间运动估计的精度，有非常直接的影响。

按图像的匹配来源分，主要可以分为2种方式［6 7］: 一种是固定帧匹配；另一种是相邻帧匹配。

这2种方法各有优缺点，固定帧匹配方法不存在累计误差，它的缺点是一旦图像的运动超出了运动向量计算的临界值，运动向量变得不可靠以后，后续的处理将非常困难，相邻帧匹配方法的主要问题是存在累计误差。

根据本课题所研究的线阵ccd成像问题的特殊性，可以把红色分量、绿色分量、蓝色分量作为3幅图像，进行特征点匹配。

在具体匹配过程中选取红色分量图像为参考帧，依次对绿色分量图像、蓝色分量图像完成特征点匹配。

匹配步骤如下：(1＞以特征点pk为中心，在参考图像中构造一个尺寸为m K n 的图像模块i1。

(2＞在当前图像中对应位置处，确定尺寸为＜m+2p K ＜n+2p)的搜索区域i2。

其中p表示水平和垂直方向的最大偏移量。

(3＞从搜索区域的中心点开始搜索，搜索路径采用菱形ds法，计算每点的sad值。

(4＞找出最小sad值，则对应的位置的中心点为匹配特征点。

2.4三色错位参数估计将经过预处理后的候选全局特征点，代入六参数仿射运动模型，求最小二乘解。

仿射运动模型如下：x'y‘ =m0m1m3m4xy+m2口5(2＞式中(x ' ,y ' ＞和(x,y＞分别表示当前图像和参考图像的特征点坐标，m= m0m3m1m4m2m定义为仿射参数矩阵。

求解的目标是使得各特征点的位置误差达到最小，因此，提出了基于求最小二乘解的迭代步骤，每次迭代过程中将误差较大的特征点予以剔除。

迭代停止后，输出的仿射参数矩阵m作为最终的全局运动参数，被保留的特征点作为最终的全局特征点集合。

参数估计的整个流程图如图6所示。

图6参数估计流程图2.5图像的补偿获得运动参数矩阵后，就可以分别对绿色分量图像、蓝色分量图像进行图像补偿了。

其流程如图7所示。

图7图像补偿流程图将绿色分量图像看做当前帧，以计算出的待补偿参数矩阵对当前帧fk的像素坐标(xk,yk>进行变换，公式如下：xk' yk' =m0(k>m1(k>m3(k>m4(k>xkyk+m2(k>m5(k>(3>从而得到新的坐标(xk ' ,yk ' >，并将原坐标的像素值赋给对应的新坐标，则得到初步的补偿后图像。

在坐标变换时，不一定都在整像素点上，则需要进行插值处理，采用双线性插值法。

由于在坐标变换时，边界部分无法获得像素值的区域通常被填充为黑色区域，为了避免这种现象，需要对丢失的边界部分进行重建。

采用图像拼接技术［8］来实现边界部分重建是一种有效的方法。

完成绿色分量图像的图像补偿后，再以相同步骤完成蓝色分量图像的图像补偿，最终合成］9 10］校正后的彩色图像。

3实验结果及分析3.1特征点提取的实验结果及分析本课题采用改进型harris算法，通过matlab平台对运动员的图像进行特征点提取，经过多次比较后，仿真实验中的harris系数k取0.05，仿真实验结果如图8所示。

可以看出，采用改进的harris 算法提取的图像特征点清晰有效。

图8图像的特征点提取结果3.2特征点匹配的实验结果及分析选取运动员的红色分量图像为参考帧，绿色分量图像为当前帧，进行第一次匹配，匹配结果如图9所示。

图9绿色分量图像的特征点匹配结果其中绿色“ +”代表有效匹配特征点，可以看出，运动员的多数特征点得到了有效匹配。

依然选取运动员的红色分量图像为参考帧，蓝色分量图像为当前帧，进行第2次匹配，匹配结果如图10所示。

图10蓝色分量图像的特征点匹配结果其中绿色“ +”代表有效匹配特征点，依然可以看出，多数特征点得到了有效匹配。

3.3参数估计的实验结果及分析实验图片依然选用同上的一组运动员图像，求取仿射参数矩阵m=m03m1m4m2m5分别求出绿色分量图像和蓝色分量图像的结果为：m绿0.990 50.032 3-0.021 10.987 415.587 0-3.667 6m蓝=0.987 80.035 0-0.022 30.986 815.567 8-3.669 43.4 校正后的实验结果及分析根据运动参数矩阵，分别对绿色分量图像，蓝色分量图像进行图像补偿，并合成彩色图像。

可以发现，校正后图像的3色错位问题得到一定解决，图像质量有一定提高。

校正结果如图11所示。

4结语本课题研究了线阵彩色单ccd成像时出现的3色错位现象，揭示了3色错位的本质原因，并探索性的给出了基于电子稳像技术的软件校正方法。

在matlab平台上，进行了仿真实验，初步得到了满意的校正效果。

将该方法应用于“运动员跑步计时器工程”，能获得更优的监控图像，从而提高计时精度。

图11图像最终校正结果参考文献:1]张鹏，杨凯，张忠臣.彩色线阵ccd颜色几何失真及校正方法[j].现代电子技术，2009,32(24>:131 133.:2]陈文涛，刘永贵，曹晓莉.平列式线阵彩色ccd摄像机的色彩偏移与校正[j ].光电技术应用，2006(9>:478 450.[3] vanne j, hamalainen t d, kuusilinna k. a parallel memory system forsize moti on estimati onvariable blockalgorithms \[j\]. circuits and systems for video tech no logy, 2008, 18(4>: 538 543.[4] sun hui. fast gray projection algorithm and itsapplication to electronic image stabilization \[j\].optics and precisi on engin eeri ng, 2007, 15(3>: 412 416.:5]朱娟娟.电子稳像理论及其应用研究[d].西安：西安电子科技大学，2009.[6]suk jung youp, lee gun woo. new electronicdigital image stabilization algorithm in wavelettran sform domai n \[m\]. In cs, heidelberg: spri nger, 2005:911 916.[7]erturk s. digital image stabilization with subimage phasecorrelati on based global moti on estimatio n \[j\]. ieee tra ns. on con sumer electr oni cs, 2003, 49(4>: 1320 1325.:8]杨毅.电子稳像算法研究与实现]d].南京：南京理工大学，2009.[9] xu jian bin. an efficient rotation invarianee remote image match ing algorithm based on feature poi nts match ing \[c\]〃proceed ings of ieee intern ati onal geoscie nee and remote sensing symposium \[s」.\]: ieee,2005: 647 649.[10] harris c, stephens m. a combined corner and edge detector \[c\]〃proceedi ngs of the 4th alvey visi on conference, uk: avc, 1988: 147 151.。