基于FPGA的全方位视觉图像畸变校正

ａｌｇｏｒｉｔｈｍ ｐｒｏｊ ｅｃｔｉｏｎ ｉＳ ｐｒｏｐｏｓｅｄ．Ａｎｄ ｔｈｅｎ ｃｏｎｆｉｒｍｅｄ ｔｈｅ ｐａｒａｍｅｔｅｒ ｏｆ ｔｈｅ
ｎｅｅｄｅｄ．
Ｂｙ ａｎａｌｙｚｉｎｇ ｔｈｅ ａｌｇｏｒｉｔｈｍ ａｎｄ ｔｈｅ ｒｅａｌ ｐｒｏｂｌｅｍ，ｔｈｅ ｓｙｓｔｅｍ ｉｓ ｄｉｖｉｄｉｎｇ ｉｎｔｏ ｒｅｃｅｉｖｅ ａｎｄ
本课题根据鱼眼镜头本身的特点，在对多种鱼眼图像畸变校Ｊ下算法进行详细研究的 基础上，提出了一种适合于ＦＰＧＡ实现的基于球形透视投影模型的畸变校正算法。并通 过实验确定算法中所需确定的各个参数。
通过对算法和实际问题的分析，将系统分成采集，存储，校正，输出几个部分，采 集和传输部分采用串口，存储器采用ＤＤＲ—ＳＤＲＡＭ，校正和各部分驱动采用ＦＰＧＡ实现。在 ＦＰＧＡ的驱动下数据由串口输入，接收到数据后暂存在ＤＤＲ—ＳＤＲＡＭ存储器中，同时通知校 正模块进行校正，校正模块采用校正算法将存储的图像进行校正并进行转存，最后图像 由输出端进行输出。
在确定系统方案后，采用ｖｅｒｉｌｏｇ硬件描述语言进行ＦＰＧＡ的设计，完成了串口收发 驱动模块，ＤＤＲ－ＳＤＲＡＭ控制模块，图像畸变校正模块等各个模块设计，实现了各个模块 的逻辑功能。
最后通过仿真软件对设计的ＦＰＧＡ各个模块进行仿真试验，试验结果表明在ＦＰＧＡ中 的各个模块均可正确完成各自逻辑功能，结果达到预期，能够满足应用的要求。
Ｈｏｗｅｖｅｒ ｉｔ ｂｒｉｎｇｓ ａ ｓｔｒｏｎｇ ｕｎａｖｏｉｄａｂｌｅ ｉｎｈｅｒｅｎｔ ｄｉｓｔｏｒｔｉｏｎ ｗｈｉｌｅ ｉｔ ｐｒｏｖｉｄｅｓ ｈｅｍｉｓｐｈｅｒｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ．Ｂｕｔ ｉｔ ｃａｎ ｂｅ ｃｏｒｒｅｃｔｅｄ ｂｙ ｓｏｍｅ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｔｅｃｈｎｉｑｕｅｓ．Ｕｓｕａｌｌｙ ｔｈｅ ａｌｇｏｒｉｔｈｍ ｉｓ ｉｍｐｌｅｍｅｎｔｉｎｇ ｂｙ ｓｏｆｔｗａｒｅ ｏｎ ＰＣ，ｂｕｔ ｉｔｓ ｐｒｏｃｅｓｓｉｎｇ ｓｐｅｅｄ ｉｓ ｔｏｏ ｓｌｏｗ ｆｏｒ ｓｏｍｅ ａｐｐｌｉｃａｔｉｏｎｓ，ｗｈｉｃｈ ｎｅｅｄ ｔｈｅ ｒｅａｌ ｔｉｍｅ ｉｍａｇｅ ｉｎｆｏｒｍａｔｉｏｎ．
关键词： 全方位视觉鱼眼图像畸变校正ＦＰＧＡ
Ａｂｓｔｒａｃｔ
Ｂｅｃａｕｓｅ ｏｆ ｉｔｓ ａｄｖａｎｔａｇｅ ｏｆ ｐａｎｏｒａｍｉｃ ｓｉｇｈｔ ｗｉｔｈ ａ ｓｉｎｇｌｅ ｃｏｍｐａｃｔ ｖｉｓｕａｌ ｓｃｅｎｅ， Ｏｍｎｉ．．ｄｉｒｅｃｔｉｏｎａｌ ｖｉｓｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ｈａｓ ｅｘｔｒｅｍｅ ａｐｐｌｉｃａｔｉｏｎ ｖａｌｕｅ ｉｎ ｍａｎｙ ｆｉｅｌｄｓ．Ｏｎｅ ｏｆ ｔｈｅ ｍｏｓｔ ｅｆｆｅｃｔｉｖｅ ｗａｙｓ ｔｏ ｅｓｔａｂｌｉｓｈ Ｏｍｎｉ．．ｄｉｒｅｃｔｉｏｎａｌ ｖｉｓｉｏｎ ｓｙｓｔｅｍ ｉｓ ｕｓｉｎｇ ｆｉｓｈｅｙｅ ｌｅｎｓ．
ｔｒａｎｓｍｉｔｅｄ ｔｈｅ ｃｏｒｒｅｃｔｅｄ ｍｏｄｕｌｅ ｓｔａｒｔ ｔｏ ｗｏｒｋ，ｉｔ ｃｏｒｒｅｃｔ ｔｈｅ ｉｎｐｕｔ ｉｍａｇｅ ａｎｄ ｓｔｏｒｅ ｔｈｅ ｎｅｗ
ｉｍａｇｅ ｉｎｔｏ ｔｈｅ ｍｅｍｏｒｙ，ｔｈｅ ｔｒａｎｓｉｍｉｔ ｍｏｄｕｌｅ ｏｕｔｐｕｔ ｔｈｅ ｄａｔａ ａｔ ｌａｓｔ． Ｃｏｎｆｉｒｍｅｄ ｔｈｅ ｂｌｕｅ ｐｒｉｎｔ ｏｆ ｔｈｅ ｓｙｓｔｅｍ，ｖｅｉｌｏｇ ＨＤＬ ｉｓ ｓｅｌｅｃｔｅｄ ｔｏ ｉｍｐｌｅｍｔ ｔｈｅ ｌｏｇｉｃ
但众所周知，鱼眼镜头带来超大视野的同时也引入了巨大的畸变，这为ＡＧＶ后续 的导航定位处理带来了极大的困难，因此，在ＡＧＶ上应用鱼眼镜头，需要对其采集的 图像进行畸变校正处理以便后续的处理工作能够顺利地开展。
随着计算机技术的不断发展，计算能力得到了极大的提高，使得利用计算机实现人 类的视觉功能成为目前计算机领域中最热门的课题之一，目前绝大多数图像处理系统都 是以传统的ＰＣ机或高性能工控机为基本架构构建的。尽管基于ＰＣ架构的视觉处理系统
视觉自主导航是高新技术领域的前沿课题。视觉信息不仅是人类感知环境世界的主 要途径，也是移动机器人视觉导航的关键技术。利用视觉技术提高移动机器人导航能力， 是机器视觉研究的重要内容。机器视觉的发展不仅大大推动智能系统的发展，也将拓宽 计算机与各种智能机器的研究范围和应用领域。基于机器视觉的移动机器人的基本工作 过程为由ＣＣＤ摄相机提取包含有路径航标的图像信息，车载处理器通过图像处理，对 目标进行跟踪与识别，进而引导ＡＧＶ运行。可见，基于机器视觉的移动机器入，其关 键技术是机器视觉技术和智能控制技术
ｈａｓ ｔｈｅ ｐａｒａｌｌｅｌ ｓｔｒｕｃｔｕｒｅｓ．
ａｌｇｏｒｉｔｈｍ，ｗｈｉｃｈ Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｔｈｅ ｆｉｓｈｅｙｅ ｌｅｎｓ，ａｎ
ｉｓ ｆｉｔ ｆｏｒ ＦＰＧＡ
ｔｏ ｉｍｐｌｅｍｅｎｔｉｎｇ，ｏｆ ｔｈｅ ｒｅｃｔｉｆｉｔｉｏｎ ｏｆ ｔｈｅ ｆｉｓｈｅｙｅ ｌｅｎｓ ｉｍａｇｅ ｂａｓｅｄ ｏｎ ｓｐｈｅｒｉｃａｌ ｐｅｒｓｐｅｃｔｉｖｅ
Ｂｙ ｔｈｅ ｄｅｖｅｌｏｐｔ ｏｆ ｔｈｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ，ｔｈｅ ｉｎｔｅｇｒａｔｉｏｎ ｏｆ ｔｈｅ ｃｉｒｃｕｉｔ ｉｓ ｌａｒｇｅｒ ｔｈａｎ ｌａｒｇｅｒ．Ｎｏｗ ａ ｃｏｍｐｌｉｃａｔｅｄ ｓｙｓｔｅｍ Ｃａｎ ｂｅ ｄｅｓｉｇｎｅｄ ｉｎ ａ ｓｉｎｇｌｅ ｃｈｉｐ．Ｅｓｐｅｃｉａｌｌｙ ｔｈｅ ｄｅｖｅｌｏｐ ｏｆ ｔｈｅ ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ），ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ），ＡＲＭ（ａｄｖａｎｃｅ ＲＩＳＣ ｍａｃｈｉｎｅ），ｗｈｉｃｈ ｂｒｉｎｇ ｔｈｅ ｌａｒｇｅ ｃｈａｎｇｅｓ ｉｎ ｖｉｄｅｏ ａｎｄ ａｕｄｉｏ ｐｒｏｃｅｓｓｉｎｇ．Ｓｏ ｔｈｅ ｅｍｂｅｄｄｅｄ ｓｙｓｔｅｍ ｈａｓ ｂｅｃｏｍｅ ｔｈｅ ｈｏｔ ｉｓｓｕｅｓ ｏｆ ｔｈｅ ｆｉｅｌｄ ｏｆ Ｅｌｅｅｔｒｏｎｉｅ Ｄｅｓｉｇｎ Ａｕｔｏｍａｔｉｏｎ （ＥＤＡ）．Ｅｍｂｅｄｄｅｄ ｓｙｓｔｅｍｓ ｃａｎ ｎｏｔ ｏｎｌｙ ｒｅｄｕｃｅ ｔｈｅ ｐｏｗｅｒ ｄｉｓｓｉｐａｔｉｏｎ ａｎｄ ｔｈｅ ｖｏｌｕｍｅ，ｂｕｔ ａｌｓｏ ｒａｉｓｅ ｔｈｅ ｉｎｔｅｇｒａｔｉｏｎ ｏｆ ｔｈｅ ｓｙｓｔｅｍ．Ｉｔ ｒｅｓｕｌｔｓ ｉｎ ｈｉｇｈ ｃｏｍｐｅｔｅｎｃｅ ｏｆ ｐｒｏｄｕｅｔｓ ｉｎ ｍａｒｋｅｔ． Ｂｅｃａｕｓｅ ｏｆ ｔｈｅ ｐａｒａｌｌｅｌ ｓｔｒｕｃｔｕｒｅｓ ｏｆ ｔｈｅ ａｌｇｏｒｉｔｈｍ，ｔｈｅ ＦＰＧＡ ｉｓ ｆｉｔ ｆｏｒ ｔｈｉｓ ａｐｐｌｉｃａｔｉｏｎ ｗｈｉｃｈ
第一章绪论
应用较为普遍，使用简单。但是，这种基于ＰＣ架构的图像处理系统无论在资源配置上还 是体积上显然都是冗余和臃肿的，并且其灵活性差，不适合在ＡＧＶ这类移动车载系统上 实现。嵌入式系统是一种高集成度，软硬件可裁减的应用平台，基于嵌入式系统的图像 处理平台具有实用性强、经济、体积小、易扩展等优点。新一代的ＦＰＧＡ集成了中央处 理器（ＣＰＵ）或数字处理器（ＤＳＰ）内核，在一片ＦＰＧＡ上进行软硬件协同设计，为实现片 上可编程系统（ＳＯＰＣ）提供了强大的支持，将ＦＰＧＡ应用在畸变校ｊＦ这种算法简单和计 算量固定且对速度和实时性要求很高的方面是非常合适的，既能满足车载系统的大量图 像数据处理又能满足系统体积小，速度高，实时性强的要求。
（保密的学位论文在解密后适用本授权说明）
学位论文作者签名：岛易、獗
签字日期：御彳年ｙ月彳日
珊 导 师 签 名
刍
１ 签 字 日 期
年 商１棚 彤
第一章绪论
第一章绪论
１．１引言
自动引导车辆（Ａｕｔｏｍａｔｅｄ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅｓ）其显著特点的是无人驾驶，ＡＧＶ上装 备有自动导向系统，可以保障系统在不需要人工引航的情况下就能够沿预定的路线自动 行驶，集运动学理论、机械设计与制造技术、控制理论、电动伺服控制技术、传感器技 术、信息融合技术、人工智能等科学及技术领域的综合应用，是世纪自动控制最有说服 力的成就。ＡＧＶ的研究与开发水平在某种意义上标志着一个国家科学技术发展的水平。 因此，从它诞生的那一天起，就吸引了众多的科研工作者投入这个领域，开展了大量的 研究工作，不断地推动机器人技术向前发展。
天津理工大学 硕士学位论文 基于FPGA的全方位视觉图像畸变校正 姓名：齐志强 申请学位级别：硕士 专业：检测技术与自动化装置 指导教师：张宝峰;曹作良
20081201
摘要
全方位视觉能够在一幅图像中观测到半球域的信息，因此其应用也越来越广泛，鱼 眼镜头是建立全方位视觉系统的最有效的方法之一，它使用单一镜头就能够捕获半球图 像，使用两个鱼眼镜头则能够一次获取整个空间的完整图像，但是鱼眼镜头图像虽然观 测视野很大，但也带来了较大的图像畸变，给应用造成了很大的问题。虽然这种畸变可 以用很多方法来进行校正，但大多方法都只限于理论或在ＰＣ机上实现，但由于其体积， 功耗和处理速度等原因，其并不适合用在车载系统中。
随着电子技术的发展，集成电路的集成度越来越高，复杂的系统可以在一块集成电 路ｊ卷片中实现，ＦＰＧＡ、ＤＳＰ、ＡＲＭ处理芯片的发展为图像，视频，等应用带来了更多的解 决方案，嵌入式系统已经成为当前ＥＤＡ领域最热门的研究方向，使用嵌入式系统可以降 低产品功耗，缩小产品体积，提高系统集成性，使产品具有更强的市场竞争力。由于鱼 眼图像畸变校算法正包含了并行的图像数据运算，因此非常适合采用并行结构的ＦＰＧＡ 对其进行处理。
１．２论文研究的意义及背景
全方位视觉导航是一项有特色的创新技术。传统的视觉ＡＧＶ定位方法采用的镜头 通常视角较小，当观测大角度范围时需通过云台旋转实现，实时性差，观测物易丢失。 采用全方位视觉的导航系统能够捕获环境半球域视场信息，这对视觉导航技术具有重要 意义。全方位视觉图像能够克服以镜头为轴心的旋转带来的图像信息的丢失，这使得图 像特征更为稳定，有利于ＡＧＶ视觉定位和导航的实现。鱼眼镜头是建立全方位视觉系 统最有效的方法之一，相对于反射式全方位视觉镜头，鱼眼镜头具有结构紧凑、体积较 小、不易损坏等优点。鱼眼镜头视场角通常达到或超过１８０度，单一镜头能够捕获半球 图像，而使用两个鱼眼镜头则能够一次获取整个空间的完整图像。