机器视觉的辅助驾驶系统的视频中行人检测跟踪
机器视觉的辅助驾驶系统的视频中行人
实时检测识别研究文献综述
1机器视觉发展
国外机器视觉发展的起点难以准确考证，其大致的发展历程是：20世纪50年代提出机器视觉概念，20世纪70年代真正开始发展，20世纪80年代进入发展正轨，20世纪90年代发展趋于成熟，20世纪90年代后高速发展。在机器视觉发展的历程中，有3个明显的标志点，一是机器视觉最先的应用来自“机器人”的研制，也就是说，机器视觉首先是在机器人的研究中发展起来的；二是20世纪70年代CCD图像传感器的出现，CCD摄像机替代硅靶摄像是机器视觉发展历程中的一个重要转折点；三是20世纪80年代CPU、DSP等图像处理硬件技术的飞速进步，为机器视觉飞速发展提供了基础条件。
国内机器视觉发展的大致历程：真正开始起步是20世纪80年代，20世纪90年代进入发展期，加速发展则是近几年的事情。中国正在成为世界机器视觉发展最活跃的地区之一，其中最主要的原因是中国已经成为全球的加工中心，许许多多先进生产线己经或正在迁移至中国，伴随这些先进生产线的迁移，许多具有国际先进水平的机器视觉系统也进入中国。对这些机器视觉系统的维护和提升而产生的市场需求也将国际机器视觉企业吸引而至，国内的机器视觉企业在与国际机器视觉企业的学习与竞争中不断成长。
未来机器视觉的发展将呈现下列趋势:
（1）技术方面的趋势是数字化、实时化、智能化
图像采集与传输的数字化是机器视觉在技术方面发展的必然趋势。更多的数字摄像机，更宽的图像数据传输带宽，更高的图像处理速度，以及更先进的图像处理算法将会推出，将会得到更广泛的应用。这样的技术发展趋势将使机器视觉系统向着实时性更好和智能程度更高的方向不断发展。
（2）产品方面：智能摄像机将会占据市场主要地位
智能摄像机具有体积小、价格低、使用安装方便、用户二次开发周期短的优点，非常适合生产线安装使用，越来越受到用户的青睐，智能摄像机所采用的许多部件与技术都来自IT行业，其价格会不断降低，逐渐会为最终用户所接受。因此，
在众多的机器视觉产品中，预计智能摄像机在未来会占据主要地位。
另外，机器视觉传感器会逐渐发展成为光电传感器中的重要产品。目前许多国际著名的光电传感器生产企业，如KEYENCE，OMRON，BANNER等都将机器视觉传感器作为光电传感器中新型的传感器来发展与推广。
（3）市场份额迅速扩大
一方面已经采用机器视觉产品的应用领域，对机器视觉产品的的依赖性将更强；另一方面机器视觉产品将应用到其他更广的领域。机器视觉市场将不断增大。（4）行业方面发展更加迅速
机器视觉行业专业性公司增多，投资和从业人员增加，竞争加剧是机器视觉行业未来几年的发展趋势，机器视觉行业作为一个新兴的行业将逐步发展成熟，将越来越越受到人们的重视。
更多功能的实现主要是来自于计算能力的增强,更高分辨率的传感器(10Mpixels),更快的扫描率(500次/s)和软件功能的提高。PC处理器的速度在得到稳步提升的同时,其价格也在下降,这推动了更快的总线的出现,而总线又反过来允许具有更多数据的更大图像以更快的速度进行传输和处理。产品的小型化趋势让这个行业能够在更小的空间内包装更多的部件,这意味着机器视觉产品变得更小,这样他们就能够在厂区所提供的有限空间内应用.例如在工业配件上LED 已经成为主导光源,它的小尺寸使成像参数的测定变得容易,他们的耐用性和稳定性非常适用于工厂设备。智能相机的发展预示了集成产品增多的趋势。智能相机是在一个单独的盒内集成了处理器、镜头、光源、输入/输出装置及以太网。电话和PDA推动了更快、更便宜的精简指令集计算机(RISC)的发展,这使智能相机和嵌入式处理器的出现成为可能。同样,现场可编程门列阵(FPGA)技术的进步为智能相机增添了计算功能,并为PC机嵌入了处理器和高性能桢采集器.智能相机结合处理大多数计算任务的FPGA,DSP和微处理器则会更具有智能性。小型化与集成产品正在一起为实现“芯片上的视觉系统”的最终目标而努力。尺寸更小、更密集的存储卡及成像器分辨率的提高有助于智能相机的开发和扩展。
智能车辆( intelligent vehicles, IV)是智能交通系统( in2telligent transportation systems, ITS)的重要构成部分,其研究的主要目的在于降低日趋严重的交通事故发生率,提高现有道路交通的效率,在
某种程度上缓解能源消耗和环境污染等问题。
2智能车辆发展
智能车辆利用各种传感技术获取车体自身和车外环境的状态信息,经过智能算法对其进行分析、融合处理,将最终的决策结果传递给驾驶者,在危险发生之前,提醒驾驶员做出必要的回避动作,避免事故发生;在紧急状况下,驾驶者无法做出反应时,智能车辆则自主完成规避危险任务,帮助驾驶人员避免危险发生。
美国开始组织实施智能车辆先导(intelligent vehicle ini2tiative,IVI）
计划, 欧洲提出公路安全行动计划( roadsafety action p rogram, RSAP),日本提出超级智能车辆系统。我国科技部则于2002年正式启动了“十五”科技攻关计划重大项目,智能交通系统关键技术开发和示范工程,其中一个重要的内容就是进行车辆安全和辅助驾驶的研究。预计在2020年之前进入智能交通发展的成熟期,人、车、路之间可以形成稳定、和谐的智能型整体。
3行人检测技术国内外研究现状
3.1国内研究现状
我国在汽车安全辅助驾驶领域的技术研究要比国外发达国家要晚,目前在视频监控、交叉路口等领域中对运动行人的检测与运动分析进行了相关研究工作,主要是研究基于摄像机固定的条件下的运动目标检测与跟踪，同时,也在积极探讨基于运动摄像机情况下的行人检测方法研究。
中科院计算机科学重点实验室孙庆杰等人利用基于侧影的人体模型及其对应的概率模型,提出了一种基于矩形拟合的人体检测算法。中科院自动化所谭铁牛等对人运动进行视觉分析,其核心是利用计算机视觉技术从图像序列中检测、跟踪、识别人并对其行为进行理解与描述,它主要应用在视觉监控领域和基于步态的身份鉴定。步态识别就是根据人们走路的姿势进行身份鉴定,依据人体行走运动很大程度上依赖于轮廓随着时间的形状变化的直观想法,提出一种基于时空轮廓分析的步态识别算法；基于行走运动的关节角度变化包含着丰富的个体识别
信息的思想,提出一种基于模型的步态识别算法。实验结果表明该算法不仅获得了令人鼓舞的识别性能,而且拥有相对较低的计算代价。但是该方法只能检测出运动的行人。
西安交通大学郑南宁等研究了利用支持向量机识别行人的方法,通过稀疏Gabor滤波器提取行人样本图像中行人的特征,然后利用支持向量机来训练所提取的样本特征,并用训练得到的分类器通过遍历图像的方式将图像中可能属于行人的窗口提取出来。尽管用Gabor滤波器提取特征效果相对较好,但耗时很长,不适合于实时图像的处理。
上海交通大学田广等提出了一种coarse-to-fine的行人检测方法,将一个人建模成人体自然部位的组装,人体的所有部位包括头肩、躯干和腿、采用绝对值类Haar特征集和Edgelet特征集,在这些特征集上,采用softcascade训练各个部位的检测器和全身检测器。首先采用全身检测器在整个图像中产生候选行人区域,然后用基于贝叶斯决策的组合算法进一步确定候选区域中的行人。实验结果表明该算法有很好的检测性能能在杂乱的自然场景中有效的检测行人。但该方法的识别率是78.3%,识别率不高，且该模型比较难构建,模型求解也比较复杂。
清华大学的黄深设计的实时夜间行人检测系统,系统首先,根据实际粗分割的候选区域特点进行分析,提出基于两种不同特征提取方法的双层结构形状识别分类器,将闺值化提取形状特征的方法和边缘特征有效地融合在一起。在这个设计思路和框架基础上,进一步提出了新的自适应边缘提取算法和阂值化方法,使得形状特征的提取效果得到改进。最后,利用Hausdoroff距离的度量原理加以改进,结合模板匹配的检测识别算法,分别构造实现了形状识别分类器的两层子分类器。多次实验测试结果显示,与原有形状识别分类器算法的性能相比,改进后的分类器对于分割算法的不可靠性具有更强适应性。同时,也使得整个系统的误识别率大幅度降低,达到设计目标。
3.2国外研究现状
目前,在国外许多文献中提出了基于机器视觉的行人检测方法,意大利帕尔玛大学的AlbertoBroggi教授在ARGO项目中采用一种基于外形的行人检测算法。算法首先根据行人相对于垂直轴有很强的垂直边缘对称性、尺寸和外貌比例等在图像中找到感兴趣区域,然后提取垂直边缘,选择具有高垂直对称性的区域。通过
计算边缘的熵值去掉图像中始终一致的区域。在剩下的具有对称性的候选区域中,寻找目标侧向和底部边界画出矩形方框,通过包含行人头部模型匹配定位行人头部。在市区试验表明,当视野中有完整的行人存在时能得到较好的效果,在10一40m的范围内都可以正确地进行识别,并且可以较好地适应复杂的外界环境。
由欧盟资助的 SAVE-U（Sensors and system ArchitecturE for Vulnerable road Users protection）项目于2002年开始实施，2005 年完成。该项目由Volkswagen,DaimlerChrysler,Siemens VDO 等机构参与研发。SAVE-U 项目的目的在于开发一套完整的行人（包括骑自行车者）保护系统，该系统通过检测道路上的行人和骑自行车者，并向车辆驾驶员提供主动安全预警甚至是紧急安全制动等控制。SAVE-U系统融合了多种信息传感器，包括 CCD 摄像机、红外摄像机以及雷达等，通过多种信息的融合能够较好的实现道路行人的检测和及时预警。可以对车辆前方 5m 到 25m，侧向 1.4m 到 4m 范围内出现的行人和骑自行车者进行一定的保护。
美国 Maryland 大学研制的 W4实时监控系统，该系统能检测运动的人体并对其进行跟踪。其具体的算法流程为：系统首先从静止的视频图像中利用减背景法分割出行人轮廓，然后利用统计得到的行人形状模型建立行人线性点模型。该系统适用于民宅、银行、地铁站、停车场等场合。
美国明尼苏达大学的 O.Masuoud 和 N.P. Papanikolopoulos 等人，利用静止的单目 CCD 摄像机对灰度图像视频序列进行行人识别与跟踪，并且建立了行人的轮廓模型，该方法的成果主要用于道路交叉口行人的识别与跟踪控制。
2007 年，德国 DaimlerChrysler研究机构开发了一套面向行人交通安全的车辆安全辅助驾驶系统，该系统通过计算实际道路的限制条件确定了图像感兴趣区域，在立体视觉条件下，运用行人形状特性、神经网络等一系列方法实现了对道路感兴趣区域内行人的检测。除以上应用于实际的行人检测系统之外，还有大量与行人检测、跟踪技术相关的学术研究成果。
美国麻省理工学院的 M.Oren 与 C.Papageorgiou建立了Haar 小波模板，并将其应用于行人检测当中，Haar 小波模板常用于表达简单的物体，具有有效、快速检测的特点，现已被广泛的应用于图像的物体检测中，同样 Haar 小波模板行人检测算法也成为行人检测领域经典算法之一。
2005 年，法国的 Navneet Dalal 和 Bill Triggs使用梯度方向直方图(HOG)来表示人体特征，并在 INRIAPerson 样本库上进行了验证。此方法检测率高，在人体检测方面有着很强的适用性，同样的该算法在道路行人检测也有很强表现力，现已引起很多学者的关注。
2009 年，伊利诺伊大学的 Niebles. J.C等人，提出了一种使用 AdaBoost 级联模型的行人识别算法，并将该识别算法应用到行人检测领域，使得行人检测识别效果有所改进。
德国的 C. H. Lampert 和 M. B. Blaschko提出了快速子窗口搜索算法(ESS)，从而克服了物体识别与跟踪需要遍历整幅图像的缺点，加快了物体检测的速度，同时该算法成为当前物体识别流行算法之一。
参考文献
[1] 巩航军，李百川．我国道路交通安全现状及对策研究 [J]．交通与运输(学术版),2006,7(01)：98-100．
[2] 刘强，陆化普等．我国道路交通事故特征分析与对策研究 [J].中国安全科学学报，2006，6(6)：123-128.
[3] 徐友春．智能车辆视觉与 GPS 综合导航方法的研究[D]．博士学位论文，吉林大学，2001.
[4] 顾柏园，基于单目视觉的安全车距预警系统研究[D]．博士学位论文，吉
林大学，2006.
[5] 李斌．智能车辆前方车辆探测及安全车距控制方法的研究[D]．博士学位
论文，吉林大学，2001.
[6] 游峰．智能车辆自动换道与自动超车的研究[D]．博士学位论文，吉林大学，2005.
[7] 田广，戚飞虎，朱文佳等．单目移动拍摄下基于人体部位的行人检测[J]．系统仿真学报，2006，18(10)：2906-2910.
[8] 汤义.智能交通系统中基于视频的行人检测与跟踪方法研究[D].博士学位
论文，华南理工大学，2010.
[9] 王亮，胡卫明，谭铁牛．基于步态的身份识别[J]．计算机学报，2003，26(3)：353-360．
[10]孙庆杰.静态图像中人体检测技术研究:(博士学位论文).北京:中国科学软件研究所,2004.
[11]马奔. 图象检测与行为理解研究[D]. 西安: 西北工业大学博士论文, 2006
[12]黄深.基于Hausdorff距离模板匹配的行人检测算法研究与应用:(硕士学位论文).北京:清华大学,2006
[13]吴栓栓.基于单目视觉的行人检测算法的研究与实现[D],沈阳:东北大
学,2008.
[14] 刘伟铭，伍友龙。一种在复杂情况下车辆的跟踪算法研究。计算机与现代化.2005(6):7-9.
[15]高璐，张大志，田金文．红外序列图像目标跟踪的自适应 Kalman 滤波方法[J]．红外与激光工程，2007，36(5)：729-732，757
[16]万琴，王耀南．基于卡尔曼滤波器的运动目标检测与跟踪 [J]．湖南大学学报（自然科学版），2007，34(3)：36-40
[17] 刘晓辉，陈小平．基于扩展卡尔曼滤波的主动视觉跟踪技术 [J]．计算机辅助工程，2007，16(2)：32-37
[18] 黎云汉，朱善安．基于 Hough 变换和无轨迹卡尔曼滤波的眼睛焦点跟踪[J]．吉林大学学报（工学版），2008，38(4)：907-912
[19] 朱兵，李金宗，魏祥泉．融合多线索的目标跟踪 [J]．计算机应用，2006，26(3)：601-604
[20] 王江涛．基于视频的目标检测、跟踪及其行为识别研究 [D]．南京：南京理工大学，2008
[21]张秀兰.基于MATLAB的数字图像的边缘检测[J].吉林化工学院学报,2010(4):59-61.
[22]王爱玲,叶明生,邓秋香.图像处理技术与应用[M].北京:电子工业出版社, 2008(1):287-312.
[23]胡建华,徐健健.交通监控系统中车辆和行人的检测与识别[J].电子测量技术, 2007(1):16-71.
[24]竺子民.光电图象处理[M].武汉:华中理工大学出版社,2001: 91-93.
[25]代科学等.监控视频运动目标检测背景技术的研究现状和展望[J],中国图像图形学报,2006,11(7): 919-927.
[26]常好丽,史忠科.基于单目视觉的运动行人检测与跟踪方法[J],交通运输工程学报,2006,6(2): 55-60.
[27]王亮芬.基于Sift特征匹配和动态更新背景模型的运动目标检测算法[J],计算机应用与软件,2010, 27(2):267-270.
[28]叶佳，张建秋．基于 mean-shift 算法的目标跟踪方法 [J]．传感技术学报，
2006，19(6)：2621-2624，2629
[29] 艾海舟, 吕风军.面向视觉监视的变化检测与分割[J]. 计算机工程与应用, 2000,37(5):75-77
[30] 吕国亮, 赵曙光, 赵俊.基于三帧差分和连通性检验的图像运动目标检测新方法[J].液晶与显示, 2007( 22):87-92
[31] Rafael C.Gonzales 著, 阮秋琦译.数字图像处理(第二版)[M]. 北京:电子工业出版社,2003: 215-221
[32]张海荣.视频图像中的行人检测算法研究与实现[D],沈阳:东北大学,2009.
[33] 贾慧星, 章毓晋. 车辆辅助驾驶系统中基于计算机视觉的行人检测研究综述[J].自动化学报, 2007(33): 84-90
[34] 黄鑫娟, 周洁敏, 刘伯扬. 自适应混合高斯模型背景的运动目标检测算法[J]. 计算机应用. 2010:1-4
[35] 郭烈.基于单目视觉的车辆前方行人检测技术研究[D].吉林: 吉林大学博士论文,2007
[36] 田广. 基于视觉的行人检测和跟踪技术的研究[D]. 博士学位论文, 上海: 上海交通大学, 2007
[37] 许言午, 曹先彬, 乔红. 行人检测系统研究新进展及关键技术展望[J]., 电子学报,2008, 5(36): 962-968
[38] 李斌, 史忠科. 基于计算机视觉的行人检测技术的发展[J].. 计算机工程与设计,2005, 26(10):2565-2568
[39] 常好丽,史忠科. 基于单目视觉的运动行人检测与跟踪方法[J].. 交通运输工程学报,2006, 6(2):55-59
[40] 黄琛. 基于 Hausdorff 距离模板匹配的行人检测算法研究与应用[D]. 硕士学位论文,北京: 清华大学, 2006
[41] 陈震, 高满屯, 沈允文. 图象光流场计算技术研究进展[J].. 中国图象图形学报.2002, 5, 7A(5): 434-439
[42] National Highway Traffic Safety Administration. Traffic Safety Facts 2003Data[R]. Washington, DC, 2004, Publication Number 809762.
[43] C.Mertz, D.Duggins, J.Gowdy, J.Kozar, et al. Collision Warning and
SensorData Processing in Urban Areas Collision Warning and Sensor Data Processing in Urban Areas[C]. Proceedings of the 5th international conferenceon ITS telecommunications, June, 2005: 73-78.
[44] Massimo Bertozzi , Alberto Broggi , Gianni Conte , Alessandra Fascioli , RaFascioli. Obstacle and Lane Detection on the ARGO Autonomous Vehicle[C].IEEE Intelligent Transportation Systems Conf, 1997: 1010-1015.
[45] Massimo Bertozzi ,Alberto Broggi， et al. Vision-based Pedestrian Detection:will Ants Help？[J]. IEEE Intelligent Vehicle Symposium, 2002(1):1-7.
[46] Meinecke, Marc-Michael; Obojski, Marian Andrzej. Approach for protectionof vulnerable road users using sensor fusion techniques [C]. InternationalRadar Symposium, Dresden/ Germany, 2003.
[47] P.Marchal.SAVE-U:Sensors and system Architecture for Vulnerable roadUsers protection [C].Bruxelles: ADASE II-3rd Concertation meeting: 19-20.
[47] Haritaoglu I，Harwood D，Davis L． W4：Real-time surveillance of people and their activities [J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8)：809-830.
[49] O. Masoud, N.P. Papanikolopoulos. Robust pedestrian tracking using amodel-based approach,in Proc[C]. IEEE Conference on Intelligent Transportation Systems, Boston, Nov,1997: 338-343.
[50] D. M. Gavrila and S. Munder. Multi-cue pedestrian detection and tracking from a moving vehicle [D]. IJCV, 73(1), 2007:41–59.
[51] M.Oren, C.Papageorgiu, P.Sihna,et al. Pedestrian Detection using Wavelet Templates[C]. IEEE Conference on Computer Vision and Pattern Recognition,1997:193-199.
[52] N avneet Dalal and Bill Triggs. Histograms of Oriented Gradients for Human
[53] C. Stauffer, E. Grimson, Adaptive Background Mixture Models for Real-time Tracking,Proc[A]. Computer Vision and Pattern Recognition Conference[C], 1999:21-26
开题报告
1研究背景及意义
随着我国机械工业的迅猛发展,汽车行业也实现了新的跨越。汽车的普及带来了许多危害,诸如:“汽车尾气”对环境的污染、消耗汽油造成能源的紧缺、交通拥挤、交通事故等等。目前,我国的交通安全形势日益严峻,交通事故频繁发生,财产损失和人员伤亡惨重。虽然我国仅拥有全世界约2.5%的汽车,但是引发的道路交通死亡事故占世界的15%,己是交通事故多发的国家。据调查统计,2009年,全国共发生道路交通事故238351起,造成67759人死亡、275125人受伤,直接财产损失9.1亿元. 2008年,全国共发生道路交通事故265204起,造成73484人死亡、304919人受伤,直接财产损失10.1亿元2007年,全国共发生道路交通事故327209起,造成81649人死亡、380442人受伤,直接财产损失12亿元。由此可见,交通事故是全球性关注的一个热点,其对人类的危害已超出了洪水、地震、火灾等自然灾害,是导致行人死亡的一个主要因素。在道路交通事故中,自行车骑车人和行人往往处于弱势地位,一旦与机动车发生碰撞,是很容易受到伤害的。事故带来的灾难,使一个个家庭陷入了不幸的痛苦之中.人们对出行安全的渴盼,成为社会公共安全的重要话题.为了有效地保护行人,行人检测和跟踪技术得到了车企及消费者的重视。
随着我国汽车保有量的迅速增加,道路交通事故频发,特别是车辆与行人发生碰撞而引发交通事故是导致行人伤亡的主要原因。交通引发的各种问题尤其是行驶安全问题日益受到人们的关注,这就使得安全辅助驾驶系统的应用在我国具有更大的紧迫性和现实意义。对车辆前方行人进行检测是汽车安全辅助驾驶系统所必需具备的功能之一,己经引起了世界各国政府部门和相关研究机构的高度重视及商家的浓厚兴趣,它能有效地辅助在市区环境中驾驶车辆的驾驶员及时对外界环境做出反应,避免碰撞行人。行人检测技术的研究开发将为我国汽车安全辅助驾驶技术的发展提供有力的理论和技术支持,并具有潜在的经济价值和应用前景。利用传感器技术来探测车辆前方的障碍物,包括行人车辆以及自行车等,及时警告驾驶员可能与潜在的障碍物发生碰撞,减少这类碰撞交通事故发生的损失和人员伤亡。如果驾驶员没有及时采取有效的措施来避免与行人等障碍物发生碰撞,
可以采取自动驾驶功能接替驾驶员避免这种紧急状况的发生,如通过车上安装的自动转向和自动制动功能接替驾驶员实现自动转向或制动，有效地提高城市交通的安全性。行人检测是城市交通环境下的智能车辆辅助导航技术中的一项关键技术,也是目前计算机应用领域的研究热点之一。它处于智能车辆辅助导航技术的底层,是各种后续高级处理如目标分类,行为理解的基础,对于保障现代城市道路交通安全具有重要的作用,同时具有十分广阔和重要的应用领域。运动行人检测在智能控制系统,虚拟现实,机器人应用等方面也将得到广泛的应用。
行人检测与跟踪技术不仅在智能交通系统和视频监控系统中有广泛的应用,而且在虚拟现实、机器人应用等方面有着非常重要的研究价值。行人跟踪是一个复杂的系统工程,它涉及了人体生理学、心理学、计算机视觉、模式识别、等多方面的问题。
2研究内容
基于计算机视觉的行人检测由于其在车辆辅助驾驶系统中的重要应用价值成为当前计算机视觉和智能车辆领域最为活跃的研究课题之一。其核心是利用安装在运动车辆上的摄像机检测行人，从而估计出潜在的危险以便采取策略保护行人。行人检测除了具有一般人体检测具有的服饰变化、姿态变化等难点外，由于其特定的应用领域还具有以下难点：摄像机是运动的，这样广泛应用于智能监控领域中检测动态目标的方法便不能直接使用；行人检测面临的是一个开放的环境，要考虑不同的路况、天气和光线变化，对算法的鲁棒性提出了很高的要求；实时性是系统必须满足的要求，这就要求采用的图像处理算法不能太复杂。
基于视觉的行人检测系统一般包括两个模块：感兴趣区（ROIs）分割和目标识别。根据分割所用的信息，可将ROIs 分割的方法分为基于运动、基于距离、基于图像特征和基于摄像机参数四种方法。基于运动的方法通过检测场景中的运动区域来得到ROIs。基于距离的方法通过测量目标到汽车的距离来得到ROIs 。可以用来测距的传感器主要包括雷达和立体视觉。基于图像特征的方法指通过检测与行人相关的图像特征从而得到ROIs 。对于可见光图像来说，常用的特征包括竖直边缘、局部区域的熵和纹理等。对于红外图像来说，主要根据人体尤其是人脸的温度比周围环境温度较高这一特征，通过检测一些“热点”(Hot spot) 来得到ROIs。摄像机的安装位置和摄像机参数也是一个很重要的考
虑因素. 它对行人在图像上出现的位置和每个位置上目标的大小给出了很多限制, 合理利用这些限制可以大大地缩小搜索空间。
如图1所示，行人检测分为以下几个步骤：预处理阶段，首先通过传感器获得车辆前方的图像信息，对这些信息做预处理（如降噪、增强等）；分类检测阶段，用图像分割、模型提取等一些图像处理技术在图像中选取一些感兴趣的区域（Regions of Interest，ROIs），即行人的候选区域，然后对ROIs进行进一步的验证，用分类等技术方法判断候选区域中是否包含行人；决策报警阶段，对含有行人的区域进行跟踪，得到行人的运动轨迹，提高检测精度和速度的同时，也能对行人是否会和车辆发生碰撞进行判断，对可能发生碰撞的情况，进行报警或者其他避免碰撞的操作。
图1 行人检测系统框架
在行人检测系统中，分类检测阶段是最为重要的一个阶段。由于行人检测系统是一个实时系统，因此系统中的检测算法应具有很高的实时性，那些使用复杂图像处理的算法便不再适用；而开放的检测场景，如道路状况不断变换、天气以及光照也随机变化，行人的服饰和姿态多变等，使得模板匹配的方法无法很好的应用于行人检测问题中。场景3D建模的方法由于前提假设的限制，其性能和速度无法达到实用的要求。如今主要的研究方法还是在行人检测中引入各种各样的分类器，主要是因为分类算法具有较好的鲁棒性，而且合理的选择训练样本和特征，结合结构合理的分类算法，可以较好地克服许多不利条件，如行人多样性、场景多样性、光照环境多样性等的影响。因此，在当前情况下，分类检测是行人检测技术研究中的一种主流的方法。常用于行人检测的分类器有：支持向量机(SVM)、各种类型的神经网络（NN）以及其他基于统计的学习分类器（如Adaboost、串联分类器）等，如表1所示。
表1 行人检测系统常用的分类器
很多类型的分类器都被用到了行人和非行人物体的区分当中。分类器的输入是从图像中提取的像素值或特征值，输出则是这个物体是否为待测物体的一个判断。很多情况下，给出的是这个物体为待测物体的概率值。分类器通常由一系列正负样本训练得来。训练之后，分类器对未知样本进行处理，通过特征向量位于决定边界的哪一边，确定该样本中是否含有待测物体。分类器的好坏主要取决于三个方面：特征、分类算法和样本，只有合理地结合这三者才能得到性能最优的分类器。目前，这三方面都有一些进展，这为我们设计出高效的分类器提供了很好的基础。分类器性能一般从三个方面来评价，检测率高，误报率低，检测速度快。三方面相互限制，实际应用中需要找到一个平衡点。由于分类器的性能好坏是整个行人检测系统性能好坏的决定因素，所以非常有必要结合行人检测问题本身的特点来专门为其设计合理、高性能的分类器，而不是直接套用其它领域的一些现有算法。
3研究方法
行人检测包括了行人目标的分类和行人的跟踪等方面, 涉及到计算机视觉、模式识别和人工智能领域的许多核心课题, 是一个具有挑战性的困难问题。目前, 在许多文献中提出了多种关于行人检测的方法, 常用的方法有基于运动特性的方法、基于形状信息的方法、基于行人模型的方法、立体视觉的方法、神经网络方法、小波和支持向量机的方法等。
3.1基于形状信息的方法
由于行人探测是在车辆运动的状态下进行的, 这样会带来摄像机的运动, 从而背景图像也会相应发生变化。基于形状信息的行人检测方法回避了由于背景变化和摄像机运动带来的问题, 主要是依靠行人形状特征来识别行人, 因此基于形状的行人检测方法能识别出运动和静止的行人。
意大利帕尔玛大学的Alberto B roggi 教授在AR 2GO项目中采用一种基于外形的行人检测算法。算法首先根据行人相对于垂直轴有很强的垂直边缘对称性、尺寸和外貌比例等在图像中找到感兴趣区域, 然后提取垂直边缘, 选择具有高垂直对称性的区域。通过计算边缘的熵值去掉图像中始终一致的区域。在剩下的具有对称性的候选区域中, 寻找目标侧向和底部边界画出矩形方框, 通过包含行人头部模型匹配定位行人头部。在市区试验表明, 当视野中有完整的行人存在时能得到较好的效果, 在10~ 40m 的范围内都可以正确地进行识别, 并且可以较好地适应复杂的外界环境。
德国DaimlerO Chrysler研究中心的Gavri la开发的行人检测系统在城市交通助手UTA 中进行了试验。盖系统主要分为两步, 首先是在等级模板匹配过程中应用行人轮廓特征来有效锁定候选目标。然后在模式分类中根据丰富的亮度信息运用径向基函数来验证候选目标。
基于形状信息的行人检测方法存在两大难点: 一是行人是非刚性的, 形状信息具有多样性, 算法要考虑很多基本的信息, 导致计算量增大; 二是行人在行走的过程中, 由于会产生遮挡现象, 这就无形中增加了基于形状信息行人检测的难度。
3.2基于运动特性的方法
运动是探测场景图像中感兴趣区域重要信息, 基于运动特性的行人检测就是利用人体运动的周期性特性找到行人。德国DaimlerO Benz研究中心B 1Heisele 的研究是基于行人与像平面平行的方向行走时腿部运动特征,从彩色序列图像中识别出行人。首先将每幅图像分割成区域图像并对象素按颜色P位置特征空间进行聚类,通过在连续图像中匹配相应的类, 并对各类进行跟踪。然后利用快速多项式分类器估计基于类形状特征的时间变化来初步选择可能属于人腿的类。最后通过时空接受域延时神经网络将属于行人腿的类进行分离。
Lipton通过计算运动区域的残余光流来分析运动实体的刚性和周期性, 非刚
性的人的运动相比于刚性的车辆运动而言具有较高的平均残余光流, 同时它也呈现了周期性的运动特征, 据此可以将人区分出来。
大多数基于运动方法运用行人独有的运动节奏特征或运动模式来探测行人, 而且能在运动摄像机情况下探测到运动目标, 但是应用基于运动的行人检测还有一定的局限性: ( 1) 首先为了提取运动节奏特征要求行人脚或腿是可见的; ( 2) 识别时需要连续几帧序列图像, 这样延误了行人的识别, 增加了处理时间;( 3) 不能识别静止行人。
3.3 基于模型的方法
基于模型的行人检测方法是通过定义行人形状模型, 在图像的各个部位匹配该模型以找到目标。行人模型主要有线性模型、轮廓模型以及立体模型等。线性模型是基于人运动的实质是骨骼的运动, 因此可以将身体的各个部分以直线来模拟。美国马里兰大学的V1Philomin 等首先应用背景减除法从静止CCD获得的图像中自动分割出行人边缘轮廓, 得到行人的统计形状模型。然后建立线性点分布模型, 利用主分量分析简化维数, 找到8维变形模型空间。基于轮廓模型的跟踪是利用封闭的曲线轮廓来表达运动目标, 并且该轮廓能够自动连续地更新。例如美国明尼苏达大学的O1Masoud利用静止的单目CCD对序列灰度图像进行行人跟踪, 主要用于在交叉路口行人跟踪控制。立体模型主要是利用广义锥台、椭圆柱、球等三维模型来描述人体的结构细节, 这种模型要求更多的计算参数和匹配过程中更大的计算量。如K1Rohr利用通用圆柱模型来描述行人, 目的是想利用该模型来产生人的行走的三维描述。
利用轮廓模型进行跟踪有利于减少计算的复杂度, 如果开始能够合理地分开每个运动目标并实现轮廓初始化的话, 既使在有部分遮挡存在的情况下也能连续地进行跟踪, 然而初始化通常是很困难的。
3.4小波变换和支持向量机
从20 世纪80 年代后期开始逐步发展起来的小波分析克服了傅立叶分析的不足, 具有良好的空间局部分析功能和多分辨分析功能, 并且具有良好的重构性和滤波特性。美国M1Oren介绍了可训练的目标探测方法, 用来探测静止图像中的相关人。由于人体是一个非刚性的目标, 并在尺寸、形状、颜色和纹理机构上有一定程度的可变性。行人检测主要是基于小波模板概念, 按照图像中小波相关
系数子集定义目标形状的小波模板。系统首先对图像中每个特定大小的窗口以及该窗口进行一定范围的比例缩放得到的窗口进行Harr小波变换, 然后利用支持向量机检测变换的结果是否可以与小波模板匹配, 如果匹配成功则认为检测到一个行人。最近他们又结合基于样本的方法对系统做了改进, 对人体的每个组成部分进行相应的小波模板的匹配, 之后对这些分量的匹配结果进行总的匹配评价。首先将图像进行水平方向、垂直方向以及对角线方向进行Haar 小波变换, 然后扫描与行人相关的模型, 最后用支持向量机统计推理进行识别。为了避免重叠现象, 系统按照一定等级利用多个分类器分别对手臂、头部和腿进行分类。
基于小波变换和支持向量机的方法需要按不同尺度搜索整幅图像来找到行人, 这样计算量很大。为了实现对行人进行实时检测与跟踪, 需要减少小波特征, 降低支持向量机的维数。
3.5 立体视觉
立体视觉的基本原理是从两个(或多个) 视点观察同一景物, 以获取在不同视角下的感知图像, 通过三角测量原理计算图像像素间的视差来获取景物的三维信息。由于单目视觉不能准确的获得前方车辆的距离信息, 而且在复杂场景内由于噪音的干扰不能有效的识别行人, 而立体视觉由于能够获得图像的深度信息, 因此在行人检测领域中得到一定的应用。意大利帕尔玛大学的A1Broggi 和美国坦克及机动车辆司令部M1Del Rose 等利用立体视觉技术进行预处理在一般非结构化环境下定位行人位置。系统首先将采集到的左、右图像进行边缘提取、二值化和形态水平膨胀, 然后将左幅图像的每行与右幅图像每行进行匹配, 计算左右特征图像中相应行的相关性用来计算他们之间的偏移量。最后找到两幅图像中相应成分的偏移量, 右幅图像偏移相同偏移量与左幅图像相应的行人区域进行特征匹配, 根据垂直直方图和水平直方图确定行人区域的边界。也有一些行人检测系统常用立体视觉来寻找感兴趣区域, 以便后续模式分类或利用立体视觉根据对称性用来验证步骤探测到的定人区域。如美国梅隆大学的Liang Zhao和E1Thorpe首先对经过图像进行拉普拉斯运算, 利用区域相关性计算视差映射图; 然后视差值可以按照不同等级进行搜寻。通过距离阈值从视差图像中排除背景目标, 然后采用形态相近算子去除噪声并平滑前景图像区域。最后将所有探测到的可能含有行人目标的方框区域输入到训练神经网络进行行人识别。
3.6神经网络
人工神经网络在行人识别技术中的应用主要是对利用视觉信息探测到的可能含有行人区域进行分类识别。如Liang Zhao和E1Thorpe首先利用立体视觉进行目标区域分割, 然后合并和分离子目标候选图像成满足行人尺寸和形状约束的子图像, 最后将所有探测到的可能含有行人目标的方框区域输入到神经网络进行行人识别。B1Heisele将每幅图像分割成区域图像并对像素按颜色P位置特征空间进行聚类, 利用快速多项式分类器估计基于类形状特征的时间变化来初步选择可能属于人腿的类。最后通过时空接受域延时神经网络将属于行人腿的类进行分离。
4预期目标
本课题目的在于建立一个基于机器视觉的车载辅助驾驶系统的行人实时检测识别系统，多变的自然背景下能够准确实时的识别行人。
5难点及存在问题
行人分类检测问题具有以下的特点：
1)由于每帧图像中的待检测区域数量庞大，而行人检测的应用对实时性要求很高，因此对分类器的检测速度要求也很高；
2)在实际场景中，行人对象和非行人对象存在严重的不均衡性，行人对象所占比例很小；
3)为了保证样本的多样性，分类器训练时使用的正负样本数量较大并且和实际情况中正负对象的比例大致相同，这样就导致正负样本在数量上的不平衡，需要针对这种不平衡数据设计高效的分类算法；
4)行人检测系统在使用过程中不能一直报虚警，因此要求分类器在检测率在可接受的前提下，误报率尽可能的低。
6工作的初步计划
（1）2014年10月——2014年11月
查阅相关资料和进行课题初步分析；
（2）2014年12月——2015年1月
相关知识学习（模式识别，计算机图像学，opencv等）；同时理解相关文献算法并进行仿真。
（3）2015年2月——2015年5月
设计各种算法，并实现算法，进行调试；期间将小论文发表。
（4）2015年6月——2015年8月
仿真、检验；
（5）2015年9月——2015年11月
根据实际结果撰写毕业论文，答辩。
(整理)自动控制综合设计_无人驾驶汽车计算机控制系统方案
自动控制综合设计 ——无人驾驶汽车计算机控制系统 指导老师： 学校： ：
目录 一设计的目的及意义 二智能无人驾驶汽车计算机控制系统背景知识三系统的控制对象 四系统总体方案及思路 1系统总体结构 2控制机构与执行机构 3控制规律 4系统各模块的主要功能 5系统的开发平台 6系统的主要特色 五具体设计 1系统的硬件设计 2系统的软件设计 六系统设计总结及心得体会
一设计目的及意义 随着社会的快速发展，汽车已经进入千家万户。汽车的普及造成了交通供需矛盾的日益严重，道路交通安全形势日趋恶化，造成交通事故频发，但专家往往在分析交通事故的时候，会更加侧重于人与道路的因素，而对车辆性能的提高并不十分关注。如果存在一种高性能的汽车，它可以自动发现前方障碍物，自动导航引路，甚至自动驾驶，那将会使道路安全性能得到极大提高与改善。本系统即为实现这样一种高性能汽车而设计。 二智能无人驾驶汽车计算机控制系统背景知识 智能无人驾驶汽车是一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统，它集中运用了计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术，是典型的高新技术综合体。目前对智能汽车的研究主要致力于提高汽车的安全性、舒适性，以及提供优良的人车交互界面。近年来，智能车辆已经成为世界车辆工程领域研究的热点和汽车工业增长的新动力，很多发达国家都将其纳入到各自重点发展的智能交通系统当中。 通过对车辆智能化技术的研究与开发，可以提高车辆的控制与驾驶水平，保障车辆行驶的安全通畅、高效。对智能化的车辆控制系统的不断研究完善，相当于延伸扩展了驾驶员的控制、视觉和感官功能，能极促进道路交通的安全性。智能车辆的主要特点是以技术弥补人为因素的缺陷，使得即便在很复杂的道路情况下，也能自动地操纵和驾驶车辆绕开障碍物，沿着预定的道路轨迹行驶。 三系统的控制对象 （1）系统中心控制部件（单片机）可靠性高，抗干扰能力强，工作频率最高可达到25MHz，能保障系统的实时性。 （2）系统在软硬件方面均应采用抗干扰技术，包括光电隔离技术、电磁兼容性分析、数字滤波技术等。 （3）系统具有电源实时监控、欠压状态自动断电功能。 （4）系统具有故障自诊断功能。
机器视觉检测系统简述及系统构成
机器视觉检测系统简述及系统构成 1机器视觉检测的一般模式 机器视觉检测的目标千差万别，检测的方式也不尽相同。农产品如苹果、玉米等通常是检测其成熟度，大小，形态等，工业产品如工业零件,印刷电路板通常是检测其几何尺寸，表面缺陷等。不同的应用场合，就需要采用不同的检测设备和检测方法。如有的检测对精度要求高，就需要选择高分辨率的影像采集装置；有的检测需要产品的彩色信息，就需要采用彩色的工业相机装置。正是由于不同检测环境的特殊性，目前世界上还没有一个适用于所有产品的通用机器视觉检测系统。虽然各个检测系统采用的检测设备和检测方法差异很大，但其检测的一般模式却是相同的。机器视觉检测的一般模式是首先通过光学成像和图像采集装置获得产品的数字化图像，再用计算机进行图像处理得到相关检测信息，形成对被测产品的判断决策，最后将该决策信息发送到分拣装置，完成被测产品的分拣。 机器视觉检测的一般模式如图1所示： 图1机器视觉检测的一般模式 1.1图像获取 图像获取是机器视觉检测的第一步，它影响到系统应用的稳定性和可靠性。图像的获取实际上就是将被测物体的可视化图像和内在特征转换成能被计算机处理的图像数据。机器视觉检测系统一般利用光源，光学镜头，相机，图像采集卡等设备获取被测物体的数字化图像。 1.2视觉检测 视觉检测通过图像处理的方法从产品图像中提取需要的信息，做出结果处理并发送相应消息到分拣机构。通常这部分功能由机器视觉软件来完成。优秀的机器视觉软件可对图像中的目标特征进行快速准确地检测，并最大限度地减少对硬件系统的依赖性，而算法设计不够成熟的机器视觉软件则存在检测速度慢，误判率高，对硬件依赖性强等特点。在机器视觉检测系统中视觉信息的处理主要依赖于图像处理方法，它包括图像增强,数据编码和传输，平滑，边缘锐化，分割，特征提取，目标识别与理解等内容。 1.3分拣 对于一个检测系统而言，最终是要实现次品（含不同种类的次品）与合格品的分离即分拣，这部分功能由分拣机构来完成。分拣是机器视觉检测的最后一个也是最为关键的一个环节"对于不同的应用场合，分拣机构可以是机电系统!液压系统!气动系统中的某一种。但无论是哪一种，除了其加工制造和装配精度要严格保证以外,其动态特性,特别是快速性和稳定性也十分重要，必须在设计时予以足够的重视。 2机器视觉检测系统的构成 一个典型的机器视觉检测系统主要包括光源、光学镜头、数字相机、图像采集卡、图像处理模块、分拣机构等部份。其构成如图2所示。 图2典型的机器视觉检测系统 3光源
视频监控跟踪系统的研究
视频监控跟踪系统的研究 视频监控跟踪系统的研究 【摘要】视频监控跟踪系统是对图像信号目标进行实时自动识别，进而对目标位置的相关信息进行有效的提取，并且自动跟踪目标运动的伺服系统。在对精度与动力进行分析与研究的情况下，研发了跟踪伺服机械系统，并且开展了具备分布、集中的特点，同时对微机测控系统与网络通信系统的电路软件与硬件进行了相关的设计，探索了自适应跟踪算法的应用。 【关键词】视频监控系统；自适应跟踪算法；跟踪伺服系统 随着科学技术的不断发展与进步，视频监控跟踪系统方面的研究也取得了一定的进步。成像跟踪指的就是利用景物图像的特点对运动中的目标展开跟踪的技术，跟踪装置一般是由伺服机构与操作系统共同构成的，可以在图像信号中对跟踪目标进行实时自动识别，进而提取位置信息的一种复合技术系统。 一视频监控跟踪系统实现自动跟踪所面临的问题 ㈠运动目标的检测 在图像序列中，对于运动目标的检测是一项非常关键并且困难的研究课题，在完成运动补偿、视频理解以及视频压缩编码的过程中，均需要利用相应的运动目标检测技术，在视频理解中，开展运动目标的检测是为后续的识别、跟踪以及活动分析奠定了坚实的基础。运动目标的检测指的就是对图像序列展开相关的检测，指出与运动物体三维有关的一些点，滤除一些与运动目标无关的信息。正确检测运动目标可以极大的提高后续识别、活动分析以及跟踪的正确率。通常情况下，均需要视频监控系统展开长时间的运行，也就需要系统达到以下几点要求：一是，可以与背景的变化相适应，比如可以适应一天时间内所有时间的光照变化；二是，能够与背景物体的变化相适应，比如场景物体的移入与移出等场景的变化；三是，可以有效的对背景中一些比较大的变化进行分辨，比如显示器屏幕的闪烁等情况；四是，可以检测出光照的变化情况，并且可以在尽可能短的时间里适应这样的
图像视频跟踪系统
图像视频跟踪系统 摘要：通过对图像进行阈值处理（图像分割），再对分割后的图像求取形心，以对目标图像进行定位，并最后找到各幅帧图像的目标位置的方法，从而实现对200帧视频图像的实时跟踪。 关键词：阈值处理；视频序列目标跟踪；形心估计 1 引言 视频序列目标跟踪是指对传感器摄取到的图像序列进行处理与分析，充分利用传感器采集得到信息来对目标进行稳定跟踪的过程。一旦目标被确定，就可获得目标的位置、速度、加速度等运动参数，进而获得目标的特征参数。在军事上，视频序列目标跟踪技术广泛应用于精确制导、战场机器人自主导航、无人机着降，靶场光电跟踪等领域。在民用上，该技术在智能视频监控、智能交通管制、医疗影像诊断等方面也有很重要的应用。 视频跟踪目前在国内外都有较广泛的研究和应用，比如2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB的COCOA系统，用于无人机低空航拍视频图像的目标检测与跟踪处理。 2 基于MATLAB的图像跟踪算法 2.1 200帧视频图像的读取 由于视频是由200帧图像通过连续播放从而达到视频的效果的，所以要达到视频放映的效果，应首先对200帧图像序列进行顺序读取。200帧图像存储在MATLAB的默认路径中，文件名为00000xxx.bmp。要达到读取它们的目的，需要使用循环算法。算法由一个名为read_seqim(i)的函数实现，以下是函数的源程序： function I=read_seqim(i) if nargin==0 i=1;min=00000001; end
name=num2str(i); if i<=9 min=strcat('0000000',name,'.bmp'); elseif i<=99 min=strcat('000000',name,'.bmp'); else min=strcat('00000',name,'.bmp'); end I=imread(min); 其中i为读取图像的序号，通过以上的函数可以很方便的实现对200帧图像中任意一帧的读取，从而为后面的处理提供方便。 2.2 图像的阈值处理（图像分割） 阈值(Threshold)，也叫门限。阈值化(Thresholding),即按给定阈值进行图像的二值化处理。阈值分割法可分为以下几种： ?简单阈值分割法; ?多阈值分割法; ?最大类间方差法; ?最佳阈值法。 许多情况，图像是由具有不同灰度级的几类区域组成。如文字与纸张、地物与云层（航空照片）等，阈值分割是利用同一区域的具有某种共同灰度特性进行分割。而用阈值分割法分割图像就是选取一个适当的灰度阈值，然后将图像中的每个像素和它进行比较，将灰度值超过阈值的点和低于阈值的点分别指定一个灰度值，就可以得到分割后的二值图像，此时目标和背景已经得到了分割。阈值分割法简单，快速，特别适用于灰度和背景占据不同灰度级范围的图像。这里我们使用多阈值分割法。 多阈值分割法就是假设一幅图像包含两个以上的不同类型的区域，可以使用几个 门限来分割图象。分割函数如下：2.2.1阈值的确定 01 112 22 ,(,) (,),(,) ,(,) f f x y T g x y f T f x y T f f x y T ≤ ? ? =<≤ ? ?> ?
K1600视像跟踪会议系统方案资料
K1600 视 频 会 议 系 统 方案介绍
一.工程概述 随着信息技术的不断发展。一个大型会议室除了要满足传统简单的会议要求外，还应具有高雅格调和优美音质、清晰图像演示，并且可以根据要求扩展配备同声传译系统和投票表决功能以及会议电视系统。它由大屏幕显示、多媒体音视频信号源、音响、切换和中央集成控制几大部分组成。选取具备先进功能的DVD和录像机以及实物和图文传送器通过大屏幕投影机还原其图像，为了更高效、实时地指挥需要配备一套中央集成控制设备，控制室内所有影音设备、信号切换、灯光、屏幕升降、音量调节等等功能，大大提高工作效率和简化复杂的操作，能适合所有人士使用而不需要具备专业知识。 二.技术总则 1.1 系统技术设计原则 本系统根据功能需求分析，按照以下原则进行系统的设置、设计和工程实施管理。 （1）遵循实用性、先进性、专业性、开放性、安全性、可靠性、集成性、经济性、可移植性、保密性、可操作性和可扩展性的原则。 （2）根据本工程控制点位置分散、功能各异以及分散管理与集中管理相结合的特点，必须充分考虑系统的分控和总控的控制和管理内容、系统的优化设置和它们之间的信息流通关系。 （3）根据各个子系统的不同使用功能来考虑系统的设置和设计标准。 （4）系统设置除考虑建设时的一次性投资外，还应充分考虑系统的运行成本，并使之达到最小化。 （5）系统设计应预留余量和接口，以适应未来发展的需要。 （6）系统集成不同厂商不同类型的先进产品。 1.2 系统构成原则 本工程中所采用的系统必须是高可靠、开放、实用、先进、安全和可扩展的并且兼容性比较高的，其构成应符合以下原则： 1.2.1 系统的可扩展性 系统必须具有良好的可扩展性和可扩充性； 当系统规模扩大，系统必须能够通过适当增加模块和相应设备，就能够适应要求，达到良好效果不会造成浪费； 1.2.2 可靠性 系统在规定的时间和条件下应能完成本技术文件规定的功能，并具备系统长期和稳定
机器视觉检测系统的工作原理与检测流程【干货】
机器视觉检测系统的工作原理与检测流程 内容来源网络，由“深圳机械展（11万㎡，1100多家展商，超10万观众）”收集整理！ 更多cnc加工中心、车铣磨钻床、线切割、数控刀具工具、工业机器人、非标自动化、数字化无人工厂、精密测量、3D打印、激光切割、钣金冲压折弯、精密零件加工等展示，就在深圳机械展. 在机器视觉检测系统工作流程中，主要分为图像信息获取、图像信息处理和机电系统执行检测结果3个部分，另外根据系统需要还可以实时地通过人机界面进行参数设置和调整。 当被检测的对象运动到某一设定位置时会被位置传感器发现，位置传感器会向PLC控制器发送“探测到被检测物体”的电脉冲信号，PLC控制器经过计算得出何时物体将移动到CCD相机的采集位置，然后准确地向图像采集卡发送触发信号，采集开检测的此信号后会立即要求CCD相机采集图像。被采集到的物体图像会以BMP文件的格式送到工控机，然后调用专用的分析工具软件对图像进行分析处理，得出被检测对象是否符合预设要求的结论，根据“合格”或“不合格”信号，执行机会对被检测物体作出相应的处理。系统如此循环工作，完成对被检测物体队列连续处理。如下图所示。
机器视觉检测系统工作原理 一个完整的机器视觉检测系统的主要工作过程如下： ①工件定位传感器探测到被检测物体已经运动到接近机器视觉摄像系统的视野中心，向机器视觉检测系统的图像采集单元发送触发脉冲。 ②机器视觉检测系统的图像采集单元按照事先设定的程序和延时，分别向摄像机和照明系统发出触发脉冲。 ③机器视觉摄像机停止目前的扫描，重新开始新的一帧扫描，或者机器视觉摄像机在触发脉冲来到之前处于等待状态，触发脉冲到来后启动一帧扫描。 ④机器视觉摄像机开始新的一帧扫描之前打开电子快门，曝光时间可以事先设定。 ⑤另一个触发脉冲打开灯光照明，灯光的开启时间应该与机器视觉摄像机的曝光时间相匹配。 ⑥机器视觉摄像机曝光后，正式开始新一帧图像的扫描和输出。 ⑦机器视觉检测系统的图像采集单元接收模拟视频信号通过A/D转换器将其数字化，或者是直接接收机器视觉摄像机数字化后的数字视频信号。 ⑧处理结果控制生产流水线的动作、进行定位、纠正运动的误差等。 从上述的工作流程可以看出，机器视觉检测系统是一种相对复杂的系统。大多监控和检测对象都是运动的物体，系统与运动物体的匹配和协调动作尤为重要，所以给系统各部分的动作时间和处理速度带来了严格的要求。在某些应用领域，例如机器人、飞行物体制导等，对整个系统或者系统的一部分的重量、体积和功耗等都会有严格的要求。 尽管机器视觉应用各异，归纳一下，都包含一下几个过程： ①图像采集：光学系统采集图像，将图像转换成数字格式并传入计算机存储器。
车辆智能控制技术的研究与应用
车辆智能控制技术的研究与应用 车辆1003 20104043 李琳
车辆智能控制技术的研究与应用 自从汽车被发明以来，人类对于驾驶汽车的看法就一直存在分歧，一部分人热衷于让汽车变得越来越好开，强调驾驶乐趣，让你的双手舍不得离开方向盘；然而另一部分人则更热衷于让汽车变得越来越“傻瓜化”，甚至要将驾驶者的双手从方向盘上解放出来……上世纪80年代开始热播的美剧《霹雳游侠》当中的KITT，正是后者思想的集大成者。正在读这篇文章的您也许就曾经被无敌的KITT 所深深吸引吧？当然人类的科技还根本无法达到科幻电视剧当中的效果，KITT 无与伦比的人工智能、让主人公高枕无忧的自动驾驶、车身超级耐打击的能力以及几乎不用加油的动力科技看上去几乎都是天方夜谭。然而随着汽车技术的发展，现实版“KITT”正在向人们走来，近些年来许多厂商都致力于无人自动驾驶技术的研发，宝马在这领域走在时代的前边。 现阶段的技术成果虽然无法实现《霹雳游侠》或者《钢铁侠》里面那样强大的技术，但是让车子短暂脱离驾驶员的控制而自主驾驶，还是已经成功实现了。宝马将一系列最先进的无人驾驶技术设备集成到了一辆看似非常普通的5系轿车里，这些设备能够在高速公路行驶时，接管驾驶员的所有操作，自主进行油门、刹车甚至超车的动作。 车辆自主变线超车 借助布置在车身四周的传感器，它甚至可以发现从辅路匝道进入主干道的车辆，自主采取加减速或者变道的措施，而具体选择那种操作，也是通过计算当时的行驶条件而决定的，也就是说它具备了自主判断交通状况的能力。而这一切，目前都能够在130km/h以下的车速来完成。
其实这些对于驾驶员来说再容易不过的驾驶操作，对于自动驾驶系统来说可是超级复杂的一件事情。车辆不仅需要随时准确侦测出自己处于道路中的哪一条车道上，更要认出车身周边的车辆或者物体。实现这样的感知，不仅需要普通雷达，更需要激光、超声波以及摄像头的辅助。 若要精确做出判断，上述的集中探测装置至少需要两种协同作用。目前这辆能够自主驾驶的宝马5系轿车已经在驾驶员极少干预的前提下，安全行驶了3000英里。这都要归功于全车所有精良的设备。再有一点就是，这项技术的应用普及速度可能远超过你的想象，有消息称该技术在2014年的宝马i3上就会开始搭载，届时你可要分清路上开车的到底是人还是车自己了。然而一向强调给驾驶者带去驾驶乐趣的宝马开发这么一个产品，缺失会让人觉得有些意外，宝马官方给出的解释是，这项技术并不会完全将驾驶者从眼观六路耳听八方中抽离开来，所以不要指望你能在开车上班的路上睡上一觉…… 1 悬架的研究方法 （1）理论研究[1] 悬架系统的理论研究具有前瞻性和探索性，为智能悬架系统的物理实现奠定理论基础。其主要研究内容： a.悬架力学模型理论研究。悬架力学模型是振动理论中的隔振和减振理论的实际应用，通过振动理论的深入研究，全面综合研究悬架的减振和隔振性能、悬挂系统的非线性特性。 未来几年中，动力学、振动与控制领域的下述研究前沿值重视：①高维非
机器视觉测量技术
机器视觉测量技术杨永跃合肥工业大学 2007.3 目录 第一章绪论 1.1 概述 1.2 机器视觉的研究内容 1.3 机器视觉的应用 1.4 人类视觉简介 1.5 颜色和知觉 1.6 光度学 1.7 视觉的空间知觉 1.8 几何基础 第二章图像的采集和量化 2.1 采集装置的性能指标 2.2 电荷藕合摄像器件 2.3 CCD 相机类 2.4 彩色数码相机 2.5 常用的图像文件格式
2.6 照明系统设计 第三章光学图样的测量 3.1 全息技术 3.2 散斑测量技术 3.3 莫尔条纹测量技术 3.4 微图像测量技术 第四章标定方法的研究 4.1 干涉条纹图数学形成与特征4.2 图像预处理方法 4.3 条纹倍增法 4.4 条纹图的旋滤波算法 第五章立体视觉 5.1 立体成像 2 5.2 基本约束 5.3 边缘匹配 5.4 匹域相关性 5.5 从 x 恢复形状的方法 5.6 测距成像
第六章标定 6.1 传统标定 6.2 Tsais 万能摄像机标定法 6.3 Weng ’ s 标定法 6.4 几何映射变换 6.5 重采样算法 第七章目标图像亚像素定位技术第八章图像测量软件 (多媒体介绍 第九章典型测量系统设计分析9.1 光源设计 9.2 图像传感器设计 9.3 图像处理分析 9.4 图像识别分析 附:教学实验 1、视觉坐标测量标定实验 2、视觉坐标测量的标定方法。 3、视觉坐标测量应用实验 4、典型零件测量方法等。
3 第一章绪论 1.1 概述 人类在征服自然、改造自然和推动社会进步的过程中,面临着自身能力、能量的局限性, 因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。 智能机器能模拟人类的功能、能感知外部世界,有效解决问题。 人类感知外部世界:视觉、听觉、嗅觉、味觉、触觉 眼耳鼻舌身 所以对于智能机器,赋予人类视觉功能极其重要。 机器视觉:用计算机来模拟生物(外显或宏观视觉功能的科学和技术。 机器视觉目标:用图像创建或恢复现实世界模型,然后认知现实世界。 1.2 机器视觉的研究内容 1 输入设备成像设备:摄像机、红外线、激光、超声波、 X 射线、 CCD 、数字扫描仪、超声成像、 CT 等 数字化设备 2 低层视觉(预处理 :对输入的原始图像进行处理(滤波、增强、边缘检测 ,提取角点、边缘、线条色彩等特征。 3 中层视觉:恢复场景的深度、表面法线,通过立体视觉、运动估计、明暗特征、纹理分析。系统标定
BOSCHNG会议系统设计方案(同传、跟踪)
BOSCH会议系统 项 目 方 案 书
第一章设计思想 随着时代的发展，信息交流变的越来越重要，对信息交流的方式、方法的要求也越来越高，尤其是当今现代化的多媒体会议厅堂的视听设备组成，已越来越完善和先进。现代化的多媒体会议厅堂涵盖了多功能会议室、学术交流会议厅、多功能国际会议厅、现代化培训室、指挥室等对功能要求较高、较完善的厅堂功能，所以数字会议系统、音频扩声系统、视频会议系统、视频演示系统、中央控制系统在此类环境中的应用越来越广泛和重要。用户要求可以通过中央控制系统，高度自动化地对现代化多媒体会议厅堂中立体分布的各种复杂的视听设备进行集中控制，使这个系统更加完善、完整、完美。 会议报告厅的音视频设备很多，系统也非常复杂，综合了数字会议、音频扩声、多媒体演示、监控摄像、中央控制等众多不同类型的产品，涉及声光、电、信息学等多个领域。因此，各种产品相互间的协调操作非常重要。系统集成的好坏，关系到整个系统的成败。 根据贵单位的实际需要，提出如下总体设计要求： 1.系统的先进性与稳定性 多功能报告厅是重要的会议培训场所，在这里举行的会议的重要性不言而喻。因此，该系统采用的技术必须是先进的，选用的设备必须是十分可靠的，且系统整体集成必须具有高稳定性。 2.系统的集成性 模块是集散的，系统是集成的。由于会议种类不同、规模不同，对会议系统的要求也不同，故会议系统中各子系统具有模块化结构，既能独立工作，也能集中并行控制。可以说，系统的优越性很大程度取决于系统的集成程度。
3.系统操作的便捷和灵活性 系统设计功能的要完善，但使用维护要方便，同时又要考虑到系统良好的性价比。4.系统的可扩展性 我们设计的系统具有很强的扩充性，满足现代化科技发展的需求。足够的扩展余地为用户将来的升级提供条件。 5.系统的经济性 追求高效、低成本是每个甲方所希望的。我们所推荐的系统具有除了本身的性价比高以外，具有免维护特点。有效地降低了系统建设成本和系统维护成本。 第二章设计依据 系统标准参照： ?国际标准化组织标准ISO ?国际电气电子工程师协会标准IEEE ?国际电工委员会标准IEC ?供电电源标准GB2887-82 ?计算机场地技术要求GBJ45—82 ?国际商务建筑线缆标准TIA/EIA 568 ?国际商务建筑通信基础管理标准TIA/EIA 606 ?国际商务建筑通信设施规划和管路敷设标准TIA/EIA 569 扩声系统技术标准参照： ?中华人民国文化部行业技术标准《WH0301-93》一级标准。 ?中华人民国广播电影电视部技术标准《GYJ25-86》 ?《厅堂扩声系统设备互联的优选电气配接值》《SJ2112-82》
机器视觉在线检测系统项目实施流程
随着机器视觉检测技术的日益成熟，越来越多的企业选择安装机器视觉在线检测系统，企业如何做到机器视觉在线检测项目的顺利实施，企业用户对机器视觉在线检测系统设计制作流程的了解至关重要，今天创视新小编在这里整理了整个机器视觉在线检测系统从前期的产品检测评估到系统设备设计制作集成的整个过程做一个简单的介绍： 1、项目的前期评估 A、通过电话联系我们公司，我们公司将会有专业项目工程工程师跟您进行初步的沟通，了解您的需求； B、需要您提供检测样品（OK品和各种NG品数个）以及现场环境，如果不是做整机检测设备的还需要提供视觉设备的安装空间及外围IO通讯。如有需要，项目工程师可以到贵公司进行现场评估； C、根据提供的样品，项目工程师会在公司进行初步的技术评估，一般在收到样品后两个工作日内会给出测试结果； D、项目工程师会根据测试结果，向您提出专业的意见。提供合适的视觉产品（包括工业相机、镜头、光源、电脑、机器视觉系统软件等）给您，然后在测试结果出来后给您提供初步方案及项目费用预估。 E、如对方案存在疑问，可以随时联系项目工程师，项目工程师会对您的疑问进行解答并完善方案，尽力满足您的需求。 2、立项 项目经过初步评估后，双方确认项目方案的可行性，项目工程师接下来会建立一个新项目流程往下进行。 3、检测标准的明确 需要您收集OK品和限度NG品（即初步测试中认为可以检测出来的NG品种类），需要一定数量。项目工程师会对您提供的样品进行测试，详细的检测标准跟您进行确认。 4、其他确认 明确了检测标准后，项目工程师会进一步和您确认检测设备达到安装现场，机械和电气要求；如果贵公司对设备使用有特殊要求的，请及时提出，以便我们进行评估和设计。 5、整体方案书制作、明细报价单、合同制作 项目工程师根据以上的确认制作详细的整体方案，整体包含整机图、视觉系统配置、检测标准、软件功能等。 机器视觉在线检测系统设备设计制作流程
机器视觉检测系统【深度解读】
机器视觉检测系统 内容来源网络，由“深圳机械展（11万㎡，1100多家展商，超10万观众）”收集整理！ 更多cnc加工中心、车铣磨钻床、线切割、数控刀具工具、工业机器人、非标自动化、数字化无人工厂、精密测量、3D打印、激光切割、钣金冲压折弯、精密零件加工等展示，就在深圳机械展. 现代工业自动化生产中涉及到各种各样的检验、生产监视和零件识别应用，如汽车零配件批量加工的尺寸检查和自动装配的完整性检查、电子装配线的元件自动定位、IC上的字符识别等。通常这种带有高度重复性和智能性的工作是由肉眼来完成的，但在某些特殊情况下，如对微小尺寸的精确快速测量、形状匹配以及颜色辨识等，依靠肉眼根本无法连续稳定地进行，其它物理量传感器也难以胜任。人们开始考虑用CCD照相机抓取图像后送入计算机或专用的图像处理模块，通过数字化处理，根据像素分布和亮度、颜色等信息来进行尺寸、形状、颜色等的判别。这种方法是把计算机处理的快速性、可重复性与肉眼视觉的高度智能化和抽象能力相结合，由此产生了机器视觉检测技术的概念。 视觉检测技术是建立在计算机视觉研究基础上的一门新兴测试技术。与计算机视觉研究的视觉模式识别、视觉理解等内容不同，视觉检测技术重点研究的是物体的几何尺寸及物体的位置测量，如轿车白车身三维尺寸的测量、模具等三维面形的快速测量、大型工件同轴度测量以及共面性测量等，它可以广泛应用于在线测量、逆向工程等主动、实时测量过程。视觉检测技术在国外发展很快，早在20世纪80年代，美国国家标准局就曾预计未来90％的检测任务将由视觉检测系统来完成。因此仅在80年代，美国就有100多家公司跻身于视觉检测系统的经营市场，可见视觉检测系统确实很有发展前途。在近几届北京国际机床展览会上已
智能汽车自主驾驶控制系统
智能汽车自主驾驶 控制系统
智能汽车自主驾驶控制系统 文献综述 姓名：杨久州班级：机电一班学号： 7631 前言 20 世纪末以来，随着世界智能交通系统(ITS)和无人化武器装备系统的发展，共同对新一代智能交通工具提出了迫切的需求。智能车辆技术迅速成为具有前瞻性的高新技术研究课题，受到了学术界和企业界的广泛关注。当前，智能交通系统(ITS)作为一个能够较好地解决世界性的交通拥堵、大量的燃油消耗和污染问题的先进体系吸引了大量学者的关注。一般来说，ITS 由智能车辆、运营车辆管理系统、旅行信息系统和交通监控系统组成，智能车辆作为其核心部分，扮演着至关重要的角色。没有高度发达的智能车辆技术，就不能实现真正意义上的智能交通系统。 智能车辆(Intelligent Automotive)，又称自主车辆(Autonomous Vehicle)或无人地面车辆(UGV)，集成了车辆技术、传感技术、人工智能、自动控制技术、机电一体化和计算机技术等多学科强交叉科学技术，它的发展水平反映了一个国家的工业实力。在近十年间，智能车辆技术的研究吸引了世界范围内大量高校、企业以及相关科学家的关注，各国政府和军事部门也对其表现出强烈的兴趣，智能车辆技术因此在短期内得到了飞跃性的
发展。 1.智能汽车自主驾驶技术的发展现状 汽车自主驾驶技术研究是从两个不同研究领域发展起来的。 从1%0年开始,为了改进汽车的操控性能,美国ohio大学的一些研究工作者开始进行汽车侧向跟踪控制和纵向跟踪控制研究,该项研究持续了二十多年,取得了一系列研究成果。 另一方面,二十世纪六十年代美国stanfoul研究所在进行人工智能研究中,开发了Shakey移动机器人,作为人工智能研究工作的试验平台。1973一1981年间由Hans.Moravec在Stanford研究所领导的stanford。art工程则第一次实现了自主驾驶。 进入二十世纪八十年代以后,军方和一些大型汽车公司对自主驾驶技术表现出了浓厚的兴趣。美国军方先后组织了多项车辆自主驾驶的研究项目,其中包括DARPA的ALV项目,DARPA的DEMo一H计划、DEMo一111计划等。这一系列的研究都试图将自主驾驶技术应用到军事上去,以提高部队战斗力。其它包括英国、法国、德国等在内的一些国家 也都在进行自主驾驶技术在军事应用领域的相关研究。大型汽车公司则更加注重汽车自主 驾驶研究,以期提高汽车性能。
机器视觉测量技术1.
机器视觉测量技术 杨永跃 合肥工业大学 2007.3
目录第一章绪论 1.1 概述 1.2 机器视觉的研究内容 1.3 机器视觉的应用 1.4 人类视觉简介 1.5 颜色和知觉 1.6 光度学 1.7 视觉的空间知觉 1.8 几何基础 第二章图像的采集和量化 2.1 采集装置的性能指标 2.2 电荷藕合摄像器件 2.3 CCD相机类 2.4 彩色数码相机 2.5 常用的图像文件格式 2.6 照明系统设计 第三章光学图样的测量 3.1 全息技术 3.2 散斑测量技术 3.3 莫尔条纹测量技术 3.4 微图像测量技术 第四章标定方法的研究 4.1 干涉条纹图数学形成与特征 4.2 图像预处理方法 4.3 条纹倍增法 4.4 条纹图的旋滤波算法 第五章立体视觉 5.1 立体成像
5.2 基本约束 5.3 边缘匹配 5.4 匹域相关性 5.5 从x恢复形状的方法 5.6 测距成像 第六章标定 6.1 传统标定 6.2 Tsais万能摄像机标定法 6.3 Weng’s标定法 6.4 几何映射变换 6.5 重采样算法 第七章目标图像亚像素定位技术 第八章图像测量软件 （多媒体介绍） 第九章典型测量系统设计分析9.1 光源设计 9.2 图像传感器设计 9.3 图像处理分析 9.4 图像识别分析 附：教学实验 1、视觉坐标测量标定实验 2、视觉坐标测量的标定方法。 3、视觉坐标测量应用实验 4、典型零件测量方法等。
第一章绪论 1.1 概述 人类在征服自然、改造自然和推动社会进步的过程中，面临着自身能力、能量的局限性，因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。 智能机器能模拟人类的功能、能感知外部世界，有效解决问题。 人类感知外部世界：视觉、听觉、嗅觉、味觉、触觉 眼耳鼻舌身 所以对于智能机器，赋予人类视觉功能极其重要。 机器视觉：用计算机来模拟生物（外显或宏观）视觉功能的科学和技术。 机器视觉目标：用图像创建或恢复现实世界模型，然后认知现实世界。 1.2 机器视觉的研究内容 1 输入设备成像设备：摄像机、红外线、激光、超声波、X射线、CCD、数字扫描仪、 超声成像、CT等 数字化设备 2 低层视觉（预处理）：对输入的原始图像进行处理（滤波、增强、边缘检测），提取角 点、边缘、线条色彩等特征。 3 中层视觉：恢复场景的深度、表面法线，通过立体视觉、运动估计、明暗特征、纹理 分析。系统标定 4 高层视觉：在以物体为中心的坐标系中，恢复物体的完整三维图，识别三维物体，并 确定物体的位置和方向。 5 体系结构：根据系统模型（非具体的事例）来研究系统的结构。（某时期的建筑风格— 据此风格设计的具体建筑） 1.3 机器视觉的应用 工业检测—文件处理，毫微米技术—多媒体数据库。 许多人类视觉无法感知的场合，精确定量感知，危险场景，不可见物感知等机器视觉更显其优越十足。 1 零件识别与定位
机器视觉的辅助驾驶系统的视频中行人检测跟踪
机器视觉的辅助驾驶系统的视频中行人 实时检测识别研究文献综述 1机器视觉发展 国外机器视觉发展的起点难以准确考证，其大致的发展历程是：20世纪50年代提出机器视觉概念，20世纪70年代真正开始发展，20世纪80年代进入发展正轨，20世纪90年代发展趋于成熟，20世纪90年代后高速发展。在机器视觉发展的历程中，有3个明显的标志点，一是机器视觉最先的应用来自“机器人”的研制，也就是说，机器视觉首先是在机器人的研究中发展起来的；二是20世纪70年代CCD图像传感器的出现，CCD摄像机替代硅靶摄像是机器视觉发展历程中的一个重要转折点；三是20世纪80年代CPU、DSP等图像处理硬件技术的飞速进步，为机器视觉飞速发展提供了基础条件。 国内机器视觉发展的大致历程：真正开始起步是20世纪80年代，20世纪90年代进入发展期，加速发展则是近几年的事情。中国正在成为世界机器视觉发展最活跃的地区之一，其中最主要的原因是中国已经成为全球的加工中心，许许多多先进生产线己经或正在迁移至中国，伴随这些先进生产线的迁移，许多具有国际先进水平的机器视觉系统也进入中国。对这些机器视觉系统的维护和提升而产生的市场需求也将国际机器视觉企业吸引而至，国内的机器视觉企业在与国际机器视觉企业的学习与竞争中不断成长。 未来机器视觉的发展将呈现下列趋势: （1）技术方面的趋势是数字化、实时化、智能化 图像采集与传输的数字化是机器视觉在技术方面发展的必然趋势。更多的数字摄像机，更宽的图像数据传输带宽，更高的图像处理速度，以及更先进的图像处理算法将会推出，将会得到更广泛的应用。这样的技术发展趋势将使机器视觉系统向着实时性更好和智能程度更高的方向不断发展。 （2）产品方面：智能摄像机将会占据市场主要地位 智能摄像机具有体积小、价格低、使用安装方便、用户二次开发周期短的优点，非常适合生产线安装使用，越来越受到用户的青睐，智能摄像机所采用的许多部件与技术都来自IT行业，其价格会不断降低，逐渐会为最终用户所接受。因此，
机器视觉在线检测详解
广东省东莞市莞城区莞太路34号东莞市创意产业中心园区8座502 Unit 502, Building 8, Creative Industry Center Park, No. 34 Guantai Road, Guancheng District, Dong Guan 523000, P.R.China 机器视觉在线检测详解 机器视觉的一个重要应用就是进行在线检测。这个与物体静止时的视觉检测系统不同，最起码图像摄取的速度要足够快才行，不然就不可能在被测物体运动时获取足够清晰的图像，再一个就是机器视觉软件的图像处理能力也要足够强，分析判断周期要够短，不然等反应过来了，产品可能都已经走出次品剔除系统的工作范围了。这样的机器视觉在线检测就是不合格的。 1 机器视觉在线检测的基本原理 基于机器视觉的在线检测系统的基本原理：首先通过视觉传感器获取高速流水线上运动待检测物体图像，图像传送到计算机后，计算机调用专用的图像处理软件来对检测物体进行检测、测量、分析、判断。多功能检测实验平台的硬件结构如图1所示，机器视觉在线检测系统的基本模块包括：传动装置、专用LED光源、图像采集模块、电气控制模块。 2 多功能检测实验平台运动控制部分设计 在这套系统中，运动控制部分选用工业PC＋运动控制卡＋步进电机的控制模式。运动控制卡是步进电机公司的MPC01。它配备了许多功能强大、内容丰富的运动控制软件工具和函数库。MPC01运动函数库用于二次开发，用户只要用C／C＋＋或Visual Basic等编制所需的用户界面程序，并把它与MPC01
运动库链接起来，就可以开发出自己的控制系统。 3 专用LED光源 光源对图像质量的影响是至关重要的，考虑到本套试验平台将要进行各种物品的检测实验，开发设计了多种专用LED照明方案以适应各种不同的待检物体。直环型用于各种具有稳定照度和清晰图像的工件；狭角型用于各种透明工件或低对比度工件；棒型用于透明、光滑、镀金表面；圆顶型用于不平整或弯曲的表面检测，金属包片上的印刷字体或弯曲表面的孔穴；背光型用于透明材料或液体的检测；同轴型用于光滑、电镀、低反射表面。 4 高速图像采集系统 图像采集部分将完成流水线上的运动图像获取，采集图像质量的好坏将直接影响整个检测效率。图像采集部分主要由CCD摄像机完成。CCD摄像机摄取图像信号，由图像采集卡将图像信号采集进来。本套实验装置选用两个方位的摄像机对待检测物体进行检测，一个俯拍位一个侧拍位，对有些待检测物体可以进行多方位的检测。摄像机采用的是Pulnix公司的TM6703，采集卡选用Matrox 公司的Comora2。 4.1 图像采集卡 Matrox Corona Ⅱ是Matrox Graphics Inc．生产的图像控制器，可采集隔行扫描／逐行扫描的分量RGB信号和单／双路黑白模拟视频信号；3路10bit A／D转换器；24-bit RS-422／LVDS数字接口；模拟情况下采集率达到30MHz，RS-422数字模式下达25MHz，LVDS数字模式下达40MHz；连接2个RGB 或6个模拟黑白视频信号；32-bit／33MHz PCI总线主模式；扩展板上实时采
视觉检测系统报告
视觉检测系统报告 年春季学期研究生课程考核（阅读报告、研究报告）考核科目:视觉测量系统学所在院（系）:电气工程及自动化学院学生所在学科:仪器科学与技术学生姓名:***学 号:10S001***学生类别:工学硕士考核结果: 阅卷人: 视觉测量系统课程报告第一部分视觉测量系统发展现状综述机器视觉自起步发展到现在，已有15年的发展历史。应该说机器视觉作为一种应用系统，其功能特点是随着工业自动化的发展而逐渐完善和发展的。 目前全球整个视觉市场总量大概在60～70亿美元，是按照每年 8、8%的增长速度增长的。而在中国，这个数字目前看来似乎有些庞大，但是随着加工制造业的发展，中国对于机器视觉的需求将承上升趋势。 一、机器视觉的定义及特点简言之，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品（即图像摄取装置，分CMOS和CCD两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。
机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。 正是由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。在中国，这种应用也在逐渐被认知，且带来最直接的反应就是国内对于机器视觉的需求将越来越多。 二、机器视觉在国内外的应用现状在国外，机器视觉的应用普及主要体现在半导体及电子行业，其中大概40%～50%都集中在半导体行业。具体如PCB印刷电路：各类生产印刷电路板组装技术、设备；单、双面、多层线路板，覆铜板及所需的材料及辅料；辅助设施以及耗材、油墨、药水药剂、配件；电子封装技术与设备；丝网印刷设备及丝网周边材料等。SMT表面贴装：SMT工艺与设备、焊接设备、测试仪器、返修设备及各种辅助工具及配件、SMT材料、贴片剂、胶粘剂、焊剂、焊料及防氧化油、焊膏、清洗剂等；再流焊机、波峰焊机及自动化生产线设备。电子生产加工设备：电子元件制造设备、半导体及集成电路制造设备、元
机器视觉检测
机器视觉检测 一、概念 视觉检测是指通过机器视觉产品（即图像摄取装置，分 CMOS 和CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 机器视觉检测的特点是提高生产的柔性和自动化程度。 2、典型结构 五大块：照明、镜头、相机、图像采集卡、软件 1.照明 照明是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。目前没有通用的照明设备，具体应用场景选择相应的照明装置。照射方法可分为： 分类具体说明优点 背向照明被测物放在光源和摄像机之 间能获得高对比度的图像 前向照明光源和摄像机位于被测物的 同侧 便于安装 结构光将光栅或线光源等投射到被 测物上，根据它们产生的畸 变，解调出被测物的三维信 息 频闪光照明将高频率的光脉冲照射到物
体上，摄像机拍摄要求与光 源同步 2.镜头 镜头的选择应注意以下几点：焦距、目标高度、影像高度、放大倍数、影响至目标的距离、中心点/节点、畸变。 3.相机 按照不同标准可分为：标准分辨率数字相机和模拟相机等。 要根据不同的实际应用场合选不同的相机和高分辨率相机：线扫描CCD 和面阵CCD；单色相机和彩色相机。 为优化捕捉到的图像，需要对光圈、对比度和快门速度进行调整。 4.图像采集卡 图像采集卡是图像采集部分和图像处理部分的接口。将图像信号采集到电脑中，以数据文件的形式保存在硬盘上。通过它，可以把摄像机拍摄的视频信号从摄像带上转存到计算机中。 5.软件 视觉检测系统使用软件处理图像。软件采用算法工具帮助分析图像。视觉检测解决方案使用此类工具组合来完成所需要的检测。是视觉检测的核心部分，最终形成缺陷的判断并能向后续执行机构发出指令。常用的包括，搜索工具，边界工具，特征分析工具，过程工具，视觉打印工具等。 3、关键——光源的选择 1.光源选型基本要素： 对比度机器视觉应用的照明的最重要的任务就是使需要被观察的特征与需要被忽略的图像特征之间产生最大的对比度，从而易于特
机器视觉在线检测系统项目实施流程
精选文档 随着机器视觉检测技术的日益成熟，越来越多的企业选择安装机器视觉在线检测系统，企业如何做到机器视觉在线检测项目的顺利实施，企业用户对机器视觉在线检测系统设计制作流程的了解至关重要，今天创视新小编在这里整理了整个机器视觉在线检测系统从前期的产品检测评估到系统设备设计制作集成的整个过程做一个简单的介绍： 1、项目的前期评估 A、通过电话联系我们公司，我们公司将会有专业项目工程工程师跟您进行 初步的沟通，了解您的需求； B、需要您提供检测样品（0K品和各种NG品数个）以及现场环境，如果 不是做整机检测设备的还需要提供视觉设备的安装空间及外围I0通讯。如有 需要，项目工程师可以到贵公司进行现场评估； C、根据提供的样品，项目工程师会在公司进行初步的技术评估，一般在收 到样品后两个工作日内会给出测试结果； D、项目工程师会根据测试结果，向您提出专业的意见。提供合适的视觉产品 （包括工业相机、镜头、光源、电脑、机器视觉系统软件等）给您，然后在测 试结果出来后给您提供初步方案及项目费用预估。 E、如对方案存在疑问，可以随时联系项目工程师，项目工程师会对您的疑 问进行解答并完善方案，尽力满足您的需求。 2、立项 项目经过初步评估后，双方确认项目方案的可行性，项目工程师接下来会建 立一个新项目流程往下进行。 3、检测标准的明确 需要您收集0K品和限度NG品（即初步测试中认为可以检测出来的NG品 种类），需要一定数量。项目工程师会对您提供的样品进行测试，详细的检测标准跟您进行确认 精选文档
4、其他确认 明确了检测标准后，项目工程师会进一步和您确认检测设备达到安装现场，机械和电气要求；如果贵公司对设备使用有特殊要求的，请及时提出，以便我们进行评估和设计。 5、整体方案书制作、明细报价单、合同制作 项目工程师根据以上的确认制作详细的整体方案，整体包含整机图、视觉系统配置、检测标准、软件功能等。 机器视觉在线检测系统设备设计制作流程 在签完合同和各方面财务确认后就开始进一步的系统设备的设计制作。 1、客服提供相关的辅料 需要提供不同程度的良品与不良品样品、产品样品外观尺寸和设计品载具。如果需要使用专用载具，请提供专用载具的相关尺寸以提供我们的设计使用。 2、设备整机布置图和电气控制动作流程的确认 我们在收到您提供的相关辅料几个工作日后，提供设备整机布置图和电气控制动作流程给贵公司的责任人确认，如有疑问可以和公司的技术工程师沟通，技术工程师会尽快解决您的问题。 3、机器零件图设计 整机布置图确认后，接着就是进行机械零件的设计。 4、机械、电气标准件的选型 精选文档 整机布置图和电控动作流程确认后，接着就是完成机械、电气标准件的选型。