计算机视觉报告
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于数学形态学和投影法的车牌定位
田宝中 201513168 控制科学与工程
1.1 意义：
• 车牌识别系统（LPR）在现代交通检测和管理部门中发挥着重要的作 用。车牌识别系统主要包括车牌定位、字符分割和字符识别三部分。 由于车牌定位的准确与否将会直接影响到车牌识别的结果，因此，车 牌定位是LPR的一项关键技术。常见的车牌定位技术主要有：边缘检 测法、投影法、神经网络法、基于彩色图像的定位算法等。
• 车牌识别是一种对特定对象的识别，是一种在先验知识指导下的识别 。我国现在使用的车牌主要执行中华人民共和国机动车牌号标准，其 具有以下的特征：
(1)形状特征：汽车车牌区域的每个字符宽度为45 mm，字符高度为90 mm， 字符间隔为12 mm，整个车牌区域的宽高比为44/14。这部分特征在车牌的定 位分割方面具有重要的意义。 (2)纹理特征：车牌有一个连续或因磨损而不连续的边框；标准车牌包含7个字 符，它们基本呈水平排列；在矩形的车牌区域内部有着较丰富的边缘信息， 呈现出规则的纹理特征。 (3)灰度跳变特征：车牌的边缘颜色、车牌底色以及车牌文本颜色各不相同， 表现在图像中就是灰度级互不相同，这样，在车牌边缘就形成了灰度突变边 界。在车牌区域内部，由于字符和车牌底的内部灰度较均匀，因此，穿过车 牌的水平直线呈现出波峰波谷交替的特点。
中心位置、面积。
b. 计算出所有标记的区域的最小宽和高，并根据先验知识，比较谁的宽
高比更接近实际车牌宽高比（44:14），将更接近的提取并显示出来。
计算矩形的宽度
计算矩形的高度
框架的宽度和高度的范围
车牌的开始列
车牌的开始行
计算车牌长宽比
获取车牌二值子图
3 实验结果：
当然，这个只是初步确定，有时候会经常出现好几个待选区域 都满足要求。通过观察它的直方图发现车牌区域的直方图呈现多波 峰波谷，变化大，而一般的区域变化较不明显。因此根据它的方差， 波峰波谷值的数量来确定车牌区域。
具体算法如下： • 上下方向定位 从下向上逐行扫描标记区域图像，对图像的每一行进行从左向右的扫 描，如果某行有12 个跳变点以上则将其作为车牌的底部，记为Bottom 。 因为如果某一行通过车牌区域，车牌有7 个字符， 那么最少的跳变 点数应该是 14 个，但考虑到样本的清晰程度以及在前述处理过程中 车牌信息的丢失， 选择 12 作为跳变点数目的最小值是可行的，所以 若某一行跳变点数大于 12，则认为这一行可能是车牌所在行，继续逐 行扫描，直至跳变数小于 12，则将其作为车牌的顶部，记为Top。如 果未检测到上述条件的结果，重复上述操作，直至检测到目标区域。 在实际的处理过程中，我们采用的是统计二值化后白点个数的方式进 行，这样做更符合样本的实际情况，既减少了孤立噪声对结果的影响 ，也不会因车牌信息的丢失而产生误差，同时减小了计算的复杂程度 。
左右方向定位 经过水平扫描后，确定了车牌区域的上下边界，再经过垂直扫描，确 定车牌的左右边界。 垂直扫描的具体算法与车牌水平方向边界定位算 法同理，从左到右逐列扫描图像，对已完成水平投影分割的图像进行 从上到下的扫描，如果某列有 6 个白点以上则将其作为预选的牌照边 界。 为了防止噪声干扰导致的边界定位错误， 我们向前进行一个区 块的白点统计，因为如果确实是车牌区域，则在相近的接下去的几列 中存在大量的车牌信息（白点）；如果非车牌区域，则几乎没有或只 有几个噪声点，如果白点的统计结果大于一定的阈值，则认为原列所 在位置为边界。
2.6 canny算子边缘检测:
• 两个具有不同灰度值的相邻区域之间总存在边缘，边缘就是灰度值不连续的 结果，是图像分割、纹理特征提取和形状特征提取的基础。为了对有意义的 边缘点进行分类，我们通过门限方法来决定一个值是否有效。所以，如果一 个点的二维一阶导数比指定的门限大，我们就定义图像中的这点是一个边缘 点，一组这样的依据事先定好的连接准则相连的边缘点就定义为一条边缘。 经过一阶导数的边缘检测，一阶导数高于某个阈值则确定该点为边缘点，这 样会导致检测的边缘点太多。可以通过求梯度局部最大值对应的点，并认定 为边缘点，去除非局部最大值，可以检测出精确的边缘。一阶导数的局部最 大值对应二阶导数的零交叉点，这样通过找图像强度的二阶导数的零交叉点 就能找到精确边缘点。
Leabharlann Baidu
2.7对得到图像作开操作进行滤波:
数学形态学非线性滤波，可以用于抑制噪声，进行特征提取、边 缘检测、图像分割等问题。腐蚀是一种消除边界点的过程，结果是使 目标缩小，孔洞增大，因而可有效的消除孤立噪声点；膨胀是将与目 标物体接触的所有背景点合并到物体中的过程，结果是使目标增大， 孔洞缩小，可填补目标物体中的空洞，形成连通域。先腐蚀后膨胀的 过程称为开运算，它具有消除细小物体，并在纤细处分离物体和平滑 较大物体边界的作用；先膨胀后腐蚀的过程称为闭运算，具有填充物 体内细小空洞，连接邻近物体和平滑边界的作用。
Top=A-(A o B)
高帽变换是原始图像与其开运算之差，开运算用来去除比结构元更小
的亮点，同时保持灰度级和较大亮区特性的相对不变。因此，只要选 择合适的结构元素，高帽变换就能将亮目标从背景中有效分离出来。 如图所示，经过高帽变换后，其车牌字符区域的特征会得到增强，车 牌文本部分变得更加清晰突出，便于让后续的检测处理过程更加简单 和省时。
最终定位结果：
实验结果演示：
谢谢大家！
2015/12/28
8
膨胀 Dilation
– 膨胀：使图像扩大 – A用B来膨胀写作 A B，定义为： ˆ) A A B x | (B x
算法过程：⑴ 用结构元素B,扫描图像A的每一个像素 ⑵ 用结构元素与其覆盖的二值图像做“与”操作 ⑶ 如果都为0,结果图像的该像素为0.否则为1
2.3 对原始图像进行开操作（先腐蚀后膨胀）得到图像背景 图像:
结构元素
– 形态学图像处理表现为一种邻域运算形式；
– 一种特殊定义的邻域称之为“结构元素” （Structure Element），在每个像素位置上它与 二值图像对应的区域进行特定的逻辑运算，逻辑运 算的结果为输出图像的相应像素。 – 形态学运算的效果取决于结构元素的大小、内容以 及逻辑运算的性质。
• 由于存在许多外在的干扰，背景信息往往比车牌信息更加复杂，给目 标搜索带来巨大的困难，为此，这里使用了基于数学形态学和投影法 相结合的定位算法，对图像进行预处理，再经过形态学变换得到连通 区域，进行粗定位。然后结合垂直和水平投影法充分利用车牌的字符 信息，能够快速而准确地定位出车牌区域。
1 .2 车牌的固有特征
闭操作：先膨胀后腐蚀具有填充物体内细小空洞，连接邻近物 体和平滑边界的作用。
开操作：先腐蚀后膨胀，它具有消除细小物体，并在纤细处 分离物体和平滑较大物体边界的作用；
2.8 对二值图像进行区域提取，并计算区域特征参数。进行 区域特征参数比较，提取车牌区域:
a.对图像每个区域进行标记，然后计算每个区域的图像特征参数：区域
1.3 流程图:
导入原 始图像
图像预处 理增强效 果图像
边缘 提取
对图像 开闭运 算
垂直和 水平投 影
车牌 定位
2.各模块具体实现
2.1输入待处理的原始图像:
2.2 将图像的灰度化:
• 彩色图像包含着大量的颜色信息，不但在存储上开销很大，而且在处 理上也会降低系统的执行速度，因此在对图像进行识别等处理中经常 将彩色图像转变为灰度图像，以加快处理速度。由彩色转换为灰度的 过程叫做灰度化处理。经过灰度变换后，像素的动态范围增加，图像 的对比度扩展，使图像变得更加清晰、细腻、容易识别。
由图看出，高帽变换使得蓝底白字车牌的字符更加明显
2.5取得最佳阈值，将图像二值化:
• 二值图像是指整幅图像画面内仅黑、白二值的图像。在实际的车牌处理系统 中，进行图像二值变换的关键是要确定合适的阀值，使得字符与背景能够分 割开来，二值变换的结果图像必须不丢掉有用的形状信息，不会产生额外的 空缺等。车牌识别系统要求处理的速度高、成本低、信息量大，采用二值图 像进行处理，能大大地提高处理效率。阈值处理的操作过程是先由用户指定 或通过算法生成一个阈值，如果图像中某中像素的灰度值小于该阈值，则将 该像素的灰度值设置为0，否则灰度值设置为255。
2015/12/28
10
2.4灰度图像与背景图像作减法，对图像进行增强处理:
—
=
原始灰度图像
背景图像
高帽变换
形态学处理 按照车牌底色和字符的颜色对比，可以将车牌分为深色底浅色字的车 牌和浅色底深色字的车牌两大类，数学形态学的高帽变换和低帽变换 就是分别针对这两类车牌设计的。 灰度图像可以看成是一个二维矩阵，比如对于320×240的图像来说， 共有320×240个点的值构成该图像，灰度图像与背景图像作减法就是 对应的320×240个点的值相减，对应点相差值比较大时，断定该点为 前景点。 高帽变换是基于膨胀和腐蚀操作的一种形态学的应用，对图像进行形 态学高帽变换(Top-hat)，用Top表示，定义为:
2015/12/28
9
腐蚀 erosion
– 腐蚀：使图像缩小 – A用B来腐蚀写作AB ，定义为： AB x | ( B) x A – B移动后完全包含在A中时，B的原点位置的集合
算法过程：⑴ 用结构元素B,扫描图像A的每一个像素 ⑵ 用结构元素与其覆盖的二值图像做“与”操作 ⑶ 如果都为1,结果图像的该像素为1.否则为0 腐蚀处理的结果是使原来的二值图像减小一圈.
田宝中 201513168 控制科学与工程
1.1 意义：
• 车牌识别系统（LPR）在现代交通检测和管理部门中发挥着重要的作 用。车牌识别系统主要包括车牌定位、字符分割和字符识别三部分。 由于车牌定位的准确与否将会直接影响到车牌识别的结果，因此，车 牌定位是LPR的一项关键技术。常见的车牌定位技术主要有：边缘检 测法、投影法、神经网络法、基于彩色图像的定位算法等。
• 车牌识别是一种对特定对象的识别，是一种在先验知识指导下的识别 。我国现在使用的车牌主要执行中华人民共和国机动车牌号标准，其 具有以下的特征：
(1)形状特征：汽车车牌区域的每个字符宽度为45 mm，字符高度为90 mm， 字符间隔为12 mm，整个车牌区域的宽高比为44/14。这部分特征在车牌的定 位分割方面具有重要的意义。 (2)纹理特征：车牌有一个连续或因磨损而不连续的边框；标准车牌包含7个字 符，它们基本呈水平排列；在矩形的车牌区域内部有着较丰富的边缘信息， 呈现出规则的纹理特征。 (3)灰度跳变特征：车牌的边缘颜色、车牌底色以及车牌文本颜色各不相同， 表现在图像中就是灰度级互不相同，这样，在车牌边缘就形成了灰度突变边 界。在车牌区域内部，由于字符和车牌底的内部灰度较均匀，因此，穿过车 牌的水平直线呈现出波峰波谷交替的特点。
中心位置、面积。
b. 计算出所有标记的区域的最小宽和高，并根据先验知识，比较谁的宽
高比更接近实际车牌宽高比（44:14），将更接近的提取并显示出来。
计算矩形的宽度
计算矩形的高度
框架的宽度和高度的范围
车牌的开始列
车牌的开始行
计算车牌长宽比
获取车牌二值子图
3 实验结果：
当然，这个只是初步确定，有时候会经常出现好几个待选区域 都满足要求。通过观察它的直方图发现车牌区域的直方图呈现多波 峰波谷，变化大，而一般的区域变化较不明显。因此根据它的方差， 波峰波谷值的数量来确定车牌区域。
具体算法如下： • 上下方向定位 从下向上逐行扫描标记区域图像，对图像的每一行进行从左向右的扫 描，如果某行有12 个跳变点以上则将其作为车牌的底部，记为Bottom 。 因为如果某一行通过车牌区域，车牌有7 个字符， 那么最少的跳变 点数应该是 14 个，但考虑到样本的清晰程度以及在前述处理过程中 车牌信息的丢失， 选择 12 作为跳变点数目的最小值是可行的，所以 若某一行跳变点数大于 12，则认为这一行可能是车牌所在行，继续逐 行扫描，直至跳变数小于 12，则将其作为车牌的顶部，记为Top。如 果未检测到上述条件的结果，重复上述操作，直至检测到目标区域。 在实际的处理过程中，我们采用的是统计二值化后白点个数的方式进 行，这样做更符合样本的实际情况，既减少了孤立噪声对结果的影响 ，也不会因车牌信息的丢失而产生误差，同时减小了计算的复杂程度 。
左右方向定位 经过水平扫描后，确定了车牌区域的上下边界，再经过垂直扫描，确 定车牌的左右边界。 垂直扫描的具体算法与车牌水平方向边界定位算 法同理，从左到右逐列扫描图像，对已完成水平投影分割的图像进行 从上到下的扫描，如果某列有 6 个白点以上则将其作为预选的牌照边 界。 为了防止噪声干扰导致的边界定位错误， 我们向前进行一个区 块的白点统计，因为如果确实是车牌区域，则在相近的接下去的几列 中存在大量的车牌信息（白点）；如果非车牌区域，则几乎没有或只 有几个噪声点，如果白点的统计结果大于一定的阈值，则认为原列所 在位置为边界。
2.6 canny算子边缘检测:
• 两个具有不同灰度值的相邻区域之间总存在边缘，边缘就是灰度值不连续的 结果，是图像分割、纹理特征提取和形状特征提取的基础。为了对有意义的 边缘点进行分类，我们通过门限方法来决定一个值是否有效。所以，如果一 个点的二维一阶导数比指定的门限大，我们就定义图像中的这点是一个边缘 点，一组这样的依据事先定好的连接准则相连的边缘点就定义为一条边缘。 经过一阶导数的边缘检测，一阶导数高于某个阈值则确定该点为边缘点，这 样会导致检测的边缘点太多。可以通过求梯度局部最大值对应的点，并认定 为边缘点，去除非局部最大值，可以检测出精确的边缘。一阶导数的局部最 大值对应二阶导数的零交叉点，这样通过找图像强度的二阶导数的零交叉点 就能找到精确边缘点。
Leabharlann Baidu
2.7对得到图像作开操作进行滤波:
数学形态学非线性滤波，可以用于抑制噪声，进行特征提取、边 缘检测、图像分割等问题。腐蚀是一种消除边界点的过程，结果是使 目标缩小，孔洞增大，因而可有效的消除孤立噪声点；膨胀是将与目 标物体接触的所有背景点合并到物体中的过程，结果是使目标增大， 孔洞缩小，可填补目标物体中的空洞，形成连通域。先腐蚀后膨胀的 过程称为开运算，它具有消除细小物体，并在纤细处分离物体和平滑 较大物体边界的作用；先膨胀后腐蚀的过程称为闭运算，具有填充物 体内细小空洞，连接邻近物体和平滑边界的作用。
Top=A-(A o B)
高帽变换是原始图像与其开运算之差，开运算用来去除比结构元更小
的亮点，同时保持灰度级和较大亮区特性的相对不变。因此，只要选 择合适的结构元素，高帽变换就能将亮目标从背景中有效分离出来。 如图所示，经过高帽变换后，其车牌字符区域的特征会得到增强，车 牌文本部分变得更加清晰突出，便于让后续的检测处理过程更加简单 和省时。
最终定位结果：
实验结果演示：
谢谢大家！
2015/12/28
8
膨胀 Dilation
– 膨胀：使图像扩大 – A用B来膨胀写作 A B，定义为： ˆ) A A B x | (B x
算法过程：⑴ 用结构元素B,扫描图像A的每一个像素 ⑵ 用结构元素与其覆盖的二值图像做“与”操作 ⑶ 如果都为0,结果图像的该像素为0.否则为1
2.3 对原始图像进行开操作（先腐蚀后膨胀）得到图像背景 图像:
结构元素
– 形态学图像处理表现为一种邻域运算形式；
– 一种特殊定义的邻域称之为“结构元素” （Structure Element），在每个像素位置上它与 二值图像对应的区域进行特定的逻辑运算，逻辑运 算的结果为输出图像的相应像素。 – 形态学运算的效果取决于结构元素的大小、内容以 及逻辑运算的性质。
• 由于存在许多外在的干扰，背景信息往往比车牌信息更加复杂，给目 标搜索带来巨大的困难，为此，这里使用了基于数学形态学和投影法 相结合的定位算法，对图像进行预处理，再经过形态学变换得到连通 区域，进行粗定位。然后结合垂直和水平投影法充分利用车牌的字符 信息，能够快速而准确地定位出车牌区域。
1 .2 车牌的固有特征
闭操作：先膨胀后腐蚀具有填充物体内细小空洞，连接邻近物 体和平滑边界的作用。
开操作：先腐蚀后膨胀，它具有消除细小物体，并在纤细处 分离物体和平滑较大物体边界的作用；
2.8 对二值图像进行区域提取，并计算区域特征参数。进行 区域特征参数比较，提取车牌区域:
a.对图像每个区域进行标记，然后计算每个区域的图像特征参数：区域
1.3 流程图:
导入原 始图像
图像预处 理增强效 果图像
边缘 提取
对图像 开闭运 算
垂直和 水平投 影
车牌 定位
2.各模块具体实现
2.1输入待处理的原始图像:
2.2 将图像的灰度化:
• 彩色图像包含着大量的颜色信息，不但在存储上开销很大，而且在处 理上也会降低系统的执行速度，因此在对图像进行识别等处理中经常 将彩色图像转变为灰度图像，以加快处理速度。由彩色转换为灰度的 过程叫做灰度化处理。经过灰度变换后，像素的动态范围增加，图像 的对比度扩展，使图像变得更加清晰、细腻、容易识别。
由图看出，高帽变换使得蓝底白字车牌的字符更加明显
2.5取得最佳阈值，将图像二值化:
• 二值图像是指整幅图像画面内仅黑、白二值的图像。在实际的车牌处理系统 中，进行图像二值变换的关键是要确定合适的阀值，使得字符与背景能够分 割开来，二值变换的结果图像必须不丢掉有用的形状信息，不会产生额外的 空缺等。车牌识别系统要求处理的速度高、成本低、信息量大，采用二值图 像进行处理，能大大地提高处理效率。阈值处理的操作过程是先由用户指定 或通过算法生成一个阈值，如果图像中某中像素的灰度值小于该阈值，则将 该像素的灰度值设置为0，否则灰度值设置为255。
2015/12/28
10
2.4灰度图像与背景图像作减法，对图像进行增强处理:
—
=
原始灰度图像
背景图像
高帽变换
形态学处理 按照车牌底色和字符的颜色对比，可以将车牌分为深色底浅色字的车 牌和浅色底深色字的车牌两大类，数学形态学的高帽变换和低帽变换 就是分别针对这两类车牌设计的。 灰度图像可以看成是一个二维矩阵，比如对于320×240的图像来说， 共有320×240个点的值构成该图像，灰度图像与背景图像作减法就是 对应的320×240个点的值相减，对应点相差值比较大时，断定该点为 前景点。 高帽变换是基于膨胀和腐蚀操作的一种形态学的应用，对图像进行形 态学高帽变换(Top-hat)，用Top表示，定义为:
2015/12/28
9
腐蚀 erosion
– 腐蚀：使图像缩小 – A用B来腐蚀写作AB ，定义为： AB x | ( B) x A – B移动后完全包含在A中时，B的原点位置的集合
算法过程：⑴ 用结构元素B,扫描图像A的每一个像素 ⑵ 用结构元素与其覆盖的二值图像做“与”操作 ⑶ 如果都为1,结果图像的该像素为1.否则为0 腐蚀处理的结果是使原来的二值图像减小一圈.