图像自动语义标注技术综述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Ｓ ＵＮ ｕ － ｉｇ ＤＵ ｕ ｎ Ｊ ｎＤ ｎ ， Ｊห้องสมุดไป่ตู้
（ｃｏ ｌ ｆ ｏ ｕｅ ｃ ｎ ｅ ｎ ｃｎ ｌｇ ， ｎ ｎＰ ｌ ｅｈ ｉＵｎｖｒｉ ，ｉ ｚｏ４ ４ ０ ， ｈｎ ） Ｓ ｈ ｏ ｏ ｍｐ ｔｒ ｉ ｃ ｄｔ ｈ ｏｏ ｙＨｅａ ｏｙ ｃ ｃ ｉ ｓ ｙＪ ｏｕ ５０ ０ Ｃ ｉａ Ｃ Ｓｅ ａ ｅ ｔｎ ｅ ｔ ａ
用 于医学、通 信、工农业生产 、航天 、教育、军事等
多个 领域 。为了更好管理和利用这些海量 图片信息 ， 建立 有效的分类和检索方式 已成为迫 切需要解决 的问
户而言 ，提供实例 图像并不是 一件容 易的事 ，而且 图
像低层视觉特征 与图像 的高层 语义间还 存在 “ 义鸿 语
沟 ’ｌ ，所 以采 用低层特 征进 行检索 并不能充分的表 ’
ｌ 引言
随着 多媒 体技术和 网络技术 的快速发展 ，越 来越 多的信 息 以图像的形式呈现 出来 ，而 且图像 已广泛应
提取图像 的低 层特 征 ，主要包括 图像 的颜色 、纹理和 形状等低层视觉特征及其组合 ，该技术解决 了基于文
本 图像检索所存在 的一些 问题 。但对 于普通 的一般用
计 算 机 系 统 应 用
ｈｔ：ｗ ．－ ａ ｒ． ｔ ／ ｗｗ ｃＳ ． ｇ ｎ ｐ／ —ｏ ｃ
２１ ０ ２年 第 ２ 卷 第 ７期 １
图像 自动语义标 注技术综述①
孙君顶 ，杜 娟
（ 河南理工大学 计算 机科 学与技术学 院，焦作 ４ ４ ０ ） ５０ ０
摘
要 ：近 年来 ，随着对基于 内容 图像 检索技术研究 的深入 ，图像 自动语 义标注 已成 为了该领域 的研究热 点。
Ａｂｓｒ ｃ ： Ｗ ｉｈｔ ｅ ｒｐｉ ｅ ｅｏ ｍｅ ｔｏ ｅ ｃ ｎ ｅ ｔｂａ ｅ ｍａ ｅｒ ｔｉｖ ｌ ｅ ｈ ｏ ｏ ｙ ｕ ｏ ｔ ｅ ｎ ｉ ｎ ｏ ａｉ ｎ ｔａ ｔ ｔ ａ ｄ ｄ ｖ ｌ ｐ ｎ ｆｔ ｏ ｔｎ － ｓ ｄ ｉ ｇ ｅ ｒｅ ａ ｃ ｎ ｌ ｇ ，ａ ｔ ｍａｉ ｓ ｍａ ｔｃａ ｎ ｔｔｏ ｈ ｈ ｔ ｃ ｈ ｓ ｂ ｃ ｍｅ ｔ ｅ ｃ ａｌｎ ｎ ａ ｋ ｉ ｈ ｓｆｅｄ． ｗｉ ｅ ｖ ｒｅｙ ｏ ｔ ｏ ｓｈ ｖ ｅ ｎ ｐ ｏ ｏ ｅ ｕ ｉｇ ｔｅ ｐ ｔｄ ｃ ｄ ｓ ａ ｅ ｏ ｈ ｈ ｌｅ ｇｉｇ ｔ ｓ ｎ ｔ ｉ ｌ Ａ ｄ ａ ｉｔ ｆｍｅｈ ｄ ａ ｅｂ ｅ ｒ ｐ ｓ ｄ ｄ ｒｎ ｈ ａ ｅ ａ ｅ ． ｉ ｓ
Ｔｈｅｃａ ｓ ｃａ ｉｎ ｋｅ ｅ ｈ ｏ ｏ ， ｒ ｂ ｅ ｓａ ｄ ｔ ｕ ｔ ｅ ｔ ｄ ｆｓ ｍ ａ ｔｃａ ｎｏ ａｉ ｎｗ ｅ ｅｄｓ ｕ ｓ ｄ ｉ ｅａ ｌｉ ｅ ｌ ｆ ｉｔ ， ｙｔ ｃ ｓ ｉ ｏ ｎ ｌ ｇ ｐ ｏ ｌｍ ｎ ｙ ｈｅｆ ｒｈ ｒｓｕ ｙ ｏ ｅ ｎ ｉ ｎ ｔｔｏ ｒ ｉｃ ｓｅ ｎ ｄ ｔｉ ｎ ｔ ｈ
针对 目前广 泛研究 的图像语义标注 技术 ，从其分类 、关键 技术 、存在 问题 及发展方 向进行 了进行 了论述 ，以期 为从事该方 向研究 的人 员提供一定 的借 鉴意义和参考价值 。 关键 词：图像语义 ；语义 标注 ；图像检 索
Ｒｅ ｅ ｏ ｔ ｍ ａ ｉ ｍ ａ ｍ ａ ｉ ｖｉｗ ｎ Ａｕ ｏ ｔｃＩ ｇｅＳｅ ｎｔｃＡｎｎｏ ａ ｉ ｎ Ｔｅ ｈ ｑｕｅ ｔ ｔｏ ｃ ｎｉ ｓ
相关模型改进的连续相关模型【Ｊ ＭＢ Ｍ（ ｌｐｅ 】和 ｌ Ｒ Ｍｕ ｉｌ ｔ ．
① 基金项 目： 教育部科学技术研究重点项 ￣（１１８； ２０ ２） 河南省骨干教师资助计划（０ Ｏ Ｇ ｓｏ９； ２ １Ｇ Ｊ．５） 河南省国际合作项 ￣（０ ３０ １０ ６ １４ ０５ ０６ ）
ｐ ｐ ｒ Ｉ ｓｖ ｌ ａ ｅｆ ｒｔ ｅｒ ｓ ａ ｃ ｅ ｓｗｈｏｄ ｖｏｅｔ ｈ ｅ ｅ ｒｈ ｉ ｓｆｅｄ ａ ｅ． ｔｉ ａｕ ｂｌ ｏ ｈ ｅ ｅ ｒ ｈ ｒ ｅ ｔ ｏｔ ｅｒ ｓ ａ ｃ ｔ ｌ ． ｎ ｈｉ ｉ
Ｋ ｅ ｏ ｄｓ ｉ ａ ｅｓ ｍａ ｔ ； ｅ ａ ｔｃａ ｎ ｔｔｏ ｉ ａ ｅｒｅ ａ ｙｗ ｒ ： ｍ ｇ ｅ ｎ ｉ ｓ ｍ ｎ ｉ ｎ ｏ ｉｎ；ｍ ｇｅｒ ｔｉｖ ｌ ｃ ａ
特 征的分析来提取高层语义用 于表示 图像 的含义 ，从 而在图像 低层特 征和高层语义之 问建立一座桥梁 ，解
像添加关键字 ，从而将视觉信 息检索转换成 成熟的文 本检索 问题 。虽然这种方法简单易行 ，但 是文本描述
难 以充分 表达图像的丰富含义 ，而且具有 主观性 ；另 外 ，人工标注 费时费力 ，效率低 ，已远 不能满足 当今 图像 快速 增长的需要 。因此 ，基于 内容的图像检索技 术应运而 生。区别于基 于文本 的图像检索它通过 自动
达 图像 的深层语 义 。因此 ，建立 图像语义表示和检索 机制势在 必行 ，解决该 问题的关键就是要对 图像进行 自动语义标注【 ｌ ７ 。语义标注的实质是通过对 图像视觉
题 。前 期人们 已经在 图像检 索方面 作了大量的研 究【， ｌ ｌ
就 目前的检索趋势而言 ，大致 可分为三个不 同的着 眼 点ｌ：一是基 于文本 的图像 检索 ；二 是基于 内容 的图 ２ 】 像检索；三是基于语义的图像检索Ｉ。 ３ Ｊ 传统 的方法是基于文本 的图像检索需要人 工对 图
决低层特 征和高层语义 问的 “ 鸿沟 ”问题 。其主要 思
想是从大量 图像样本 中 自动学习语义概念模 型，并用 此概念模型标注新 的图像。 目前 ，人们对图像语义标
注 的研究 已经取得 了一 定的成果 ，建立 了语义标注的
模型 ，如翻 译模 型【，跨媒体相 关模 型【】 ９ 】 ｌ，还有根据 ０
（ｃｏ ｌ ｆ ｏ ｕｅ ｃ ｎ ｅ ｎ ｃｎ ｌｇ ， ｎ ｎＰ ｌ ｅｈ ｉＵｎｖｒｉ ，ｉ ｚｏ４ ４ ０ ， ｈｎ ） Ｓ ｈ ｏ ｏ ｍｐ ｔｒ ｉ ｃ ｄｔ ｈ ｏｏ ｙＨｅａ ｏｙ ｃ ｃ ｉ ｓ ｙＪ ｏｕ ５０ ０ Ｃ ｉａ Ｃ Ｓｅ ａ ｅ ｔｎ ｅ ｔ ａ
用 于医学、通 信、工农业生产 、航天 、教育、军事等
多个 领域 。为了更好管理和利用这些海量 图片信息 ， 建立 有效的分类和检索方式 已成为迫 切需要解决 的问
户而言 ，提供实例 图像并不是 一件容 易的事 ，而且 图
像低层视觉特征 与图像 的高层 语义间还 存在 “ 义鸿 语
沟 ’ｌ ，所 以采 用低层特 征进 行检索 并不能充分的表 ’
ｌ 引言
随着 多媒 体技术和 网络技术 的快速发展 ，越 来越 多的信 息 以图像的形式呈现 出来 ，而 且图像 已广泛应
提取图像 的低 层特 征 ，主要包括 图像 的颜色 、纹理和 形状等低层视觉特征及其组合 ，该技术解决 了基于文
本 图像检索所存在 的一些 问题 。但对 于普通 的一般用
计 算 机 系 统 应 用
ｈｔ：ｗ ．－ ａ ｒ． ｔ ／ ｗｗ ｃＳ ． ｇ ｎ ｐ／ —ｏ ｃ
２１ ０ ２年 第 ２ 卷 第 ７期 １
图像 自动语义标 注技术综述①
孙君顶 ，杜 娟
（ 河南理工大学 计算 机科 学与技术学 院，焦作 ４ ４ ０ ） ５０ ０
摘
要 ：近 年来 ，随着对基于 内容 图像 检索技术研究 的深入 ，图像 自动语 义标注 已成 为了该领域 的研究热 点。
Ａｂｓｒ ｃ ： Ｗ ｉｈｔ ｅ ｒｐｉ ｅ ｅｏ ｍｅ ｔｏ ｅ ｃ ｎ ｅ ｔｂａ ｅ ｍａ ｅｒ ｔｉｖ ｌ ｅ ｈ ｏ ｏ ｙ ｕ ｏ ｔ ｅ ｎ ｉ ｎ ｏ ａｉ ｎ ｔａ ｔ ｔ ａ ｄ ｄ ｖ ｌ ｐ ｎ ｆｔ ｏ ｔｎ － ｓ ｄ ｉ ｇ ｅ ｒｅ ａ ｃ ｎ ｌ ｇ ，ａ ｔ ｍａｉ ｓ ｍａ ｔｃａ ｎ ｔｔｏ ｈ ｈ ｔ ｃ ｈ ｓ ｂ ｃ ｍｅ ｔ ｅ ｃ ａｌｎ ｎ ａ ｋ ｉ ｈ ｓｆｅｄ． ｗｉ ｅ ｖ ｒｅｙ ｏ ｔ ｏ ｓｈ ｖ ｅ ｎ ｐ ｏ ｏ ｅ ｕ ｉｇ ｔｅ ｐ ｔｄ ｃ ｄ ｓ ａ ｅ ｏ ｈ ｈ ｌｅ ｇｉｇ ｔ ｓ ｎ ｔ ｉ ｌ Ａ ｄ ａ ｉｔ ｆｍｅｈ ｄ ａ ｅｂ ｅ ｒ ｐ ｓ ｄ ｄ ｒｎ ｈ ａ ｅ ａ ｅ ． ｉ ｓ
Ｔｈｅｃａ ｓ ｃａ ｉｎ ｋｅ ｅ ｈ ｏ ｏ ， ｒ ｂ ｅ ｓａ ｄ ｔ ｕ ｔ ｅ ｔ ｄ ｆｓ ｍ ａ ｔｃａ ｎｏ ａｉ ｎｗ ｅ ｅｄｓ ｕ ｓ ｄ ｉ ｅａ ｌｉ ｅ ｌ ｆ ｉｔ ， ｙｔ ｃ ｓ ｉ ｏ ｎ ｌ ｇ ｐ ｏ ｌｍ ｎ ｙ ｈｅｆ ｒｈ ｒｓｕ ｙ ｏ ｅ ｎ ｉ ｎ ｔｔｏ ｒ ｉｃ ｓｅ ｎ ｄ ｔｉ ｎ ｔ ｈ
针对 目前广 泛研究 的图像语义标注 技术 ，从其分类 、关键 技术 、存在 问题 及发展方 向进行 了进行 了论述 ，以期 为从事该方 向研究 的人 员提供一定 的借 鉴意义和参考价值 。 关键 词：图像语义 ；语义 标注 ；图像检 索
Ｒｅ ｅ ｏ ｔ ｍ ａ ｉ ｍ ａ ｍ ａ ｉ ｖｉｗ ｎ Ａｕ ｏ ｔｃＩ ｇｅＳｅ ｎｔｃＡｎｎｏ ａ ｉ ｎ Ｔｅ ｈ ｑｕｅ ｔ ｔｏ ｃ ｎｉ ｓ
相关模型改进的连续相关模型【Ｊ ＭＢ Ｍ（ ｌｐｅ 】和 ｌ Ｒ Ｍｕ ｉｌ ｔ ．
① 基金项 目： 教育部科学技术研究重点项 ￣（１１８； ２０ ２） 河南省骨干教师资助计划（０ Ｏ Ｇ ｓｏ９； ２ １Ｇ Ｊ．５） 河南省国际合作项 ￣（０ ３０ １０ ６ １４ ０５ ０６ ）
ｐ ｐ ｒ Ｉ ｓｖ ｌ ａ ｅｆ ｒｔ ｅｒ ｓ ａ ｃ ｅ ｓｗｈｏｄ ｖｏｅｔ ｈ ｅ ｅ ｒｈ ｉ ｓｆｅｄ ａ ｅ． ｔｉ ａｕ ｂｌ ｏ ｈ ｅ ｅ ｒ ｈ ｒ ｅ ｔ ｏｔ ｅｒ ｓ ａ ｃ ｔ ｌ ． ｎ ｈｉ ｉ
Ｋ ｅ ｏ ｄｓ ｉ ａ ｅｓ ｍａ ｔ ； ｅ ａ ｔｃａ ｎ ｔｔｏ ｉ ａ ｅｒｅ ａ ｙｗ ｒ ： ｍ ｇ ｅ ｎ ｉ ｓ ｍ ｎ ｉ ｎ ｏ ｉｎ；ｍ ｇｅｒ ｔｉｖ ｌ ｃ ａ
特 征的分析来提取高层语义用 于表示 图像 的含义 ，从 而在图像 低层特 征和高层语义之 问建立一座桥梁 ，解
像添加关键字 ，从而将视觉信 息检索转换成 成熟的文 本检索 问题 。虽然这种方法简单易行 ，但 是文本描述
难 以充分 表达图像的丰富含义 ，而且具有 主观性 ；另 外 ，人工标注 费时费力 ，效率低 ，已远 不能满足 当今 图像 快速 增长的需要 。因此 ，基于 内容的图像检索技 术应运而 生。区别于基 于文本 的图像检索它通过 自动
达 图像 的深层语 义 。因此 ，建立 图像语义表示和检索 机制势在 必行 ，解决该 问题的关键就是要对 图像进行 自动语义标注【 ｌ ７ 。语义标注的实质是通过对 图像视觉
题 。前 期人们 已经在 图像检 索方面 作了大量的研 究【， ｌ ｌ
就 目前的检索趋势而言 ，大致 可分为三个不 同的着 眼 点ｌ：一是基 于文本 的图像 检索 ；二 是基于 内容 的图 ２ 】 像检索；三是基于语义的图像检索Ｉ。 ３ Ｊ 传统 的方法是基于文本 的图像检索需要人 工对 图
决低层特 征和高层语义 问的 “ 鸿沟 ”问题 。其主要 思
想是从大量 图像样本 中 自动学习语义概念模 型，并用 此概念模型标注新 的图像。 目前 ，人们对图像语义标
注 的研究 已经取得 了一 定的成果 ，建立 了语义标注的
模型 ，如翻 译模 型【，跨媒体相 关模 型【】 ９ 】 ｌ，还有根据 ０