用于图像场景分类的空间视觉词袋模型

这些特征进行聚类，得 到 的 结 果 是 训 练 集 中 的 普 遍 特 征。 我
们 称 这 些 原 型 特 征 为 “视 觉 词 典 ”。
２．２ 空 间 聚 类 视觉词袋模型 在 从 训 练 图 像 集 的 图 片 中 提 取 低 级 特 征
后，需要使用一种无监督的算法 ，如 Ｋ 均值算法［１１］，对这些低 级别特征进行给定聚类中心数目的聚类。给定一组观察值的
展，图像数据发生爆 炸 性 增 长。 如 何 用 计 算 机 对 大 量 且 不 断 和一 些 图 像 中 的 对 象 及 其 属 性［６］。 这 种 通 过 快 速 （大 约
增加的图像 进 行 分 析 和 理 解 ，成 为 一 项 越 来 越 紧 迫 的 任 务 。 因 此 基 于 内 容 的 检 索 技 术 已 成 为 国 内 外 研 究 的 热 点 ，并 成 为 ２１世 纪 初 必 须 攻 克 的 关 键 技 术 之 一［１］。
中的目标进行有效的分析，以完成场景的整体识别，具有代 表 大的平面向水平线方向延伸，期间充满了一些凹凸。这 样，如
性的如王涛、胡事民和孙家广院士提 出 的 基 于 颜 色－空 间 特 征 的图像检索方法［３］；或 者 采 用 文 本 主 题 模 型 的 方 法 将 图 像 分
果 我 们 把 图 像 划 分 为 一 些 空 间 子 区 域 ，对 应 的 子 区 域 内 就 应 该 有 相 似 的 特 征 ，如 图 １ 所 示 。
第 ３８ 卷 第 ８ 期 ２０１１ 年 ８ 月
计算机科学 Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ
用于图像场景分类的空间视觉词袋模型
Ｖｏｌ．３８ Ｎｏ．８ Ａｕｇ ２０１１
王 宇 新１ 郭 禾２ 何 昌 钦１ 冯 振１，２ 贾 棋２ （大 连 理 工 大 学 计 算 机 科 学 与 技 术 学 院 大 连 １１６０２３）１ （大 连 理 工 大 学 软 件 学 院 大 连 １１６６２０）２
２００ｍｓ）观 察 图 像 所 获 得 的 视 觉 和 语 义 信 息 称 为 图 像 的 ｇｉｓｔ［７］。在拍 摄 照 片 时 ，摄 影 师 总 是 尽 可 能 把 能 反 映 图 像 ｇｉｓｔ 或者语义的对象和特征显示在图像中心。这一拍摄习惯使得
本文将重点关注图像场景识别和分类问题。传统的场 景 大 多 数 针 对 同 类 目 标 的 图 像 都 有 相 同 的 拍 摄 角 度 ，即 这 些 图
况进行分类的，既没有考虑视觉词汇在空间的分布特点，也 没 有 利 用 图 像 中 区 域 语 义 构 成 的 上 下 文 信 息 ，而 这 些 是 决 不 能 被忽视的。空间金字塔［８］模型的提出更是给了研究者非常 大
最 可 能 属 于 的 主 题 ，从 而 完 成 场 景 分 类 。
的启示。本文提出了一种用于图像场景识别的空间视觉词袋
分 类 方 法 通 常 使 用 色 彩 、纹 理 和 形 状 等 图 像 底 层 视 觉 特 征 直 像具有空间相似度。例如，许多城市的图像是这样一种 景 观：
接与监督学习方法 相 结 合 进 行 图 像 场 景 分 类［２］；或 者 对 场 景 高楼下面连接着人行横道，而顶上是蓝天；高速公路是一个 很
到 稿 日 期 ：２０１０－０７－０８ 返 修 日 期 ：２０１０－１０－０９ 王宇新（１９７３－），男，博士生，讲师，ＣＣＦ 会员，主要研究方向为图 像 处 理、计 算 机 系 统 结 构，Ｅ－ｍａｉｌ：ｗｙｘ＠ｄｌｕｔ．ｅｄｕ．ｃｎ；郭 禾 （１９５５－ ），男，教 授，博士生导师，ＣＣＦ 高级会员，主要研究方向为计算机系统结构、计算机视觉；何昌钦 （１９８６－），男，硕 士 生，主 要 研 究 方 向 为 图 像 识 别 ；冯 振 （１９８７－ ），男 ，博 士 生 ，主 要 研 究 方 向 为 基 于 内 容 的 图 像 检 索 ；贾 棋 （１９８３－ ），女 ，博 士 生 ，讲 师 ，主 要 研 究 方 向 为 计 算 机 视 觉 、人 工 神 经 网 络 。
图 ３ 不 同 层 次 的 图 像 空 间 划 分
图 １ 空 间 子 区 域 具 有 相 似 性 示 例
２ 空 间 视 觉 词 袋 模 型
２．１ 词 袋 模 型 与 视 觉 词 典 词袋（Ｂａｇ ｏｆ ｗｏｒｄｓ）模 型 原 是 自 然 语 言 处 理 领 域 用 于 文
本信息检索和文本 分 类 的 技 术［９］。 用 它 做 图 像 表 示 模 型 （我
（Ｓｃｈｏｏｌ ｏｆ Ｓｏｆｔｗａｒｅ，Ｄａｌｉａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｄａｌｉａｎ １１６６２０，Ｃｈｉｎａ）２
Ａｂｓｔｒａｃｔ Ａｎ ａｐｐｒｏａｃｈ ｔｏ ｒｅｃｏｇｎｉｚｅ ｓｃｅｎｅ ｃａｔｅｇｏｒｉｅｓ ｂｙ ｍｅａｎｓ ｏｆ ａ ｎｏｖｅｌ ｍｏｄｅｌ ｎａｍｅｄ ｂａｇ ｏｆ ｓｐａｔｉａｌ ｖｉｓｕａｌ ｗｏｒｄｓ ｗａｓ
ｐｒｏｐｏｓｅｄ．Ｉｍａｇｅｓ ｗｅｒｅ ｈｉｅｒａｒｃｈｉｃａｌｌｙ ｄｉｖｉｄｅｄ ｉｎｔｏ ｓｕｂ ｒｅｇｉｏｎｓ ａｎｄ ｔｈｅ ｓｐａｔｉａｌ ｖｉｓｕａｌ ｖｏｃａｂｕｌａｒｙ ｗａｓ ｃｏｎｓｔｒｕｃｔｅｄ ｂｙ
ｇｒｏｕｐｉｎｇ ｔｈｅ ｌｏｗ－ｌｅｖｅｌ ｆｅａｔｕｒｅｓ ｃｏｌｌｅｃｔｅｄ ｆｒｏｍ ｅｖｅｒｙ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｓｐａｔｉａｌ ｓｕｂ ｒｅｇｉｏｎ ｉｎｔｏ ａ ｓｐｅｃｉｆｉｅｄ ｎｕｍｂｅｒ ｏｆ ｃｌｕｓｔｅｒｓ ｕｓｉｎｇ ｋ－ｍｅａｎｓ ａｌｇｏｒｉｔｈｍ．Ｔｏ ｒｅｃｏｇｎｉｚｅ ｔｈｅ ｃａｔｅｇｏｒｙ ｏｆ ａ ｓｃｅｎｅ，ｔｈｅ ｖｉｓｕａｌ ｖｏｃａｂｕｌａｒｙ ｄｉｓｔｒｉｂｕｔｉｏｎｓ ｏｆ ａｌｌ ｓｐａｔｉａｌ ｓｕｂ ｒｅ－
们称之为视觉词袋模型），需要将二维的图像信息映射成视 觉
关 键 词 集 合，这 样 既 保 存 了 图 像 的 局 部 特 征 又 有 效 地 压 缩 了
图 像 的 描 述 。 ［１０］
为了使用视觉词袋 模 型，首 先 要 在 学 习 阶 段 建 立 视 觉 关
键词的集合：在训练 图 像 集 中，提 取 出 所 有 局 部 特 征，然 后 对
摘 要 以传统的词袋模型为基础，根据同类场景图像具有空间相似性的特点，提出了一种用于图像场景分类的 空 间 视觉词袋模型。首先将图像进行不同等级的空间划分，针对对应空间子区域进行特征提取和 ｋ均值聚类，形成该区 域
的视觉关键词，进而构建整个训练图像集的空间视觉词典。进行场景识别时，将所有空间子区域的视觉关键词连 接 成
一个全局特征向量进行相似度计算。最终的场景分类结果使用 Ｖ１滤波器和 ＰＡＣＴ 两种特征在支持 向 量 机 ＬＩＢＳＶＭ
上获得。
关 键 词 场 景 分 类 ，词 袋 ，空 间 聚 类 ，空 间 视 觉 词 典 ，支 持 向 量 机
中 图 法 分 类 号 ＴＰ３０１ 文 献 标 识 码 Ａ
· ２６５ ·
模型。 以传统的词袋模型为基础，引入图像空间信息，在将图 像
进 行 不 同 等 级 的 空 间 划 分 后 ，针 对 同 一 空 间 子 区 域 进 行 特 征 提取并聚类，以形成该区域的视觉关键字，进而构建整个训 练 图像集的空间视觉 词 典。 进 行 场 景 识 别 时，把 所 有 空 间 子 区 域的视觉关键词连接起来形成一个全局特征向量进行相似度 计 算 ，以 获 得 最 终 的 场 景 分 类 结 果 。
（１）
通过把一个聚类中 心 当 作 一 个 视 觉 关 键 词，就 能 把 每 一
个 从 图 像 中 提 取 的 特 征 映 射 到 它 最 接 近 的 视 觉 词 典 上 ，并 且
能把图像表示为一个视觉词典上的直方图特征。
图 ４ 空 间 视 觉 词 典 的 构 建
形式上 ，定义ｒｌ，ｉ为第ｉ 个空间子区 域 的ｌ 级 划 分 ，Ｓｎｌ 为 ｌ 级 划 分 下 空 间 子 区 域 的 数 目 ，这 样 就 得 到 Ｓｎｌ＝ ｌ２ （ｌ＝１， …，４）。同时可以定 义 Ｓｖｌ，ｉ为ｌ 级 划 分 下 第ｉ 个 空 间 子 区 域 内 的 视 觉 词 典 ，ｉ＝１，… ，ｌ２ 。 ２．４ 基 于 空 间 视 觉 词 袋 模 型 的 场 景 分 类 过 程
单词通道ｋ 上得到，这 个 直 方 图 表 示 在 空 间 子 区 域 内 的 视 觉
类 到 不 同 的 语 义 类 别 中 ：将 图 像 的 局 部 不 变 特 征 聚 类 为 一 组
上述主题分析模型是根据图像中视觉词汇出现的总体情
视觉词汇，并用词袋（Ｂａｇ ｏｆ ｗｏｒｄｓ）模 型 来 表 示，最 后 用 ＬＤＡ （Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ）［４］或 ＰＬＳＡ （Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｌａｔｅｎｔ Ｓｍａｎｔｉｃ Ａｎａｌｙｓｉｓ）［５］等主题分析模型 找 出 图 像 的 潜 在 语 义 和
ｇｉｏｎｓ ｗｅｒｅ ｃｏｎｃａｔｅｎａｔｅｄ ｔｏ ｆｏｒｍ ａ ｇｌｏｂａｌ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ．Ｔｈｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｒｅｓｕｌｔ ｗａｓ ｏｂｔａｉｎｅｄ ｕｓｉｎｇ ＬＩＢＳＶＭ ａｎｄ ｔｗｏ ｋｉｎｄｓ ｏｆ ｆｅａｔｕｒｅｓ ｗｅｒｅ ｕｓｅｄ ｉｎ ｔｈｅ ｅｘｐｅｒｉｍｅｎｔｓ：“Ｖ１－ｌｉｋｅ”ｆｉｌｔｅｒｓ ａｎｄ ＰＡＣＴ ｆｅａｔｕｒｅｓ． Ｋｅｙｗｏｒｄｓ Ｓｃｅｎｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ，Ｂａｇ ｏｆ ｗｏｒｄｓ，Ｓｐａｔｉａｌ ｃｌｕｓｔｅｒｉｎｇ，Ｓｐａｔｉａｌ ｖｉｓｕａｌ ｖｏｃａｂｕｌａｒｙ，ＳＶＭ
序列（ｘ１，ｘ２，…，ｘｎ），这里，每 一 个 观 察 值 都 是 一 个 ｄ 维 的 实 值向量。Ｋ 均值聚类的 目 标 是 划 分 这ｎ 个 观 察 值 到ｋ 个 序 列
里Ｓ＝｛Ｓ１，Ｓ２，…，Ｓｋ｝（ｋ＜ｎ），见式（１），其中μｉ 是Ｓｉ 的均值。
Βιβλιοθήκη Baidu
ｋ
ａｒｇｍｉｎ ∑ ∑ ‖ｘｊ－μｉ‖ ｉ＝１ｘｊ∈Ｓｉ
Ｂａｇ ｏｆ Ｓｐａｔｉａｌ Ｖｉｓｕａｌ Ｗｏｒｄｓ Ｍｏｄｅｌ ｆｏｒ Ｓｃｅｎｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ
ＷＡＮＧ Ｙｕ－ｘｉｎ１ ＧＵＯ Ｈｅ２ ＨＥ Ｃｈａｎｇ－ｑｉｎ１ ＦＥＮＧ Ｚｈｅｎ１，２ ＪＩＡ Ｑｉ ２ （Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｄａｌｉａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｄａｌｉａｎ １１６０２３，Ｃｈｉｎａ）１
１ 引 言
随着数码设备 的 普 及 和 信 息 存 储 与 传 输 技 术 的 快 速 发
人类视觉感知的一个显著特点是能够很快掌握一幅复杂 图像所表达的含义。Ｍａｒｙ Ｐｏｔｔｅｒ通过实验证 明，仅 仅 观 察 一 组 快 速 的 图 像 流，观 察 者 也 能 识 别 出 每 一 幅 图 像 的 语 义 类 别
是直接聚类而没有考虑聚类的范围，而（ｂ）是划分聚类范围 为 空间的子区域。从（ａ）和 （ｂ）的 区 别 可 以 很 直 观 地 看 出，对 应 子区域内的原型特征能通过在空间子区域内聚类得到。 ２．３ 空 间 视 觉 词 典
我们已经知道大多 数 图 像 具 有 空 间 相 似 度，并 且 在 空 间 子区域内聚类能得到属于对应空间子区域的原型特征。因 此，提 出 一 种 “空 间 视 觉 词 袋 ”模 型，它 是 视 觉 词 袋 模 型 的 扩 展。具体来说，首先有层次地把图像进行空间划分（如图 ３ 所 示），再把空间对应子 区 域 聚 集 在 一 起，构 建 属 于 对 应 空 间 子 区 域 的 空 间 词 典 ，过 程 如 图 ４ 所 示 。
一旦得到了每一个 空 间 子 区 域 的 视 觉 词 典，视 觉 词 袋 表 示就能通过常规的 方 式 得 到。 对 于 每 一 幅 图 像，空 间 子 区 域
内的每一个像素的特征表示被投影到相应空间词典的一个单
词 通 道 上 。 每 个 子 区 域 的 第ｋ 直 方 图 通 过 统 计 有 多 少 像 素 在