在线草图识别研究综述

优先出版 计 算 机 应 用 研 究 第32卷

--------------------------------

基金项目：国家自然科学基金(61202129)；“核高基”科技重大专项(2013ZX01045-004-002).

作者简介：吴玲达(1962-)，女，上海人，博士，教授，博导，主要研究方向为空间信息获取与处理，多媒体信息系统与虚拟现实技术，Email ：wld@ ；邓维(1986-)，男，博士研究生，主要研究方向为空间信息获取与处理，多媒体信息系统；张友根(1984-)，男，博士，讲师，主要研究方向为多媒体信息系统，人机交互；杨超(1981-)，男，博士，助理研究员，主要研究方向为多媒体信息系统，虚拟现实．

在线草图识别研究综述

吴玲达1，邓 维1，张友根2，杨 超1

(1．装备学院 复杂电子系统仿真实验室，北京 101416；2．国防信息学院 信息系统系，武汉 430010)

摘 要：在线草图识别是一种重要的信息处理和人机交互技术，识别任务包括对单个草图符号进行分类和理解无约束手绘图形两类。综述了在线草图识别研究现状，重点关注近10年的研究成果，内容包括识别时机、单笔画处理、单个图符识别、图文分离和无约束笔画成组等，最后就今后的发展和关键问题进行了总结。 关键词：草图；草图识别；笔画成组；人机交互 中图分类号：TP391

Review of online sketch recognition

WU Ling-da 1, DENG Wei 1, ZHANG You-gen 2, YANG Chao 1

(1. Science & Technology on Complex Electronic System Simulation Laboratory, Equipment Academy , Beijing 101416, China;

2. Dept. of Information Systems, Academy of National Defense Information , Wuhan 430010, China )

Abstract: Online sketch recognition is an important technology in information processing and computer-human interaction. This paper provides a review of online sketch recognition; mainly focusing on research in the latest 10 years. The content contains recognition occasion; stroke segmentation and recognition; sketched symbol recognition; graphical/textual stroke classification; and stroke grouping. At last; conclusions and future development of online sketch recognition are discussed. Key Words: sketch; sketch recognition; stroke grouping; computer-human interaction (CHI)

0 引言

手绘草图输入技术最早可追溯到20世纪60年代，Sutherland 研发了第一个交互式图形系统Sketchpad [1]。70年代出现了对草图识别的研究[2]。但由于技术的限制，效果不尽人意。80年代初期，鼠标的商业化带来了WIMP 交互风格的快速发展，使草图识别和基于草图的人机交互受到了忽视。到90年代初期，ICDAR （International Conference on Document Analysis and Recognition ）大会的召开，以及Rubine 等人在SIGGRAPH 会议上的工作[3]，使得人们再次看到了基于草图的交互技术的应用前景。特别是伴随着智能终端等硬件设备的快速普及，以及众多手写识别系统的成功应用，以草图识别和手写识别为核心的基于草图的交互技术受到了国内外的广泛研究[4,[5]。

1 问题与挑战

草图（sketch ），又称手绘图，自古以来就是人类自然沟通的一种重要方式[6]。草图识别（sketch recognition ），就是完成从笔迹空间到认知空间的映射，即在某个特定应用领域内赋予草图具体的语义表达。和传统图形图像工具相比，它具有自然、简便、易学易用等优点，可表达不完备模糊概念，有利于创造

性思维的快速表达。

草图识别技术的应用非常广泛，如辅助教学、设计建模、标图作业等。中佛罗里达州大学的LaViola 教授等设计了一系列数学、工程学辅助系统，包括数量数学、布尔代数、离散数学、几何画图、物理教学、电路分析、力学教学等。SBIM （Sketch-Based Interfaces and Modeling ）会议每年就基于草图的建模技术进行讨论并公布一些最新成果。GIS 领域普遍需要在地形图或航空影像上进行标图或检索作业，手绘标图以及集成了语音识别等技术的新型人机交互为该作业提供了新的选择。

首先形式化定义以下术语：

笔画：用户落笔到抬笔间，笔尖所移动的轨迹。它是用户输入的最小单位，最常见的笔画形式是由二维坐标点组成的序列，一些硬件设备还提供压力、倾角等信息。

基本图元：简称图元，是图形的最小组成单元，如直线、弧、圆、椭圆等。通常用户绘制的一个笔画会包括一个或多个图元。

图符：具有固定领域语义的图形符号，可分为单笔画图符和多笔画图符。

从不同的角度看，草图识别有二维与三维，在线（联机）与离线（脱机），符号化草图与非符号化草图（线条素描图）[7]