基于视觉词组的图像高维索引结构的研究与实现

字体识别 结果
多个汉字图像
计算聚类中心
字体特征笔 端集合
7
提纲
• 背景及研究现状 • 笔端提取 • 笔端形状描述 • 字体相似性度量 • 实验与分析 • 总结
8
• 笔端
– 笔画的起始与收尾 – 占笔画一定比例 – 点笔画和某些转折
• 如何精确计算
– 笔画起始与收尾 – 截断位置 – 截断方式
9
笔端提取
4
字体识别方法的分类
– 文本相关 / 文本无关 – 基于文本块 / 基于单字
• 基于文本块
– Gabor变换 – 笔画分布
• 基于单字符
– 小波变换 – 笔画模板 – 特征点
背景及研究现状
5
背景及研究现状 字体与笔端相似性
6
背景及研究现状
字体识别流程
待识别的单字 图像
笔端提取
笔端描述
笔端与特征笔 端间的相似度
实验与分析
25
实验与分析
字体 宋体
识别 率
99.67
字体 仿宋
识别 率
98.67
字体 黑体
识别 率
95.33
字体 楷体
识别率 98.00
幼圆
98.67
隶书
73.67
华文新 魏
64.00
方正胖 娃
81.00
方正剪 纸
71.33
方正少 儿
97.33
方正水 黑
80.33
方正北 魏楷书
98.00
方正超 粗黑简
• 笔画模板 （前人工作）
• 希望笔端
笔端提取
与形状相关 的阈值
10
笔端与骨架的关系 • 笔端起始点
– 骨架端点
• 笔端截断点
– 骨架分叉点
11
笔端提取
• 借助骨架会有什么问题？
笔端提取
12
• 分叉与毛刺问题
笔端提取
13
• 笔画长宽比问题
笔端提取
14
笔端提取
• 动态计算长宽比（Stroke Aspect Ratio，SAR）
王晓1,2，吕肖庆1,2，汤帜1,2
1 北京大学计算机科学技术研究所 2 数字出版技术国家重点实验室(北大方正集团有限公司)
E-mail：Lvxiaoqing@pku.edu.cn
1
提纲
• 背景及研究现状 • 笔端提取 • 笔端形状描述 • 字体相似性度量 • 实验与分析 • 总结
2
背景及研究现状 字体识别
• 参数设置
– sar: 1 – SDST
• 5个尺度，每个尺度100维
23
实验与分析
• 常用字体集合测试结果 • 五种方式划分测试集
测试一 测试二 测试三 测试四 测试五
对比方法
识别方法
基于笔端 基于笔端 基于笔端 基于笔端 基于笔端 基于笔画
模版
测试文本 块数 200 100 50 40 20
20
字体相似性度量 采用欧式距离计算特征相似度 采用支持向量机（SVM）进行训练与识别
21
提纲
• 背景及研究现状 • 笔端提取 • 笔端形状描述 • 字体相似性度量 • 实验与分析 • 总结
22
实验与分析
• 常用字体数据集
– 宋体、仿宋、黑体、楷体、隶书
– 正规、粗体、倾斜、粗斜 – 字号：18 – 扫描分辨率：1200dpi
(a)
(b)
15
• 取SAR=1时的截取效果
笔端提取
16
提纲
• 背景及研究现状 • 笔端提取 • 笔端形状描述 • 字体相似性度量 • 实验与分析 • 总结
17
• 笔端描述子的构造
– 基于基于多尺度曲率直方图的傅里叶描述子
笔端形状描述
…
…
18
笔端形状描述
19
提纲
• 背景及研究现状 • 笔端提取 • 笔端形状描述 • 字体相似性度量 • 实验与分析 • 总结
83.33
方正古 隶
79.00
方正琥 珀
87.33
方正华 隶
90.00
方正铁 筋隶书
95.67
方正雅 艺
98.67
方正姚 体
92.67
方正毡 笔黑
89.33
方正大 标宋
88.00
方正粗 倩
88.33
方正美 黑
87.00
整体 识别率
88.49%
26
总结与展望
• 字体特征
– 较少的特征笔端表示字体 – 与人们视觉感知接近的笔端结构
20
文本块含 字符数
1 2 4 5 10
20-30
平均识别 率（%）
74.96 87.23 95.05 95.75 98.88
98.75
24
• 扩展字体数据集
– 23种字体 – 字号：初号 – 保存清晰度：600dpi
• 参数设置
– sar: 1 – SDST
• 5个尺度，每个尺度100维 • 特征笔端数量：50
• 文档电子化
– 光学字符识别（OCR） – 版面分析、理解、恢复
• 新需求
– 厂商希望保护版权 – 设计师和用户“按形找字” – 大规模集合上的字体识别
3
背景及研究现状 相关概念
• 输入
– 文本块图像 – 单字图像
• 输出
– 字体属性
• 字体名称：如方正剪纸、方正水黑 • 样式：正规、粗体、倾斜、粗斜等
• 较大规模字体集合
– 有较好的识别效果
• 未来研究方向
– 小字号Hale Waihona Puke Baidu轮廓获取 – 加入笔画宽度的分布
27
28