安徽大学计算机学院导师 赵鹏 软件与理论

合集下载

安徽大学首批青年骨干教师培养对象中期考核情况汇总表

安徽大学首批青年骨干教师培养对象中期考核情况汇总表

讲师 讲师
28 生命科学 彭 惠 女
29
学院 张保卫 男
1979.01 博士 副教授 1977.06 博士 副教授
30
资源与环境 工程学院



31
体育军事 教学部
王志学

1978.05 硕士 讲师 1975.12 硕士 讲师
1.教学计划、学术交流计划完成情况请填写“完成”、“超额完成”或“未完成”,“未完成”的请注明原因; 2.科研计划完成情况请按“论文、论著,项目,成果”三项,采用描述性语言填写,言简意赅,并注明“完成”、“超额完成”或“未完成”。
第 2 页,共 2 页
22
电子信息 工程学院
章权兵

23
丁大为 男
1977.06 博士 副教授 1977.09 博士 副教授 1977.09 博士 副教授
24
廖同庆 男 1976.11 博士 副教授
25
张媛媛 女 1977.07 博士 副教授
26
电气工程与 自动化学院



27
张倩 女
1981.08 1984
博士
在读 博士
安徽大学首批青年骨干教师培养对象中期考核情况汇总表(理工科)
序号
1
单位
姓名
性别
出生年月 学位
职称
近两年教学计 划完成情况
张海峰 男 1977.08 硕士 讲师2王学军来自男3数学科学 学院
鲍炎红

4
周礼刚 男
1981.02 博士 讲师 1981.10 博士 讲师 1980.03 硕士 讲师
5
施敏加 男 1980.02 博士 讲师
16

安徽大学研究生导师简介院系所计算机科学与技术学院姓名

安徽大学研究生导师简介院系所计算机科学与技术学院姓名
(21)邵浩,陈华平,许瑞,程八一,贾兆红.优化差异工件单机批调度问题的混合微粒群算法.系统工程,Dec. 2008,26(12),98-102.
获奖情况
在研项目
安徽省教育厅自然科学基金项目:智能优化技术在多目标柔性车间调度问题中的应用研究
填表时间:2011年4月18日
(16)Jia Zhaohong, Chen Huaping, Tang Jun.A New Multi-objective Fully-informed Particle Swarm Algorithm for Flexible Job-shop Scheduling Problems.2007 International Conference on Computational Intelligence and Security, Dec. 2007, Harbin, China, 191-194 (EI,ISTP收录).
院(系、所):计算机科学与技术学院
姓名师类别:硕士生导师
技术职称:副教授
联系方式
jiazhaohong001@
招生专业名称
计算机应用
主要研究方向
商务智能
进化计算
数据挖掘
个人简历
1996年毕业于安徽大学计算机应用专业,2003年获安徽大学计算机应用专业硕士学位,2008年获中国科学技术大学商务智能专业博士学位,2008年9月任安徽大学计算机学院副教授。
(19)唐俊,王年,梁栋,范益政,贾兆红.一种使用TPS变形模型的Laplace谱匹配算法.系统仿真学报,2008,20(4):862-904.
(20)Jun Tang, Nian Wang, Dong Liang, Yi-zheng Fan, Zhao-hong Jia. Spectral correspondence using the TPS deformation model. The fourth symposium on neural networks (ISNN2007),Nanjing,China

安徽大学电子信息工程学院研究生导师信息

安徽大学电子信息工程学院研究生导师信息

姓名:胡根生性别:男出生年云:1971.5职称:教授学院:电子信息工程学院研究方向:1.图像处理2.智能信息处理个人简历2003年6月获江苏大学硕士学位,2006年6月获华南理工大学博士学位。

主要从事机器学习、模式识别等方面的研究和教学工作。

近期在国内外学术期刊或学术会议上发表学术论文10余篇,其中SCI检索1篇,EI检索5篇。

学术成果1.基于支持向量值轮廓波变换的遥感影像融合.电子学报.2.具有多分段损失函数的多输出支持向量机回归.控制理论与应用.3.在线多输出支持向量机回归及在投资决策中的应用.华南理工大学学报(自然科学版).4.具分段损失函数的支持向量机回归及在投资决策中的应用.控制理论与应用.在研项目安徽省教育厅重点科技项目《基于支持向量机的遥感影像云层去除新方法(批准号KJ2010A021)》姓名:孙玉发性别:男出生年月:1966年职称:教授学院:电子信息工程学院研究方向:1. 计算电磁学及应用2. 无线通信与电磁兼容3. 电磁散射与目标识别个人简历1988年、1991年毕业于山东大学无线电物理专业,获理学学士学位和硕士学位,2001年毕业于中国科学技术大学电磁场与微波技术专业,获工学博士学位。

1994年7月—1998年8月,安徽大学讲师;1998年9月—2003年8月,安徽大学副教授;2003年9月至今,安徽大学教授。

2002年在香港城市大学无线通信中心做访问学者,2003年9月—2006年9月在中国科学技术大学信息与通信工程博士后流动站做科学研究工作。

学术成果中国电子学会高级会员,全国高等学校电磁场教学与教材研究会理事,电子测量与仪器学会微波毫米波测试专业委员会委员,《电波科学学报》编辑委员会委员,安徽省高等学校‘十五’第二批中青年学科带头人培养对象,安徽大学中青年学术骨干。

主持国家自然科学基金1项,省部级科研项目2项,厅局级科研项目1项,参加国家自然科学基金重点项目1项,国家自然科学基金3项,省部级项目3项等,发表学术论文40余篇,其中被SCI、EI收录16篇,主编安徽省‘十一五’规划教材1部。

计算机系2022-2022(2)研究生课程表

计算机系2022-2022(2)研究生课程表

计算机系2022-2022(2)研究生课程表学期2022春2022春2022春2022春2022春2022春2022春2022春2022春2022春2022春2022春2022春2022春2022春课程代码某033518/C033716CS28002某033533C033728某033537CS28001C033713某033530F033574某033514某033533某033525某033526F033569F033581课程名称程序语言理论计算复杂性高级论题学分/学时起止周3/483/482-17周3-10周1-16周1-16周1-11周1-16周1-16周1-16周1-8周1-12周1-16周1-16周1-16周6-13周10-17周上课时间任课教师上课地点陈瑞球楼309电院3-318陈瑞球楼312陈瑞球楼207陈瑞球楼309陈瑞球楼309电院3-414陈瑞球楼207陈瑞球楼312陈瑞球楼313陈瑞球楼219陈瑞球楼216陈瑞球楼207陈瑞球楼309陈瑞球楼311备注全英文课程星期四11-13节邓玉欣星期一11-13节傅育熙星期四11-13节星期四6-8节星期四3-5节高晓沨郁昱算法分析与理论(英语班)3/48可证明安全理论并行计算与并行算法现代移动通信与计算现代密码算法密码算法与协议神经网络理论与应用计算机图形学算法分析与理论机器学习生物信息学自然语言理解网络安全基础3/482/323/483/483/483/483/483/483/483/483/483/48全英文课程星期三11-13节过敏意星期五11-13节贾维嘉星期二11-13节刘胜利星期一6-8节星期一6-9节星期四6-9节星期三6-8节星期五6-8节星期四6-8节星期三6-9节星期三6-9节龙宇吕宝粮马利庄任庆生杨旸苑波赵海朱浩瑾/阮娜全英文课程全英文课程全英文课程全英文课程全英文课程上课时段上课时间(节次)1、2节08:00-09:403、4节10:00-11:405、6节12:00-13:407、8节14:00-15:409、10节16:00-17:4011、12节18:00-19:4011、12、13节18:00-20:20。

软件工程导论教学大纲-章程

软件工程导论教学大纲-章程

《软件工程导论》教学大纲安徽大学计算机科学与技术学院2017 年 3 月《软件工程导论》教学大纲课程编号:ZJ36047课程名称:软件工程导论英文名称:Introduction to Software Engineering 学分/学时:2/34 课程性质:学科平台课程适用专业:软件工程先修课程:计算机导论开课单位:计算机科学与技术学院一、课程的教学目标与任务《软件工程导论》课程是软件工程专业高等教育的专业基础课程和学科平台课程,是“科研训练计划”教育课程。

《软件工程导论》以科学技术方法论为逻辑起点,结合部分管理方面的基本理论,讲授软件工程与方法论的联系,从而提高软件的质量和生产率。

本课程以软件工程专业本科二年级学生为讲授对象,是集理论性与应用性为一体的学科。

设置本课程的目的是:使学习者在全面了解软件工程发展历史、基本理论的基础上,系统掌握软件开发过程中的现代方法和管理手段,具备用工程化方法设计和构建规范软件的思想,从而为后续软件工程开发方法的系列课程奠定理论基础。

学习本课程的要求是:学习者应深刻认识软件危机产生的原因,纠正对软件开发的错误认识,掌握软件工程科学方法论的基本概念和基本原理,初步具备作为专业人员组织软件开发和设计工作的能力。

为检验掌握软件开发应遵循的原则和编写文档的基本方法的程度,最后的考核是通过考试进行,同时以加深对课程内容的理解。

二、课程具体内容及基本要求第一章软件工程的范畴 ( 2学时)基本内容包括:第一节历史方面一、定义软件(1)介绍软件的形式化定义。

结合经典教科书中关于软件的定义,介绍软件中所包含的三个要素:①指令的集合;②数据结构;③软件描述信息。

(2)阐述非形式化定义中软件具有的特性。

对比其他人工产品的特性,总结软件所具有的三个特性。

二、软件工程的发展历程和应用领域第二节经济方面结合例子阐述经济学原则在软件生产方面的重要性。

第三节维护性方面介绍软件生命周期模型和步骤,阐述维护工作在生命周期模型中的重要性和具体分类。

安徽大学2014年大学生科研训练计划项目师生互选结果一览表

安徽大学2014年大学生科研训练计划项目师生互选结果一览表

哲学系
KYXL2014087 托克维尔的《旧制度与大革命》
历史系
KYXL2014088 国际商事仲裁双屿科研与实践能力训练研究
法学院
KYXL2014089 农村土地整治法律规制研究
法学院
KYXL2014090 乡村社区记忆研究
社会与政治学院
KYXL2014091 近十年国内外爱伦•坡、梅尔维尔研究综述
KYXL2014007 粒计算和分形理论的研究及其在金融中的应用 数学科学学院
KYXL2014008
独立重尾随机变量随机和的卷积及其在风险理论中 的应用
数学科学学院
KYXL2014009 一类带低正则值的抛物方程解的存在性
数学科学学院
郑婷婷 副教授 2.0 汪世界 讲师 2.0 钮维生 副教授 2.0
周立志 教授
2.0
KYXL2014041 湖泊湿地生态水文结构与生态需水分析
资源与环境工程学院 王杰 讲师 2.0
KYXL2014042
经济水生动物与沉陷区湿地生态系统重构中优势种 苦草的协同消长规律
资源与环境工程学院
周忠泽 教授
2.0
KYXL2014043 长江中下游湖泊湿地越冬白头鹤的生境适宜性研究 资源与环境工程学院 李春林 讲师 2.0
2.0
KYXL2014062 物联网异构互联环境激励机制研究
计算机科学与技术学 院
束永安 教授
2.0
KYXL2014063 信道编码在隐蔽通信上的应用研究
计算机科学与技术学 院
王良民 教授
2.0
KYXL2014064 粗糙集理论在高校学生成绩分析中的研究与应用
计算机科学与技术学 院
徐怡
副教授 2.0

基于深度卷积-递归神经网络的手绘草图识别方法

基于深度卷积-递归神经网络的手绘草图识别方法

第30卷第2期计算机辅助设计与图形学学报Vol.30No.2 2018年2月Journal of Computer-Aided Design & Computer Graphics Feb. 2018基于深度卷积-递归神经网络的手绘草图识别方法赵鹏1,2), 刘杨1,2), 刘慧婷1,2), 姚晟1,2)1) (安徽大学计算智能与信号处理教育部重点实验室合肥 230039)2) (安徽大学计算机科学与技术学院合肥 230601)(zhaopeng_ad@)摘要: 针对现有基于深度学习的手绘草图识别方法直接从整体上提取手绘草图的图像特征, 而忽略了草图中笔画的顺序信息的问题, 利用手绘草图的笔画顺序信息, 将深度卷积神经网络与递归神经网络相结合, 提出一种基于深度卷积-递归神经网络的手绘草图识别方法. 首先按照绘画草图时的笔画顺序提取笔画, 生成多幅子笔画草图, 并形成一个笔画数依次递增的子笔画草图序列; 然后采用深度卷积神经网络依次提取该序列中每一幅子笔画草图的图像特征, 并将提取的图像特征按照原先子笔画草图排列的顺序进行排序, 作为递归神经网络的输入; 最后利用递归神经网络来构建不同图像特征间的时序关系, 以提高手绘草图的识别准确率. 在现有最大的手绘草图数据集TU-Berlin Sketch数据集上的实验结果表明, 文中方法能有效地提升手绘草图的识别准确率.关键词: 手绘草图识别; 深度学习; 笔画顺序信息; 深度卷积神经网络; 递归神经网络中图法分类号: TP391.41 DOI: 10.3724/SP.J.1089.2018.16275A Sketch Recognition Method Based on Deep Convolutional-Recurrent Neural NetworkZhao Peng1,2), Liu Yang1,2), Liu Huiting1,2), and Yao Sheng1,2)1) (Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education, Anhui University, Hefei 230039)2) (School of Computer Science and Technology, Anhui University, Hefei 230601)Abstract: The existing sketch recognition methods ignore the stroke order information in extracting the fea-ture of the sketch. This paper took the advantage of the stroke order information of the sketch and proposed a sketch recognition method based on deep convolutional-recurrent neural network, which combined the deep convolutional neural network and recurrent neural network. Firstly, the proposed method extracted the strokes of the sketch in sequence and obtained an ordered sequence of subsketches with increasing number of strokes. Secondly, a deep convolutional neural network was adapted to extract the feature of each sub-sketch in the ordered subsketch sequence and an ordered feature sequence was generated. Finally, the or-dered feature sequence was input into a modified recurrent neural network, which constructed the temporal relations among the different subsketches of the same sketch to improve the accuracy of the sketch recogni-tion. The experimental results on the largest freehand sketch dataset which is the TU-Berlin Sketch dataset show that the proposed method can effectively improve the recognition accuracy of freehand sketches.收稿日期: 2017-03-01; 修回日期: 2017-04-24. 基金项目: 国家自然科学基金(61602004, 61472001); 安徽省自然科学基金(1408085MF122, 1508085MF127); 安徽省高校自然科学研究重点项目(KJ2016A041); 安徽大学信息保障技术协同创新中心公开招标课题(ADXXBZ2014-5, ADXXBZ2014-6). 赵鹏(1976—), 女, 博士, 副教授, 硕士生导师, CCF会员, 主要研究方向为智能信息处理、机器学习; 刘杨(1991—), 男, 硕士研究生, 主要研究方向为深度学习; 刘慧婷(1978—), 女, 博士, 副教授, 硕士生导师, 主要研究方向为数据挖掘、机器学习; 姚晟(1979—), 女, 博士, 讲师, 硕士生导师, 主要研究方向为数据挖掘、机器学习.218 计算机辅助设计与图形学学报第30卷Key words: sketch recognition; deep learning; stroke order information; deep convolutional neural network; re-current neural network随着便携式触摸设备的普及, 手绘草图的应用日趋多样化, 越来越多的研究者投入到手绘草图的研究当中, 主要包括手绘草图识别[1-2]、基于手绘草图的图像检索[3]、基于手绘草图的3D模型检索[4]以及法医草图分析[5]等.手绘草图识别仍然极具挑战性, 其原因[6]可归结如下: (1) 手绘草图具有高度抽象和符号化的属性; (2) 由于每个人的绘画水平和能力的差异, 导致同一类别的对象可能在外形和抽象度上相去甚远; (3) 手绘草图中缺乏视觉线索, 不存在颜色和纹理信息.早先的手绘草图识别主要遵循传统的图像分类模式, 即从手绘草图中提取手工特征, 再将该特征送入分类器中分类. 常用的手工特征包括方向梯度直方图(histogram of oriented gradient, HOG)特征[7]、尺度不变特征变换(scale-invariant feature tr-ansform, SIFT)[8]以及形状上下文特征[9]等, 并且经常将这些特征与词袋(bag of words)模型[1]结合, 生成最终的特征表达. 但这些为自然图像设计的手工特征, 并不完全适合于具有抽象性和稀疏性的手绘草图. Li等[10]证明了使用多核学习来融合不同的局部特征, 有助于提高识别性能. Schneider 等[2]将费舍尔向量(Fisher vector, FV)应用于手绘草图识别中, 获得了较高的识别准确率.近几年, 随着深度学习的火热发展, 各类的深度学习模型应运而生, 例如, Alex-Net[11], VGG[12]和ResNet[13]等. 但是, 这些深度学习模型主要针对彩色多纹理自然图像而设计, 而手绘草图当中缺乏颜色和纹理信息, 因此它们并不适用于手绘草图的识别. 手绘草图识别模型Sketch-a-Net[6]是一个专为手绘草图识别而设计的、多尺度多通道的深度神经网络框架, 其利用大量训练数据, 获得了良好的手绘草图识别效果, 但其并未考虑手绘草图中笔画的顺序信息.虽然手绘草图当中不存在颜色和纹理信息, 但是它却存在着自然图像所没有的笔画顺序信息, 这种笔画的顺序信息有助于手绘草图的识别. 因此, 本文针对每一幅手绘草图原图, 按照绘画该草图时的笔画顺序提取笔画, 并生成多幅子笔画草图, 以形成一个笔画数依次递增的子笔画草图序列, 该序列反映出手绘草图中笔画的顺序信息. 针对该子笔画草图序列, 本文将深度卷积神经网络与递归神经网络相融合, 提出了一种基于深度卷积-递归神经网络的手绘草图识别模型(deep-CRNN- sketch). 该模型首先采用深度卷积神经网络(con-volutional neural network, CNN)依次提取序列中每一幅子笔画草图的图像特征; 然后将提取的图像特征以原先子笔画草图排列的顺序进行排序, 并将其作为递归神经网络(recurrent neural network, RNN)的输入; 接着利用RNN为不同的图像特征构建一定的时序关系, 以进一步地提高手绘草图特征的可分辨性; 最后针对RNN的输出特征, 采用支持向量机(support vector machine, SVM)进行训练和识别.1 CNNCNN首次由LeCun等[14]提出, 典型的CNN由卷积层和空间池化层交替排列组成, 它们通常连接着全连接层(fully connected, FC)和softmax分类器, 如图1所示. 其中, 卷积层和空间池化层的输出都是一组二维矩阵, 称为特征图.在卷积层中, 上一层的特征图与当前层的卷积核进行卷积操作, 同一卷积层的卷积核可以有多个. Simonyan等[12]证明了一组堆叠的小尺寸卷积核比一个相同参数规模的大尺寸卷积核具有图1 CNN结构示意图第2期赵 鹏, 等: 基于深度卷积-递归神经网络的手绘草图识别方法 219更强的非线性表达能力. 每个卷积核将在特征图上进行扫描, 每个扫描窗口的计算结果是一个加权和. 线性矫正函数[15]是最常用的激活函数之一, 它可以有效地抑制误差反向传播算法中梯度消失效应的发生. 本文使用线性矫正函数作为激活函数, 则卷积操作的计算公式为()()()1max ,0, 1,2,,I j r ij r i r j i b j J =⎛⎫=*+= ⎪⎝⎭∑ yk x . 其中, 假设输入特征图的个数为I , 输出特征图的个数为J , 则i x 表示第i 个输入特征图, j y 表示第j 个输出特征图, ijk 表示ix 和jy 之间的卷积核,*表示卷积操作, jb 表示第j 个输出特征图的偏置值, 上标()r 表示卷积区域.在池化层中, 池化核的扫描方式一般是不重叠的. Goodfellow 等[16]提出最大池化函数作为空间池化层的激活函数, 其在每次池化的过程中直接选取感受野区域的最大值作为池化操作的结果. 这种池化方式使模型具有更好的抗噪能力, 同时也降低了特征的维度.在全连接层, 通常加入dropout 模块[17], 可以有效地避免训练过程中过拟合的发生.2 RNNRNN [18]主要应用于手写识别[19]以及语音识 别[20]等. 近几年, RNN 在自然语言处理领域应用获得了较大的进展[21]. 将CNN 与RNN 相结合应用于自然图像的表示和识别[22], 获得了良好的效果. 不同于其他仅包含前馈连接的神经网络, RNN 包含了反馈连接, 因此具有很强的“记忆”功能. RNN 最先被设计用来构建时间序列数据的相关性, 因为在网络的隐含层部分, 包含一个从前一个状态到当前状态的反馈连接, 通过这个反馈连接, RNN 模型就可以保留历史输入的信息, 从而构建2个不同时间状态信息的相互关系.传统的RNN 包括输入层、隐含层和输出层3个部分, 如图2所示.图2 RNN 结构示意图RNN 的输入一般为有限长度的时间序列, 假设图2中的网络输入是一段包含S 个状态的时间序列, 则()s x , ()s h 和()s y 分别表示序列中第s 个状态的输入, 隐含层和输出, ih w , hh w 和ho w 是3组连接权值, 其中hh w 连接的是(1)s -h 和()s h . ()s h 和()s y 的计算公式分别为 ()h ih h ()()(1)h ih hh h (),1(),2,3,,s s s s f s f s S -⎧+=⎪=⎨++=⎪⎩ w x b hw x w h b(1)()()o ho o (),1,2,,y w h b =+= s s f s S . 其中, h b 和o b 分别是隐含层和输出层的偏置值,h f 和o f 通常是非线性的激活函数.3 本文方法概述区别于CNN 与RNN 相结合的方法[22], 本文的工作主要体现在3点: (1) 本文方法是针对有笔画顺序信息的手绘草图的识别, 而文献[22]是针对自然图像的分类; (2) 本文方法中RNN 的输入是图像特征序列, 序列中的图像特征提取自不同的子笔画草图, 而文献[22]中RNN 的输入是像素点序列, 且序列中的所有像素点来自于同一幅图像; (3) 本文方法中的RNN 构建的是图像特征间的时序关系, 而文献[22]中RNN 构建的是像素点之间的空间位置关系.3.1 手绘草图的笔画提取本文所采用的实验数据集为Eitz 等[1]组织和收集的目前最大的手绘草图集, 该数据集有2种格式的版本, 一种是png 格式的手绘草图图像, 另一种是svg 格式的手绘草图图像. 本文通过编写程序提取svg 格式的手绘草图图像的笔画, 构建出多幅svg 格式的子笔画草图; 然后利用格式转换工具将所有svg 格式的子笔画草图转换成png 格式, 这些png 格式的子笔画草图按照笔画数从少到多的顺序排列即可反映出手绘草图中笔画的顺序信息.子笔画草图中的笔画个数依赖于手绘草图原图的总笔画数以及所提取的子笔画草图的个数. 图3a 所示为一幅样本原图, 它的总笔画数为19笔, 假设对其提取出4幅子笔画草图, 则第1幅子笔画草图包含前5笔, 第2幅包含前10笔, 第3幅包含前15笔, 最后1幅包含所有的19笔, 分别如图3b~图3e 所示. 假设对样本原图提取出3幅子笔画草图, 则第1幅子笔画草图包含前7笔, 第2幅包含前13笔, 第3幅包含所有的19笔.220 计算机辅助设计与图形学学报第30卷b. 子笔画草图1c.子笔画草图2a. 样本原图d. 子笔画草图3e.子笔画草图4图3 样本原图与子笔画草图的示例3.2深度CNN提取图像特征由于手绘草图缺乏颜色和纹理信息, 专门为彩色多纹理图像而设计的经典深度学习模型并不完全适合于手绘草图的识别.而文献[23]中的Deep-Sketch对经典的深度学习模型进行了改进,采用了更大的首层卷积核, 更大的dropout等, 使之更适用于手绘草图的特征提取. 因此, 本文采用已训练好的Deep-Sketch模型[23]的前11层网络结构作为本文deep-CRNN-sketch模型中的深度CNN模块, 用于提取各子笔画草图的图像特征. 图4即为deep-CRNN-sketch模型中深度CNN模块的示意图. 该模块一共包含7层卷积层、3层空间池化层和1层全连接层, 其中C表示卷积层, S表示空间池化层, FC表示全连接层, 图中最左边的一层表示输入图像. 每层卷积层都采用线性矫正函数作为激活函数, 空间池化层则以最大池化函数作为激活函数, FC1层输出的512维的特征向量即为提取的图像特征. 图4中位于上方的数值表示当前层特征图的尺寸, 例如, 第1层中的225表示输入图像的像素尺寸为225×225, 下方的数值表示当前层特征图的个数.图4 deep-CRNN-sketch模型中的深度CNN模块示意图3.3 RNN构建时序关系由于来源于同一幅手绘草图图像的各子笔画草图在内容上具有较强的相似性和关联性, 并且所形成的笔画数依次递增的子笔画草图序列能够反映出手绘草图中笔画的顺序信息, 因此, 针对深度CNN提取出的各子笔画草图的图像特征, 本文采用RNN为其构建一定的时序关系, 以提高手绘草图的识别准确率.deep-CRNN-sketch模型中的RNN模块以子笔画草图的图像特征序列作为输入, 在该图像特征序列中只有最后一个图像特征提取自完整的手绘草图图像, 而其余的图像特征都提取自只包含部分笔画的子笔画草图; 因此只有最后一个图像特征存在目标标签, 而其余的图像特征并没有相应的目标标签. 然而传统的RNN的输出层一般与样本标签相联系, 因此本文RNN模块中舍去了输出层和连接权值how, 只保留下输入层、隐含层以及连接权值ihw和hhw, 并且以隐含层的特征表达作为RNN模块的输出, 隐含层的特征表达()sh的计算如式(1)所示.由于本文RNN模型的作用是用来构建多个图像特征间的时序关系, 而构建相互关系只需要保证输入序列中的所有图像特征采用完全相同的连接权值进行计算即可, 故本文以随机初始化ihw和hhw的权值作为最终的连接权值. 本文RNN的隐含层激活函数为sigmoid激活函数, 为了保证隐含层的特征表达向量具有较高的可分辨性, 初始化权值需满足均值为0, 方差较小的高斯分布.3.4 deep-CRNN-sketch全模型deep-CRNN-sketch模型一共包含2个阶段, 第1阶段针对提取的各子笔画草图, 采用深度CNN分别提取相应的图像特征; 第2阶段针对图像特征所构成的序列, 采用RNN构建其时序关系, 并将RNN的输出特征送入分类器中训练或者测试. 下面以图5所示提取出4幅子笔画草图为例, 详细介绍deep-CRNN-sketch模型.第2期赵 鹏, 等: 基于深度卷积-递归神经网络的手绘草图识别方法 221图5 deep-CRNN-sketch 模型结构示意图图5中的4幅子笔画草图首先输入到图4中的深度CNN 当中, 得到4个不同的子笔画草图图像特征, 如图5a 所示. 然后将该4个图像特征按序排列, 作为RNN 模块的输入, 序列中的每个图像特征都会对应生成一个隐含层特征表达, 分别用(1)h , (2)h , (3)h 和(4)h 表示, 这4个隐含层特征表达的维度与隐含层神经元的个数一致. 最后将该4个隐含层特征表达按序连接起来, 作为最终的手绘草图特征, 并输入到SVM 中, 如图5b 所示.4 实验结果与分析4.1 实验数据和参数设置2012年, Eitz 等[1]组织和收集了一个目前最大的手绘草图集, 它含有250类手绘草图, 其中每个类各包含有80幅不同的手绘草图, 草图的原始像素大小为1111×1111, 示例如图6所示. 实验过程中采用4折交叉验证, 3份用于训练, 1份用于测试. 实验的评价指标为所有测试样本的识别准确率.深度学习需要大量的训练数据, 缺少训练数据容易产生过拟合的问题. 为了减少过拟合的影图6 手绘草图数据集示例响, 本文对实验所用的手绘草图数据集进行人工扩展, 获得一个新的扩增数据集, 具体步骤如下:Step1. 降维. 将所有的手绘草图图像从原始的像素大小1111×1111降维到256×256.Step2. 提取切片. 从每个像素为256×256的区域的中心、左上角、左下角、右上角和右下角各提取出1个像素大小为225×225的切片, 总共获得5个切片; 其中所有位于中心的像素大小为225×225的切片构成了原始数据集.Step3. 水平翻转. 将Step2获得的5个切片都进行一次水平方向的翻转, 再次获得5个新的切片.Step2和Step3所获得的每个样本的10个切片构成了扩增数据集, 因此扩增数据集的数据量为原始数据集的10倍.本文所有的实验全部是在CPU 为3.60 GHz 、内存为32.0 GB 的PC 上完成的, 其中子笔画草图222计算机辅助设计与图形学学报 第30卷的提取是在Linux 系统下完成的, 而deep-CRNN- sketch 模型的构建以及SVM 的训练和测试全部是在Windows 系统下的MATLAB R2013a 上完成的.deep-CRNN-sketch 模型的深度CNN 模块的具体参数设置参见文献[23], RNN 模块中的连接权值ih w 和hh w 的初始化满足高斯分布, 其中均值μ=0,方差通常取值较小, 第4.2节中的第3组实验对其不同取值进行了对比实验. 隐含层的激活函数为sigmoid 激活函数.4.2 实验结果及分析本文分别设计了4组对比实验. 第1组实验将文献[23]中的Deep-Sketch 模型与本文提出的deep-CRNN-sketch 模型相比较, 分别在原始数据集和扩增数据集上进行识别准确率的对比; 第2组实验讨论所提取的子笔画草图的个数对于识别准确率的影响, 分别对每幅手绘草图图像提取出2幅子笔画草图、3幅子笔画草图和4幅子笔画草图进行对比实验, 实验在扩增数据集上进行; 第3组实验讨论RNN 中, 初始化连接权值ih w 和hh w 的方差σ对于识别准确率的影响, 实验在扩增数据集上进行; 第4组实验将本文deep-CRNN-sketch 模型与其他主流的手绘草图识别方法进行对比.第1组实验将文献[23]中的Deep-Sketch 模型与本文deep-CRNN-sketch 模型相对比, 实验分别在原始数据集和扩增数据集上进行. 实验结果如表1所示, 其中deep-CRNN-sketch 模型中提取的子笔画草图个数设为3幅, 初始化权值ih w 和hh w 的方差σ均设为0.02, RNN 的隐含层神经元个数设为2000. 该实验结果表明, 引入手绘草图中的笔画顺序信息有助于手绘草图的识别, 并且也反映出RNN 对于具有时序关联的数据具有较强的处理能力, 能够有效地表达出数据间的时序关系. 从实验结果中还可以看出, 2组模型在扩增数据集上的效果都要比在原始数据集上的效果好, 说明人工地扩大数据集能够减少过拟合的影响, 提高模型训练的有效性和识别的正确率.第2组实验讨论所提取的子笔画草图的个数表1 deep-CRNN-sketch 与Deep-Sketch 模型对比 %识别准确率模型原始数据集扩增数据集 deep-CRNN-sketch 68.9671.80Deep-Sketch 65.80 69.20 提升3.16 2.60对于识别准确率的影响. 实验分别对每幅手绘草图图像提取出2~4幅子笔画草图. 针对每种子笔画草图个数的取值, 又分别设计了5组对比实验. 这5组对比实验中, 初始化RNN 模块的权值ih w 和hh w 的方差σ都设为0.02; 隐含层神经元个数设置如表2所示; 实验只在扩增数据集上进行, 实验结果如表2所示. 从表2中可以看出, 这5组对比实验中, 提取出3幅子笔画草图的识别准确率全部高于提取出2幅子笔画草图和4幅子笔画草图的识别准确率. 分析原因, 在绘画草图的过程中, 可能大多数人习惯将所绘的图像内容大致分成3个部分来进行绘画. 当提取的子笔画草图数过少时, 引入的笔画顺序信息过少; 当提取的子笔画草图数过多时, 引入的笔画顺序信息过多, 会过拟合绘画者细节部分的笔画顺序, 造成识别准确率的略微下降. 从表2中还可以看出, 当隐含层神经元的个数达到2000个左右时, 取得的实验效果比较好, 其中3幅子笔画草图在神经元个数为2000时达到最好的实验效果, 识别准确率为71.80%.表2 子笔画草图的个数对识别准确率的影响 %子笔画草图个数隐含层神经元个数2 3 41 600 70.58 71.14 70.82 1 800 70.74 71.40 70.92 2 000 70.8271.80 71.00 2 200 70.8871.52 70.74 2 400 70.3471.34 71.12第3组实验讨论RNN 中初始化连接权值ih w 和hh w 的方差σ对于识别准确率的影响, 实验在扩增数据集上进行, 提取的子笔画草图个数为3, 方差σ分别取值为0.01,0.02和0.03, 实验结果如表3所示. 从表3中可以看出, 当σ=0.02时, 识别准确率略好于方差σ取值为0.01和0.03的识别准确率. 分析原因, 当方差σ取值过小时, 表示权值的取值范围较小, 容易导致隐含层的特征表达向量中元素之间的取值差异较小, 使得特征向量的可分辨性降低; 当方差σ取值过大时, 容易导致特征表达向量中过多的元素取值接近0或者1, 同样降低了特征向量的可分辨性. 从表3还可以看出, 3组方差同时在隐含层神经元个数达到2000时取得最好的识别准确率, 分别为71.62%, 71.80%和71.72%.第2期赵 鹏, 等: 基于深度卷积-递归神经网络的手绘草图识别方法 223表3 初始化方差σ对识别准确率的影响 %初始化方差σ隐含层神经元个数0.01 0.02 0.031 600 71.14 71.14 70.80 1 800 71.26 71.40 71.062 000 71.6271.80 71.72 2 200 71.38 71.52 71.34 2 400 71.1271.34 71.12第4组实验将本文提出的deep-CRNN-sketch 模型与其他一些主流的手绘草图识别方法如HOG-SVM [1], SIFT-Fisher Vector [2], MKL-SVM [10], FV-SP [2]和Alex-Net [11]进行对比, 实验结果如表4所示. 与传统的非深度学习方法HOG-SVM, SIFT- Fisher Vector, MKL-SVM 以及FV-SP 相比, 本文方法的识别准确率分别提升了15.8%, 10.3%, 6.0%和2.9%, 该结果表明, 与非深度学习方法相比, 深度学习方法具有更强的特征提取和非线性表达的能力. 与经典的深度学习模型Alex-Net 相比, 识别准确率提升了5.6%, 该结果可以表明: (1) 针对彩色多纹理自然图像而设计的经典深度学习模型, 并不完全适用于缺乏颜色和纹理信息的手绘草图的识别; (2) 引入手绘草图中的笔画顺序信息有助于提升手绘草图的识别准确率.表4 deep-CRNN-sketch 模型与现有方法的对比 %方法识别准确率HOG-SVM 56.00SIFT-Fisher Vector 61.50MKL-SVM 65.80FV-SP 68.90Alex-Net 66.20deep-CRNN-sketch 71.805 结 语本文将手绘草图的笔画顺序信息引入到基于深度学习的手绘草图识别中, 融合深度CNN 与RNN, 提出基于深度卷积-递归神经网络的手绘草图识别模型deep-CRNN-sketch. 该模型中用深度CNN 提取各子笔画草图的图像特征, RNN 为多个图像特征构建一定的时序关系, 以提高手绘草图的识别准确率. 实验结果表明, 与现有的主流方法相比, 本文提出的deep-CRNN-sketch 模型获得了较高的识别准确率.参考文献(References):[1] Eitz M, Hays J, Alexa M. How do humans sketch objects?[J].ACM Transactions on Graphics, 2012, 31(4): Article No.44 [2] Schneider R G , Tuytelaars T. Sketch classification and classifi-cation-driven analysis using Fisher vectors[J]. ACM Transac-tions on Graphics, 2014, 33(6): Article No.174[3] Eitz M, Hildebrand K, Boubekeur T, et al . Sketch-based imageretrieval: Benchmark and bag-of-features descriptors[J]. IEEE Transactions on Visualization and Computer Graphics, 2011, 17(11): 1624-1636[4] Wang F, Kang L, Li Y . Sketch-based 3D shape retrieval usingconvolutional neural networks[C] //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press, 2015: 1875-1883 [5] Klare B, Li Z F, Jain A K. Matching forensic sketches to mugshot photos[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(3): 639-646[6] Yu Q, Yang Y X, Song Y Z, et al . Sketch-a-net that beats hu-mans[OL]. [2017-03-01]. /abs/1501.07873v3 [7] Xiang Zheng, Tan Hengliang, Ma Zhengming. Performancecomparison of improved HOG , Gabor and LBP[J]. Journal of Computer-Aided Design & Computer Graphics, 2012, 24(6): 787-792(in Chinese)(向 征, 谭恒良, 马争鸣. 改进的HOG 和Gabor, LBP 性能 比较[J]. 计算机辅助设计与图形学学报, 2012, 24(6): 787- 792)[8] Lowe D G . Distinctive image features from scale-invariantkeypoints[J]. International Journal of Computer Vision, 2004,60(2): 91-110[9] Carneiro G, Jepson A D. Pruning local feature correspondencesusing shape context[C] //Proceedings of the 17th InternationalConference on Pattern Recognition. Los Alamitos: IEEE Com-puter Society Press, 2004, 3:16-19[10] Li Y , Hospedales T M, Song Y Z, et al . Free-hand sketch rec-ognition by multi-kernel feature learning[J]. Computer Visionand Image Understanding, 2015, 137: 1-11[11] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classifica-tion with deep convolutional neural networks[C] //Proceedings of the 25th International Conference on Neural Information Processing Systems . Cambridge: MIT Press, 2012: 1097-1105 [12] Simonyan K, Zisserman A. Very deep convolutional networksfor large-scale image recognition[OL]. [2017-03-01]. http:// /abs/1409.1556v6[13] He K M, Zhang X Y , Ren S Q, et al . Deep residual learning forimage recognition[OL]. [2017-03-01]. /abs/- 1512.03385v1[14] LeCun Y , Boser B, Denker J S, et al . Backpropagation applied224 计算机辅助设计与图形学学报第30卷to handwritten zip code recognition[J]. Neural Computation, 1989, 1(4): 541-551[15] Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neuralnetworks[C] //Proceedings of the 14th International Conference on Artificial Intelligence and Statistics. Cambridge: MIT Press, 2011, 15: 315-323[16] Goodfellow I J, Warde-Farley D, Mirza M, et al. Maxout net-works[OL]. [2017-03-01]. /abs/1302.4389v4 [17] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simpleway to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15(1): 1929- 1958 [18] Carpenter G A, Grossberg S. A massively parallel architecturefor a self-organizing neural pattern recognition machine[J].Computer Vision, Graphics, and Image Processing, 1987, 37(1): 54-115[19] Graves A, Liwicki M, Fernandez S, et al. A novel connectionistsystem for unconstrained handwriting recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(5): 855-868 [20] Graves A, Mohamed A R, Hinton G. Speech recognition withdeep recurrent neural networks[C] //Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing. Los Alamitos: IEEE Computer Society Press, 2013: 6645-6649[21] Graves A, Jaitly N. Towards end-to-end speech recognitionwith recurrent neural networks[C] //Proceedings of the Interna-tional Conference on Machine Learning. Cambridge: MIT Press, 2014: 1764-1772[22] Zuo Z, Shuai B, Wang G, et al. Convolutional recurrent neuralnetworks: learning spatial dependencies for image representa-tion[C] //Proceedings of the IEEE Conference on Computer Vi-sion and Pattern Recognition Workshops. Los Alamitos: IEEE Computer Society Press, 2015: 18-26[23] Zhao Peng, Wang Fei, Liu Huiting, et al. Sketch recognitionusing deep learning[J]. Journal of Sichuan University: Engine- ering Science Edition, 2016, 48(3): 94-99(in Chinese)(赵鹏, 王斐, 刘慧婷, 等. 基于深度学习的手绘草图识别[J]. 四川大学学报: 工程科学版, 2016, 48(3): 94-99)。

计算机2013级硕士研究生第一学期课表_ (1)

计算机2013级硕士研究生第一学期课表_ (1)

博士专业课
张燕平 商空间 必修 54 3 第2--18周 11级博士 8 周四上午1、2、3 博南D501
Hale Waihona Puke 硕博公共课英语 13级硕士研究生 第 1 页,共 4 页 周一、三、五上午
安徽大学磬苑校区2013-2014学年第一学期 计算机学院研究生课程表 硕士专业课
教师姓名 课程名称 小语种 课程性质 总学时 周学时上课起止周 授课对象 上课人数 上课时间 见附件 周一上午3、4(听说) 周一下午1、2(写作,博 南D206) 周三上午1、2(精读)、 五上午1、2(泛读) 周三下午1、2、3 上课地点
13级硕士研究生
英语
13级博士
博南D204
中国马克思主义与当代
13级博士
博南D104、 204
第 2 页,共 4 页
硕士专业课
备注
博士专业课
硕博公共课
第 3 页,共 4 页
硕士专业课
备注
第 4 页,共 4 页
第2--18周 13级硕士研究生 第2--18周 13级硕士研究生 第2--18周 13级硕士研究生 第2--13周 13级硕士研究生 第2--13周 13级硕士研究生 第2--13周 13级硕士研究生 第2--18周 13级硕士研究生
高级计算机网络体系、工硕必修、其他选修 54 组合数学 数字信号处理 高级人工智能 嵌入式技术与应用 高级软件工程 学位 选修 学位 选修 软件必修、其他选修 54 36 36 36 54
安徽大学磬苑校区2013-2014学年第一学期 计算机学院研究生课程表 硕士专业课
教师姓名 杜秀全 仲红 汪继文 吴小培 李龙澍 宋杰 程凡 课程名称 机器学习 课程性质 应用必修、其他选修 总学时 周学时上课起止周 54 3 3 3 3 3 3 3 授课对象 上课人数 约80 约80 110 约80 110 约80 约80 上课时间 周一晚9、10、11 周二上午1、2、3 周二下午1、2、3 周三晚9、10、11 周四上午1、2、3 周四晚上9、10、11 周六下午1、2、3 上课地点 博南D207 博南D307 博南D301 博南D207 博南D301 博南D307 博南D207

一种单幅图像协同显著性检测方法

一种单幅图像协同显著性检测方法

w 和 b,以便实现分类效果,公式如下:
J( X,Y)
=
1 2
M
‖w‖2
+
C∑ξ
i =1
i
s. t. yi( wTxi + b) ≥1 - ξi; ξi≥0,i = 1,…,M
( 6)
其中: ξi 是松弛变量; C 是惩罚参数; X、Y 分别表示样本的高维语义
特征和标签。
在构建 SVM 分类器训练集的过程中,考虑到图像内的目标数
疑能够达到这一要求。然后再针对分离出的每个目标进行特有部
分提取,保证每个目标特征的准确性。
如图 2( a) 所示的输入图像,通过目标检测模型可以检测出图
像内实例目标,并用目标框表示,如图 2( b) 所示。假设目标检测模
型在图像中标记的目标框表示为 Bi ,其中 i = 1,…,n,n 为目标框的
数量( 目标的数量) 。不难发现,在同一幅图像内,如果两个目标相
检测为一个目标,且检测出其他不是协同目标的干扰目标,如图 3
( c) ( d) 所示。通过分析发现,被检测为一个目标的协同目标在图
像内占有的面积( 覆盖的像素数量) 比其他目标更大。因此,可以
比较每个目标覆盖 的 像 素 数 量,将 覆 盖 像 素 数 量 最 多 的 目 标 标 记
为协同目标。此外,在 图 像 中 不 存 在 协 同 目 标 以 外 的 其 他 目 标 这
一情况下,也同样无法标记出协同目标,且协同目标重叠度过高会
使目标在检测阶 段 被 检 测 为 一 个 目 标。很 显 然,这 种 情 况 可 以 直
接将检测到的目标标记为协同目标,如图 3( e) ( f) 所示。
由于每个目标用于提取特征的区域均为该目标特有的部分,

安徽大学创新创业训练项目

安徽大学创新创业训练项目
eusmcntslnygd光学性质的研究创新训练项目彭张皖b51214073冯家平b51214100cds量子点修饰对nis对电极光电转换效率的增强效应研究创新训练项目蔡冉冉b51314047b51314034hftiogaas叠层栅构筑及界面结构研究创新训练项目孟贵平b51214070创新训练项目王荣荣c41214069c01214027创新训练项目高利红c41214048段红涛c41214066王霄宇c41214038韩松c41214061创新训练项目c41214024丁兴雨c41214032磁性fe微纳材料的合成及其吸附性能研究创新训练项目刘伟苗c41214046范雪婷c41214033c41214041创新训练项目付贤玲c31214031李治漾c41214080丁康林c41214023刘翼c3214056噻吩基有机无机复合材料的设计合成及光物理性质创新训练项目c61214013创新训练项目张美荣c41214081c31214081石墨烯多孔金属氧化物锂离子电池负极材料的制备及其性能的研究创新训练项目周步宇c41214036c41214001cdsmos2纳米复合材料的调控制备及其光催化性能研究创新训练项目王梦帝c51214040吴志泉c51214011氮杂大环过渡金属配合物催化的新型briggsrauscher体系的反应动力学及其在分析中的应用创新训练项目c41114059创新训练项目朱国栋d31214032创新训练项目李会娟d01214029戴刘敏d01214036人参稀有皂苷compoundk的真菌转化研究创新训练项目d31214015创新训练项目高永山d31214048何d31214037鉴定钙粘附蛋白11形成同源二聚体的作用区域创新训练项目郭彦君d01214089温小红d01214090张锴烨v21214001创新训练项目陈玉祥d01214096钱阳洋d31314004创新训练项目李佳丽d01214110抗cd20人源化抗体h1l1的构建表达纯化及亲和力分析创新训练项目温重政d01214100创新训练项目刘德建d31214029吴航d31214025陈奇d31214035杨莎莎d31214055运用12s基因鉴定肉制品肉类来源创新训练项目黄静d01214025赵倩d01314059张娜d01314058曹萍d01314072创新训练项目张浩x11314056陈志娜x11314007创新训练项目梁宁

基于对抗自编码器的矢量草图生成方法

基于对抗自编码器的矢量草图生成方法

第32卷第12期计算机辅助设计与图形学学报Vol.32No.12 2020年12月Journal of Computer-Aided Design & Computer Graphics Dec. 2020基于对抗自编码器的矢量草图生成方法赵鹏1,2), 高杰超1,2), 周彪1,2), 刘慧婷1,2)1) (安徽大学计算智能与信号处理教育部重点实验室合肥 230601)2) (安徽大学计算机科学与技术学院合肥 230601)(*******************)摘要: 针对现有矢量草图生成方法存在的生成结果潦草, 以及编码草图信息单一等问题, 提出一种基于对抗自编码器的矢量草图生成方法. 借助对抗自编码器自身所具有的对抗的机制, 将像素化表示的草图所具有的空间信息融合到矢量草图的生成过程中, 使得生成的草图具有更好的类别形状信息. 既利用了矢量草图所包含的笔画间的时序信息, 又利用了像素草图所包含的绘画物体的形状信息. 在QuickDraw数据集上进行了草图生成实验, 并使用Ske-score评价指标进行量化度量, 实验结果表明所提方法能够缓解生成结果出现的潦草效应, 并且生成的草图具有更好的视觉美观性和更高程度的类别可辨识性.关键词: 草图生成; 矢量草图; 对抗自编码器; 生成式对抗网络; 信息融合中图法分类号: TP391.41 DOI: 10.3724/SP.J.1089.2020.18252A Novel Vector Sketch Generation Method Based on Adversarial AutoencoderZhao Peng1,2), Gao Jiechao1,2), Zhou Biao1,2), and Liu Huiting1,2)1) (Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education, Anhui University,Hefei 230601)2) (School of Computer Science and Technology, Anhui University, Hefei 230601)Abstract: Aiming at the problems of existing vector sketch generation methods, such as generated sketch scribble and single coding sketch information, this paper proposed a novel vector sketch generation method based on ad-versarial autoencoder (called Sketch-AAE). Sketch-AAE takes advantage of the adversarial mechanism to merge the spatial information of a raster sketch into the vector sketch generation, which makes the generated sketch having better category shape information. The proposed method utilizes not only the temporal information among the strokes in vector sketch, but also the spatial information of the object in raster sketch. The extensive sketch generation experiments were conducted on the QuickDraw dataset, and the Ske-score was used as the quantita-tive measurement. The experimental results show that the proposed method can alleviate the scribble effect of the generated sketches and achieves better visual impression and higher category discrimination.Key words: sketch generation; vector sketch; adversarial autoencoder; generative adversarial networks;information fusion收稿日期: 2020-02-27; 修回日期: 2020-05-28. 基金项目: 国家自然科学基金(61602004); 安徽省高校自然科学研究重点项目(KJ2018A0013, KJ2017A011); 安徽省自然科学基金(1908085MF188, 1908085MF182); 安徽省重点研究与开发计划(1804d08020309). 赵鹏(1976—), 女, 博士, 副教授, 硕士生导师, CCF会员, 主要研究方向为机器学习、图像理解; 高杰超(1995—), 男, 硕士研究生, 主要研究方向为机器学习、草图生成; 周彪(1996—), 男, 硕士研究生, 主要研究方向为机器学习; 刘慧婷(1978—), 女, 博士, 副教授, 硕士生导师, CCF会员, 主要研究方向为机器学习.1958 计算机辅助设计与图形学学报第32卷手绘草图因其简洁性和丰富的表达能力, 一直以来都是人类社会一种简单快捷的沟通方式. 然而对机器来说, 绘制草图和理解手绘草图中蕴含的丰富语义信息, 却是一个很大的挑战. 教会机器以人类的绘画方式绘画出一幅草图, 一方面有助于机器对草图的理解, 更好地进行人机交互; 另一方面, 可以利用机器生成草图有效地扩充现有的草图数据集. 不同于自然图像样本, 草图样本必须依靠人类的手绘来获取, 所以获取规整的、有标注的草图数据集需要更高的成本, 因而草图生成具有重要的研究价值. 基于草图的相关研究已经成为计算机视觉与计算机图形学中非常活跃的研究领域, 涉及范围非常广泛, 包括草图识别[1-3], 草图分割[4-7], 基于草图的图像检索[8-11]和基于草图的建模[12]等.由于草图笔画的稀疏性, 即只有少数被草图笔画覆盖到的位置有像素值, 其余大部分位置的像素值均为空, 因此基于像素的表示方法会造成草图特征表示的稀疏性, 而这种稀疏的表示不利于使用卷积神经网络(convolutional neural net-works, CNN)来建模, 因而草图生成的研究具有很大的挑战性. Ha等[13]首次选择从矢量表示的角度来对草图进行建模. Chen等[14]在此基础上进一步将模型扩展到生成多类的草图.现有的矢量草图的生成方法大多基于变分自编码器(variational autoencoder, VAE)[15]的框架. 基于VAE生成的光栅自然图像通常比较模糊. 这一模糊现象在矢量草图上被称为“潦草效应”[16], 具体表现为笔画状态倾向于一直停留在纸上, 而不是离开纸面在另一个位置开始下一笔画. 近年来, 生成式对抗网络(generative adversarial networks, GAN)[17]已经广泛地应用于计算机视觉领域的很多任务中. GAN中判别器网络(discriminator, D)学习区分一个给定的样本是真实的样本还是生成的样本, 而生成器网络(generator, G)通过学习生成高质量的样本来迷惑判别器. 两者在训练过程中相互对抗, 不断优化直至达到平衡. 对抗自编码器(adversarial autoencoder, AAE)[18]就是将这种对抗的思想引入自编码器(autoencoder, AE), 用对抗训练替代VAE中的变分推断, 并通过实验证明AAE 比VAE具有更规整的隐空间分布, 能更好地捕捉数据分布. 对抗机制的引入, 有助于缓解VAE在草图生成上所出现的潦草效应, 同时利用对抗机制可将任意先验分布匹配至AE的隐空间.草图通常有基于矢量和基于像素2种表示形式, 它们蕴含的主要信息是不同的. 其中, 矢量表示主要包含的是草图的笔画间的时序信息, 而像素表示主要包含的是草图的空间形状信息. sketch-RNN使用了一个双向循环神经网络(bi-directional recurrent neural networks, BRNN)[19]来编码矢量表示的草图. 循环神经网络(recurrent neural networks, RNN)善于处理这种序列化的数据, 能够利用到笔画的上下文以及时序的动态信息, 所以编码到隐空间的主要为笔画相关的特征. sketch-pix2seq[14]使用CNN来编码像素表示的草图, CNN适合处理网格化的数据, 能够捕捉到图片中物体的空间局部结构, 所以编码到隐空间的主要为形状相关的特征. 然而上述2种方法都只编码了草图的一种单一的表示形式, 而本文方法同时融合了2种草图表示形式所具有的笔画时序信息和视觉形状信息.近年来, 矢量草图生成取得了一些研究成果, 但仍存在生成草图笔画潦草、类别辨识度不高等问题. 为了解决现有方法的缺陷, 生成更为贴近人类手绘风格的草图, 本文提出一种基于AAE的矢量草图生成方法(sketch-AAE). 矢量表示的草图具有的笔画时序信息和像素表示的草图具有的空间形状信息都有利于草图的生成, 所以本文利用生成对抗机制, 将像素表示形式所包含的空间形状信息融合进矢量草图的生成过程. 本文针对VAE在矢量草图生成上出现的潦草效应, 选择使用AAE 的框架代替VAE. AAE比VAE具有更规整的隐空间分布, 且对抗机制的引入也有助于缓解生成结果所出现的潦草效应. 此外, 本文选择从矢量表示的角度生成草图, 同时利用AAE的框架, 在模型中引入像素表示草图所具有的视觉语义信息, 融合草图不同表示形式所具有的笔画时序信息和空间形状等视觉信息, 使生成的草图不失创造性的同时又具有一定的可识别性.1 相关工作1.1矢量草图生成Ha[20]首先在矢量图片生成上进行了尝试, 使用了一个双层的长短期记忆网络(long short-term memory, LSTM)生成表示为矢量形式的汉字字符. 接着, 又提出了基于VAE框架的矢量草图生成模型sketch-RNN[13], 该模型使用了谷歌公司的大型草图数据集QuickDraw. 该数据集中的草图均表示为矢量的形式, 本文也选择了该数据集作为训练第12期赵鹏, 等: 基于对抗自编码器的矢量草图生成方法 1959数据集. 当在单个类上进行训练时, sketch-RNN 可以生成视觉上美观的草图, 但当使用多个类混合的训练集训练单个模型时, sketch-RNN 的生成结果会很差. 因此, 为了解决这个问题, Chen 等[14]将sketch-RNN 中的编码器替换为CNN, 并且移除了KL 散度损失, 提出sketch-pix2seq 模型. 因为使用了CNN, 所以sketch-pix2seq 的输入为QuickDraw 数据集中矢量草图的光栅化格式(即像素表示形式). Zhong [21]将sketch-RNN 模型扩展成了一个端到端的模型, 该模型输入的是SVG (scalable vector graphics)格式的字体, 使用Google Fonts Dataset 作为训练集来训练模型, 生成各种新奇的字体. 以上介绍的模型均是基于VAE 框架. 然而, 基于VAE 的方法往往生成的草图具有潦草效应. 图1是sketch-RNN 生成结果出现的潦草效应的示例. Varshaneya 等[16]使用了GAN 框架来生成矢量化草图, 采用策略梯度算法来建模离散的笔画状态, 但模型复杂度较高, 训练难度较大.a. mosquitob. yoga pose图1 sketch-RNN 生成结果出现的潦草效应示例1.2 对抗自编码器AAE 是Makhzani 等[18]提出的一种概率AE. 它使用了GAN 框架, 将AE 的隐变量的后验分布匹配至任意一个先验分布, 以此来实现变分推断. 与VAE 不同的是, AAE 是通过对抗机制, 使用一个可学习的判别器网络来对隐空间施加先验分布,而VAE 使用KL 距离惩罚来达到这一目的. AAE 模型的框架结构如图2所示.假设x 为输入, z 是AE 的隐变量, 该AE 包括编码器和解码器2个部分. ()p z 是准备施加的先验分布, ()q |z x 是编码分布, (|)p x z 是解码分布. 并且假设d ()p x 是数据分布, ()p x 是模型分布. AE 的编码函数在隐空间上定义了一个后验分布()q z , 即d ()()()d q q |p =⎰xz z x x x(1)图2 AAE 模型的框架结构图对抗网络被附加在AE 的隐编码上, 通过将后验分布()q z 匹配到任意给定的先验分布()p z 来实现正则化. 对抗网络训练()q z 去匹配()p z , 同时AE 最小化重构误差. 对抗网络的生成器为AE 的编码器, 训练该编码器, 力图使编码器获得的后验分布()q z 可以骗过判别器, 让它认为隐变量(())~q z z z 来自先验分布()p z .AAE 分2个阶段利用随机梯度下降算法(stochastic gradient descent, SGD)联合训练, 即每个mini-batch 的训练都包括2个阶段: 执行重构阶段和正则化阶段. 在重构阶段, AE 以最小化输入的重构误差为目标来训练更新编码器和解码器.在正则化阶段, 对抗网络首先更新判别器网络, 以区分生成样本(由AE 的编码器计算出隐变量)和真实样本(从先验分布中采样的变量); 然后对抗网络更新其生成器(即AE 编码器), 来骗过判别器. 一旦完成训练之后, AE 的解码器即定义了一个将施加的先验分布映射到数据分布的生成模型.2 本文方法2.1 数据集本文模型训练和测试采样均使用QuickDraw 数据集[13], 其中的矢量草图样本是从Quick, Draw!项目中获得的. 该项目是一个在线游戏, 它要求玩家在20 s 内画出一个属于特定类的物体. Quick-Draw 数据集中的草图包含了345个类别, 每个类的训练集、验证集和测试集包含草图样本数量分别为70 000, 2 500和2 500. 数据集中样本示例如图3所示, 图3a 和图3b 分别为同一草图的矢量表示和像素表示.1960计算机辅助设计与图形学学报 第32卷a. 矢量表示b. 像素表示图3 QuickDraw 样本示例矢量表示方法将草图表示为一系列有序的笔触动作. 在这种表示方法下, 一幅草图即是一组点序列, 其中每一个点都用一个包含5个元素的向量表示为123(,,,,)x y p p p ∆∆. 前2个元素分别表示当前点距离前一个点的x 和y 方向上的距离, 后面3个元素是一个one-hot 向量, 表示3种笔画状态. 当1p =1时, 表示画笔在当前坐标点触碰纸面, 并且当前点会和下一点相连; 当2p =1时, 表示画笔在当前坐标点离开纸面, 故当前点不会和下一点相连; 当3p =1时, 表示绘画结束, 包括当前坐标点以及之后的所有点都不会被提交为草图的有效笔画.2.2 sketch-AAE本文提出的sketch-AAE 模型总体上采用了AAE 的框架, 模型主要分为自编码器和对抗网络2个模块, 总体框架如图4所示. 自编码器模块包括AE-RNN 和AE-CNN. 其中, AE-RNN 为序列到序列的AE 模块. 与sketch-RNN 不同的是, sketch-AAE 中的AE 模块舍弃了sketch-RNN 损失函数中的KL 距离损失项, 使用对抗网络约束AE 的隐空间来实现正则化. 由于sketch-RNN 使用的VAE 框架在矢量草图的生成上容易出现潦草效应, 本文模型通过引入对抗机制改善这一状况. 而AE-CNN 为预训练完成的sketch-pix2seq [14]模型, 与AE-RNN 不同的是, 该模型使用CNN 来编码像素表示的草图. 通过使用预训练完成的AE-CNN 的编码器, sketch-AAE 在训练过程中能够引入像素表示的草图所具有的空间形状信息. 通常人们在评价一幅草图的好坏时, 更多地关注该幅草图的视觉空间结构是否符合特定物体的要求, 而像素表示的草图所包含的正是这一类视觉信息, 利用CNN 将这类信息提取出来, 再将其引入到矢量草图的生成过程中, 将进一步改善模型所生成草图的质量(即视觉评价上的“好坏”).图4 sketch-AAE 模型的框架结构图受GAN 的对抗思想启发, 本文提出sketch-AAE 模型, 利用一个可学习的判别器网络来向AE-RNN 的隐空间施加约束. 不同于大多数采用对抗思想的生成模型, sketch-AAE 的判别器网络并不是用来直接评价最终生成结果的好坏, 而是通过它来约束AE-RNN 的隐空间, 对抗机制在这里是一种正则化手段. 对抗网络模块由AE-RNN 的编码器和判别器组成. 判别器的正样本(即需要判别为真的样本)为预训练完成的AE-CNN 的隐空间采样得来的隐变量; 判别器的负样本(即需要判别为假的样本)为AE-RNN 的隐空间采样得来的隐向量. 随着对抗训练的进行, 判别器网络将会指导AE-RNN 的隐空间逐步向AE-CNN 的隐空间靠近. 换言之, 逐步向AE-RNN 的隐空间施加约束.2.3 自编码器模块AE-RNN 框架如图5所示, 它由编码器和解码器组成, 目的是根据给定的输入重构出一幅矢量草图. 为了能够充分地捕捉到矢量草图笔画间的关系, 并将其编码到隐空间, 从而更准确地重构出矢量草图, AE-RNN 的编码器采用了BRNN 框架.第12期赵鹏, 等: 基于对抗自编码器的矢量草图生成方法 1961BRNN 框架的基本单元是LSTM, 输入为一幅矢量化的草图S , 输出为大小z N 的隐向量. 因为使用了双向的RNN, 所以还需要输入S 的反序列reverse S , 经过一系列LSTM 的操作, 分别得到2个最终的隐状态: →h 和←h . 然后连接→h 和←h , 获得一个串联的隐状态h ([;]→←=h h h ). 将h 输入到一个全连接层, 映射成2个大小为z N 的向量μ和ˆσ. 为了确保获得的标准差参数非负, 本文利用指数运算将ˆσ转化为σ. 之后采用VAE 中的重参数化技巧, 使用μ,σ以及从标准高斯分布中采样得到的大小为z N 的向量(0,)N I , 构造一个随机向量z N ∈ z , 即(0,)=+z N I μσ (2)因为使用了式(2)中的构造方法, 所以隐向量z 不再是一个确定的输出向量, 而是一个以输入草图为条件的随机向量.AE-RNN 的解码器是一个自回归的RNN. 它的作用是根据式(2)中得到隐变量z 以及每个时间步的输入, 来逐步地重构出完整的矢量草图. 解码器在时间步i 的输入为一个由点向量1i -S 和隐变量z 连接而成的向量1i -x , 其中1(1)i i ->S 为输入矢量草图的第i 个点, 0= (0, 0, 1, 0, 0)S . 时间步i 的输出i y 为重构矢量草图第i 个数据点i S 的概率分布参数.图5中的基本单元是经典的LSTM. 假设时间步t 的输入为t x , 则LSTM 中当前时间步的输入门t i , 遗忘门t f , 输出门t o , 单元状态t c 和隐藏状态t h 的计算分别为i i 1i f f 1f o o 1o 1c c 1c sigmoid(),sigmoid(),sigmoid(),tanh(),tanh().t t t t t t t t t t t t t t t ttt-----=++=++=++=+++= i W x U h b f W x U h b o W x U h b c f c i W x U h b h o c 其中, i i (,)W U ,f f (,)W U ,o o (,)W U 和c c (,)W U 分别为输入门、遗忘门、输出门以及单元状态的参数矩阵,i b ,f b ,o b 和c b 分别为输入门、遗忘门、输出门以及单元状态的偏置矩阵.图5 AE-RNN 框架结构图在解码器的每个时间步, 使用由M 个正态分布组成的高斯混合模型(Gaussian mixture model, GMM)来建模点坐标偏移量(,)x y ∆∆, 使用类别分布来建模笔画状态123(,,)p p p . GMM 是一种通过将简单分布组合生成复杂分布的模型, 相比于单个的正态分布, 使用由多个正态分布组成的混合模型能够更好地拟合点坐标分布. 解码器时间步t的输出向量63y y (,)M t t t t +=+∈y y W h b y 包括长度为3的笔画状态向量123(,,)q q q , M 个混合权重(1,2,,)i Πi M =⋅⋅⋅, 以及M 个二元正态分布(,|,,,,)x y x y xy x y μμσσρ 的参数, 即11123ˆˆˆˆ[(,,,,,),,ˆˆˆˆˆˆˆ (,,,,,),()] .t x y x y xy M x y x y xy M ΠΠq q q μμσσρμμσσρ=⋅⋅⋅y为了确保标准差非负以及相关系数在‒1~1, 令ˆˆˆexp(),exp(),tanh()x x y y xy xy σσσσρρ===. 本文将通过最小化重构损失函数项r L 来训练AE-RNN, 即最大化生成的概率分布的对数似然来优化模型. r L 由2个部分组成: 重构点坐标偏移量(,)x y ∆∆的对数损失s L 和重构笔画状态123(,,)p p p 的对数损失p L , 即r s p ,L L L =+1962计算机辅助设计与图形学学报第32卷ss max 11log((,)),N i i L p x y N ==-∆∆∑max 3p ,,max111log().N k i k i i k L p q N ===-∑∑其中, (,)x y ∆∆为训练集样本; max N 表示当前训练集中最长草图所具有的笔画数; s N 表示当前草图所具有的笔画数; ,1(,)(,)=∆∆=∆∆∑Mi j i i i jj p x y Πx y为(,)x y ∆∆的概率分布函数,,11,Mj i j Π==∑,2,,(,)exp ,2(1)i i j j i xy j i x y Z ρ∆∆=-⎡⎤⎢⎥-⎢⎥⎣⎦22,,,,,22,,,,,,,,,,,,,,()()2()().x j i y j i j i x j iy j ixy j i x j i y j i x j i y j ix y Z x y μμσσρμμσσ∆-∆-=+-∆-∆-AE-CNN 与AE-RNN 的唯一区别是将编码器的结构替换为CNN, 原因是CNN 更善于捕捉像素化图片的局部空间结构. 首先, 将QuickDraw 数据集中的矢量化草图转化为像素化草图, 即将数据集中的原始序列转化为SVG 格式; 再将SVG 格式转化为481⨯48⨯的PNG 格式图片. 与AE-RNN 一样, AE-CNN 也没有采用KL 距离损失项. 由于本文使用AE-CNN 的目的是对草图在像素空间中的信息进行编码, 所以应尽可能多地将像素化草图具有的信息编码到隐空间, 移除KL L 项, 只使用r L 项, 可以使AE-CNN 专注于优化重构损失, 从而尽可能多地将有用的信息编码到隐空间. AE-CNN 的解码器和训练所用的重构损失R L 均与AE-RNN 相同.2.4 对抗网络模块对抗网络的生成器G 为AE-RNN 的编码器, 由它产生判别器D 的负样本-z , 即()-=En z x , 再利用预训练完成的AE-CNN 的编码器产生正样本+z .因为本文模型所使用的隐向量维度比较小, 所以对抗网络模块中的判别器D 使用的是简单的多层感知机(multi-layer perception, MLP), 一定程度上节约了训练成本. 训练过程与经典GAN [17]的训练过程相同, 其损失函数为data GAN ~GD~min max [log ()] [log(1(()))].p p L E D E D En +++=+-z z x z x其中, +p z 为预训练的AE-CNN 的隐空间分布; p data 为训练数据分布. 通过对抗训练即可将p +z 施加至AE-RNN 的隐空间, 得到一个融合多种草图信息的隐空间.2.5 模型训练本文模型的训练分2个部分交替进行, 一部分是AE-RNN 的重构训练; 另一部分是对抗训练. 当模型训练时, 在每个mini-batch 上, 首先输入矢量化的草图, 利用最小化重构损失项R L 训练AE-RNN; 然后将像素表示的草图输入预训练的AE-CNN 的编码器中得到正样本, 与AE-RNN 中得到的负样本一起利用对抗损失项训练生成器和判别器. 图4中的虚线箭头展示了获取对抗网络的正样本和负样本的流程.在重构训练阶段, 训练AE-RNN 的编码器, 将矢量草图所具有的信息编码到隐空间. 而在对抗训练阶段, 训练AE-RNN 的编码器(此时为生成器)来拟合像素草图的隐空间分布(即AE-CNN 的隐空间分布). 利用上述训练过程能够得到一个融合了2种不同草图表示形式的信息的隐空间, 而引入像素草图所具有的空间形状信息有利于改善重构结果出现的潦草效应.2.6 草图生成当模型训练完成后, 在采样阶段, 仅仅使用训练完成的AE-RNN 来生成草图. 此时, 模型已经将2种不同草图表示形式所具有的信息融合进了AE-RNN 的隐空间, 从该隐空间采样得来的隐向量可由解码器解码得到生成的草图.在采样的过程中, 解码器的每个时间步都会生成2部分参数: 用来建模点坐标偏移量的GMM 的参数和用来建模笔画状态的类别分布的参数. 利用上述2个分布, 可以采样得出当前时间步的笔画'i S . 不同于训练过程的是, 采样过程直接将当前时间步的笔画'i S 作为下一个时间步的输入. 按此步骤一直采样下去, 直到31=p 或者max =i N .与编码器一样, 解码器的输出也不是确定的, 而是一个以输入隐向量z 为条件的随机序列. 为了控制采样结果的随机性, 模型引入了一个随机程度参数τ, 通过2222x x y y ˆˆˆˆ,, ,k k k kqΠqΠσστσστττ→→→→ 来调节采样分布. 其中, ˆk q 和ˆkΠ分别为解码器某第12期赵鹏, 等: 基于对抗自编码器的矢量草图生成方法 1963一时间步生成的k q 和k ∏. 通过使用随机程度参数τ, 可以缩放类别分布的Softmax 参数以及二元正态分布的参数σ, 达到控制采样结果随机性的目的. τ的取值范围为(0,1), 当τ→0时, 采样的随机性变小, 模型变得确定, 每次采样的结果变得相似.3 实 验3.1 实验设置本文实验环境使用的是TensorFlow 深度学习框架, 所有模型均是在单张NVIDIA GeForce GTX 1080Ti 显卡上训练完成. 实验使用的训练集为QuickDraw, 本文选择其中的cat, fire truck, mos-quito 和yoga pose 4个类进行训练, 它们分别代表了动物、物体、昆虫和人类, 一定程度上捕捉了数据集的多样性.本文实验分为定性实验和定量实验. 其中, 定量实验中所有模型使用的随机程度参数均为τ=0.10, M =20, 训练轮数均为1 000 000, 隐向量维度为128, 批次(batch)的大小为100. 本文使用了梯度衰减技术来稳定训练, 初始学习率为0.000 10, 以每步0.999 90的概率逐步衰减至最小学习率0.000 01. 当进行对抗训练时, 判别器每更新1次, 生成器更新2次, 对抗学习率为0.000 10. 为了防止出现过拟合, 本文在LSTM 中采用了dropout 技术, 此外在训练中, 以一定的概率丢弃训练样本每一笔画中的数据点, 以此来达到数据增强的效果. 3.2 评测指标在Ske-score 度量指标[16]之前, 没有量化评测指标来度量矢量草图的好坏. 由于已有的矢量草图生成模型的生成结果容易出现潦草效应, Var-shaneya 等[16]提出了Ske-score 度量指标, 希望通过使用该指标能够对矢量草图上出现的潦草效应进行量化, 从而一定程度上能够度量生成的矢量草图的好坏. 本文采用了Ske-score 作为定量的评测指标. 一幅矢量草图的Ske-score 得分C , 一个模型的Ske-score 得分C M , 一个数据集的Ske-score 得分C D , 它们定义分别为lift touch,N C N = MM M11,N i i C C N ==∑DD D11.N j j C C N ==∑其中, lift N 为有效笔画中画笔离开纸面的笔画数;touch N 为有效笔画中画笔触碰纸面的笔画数; C i 为模型生成的第i 幅草图的Ske-score 得分; N M 为模型生成草图的数量; C j 为数据集中第j 幅草图的Ske-score 得分; N D 为数据集中包含的草图数量. Ske-score 分值反映了绘画过程中画笔离开纸面的频率, 高分值意味着画笔离开纸面的次数更多. 当D M ||C C ε-<时, 可以认为模型M 是一个可以生成无潦草效应草图的“好”模型.3.3 草图重构实验本文通过使用训练完成的模型来对测试集的样本进行重构, 定性地评价模型的好坏. 部分重构结果如图6所示, 图6a 和图6b 分别为sketch-AAE 在cat 类和fire truck 类上的重构结果. 所使用的模型均是在单个类上训练完成, 重构结果从左到右使用的τ值依次为0.01, 0.10, 0.30, 0.50, 0.70, 1.00.从图6中的每一行都可以看出, 从左到右随着τ值的增加, 重构结果的自由度越来越大. 图6a 和图6b 中的每一行都框出了一个较好的重构结果. 从重构结果可以发现, 本文方法具有一定程度的部件修复功能, 即能添加一些输入缺失的该类别常见的部件. 例如, 图6a 中第1行的部分重构结果补齐了输入中缺少的猫脸的左半边胡须, 第3行重构结果均添加了输入缺失的一只猫眼睛; 图6b 中第1行部分重构结果添加了输入中缺失的车轮, 第2行部分重构结果补齐了输入中缺失的车轮, 以及第3行部分重构结果添加了fire truck 中常见的梯子. 这表明sketch-AAE 较好地学习到了训练类别的特征, 归纳出该类别物体常见的部件特征, 并在重构时添加在物体适当的位置, 这一特性具有很好的应用前景, 也验证了本文所提方法的有效性. 在草图识别以及基于草图的图像检索场景中, 常常会遇到用户提交的一些所谓“画坏”的绘画结果, 如果直接输入这些样本, 势必会大大影响识别或检索的精度. 此时, 可以先将用户提供的样本送入训练完成的sketch-AAE 中重构, 将缺失的部件补齐, 再进行识别和检索, 这将有助于提高识别和检索的精度.3.4 隐空间插值实验为了进一步验证sketch-AAE 的有效性, 本文对训练完成的模型进行隐空间插值的实验. 通过AE-RNN 的解码器, 将2个隐向量之间的插值结果解码, 可以观察到一幅草图是如何逐渐变化成另一幅草图的. 同时, 转化过程本身的平滑性以及一致。

安徽大学计算机学院导师介绍 罗斌(院长)

安徽大学计算机学院导师介绍   罗斌(院长)
Richard C. Wilson, Edwin R. Hancock, Bin Luo, Pattern vectors from algebraic graph theory, IEEE Trans. on PAMI, 27(7), 2005, 1112-1124
Bin Luo, Richard C. Wilson and Edwin R. Hancock, A spectral approach to learning structural variations in graphs, Pattern Recognition, Vol. 39, No.6, 1188-1198, 2006
39no6118811982006获奖情况1亚洲计算机视觉学术会议获最佳论文奖2002年2安徽省科学技术一等奖工业窑炉燃烧监测与控制系统2008年3安徽省科学技术奖三等奖基于邻接图谱理论的图像分析方法研究2007年4安徽省模范教师2007年在研项目数字图像的随机点积图模型研究国家自然科学基金610731162011
安徽大学研究生导师简介
院(系、所):计算机科学与技术学院
姓名:罗斌
性别:男
出生年月:1963.5
导师类别:博导/硕导
技术职称:教授
联系方主要研究方向
模式识别与应用
数字图像处理与应用
个人简历
1984年本科毕业于安徽大学电子系获学士学位,2002年7月毕业于英国York大学计算机系获博士学位。1984至今任教于安徽大学,1998年晋升为教授, 2002年获得博士生导师资格。2004年起受聘安徽大学“皖江学者”特聘教授,2004年起担任计算机科学与技术学院院长。曾受聘英国电信公司(BT)短期研究员、美国弗罗里达技术学院计算机系访问教授、澳大利亚新南威尔士大学计算机学院访问研究员、英国York大学博士后研究员、英国Greenwich大学访问学者等。

实时个性化微博推荐系统

实时个性化微博推荐系统

实时个性化微博推荐系统
刘慧婷;程雷;郭孝雪;赵鹏
【期刊名称】《计算机科学》
【年(卷),期】2018(045)009
【摘要】目前很多社交网络服务对用户的个性化需求考虑得不充分,并且社交网络服务由于需要处理海量数据而难以保障服务的实时性.为了实时响应用户在微博推荐中的个性化请求,提高推荐的效率和质量,提出了一种基于LDA主题模型和KL散度相结合的RPM PS微博推荐模型.RPM PS推荐模型不但通过文档-主题概率分布矩阵获得了用户信息与待推荐微博的主题相似性,而且还通过文档-词来对词频概率进行统计,从而获得用户信息与待推荐微博的内容相似性.最后,基于RPM PS推荐模型构建实时个性化微博推荐系统,并在数据处理过程中对微博进行过滤以缩短系统的响应时间.通过真实数据集验证了系统可较好地满足用户的实时个性化需求.【总页数】8页(P253-259,265)
【作者】刘慧婷;程雷;郭孝雪;赵鹏
【作者单位】安徽大学计算机科学与技术学院合肥230601;安徽大学计算机科学与技术学院合肥230601;安徽大学计算机科学与技术学院合肥230601;安徽大学计算机科学与技术学院合肥230601
【正文语种】中文
【中图分类】TP319
【相关文献】
1.基于商品特征属性的个性化实时推荐系统研究 [J], 张警灿;王缓缓
2.基于LDA的微博用户实时个性化推荐算法 [J], 邓丹君
3.基于SNS的微博个性化推荐系统研究与设计 [J], 方勇; 杨佩诗; 黄培金; 张芳芳
4.基于商品特征属性的个性化实时推荐系统研究 [J], 张警灿;王缓缓
5.基于LDA的微博用户实时个性化推荐算法 [J], 邓丹君
因版权原因,仅展示原文概要,查看原文内容请购买。

利用数据挖掘技术从气象数据库中建立范例库

利用数据挖掘技术从气象数据库中建立范例库

利用数据挖掘技术从气象数据库中建立范例库
赵鹏;倪志伟;贾兆红
【期刊名称】《计算机技术与发展》
【年(卷),期】2002(012)003
【摘要】基于范例的推理中的知识表示是以范例为基础,目前,在基于范例的推理中,一个重要的任务是如何准备有效的范例库.在有些领域,过去虽然有比较详细的工作记录,建立了一些相关的数据库,但都是实际观测或工作运行状态的简单记录.我们采用了数据挖掘的技术来处理范例获取的问题,从存储于农业气象数据库中的信息发现范例,以形成范例库.
【总页数】4页(P67-70)
【作者】赵鹏;倪志伟;贾兆红
【作者单位】安徽大学计算机系计算智能与信号处理国家教育部重点实验室,安徽合肥,230039;安徽大学计算机系计算智能与信号处理国家教育部重点实验室,安徽合肥,230039;安徽大学计算机系计算智能与信号处理国家教育部重点实验室,安徽合肥,230039
【正文语种】中文
【中图分类】TP311.132
【相关文献】
1.利用《中刊库》光盘数据建立用户专题数据库的方法 [J], 杨国信;余鸣
2.利用NFS建立民航气象数据库系统的管理 [J], 舒秦
3.利用数据挖掘技术构造范例库的新方法探究 [J], 何夏青;倪志伟;刘玉
4.在AutoCAD中利用数据库技术建立基础地理信息库 [J], 潘国帅;任爱珠
5.利用ASP和数据库技术建立动态气象信息网站 [J], 杨春燕
因版权原因,仅展示原文概要,查看原文内容请购买。

基于粒度计算的覆盖算法

基于粒度计算的覆盖算法

基于粒度计算的覆盖算法
赵姝;张燕;平张铃
【期刊名称】《计算机科学》
【年(卷),期】2008(35)3
【摘要】为了更好地解决高维海量数据的分类问题,本文提出一种基于粒度计算的覆盖算法.该算法以粒度计算为理论依据,指出在分析研究某一问题时,可以适当将其属性、论域或者结构粗化,求得某个商空间,在该商空间中抓住事物的本质对其研究,对某些在同一个粗粒度世界无法识别或者彼此特征区别很弱的对象可以换一个粒度世界对其分析,从而全面了解整个问题;以构造性学习算法--覆盖算法为具体实现工具,得到多个商空间中的结果,最终由商空间理论中的函数合成法获得完整结果.实验证明这种基于粒度计算的覆盖算法在解决分类问题时是行之有效的.
【总页数】3页(P225-227)
【作者】赵姝;张燕;平张铃
【作者单位】安徽大学计算智能与信号处理教育部重点实验室,合肥,230039;安徽大学计算智能与信号处理教育部重点实验室,合肥,230039;安徽大学计算智能与信号处理教育部重点实验室,合肥,230039
【正文语种】中文
【中图分类】TP3
【相关文献】
1.基于粒度计算的覆盖算法在文本挖掘中的应用研究 [J], 周瑛;牛浏
2.基于模糊粒度计算的K-means文本聚类算法研究 [J], 张霞;王素贞;尹怡欣;赵海龙
3.基于粒度计算和覆盖算法的信号样式识别 [J], 张旻;程加兴
4.基于粒度计算的启发式搜索算法研究 [J], 林捷
5.基于粒度计算的分类属性数据离群点检测算法 [J], 刘晓平
因版权原因,仅展示原文概要,查看原文内容请购买。

融合主题和视觉语义的图像自动标注方法

融合主题和视觉语义的图像自动标注方法

融合主题和视觉语义的图像自动标注方法
赵鹏;王文彬;朱伟伟
【期刊名称】《计算机辅助设计与图形学学报》
【年(卷),期】2013(025)011
【摘要】为了减小图像语义检索过程中“语义鸿沟”的影响,提出融合主题和视觉语义的图像自动标注方法.该方法先在训练集的文本空间中用概率潜在语义分析(PLSA)模型拟合出主题集合;然后根据图像的高维视觉特征建立主题集合中每个主题的高斯混合模型(GMM),以准确描述其视觉语义信息,减小了“语义鸿沟”,提高了图像自动标注的准确性.在Corel数据集上进行了对比实验的结果表明,文中方法在标注的平均标准率和平均标全率上都表现良好,证明了其有效性.
【总页数】6页(P1709-1714)
【作者】赵鹏;王文彬;朱伟伟
【作者单位】安徽大学计算智能与信号处理教育部重点实验室合肥 230039;安徽大学计算机科学与技术学院合肥230601;安徽大学计算智能与信号处理教育部重点实验室合肥 230039;安徽大学计算机科学与技术学院合肥230601;安徽大学计算智能与信号处理教育部重点实验室合肥 230039;安徽大学计算机科学与技术学院合肥230601
【正文语种】中文
【中图分类】TP391.41
【相关文献】
1.基于视觉语义主题的图像自动标注 [J], 孙君顶;李海华;靳姣林
2.融合语义主题的图像自动标注 [J], 李志欣;施智平;李志清;史忠植
3.一种自适应的Web图像语义自动标注方法 [J], 许红涛;周向东;向宇;施伯乐
4.图像语义自动标注及其粒度分析方法 [J], 张素兰;郭平;张继福;胡立华
5.基于级联网络和语义层次结构的图像自动标注方法 [J], 翟晴;顾广华;孙雅倩;任贤龙
因版权原因,仅展示原文概要,查看原文内容请购买。

改进的EPTA并行细化算法

改进的EPTA并行细化算法

改进的EPTA并行细化算法
赵丹丹;王华彬;陶亮;周健
【期刊名称】《计算机工程与应用》
【年(卷),期】2016(052)009
【摘要】为了解决现有细化算法中像素冗余、分叉、畸变等问题,在ZS(ZHANG 和SUEN)并行细化算法的基础上增加了两个映像子过程,获得了更加接近中心线的骨架图像;通过增加判决条件并设计消除模板,提出了一种改进的EPTA并行细化算法,解决了EPTA细化算法的像素冗余、二像素宽度斜线细化局限性畸变等问题.实验结果表明改进的EPTA细化算法能得到更准确的完全细化结果.
【总页数】6页(P196-201)
【作者】赵丹丹;王华彬;陶亮;周健
【作者单位】安徽大学计算机科学与技术学院,合肥230601;安徽大学计算机科学与技术学院,合肥230601;安徽大学计算机科学与技术学院,合肥230601;安徽大学计算机科学与技术学院,合肥230601
【正文语种】中文
【中图分类】TP391;TN911.73
【相关文献】
1.图像并行细化算法改进研究 [J], 陈梅;王健
2.改进的符号图像并行细化算法 [J], 喻擎苍;苏斌;李华强;朱睽
3.Zhang并行细化算法的改进 [J], 张翠芳;杨国为;岳明明
4.一种改进的等高线并行细化算法 [J], 井元伟;李海燕
5.一种改进的快速并行细化算法 [J], 牟少敏;杜海洋;苏平;查绪恒;陈光艺
因版权原因,仅展示原文概要,查看原文内容请购买。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2007.6-今,安徽大学计算机科学与技术学院教师,副教授
2009.5-今,安徽大学计算机科学与技术学院软件工程系,副教授,副系主任
学பைடு நூலகம்成果
近期发表的主要学术论文:
[1]Peng Zhao,等. A Novel Approach for Clustering of Chinese Text Based on Concept Hierarchy, Proceedings of the 5th IEEE International Conference on Congnitive Informatics,2006 (ISTP收录)。
在研项目
网络信息采集与分析系统,安徽省信息产业厅专项基金项目
面向汽车开发开发的工程数据库的关键技术的研究,安徽省教育厅项目
填表时间:2011年4月16日
[2]赵鹏,等.一种基于聚类和分类的文章自动推荐系统,《南京大学学报(自然科学版)》,2006,42(5)。
[3]赵鹏,等.基于商空间模型的CBR系统,《计算机工程》,2006,32(24)(EI收录)。
[4]赵鹏,等.一种基于语义和统计特征的中文文本特征表示方法,《小型微型计算机系统》,2007,28(7)。
安徽大学研究生导师简介
院(系、所):计算机科学与技术学院
姓名:赵鹏
性别:女
出生年月:1976.8
导师类别:硕士生导师
技术职称:副教授
联系方式
zhaopeng_ad@
招生专业名称
计算机软件与理论
主要研究方向
信息检索
数据挖掘
人工智能
个人简历
2006年毕业于中国科学技术大学计算机应用技术专业,获得工学博士学位。
[5]赵鹏,等.一种基于《知网》的中文文本聚类算法的研究,《计算机工程与应用》,2007,43(12)。
[6]赵鹏,等.一种用于文章推荐系统中的用户模型表示方法,《计算机技术与发展》,2007,17(1)。
[7]赵鹏,等.一种基于加权复杂网络特征的K-means聚类算法,《计算机技术与发展》,2007,17(9)。
[8]赵鹏,等.一种基于复杂网络特征的中文文档关键词抽取算法,《模式识别与人工智能》,2007,20(6),(EI收录)。
[9]赵鹏,等.交联网络中的可重叠社团结构分析算法,《华南理工大学学报》,2008,36(5),(EI收录)。
获奖情况
2008年获《人工智能课程教学模式改革与建设》安徽省教学成果二等奖(排名3)。
相关文档
最新文档