利用人脸特征及其关系的漫画夸张与合成

第２２卷第１期计算机辅助设计与图形学学报Ｖ０１．２２Ｎｏ．１２０１０年１月ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒ—ＡｉｄｅｄＤｅｓｉｇｎＳ．ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓＪａｎ．２０１０利用人脸特征及其关系的漫画夸张与合成陈文ｊ目，石民勇，孙庆杰（中国传媒大学动画学院北京１０００２４）（ｃｗｊ＠ＣＵＣ．ｅｄｕ．ｅｎ）摘要：在人脸漫画中，人脸特征（脸型以及五官）形状的夸张与特征之间关系的夸张是存在差异的，而同前南计算机生成的人脸漫佃．算法中并未考虑这一点，为此提出一种漫厕夸张与合成方法．该方法由基于样本的特征的形状夸张、基于规则的特征之间的关系夸张以及两者之『Ｈ】的合成３部分组成．在人脸特征的形状夸张部分不需要大量的样本库，只通过少量的漫Ｉ田．样本便可以捕捉形状的夸张；在人脸特征之间的关系夸张部分，引入了直观的“Ｔ型规则”方式描述人脸特征存夸张时的相互关系；在人脸形状夸张与关系夸张两者的合成部分。

采用“比例”的形式来描述人脸特征以及特征之间的关系。

使得夸张后可以方便地进行两者的合成．最后采用调查问卷的方式评测该方法生成的漫画效果，结果表明其效果良好．关键词：基于样本的学习；Ｔ型规则；漫画；夸张中图法分类号：ＴＰ３９１ＣａｒｉｃａｔｕｒｅＳｙｎｔｈｅｓｉｓａｎｄＥｘａｇｇｅｒａｔｉｏｎＢａｓｅｄｏｎＦａｃｉａｌＦｅａｔｕｒｅｓａｎｄｔｈｅｉｒＲｅｌａｔｉｏｎｓｈｉｐＣｈｅｎＷｅｎｊｕａｎ，ＳｈｉＭｉｎｙｏｎｇ，ａｎｄＳｕｎＱｉｎｇｊｉｅ（ＡｎｉｍａｔｉｏｎＳｃｈｏｏｌ。

ＣｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ，Ｂｅｉｊｉｎｇ１０００２４）Ａｂｓｔｒａｃｔ：Ｔｈｅｄｉｆｆｅｒｅｎｃｅｂｅｔｗｅｅｎｓｈａｐｅｅｘａｇｇｅｒａｔｉｏｎａｎｄｒｅｌａｔｉｏｎｓｈｉｐｅｘａｇｇｅｒａｔｉｏｎｏｆｆａｃｅｆｅａｔｕｒｅｓｈａｓｂｅｅｎｓｅｌｄｏｍｃｏｎｓｉｄｅｒｅｄｉｎｅｘｉｓｔｉｎｇａｌｇｏｒｉｔｈｍｓｏｆｃａｒｉｃａｔｕｒｅｇｅｎｅｒａｔｉｏｎ．Ａｎｅｗｍｅｔｈｏｄｆｏｒｃａｒｉｃａｔｕｒｅｅｘａｇｇｅｒａｔｉｏｎａｎｄｓｙｎｔｈｅｓｉｓｉｓｐｒｏｐｏｓｅｄｉｎｔｈｅｐａｐｅｒ，ｃｏｖｅｒｉｎｇｓｈａｐｅｅｘａｇｇｅｒａｔｉｏｎ，ｒｅｌａｔｉｏｎｓｈｉｐｅｘａｇｇｅｒａｔｉｏｎａｎｄｇｌｏｂａｌｓｙｎｔｈｅｓｉｓ．Ｒａｔｈｅｒｔｈａｎｒｅｌｙｉｎｇｏｎａｌａｒｇｅｔｒａｉｎｉｎｇｓｅｔｏｆｃａｒｉｃａｔｕｒｅｆａｃｅｐａｉｒｓ，ｔｈｅｓｈａｐｅｅｘａｇｇｅｒａｔｉｏｎｓｔｅｐｉｓｂａｓｅｄｏｎｌｙｏｎｓｅｖｅｒａｌｃａｒｉｃａｔｕｒｅｅｘａｍｐｌｅｓｔｏｃａｐｔｕｒｅｔｈｅｓｈａｐｅｅｘａｇｇｅｒａｔｉｏｎ．Ｔ—Ｓｈａｐｅｒｕｌｅｉｓｉｎｔｒｏｄｕｃｅｄｉｎｔｈｅｒｅｌａｔｉｏｎｓｈｉｐｅｘａｇｇｅｒａｔｉｏｎｓｔｅｐ，ｔｏｄｅｓｃｒｉｂｅｔｈｅｒｅｌａｔｉｖｅｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎｔｈｅｆａｃｉａｌｅｌｅｍｅｎｔｓｉｎａｎｉｎｔｕｉｔｉｖｅｍａｎｎｅｒ．Ａｄｅｓｃｒｉｐｔｉｏｎｍｅｔｈｏｄｉｓｉｎｔｒｏｄｕｃｅｄｉｎｔｈｅｓｙｎｔｈｅｓｉｓｓｔｅｐ，ｉｎｃｈａｒａｃｔｅｒｉｚｉｎｇｔｈｅｆａｃｉａｌｆｅａｔｕｒｅｓｉｎｐｒｏｐｏｒｔｉｏｎｆｏｒｍ．Ｂｅｓｉｄｅｓ，ａｎａｎｏｎｙｍｏｕｓｑｕｅｓｔｉｏｎｎａｉｒｅｓｕｒｖｅｙｈａｓｂｅｅｎｕｎｄｅｒｔａｋｅｎｔｏｅｖａｌｕａｔｅｔｈｅｇｅｎｅｒａｔｅｄｃａｒｉｃａｔｕｒｅｗｉｔｈｔｈｉｓｍｅｔｈｏｄ．Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅｍｅｔｈｏｄ．Ｋｅｙｗｏｒｄｓ：ｅｘａｍｐｌｅ—ｂａｓｅｄｌｅａｒｎｉｎｇ；Ｔ—ｓｈａｐｅｒｕｌｅ；ｃａｒｉｃａｔｕｒｅ；ｅｘａｇｇｅｒａｔｉｏｎ作为人脸的一种表征方式，肖像漫画经常用来表达漫画家看人的观点．普通人因为不擅长这种绘制方法，所以很难通过这种艺术形式表达自己的观点．如何帮助这些不擅长漫ｉ画的普通人通过一种简单的方式来表达自己的观点，是计算机图形图像领域的研究热点．收稿日期：２００９—１２—２９；修回日期：２００９—１０—１３．基金项目：广电总局重大项目（２００７—０７）．陈文娟（１９７８～），女．博十研究生，主要研究方向为非真实感图形学；石民勇（１９６２一），男，博士，教授。

博士生导师。

主要研究方向为计算机动画、图论；孙庆杰（１９７２一），男，博士，副教授。

主要研究方向为计算机图形图像处理．１２２计算机辅助设计与图形学学报第２２卷根据心理学的研究，大多数漫ｉ哂家在画漫画时用左脑对人脸的各个特征形状进行分类，并且在脑海中找出对应的夸张方式，用右脑对人脸的各个特征之间的关系进行判断并夸张．本文将人脸漫画的夸张分为２部分：人脸特征（脸型及五官）的形状夸张和人脸特征之间的关系夸张．本文基于该思路提出了一种合成方法，首先将人脸分解成有意义的７个特征：脸型、左右眉、左右眼、鼻子和嘴，分别处理每个特征的形状夸张；然后处理这些特征之间的关系：位置，大小及角度关系；最后将形状夸张和关系夸张合成在一起得出最终的漫画效果．基于样本的学习方法可以很好地捕捉难以用语言描述的艺术风格创作．对于漫画而言，样本需要包含２部分：常规的人脸照片数据库和照片对应的漫画数据库．目前人脸数据库相对已经比较成熟，如ＯＲＩ。

数据库、Ｙａｌｅ数据库、ＡＲ人脸数据库、ＦＥＲＥＴ人脸数据库等，但是获得一个合适的漫Ｉ面数据库是非常困难的．能够用于样本学习的漫画数据库要求漫【田ｊ风格和创作手法相同，并且需要区分正面、侧面以及１／４面的３种不同的画法，同时需要有漫画相对应的人脸数据．在实际中很难得到大量具有相同风格或者来自同一个艺术家的肖像漫画训练数据，一般情况下，只能从一个漫【田ｊ家那里获得少量的漫画．本文提出了一种基于少数漫画样本进行漫画形状夸张效果学习的算法．脸部特征之间的关系夸张在漫画技巧中占据非常重要的位置，甚至不少漫画家认为漫画中的９０％都出白漫ｉ田ｊ家怎么调整人脸特征之间的关系．采用基于样本学习的方法来捕捉特征之间的全局关系需要大量的训练数据对，凶为人脸的各个特征参数（包括位置，缩放和角度）结合在一起会产生大量的组合，很难进行分类，所以在关系夸张方面采用基于漫画创作规则的方法更为合理．本文引入了“Ｔ型规则”和“比例描述”这２个概念，可以直观且有效地描述人脸特征之间的相互关系．１相关工作目前，针对计算机肖像漫画的研究主要分为４种．第一种方法是给用户提供一个辅助用户绘制漫画的工具，但是这些工具不能告诉用户如何进行夸张．Ａｋｌｅｍａｎ［１１提供一个人脸的框架，用户通过交互方式完成人脸漫画的创作．随后，Ａｋｌｅｍａｎ等［２］对文献［１］算法进行了改进，开发了基于单纯复形的自由变形技术．有经验的漫画家可以用这些工具来生成有趣的漫画。

但是没有经验的用户却很难决定如何去夸张人脸．第二种是基于模板的夸张方法．Ｃｈｅｎ等【３１提出的ＰｉｃＴｏｏｎ系统采用一套预先设定的夸张模板用来生成人脸漫俩，这些模板虽然可以保持人脸的完整性，但是用户只能选择固定的模板来进行夸张，没有太大的灵活度．第ｉ种方法采用总结漫ｉ砸ｉ创作规则，然后用计算机模拟这些规则，自动生成漫ｉ田ｉ效果．创作规则中最常用的就是夸张人脸与平均人脸之间的差异（ｅｘａｇｇｅｒａｔｉｏｎｔｈｅｄｉｆｆｅｒｅｎｃｅｆｒｏｍｍｅａｎ，ＥＤＦＭ）．Ｂｒｅｎｎａｎ【４１最早提出了ＥＤＦＭ这个概念并开发了一套吱可＝式的漫画生成系统，Ｋｏｓｈｉｍｉｚｕ等［５ｌ将与之相同的想法引入到其的ＰＩＣＡＳＳＯ漫Ｉ田Ｉ系统中，其中重点突出了如何提取人脸的特征点．周仁琴等¨］以及阎芳等¨］也是采用ＥＤＦＭ概念开发漫画系统，但是他们在特征点的提取和变形方面进行了改进．然而，对于ＥＤＦＭ是否是一种漫画创作规则目前存在不同的看法．Ｍｏ等哺］提出人脸特性的夸张不仅与平均值的差值有关，而且还和差值相对本身的变化量有关．Ｃｈｉａｎｇ等【９１首次将人脸的特征分成全局特征和局部特征分别进行处理．Ｋａｎｅｋｏ等［１０］应用主成分分析（ｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔｓａｎａｌｙｓｉｓ，ＰＣＡ）法对人脸的每个特征及其之间的位置关系进行夸张，最终合成在一起组成漫画．Ｔｓｅｎｇ等¨¨同样采用ＰＣＡ法处理人脸各特征以及特征之间的位置，不同的是文中提出了人脸的各特征之间互相的影响．这些方法都是采用半规则的方法夸张人脸的突出特征．第四种方法是基于样本学习的方法捕捉漫画艺术家创作的风格．这种方法常用于学习绘画艺术，如草图风格、非真实感绘制等方面．Ｃｈｅｎ等［１２１提出了一种基于样本学习的草图生成算法，用来捕捉某个艺术家绘制草图的风格．Ｃｈｅｎ等¨３］进一步将人脸数据分解为人脸各个特征的形状以及特征之间的位置关系２个部分分别进行处理．Ｌｉａｎｇ等ｆ１４］通过偏最ｔｂＳ．乘法分析人脸与漫画之间的关系，捕捉漫画家夸张的不同的类型，学习漫画绘制的方法．Ｓｈｅｔ等［１列提出采用神经网络来学习漫画中的形状变化，并证实采用瀑流关联的神经网络方法能够捕捉到艺术家的绘制风格，但文中的训练数据并没有进一步分成不同的类型，即意味着没有考虑不同样本类型的影响，而这个影响在漫画创作中是非常重要的．第１期陈文娟，等：利用人脸特征及其关系的漫画夸张与合成１２３以上的方法尽管获取人脸的数据库较容易，但是要组建一个相同风格的一一对应的人脸与漫面ｉ数据库并不容易．如果数据库要进一步分成不同的类型，每个类型可能只有很少的数据，那么以上这些基于样本的方法就不是很稳定．针对上面提到的两大问题，本文提出了基于少量的样本进行漫画夸张的手法．２本文方法流程本文提出了一种合成漫画的方法，其基本思想就是将人脸的数据从语义上分解成不同的特征，如眼睛、鼻子等，对于每一个特征首先独立处理它的形状，然后全局上处理各个特征之间的相互关系，最后将２部分合并为整体，得到漫画．本文采用主动外观模型（ａｃｔｉｖｅａｐｐｅａｒａｎｃｅｍｏｄｅｌ，ＡＡＭ）［１６］提取人脸上的８３个特征点来描述人脸的几何结构，并通过这些特征点在不同的人脸之间建立几何对应，如图ｌ所示．尽管ＡＡＭ是获得人脸形状的有效方法，但在实际中由于人的姿态、光照以及图片质量等因素的影响，自动定位的效果仍然不够精准．本文中采用一些辅助方法对特征点进行不同层次的调整．对于每一个人脸特征，本文采用基于样本的学习方法进行特征形状的夸张；特征之间的关系按照漫画的一些创作规则进行夸张．完成以上２类夸张之后，我们按照比例将这２类夸张结果合成在一起，形成最终的漫画效果．如图２所示．图１人脸的特征点３人脸特征的形状夸张图２本文方法流程图３．１数据预处理本文收集了３００幅人脸正面免冠照片作为训练样本集合，在网络和书籍上收集人脸漫画以及漫画对应人物的正面免冠照片３０对．对于照片采用ＡＡＭ对这些特征点进行定位；对于人脸漫画采用手工对其８３个特征点定位．人脸主要分为脸型、左眉、右眉、左眼、右眼、鼻子和嘴７个特征，本文按照通常的美术标准将每个特征进一步划分为Ｎ种类型．图３所示为脸型的分类，脸型通常分为瓜子脸、图３不同类型的脸型ｎ１２４计箅机辅助设计与图形学学报第２２卷三角脸、椭圆脸、围字脸、圆脸和菱形脸．本文对３００张人脸照片以及３０对漫Ｉ田．数据按照脸型进行分类．对于漫ｌ画而言，样本需要包含２部分：常规的人脸照片数据库和照片对应的漫画数据库．本文提到的基于少量样本指的是漫画样本．对于人脸脸型，如果将其划分为６类脸型，那么仅需要６对漫画样本即可．下面介绍基于少数样本进行漫Ｉ田ｉ学习的方法．３．２基于样本的学习对于任何一个人脸特征通过样本学习的方法是一样的，下面举例说明如何学习漫画中对于人脸脸型的处理．假定一个给定的原始人脸训练库｛Ｘ，，ｉ＝１，…，九），该库中都是长脸的数据．假定｛Ｘ。