基于图像的非真实感艺术绘制技术综述
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在 NPR 中，为了获得特定的艺术效果，绘 制效果的颜色往往是需要考虑的一个重要方面。 比如，把一幅普通照片渲染成油画风格，由于照 片颜色可能比较单一，导致整个绘制画面颜色比 较呆板、缺乏生气，而不能达到油画般丰富的颜 色效果，需要对其进行颜色渲染，增强其颜色效 果。有多种方式可以改变图像的颜色，其基本形 式可以用变换 T 表示： I tr t = T ( I s ) ，其中， I tr t , I s 分别表示变换后的图像和源图像；T 可 以是滤波器，也可以是一个映射或函数关系。近 几年来，统计学已经广泛应用于视觉信息处理， 将 T理解为把源图像的统计信息传输至目标图像 是一个全新的思路，也就是颜色传输技术。它有 效利用了图像的基本统计信息，变换目标图像的 统计信息，使之与样本图像具有相似的统计分 布，从而使得两幅图像具有类似的颜色特征，达 到颜色传输的目的。 1.1 全局颜色传输算法
Abstr act: Non-photorealistic rendering (NPR)，which is belong to computer art category, is a new problem in computer graphics and image processing, and much attention is given to this field from home and abroad. A detailed survey of current techniques for NPR is given. Firstly, the studying meaning and studying range are presented. Secondly, the related key technologies are summarized in detail. Some typical NPR algorithms are compared and classified. Finally, some key research issues that need further research efforts are pointed out.
图 1 给出了各种颜色传输算法的实验效果， 目的是将源图像图 1(a)的颜色特征传输至目标图 像图 1(b)。图 1(c)直接应用全局颜色传输算法， 整个画面被一层淡淡的黄色笼罩，但树叶、树干
(a) 源图像
(b) 目标图像
(c) Reihard 等[5]算法实验效果 (d ) 高阶矩传输效果[6]
(e) 文献[7]算法传输效果 图 1 各种颜色传输算法的传输效果
2010 年 第1期
工程图学学报
J OURNAL OF ENG INEERING GRAP HICS
201 0 No.1
Fra Baidu bibliotek
基于图像的非真实感艺术绘制技术综述
钱 小燕
（南京航空航天大学民航学院，江苏 南京 210016）
摘
要：非真实感绘制是计算机图形学和图像处理中一个崭新的课题，属于计算机
艺术的范畴，正受到国内外研究者越来越多的重视并取得了一系列的研究成果。首先简要介
第1期
钱小 燕：基于图像的非真实感艺术绘制技术综述
·7·
油画、中国画、点画等；在计算机动画制作中也 有了广泛的应用，它不仅能够实现动画数据作为 运动图像的可视化，也可实现其作为静态图像的 可视化；非真实感绘制与计算机辅助建筑设计结 合，在建筑业也获得了重要的应用，它们的结合 不但可以向用户展示未来环境中的建筑物，而且 可以利用虚拟现实技术进行场景设置，使人们能 够在建筑物建好之前就可以“访问”它；另外， 在医学领域，非真实感绘制技术可实现医学数据 的可视化；还可实现针对盲人的触觉绘制等。
2 基于纹理合成的艺术风格传输
应用纹理合成技术生成具有特定艺术风格 的图像是基于图像的非真实感艺术绘制的一个 重要方面。这种技术不像基于物理过程的绘制， 需要对各种手绘风格图像的特征进行比较深入 的研究和分析，并需要较多的交互工作，对不熟 悉绘画的用户，要调试出具有较好视觉效果的风 格画很不容易。基于纹理合成的非真实感艺术绘 制仅需设定与纹理合成相关的参数便可自动把 手绘图像的风格传输至目标图像，使得目标图像 具有与源图像类似的艺术风格。
文 章 编 号：1003-0158(2010)01-0006-07
Sur vey on Non-Photor ealistic Render ing Technology for Ar tistic Images
QIAN Xiao-yan
( Coll ege of Civil Aviat ion, Nanj ing University of Aeronauti cs and Astronaut ics, Nanjing Jiangsu 210016, China )
等都呈现出不真实的黄色。图 1(d)经高阶矩调整 后，获得了更加明亮、清晰的传输效果，但也不 能很好地避免失真情况。但图 1(c)、(d)能呈现出 一种陈年老照片的艺术感。图 1(e)为应用模糊 C均值颜色聚类的颜色传输算法的传输效果。可以 看出，图 1(e)较好地继承了源图像中各域的颜色 特征，树木、天空等仍保持了比较真实、自然的 颜色效果，整个画面更加清晰，更加接近目标图 像的颜色分布。
应用纹理合成技术实现两幅图像间的艺术 风格传输的工作仍不是很多。Hertzmann 等[8]提 出了一种基于类推思想的绘制算法，可以将绘画 风格传输到新的实例中。为了获得具有画家本人 风格特点的绘制效果，该算法需要一对源图像 A， A′和一幅目标图像 B′，其中 A 是 A′的原始参考图 像。算法通过学习源图像间纹理合成的方法，再 将这一方法类推到目标图像中，从而生成类似于 源图像艺术风格的图像。当原始参考图像无法获 得时，文献[8]采用了对 A′滤波的方法得到 A，虽 然这种方法具有较大的随机性，不易控制 A 的调 整程度，但仍可获得比较好的类比效果。徐文华 等[9]将纹理合成算法应用在敦煌壁画虚拟的复原 临摹工作中，取得了较好的效果。文献[8]和文献 [9]都采用两种搜索方法来寻找待选点：逼近搜索 获得全局最优的匹配点，经典 Ashikhmin 算法[10] 获得邻域相关的待选点。综合运用这两种方法虽 然能够获得不错的风格传输效果，但为了获得一 个匹配点，逼近搜索需要上万次的迭代，并且源 图像分辨率愈高，迭代次数越多；而 Ashikhmin 算法也需要几十次的计算才能获得一个待选点。
绍了非真实感绘制的研究意义及其研究范围；然后通过对其中涉及的主要关键算法进行总结
分析，并对国内外典型的绘制方法进行比较和分类，阐述了非真实感绘制的主要研究内容；
最后对今后的发展方向做出了展望。
关 键 词：计算机应用；非真实感绘制；综述；颜色传输；纹理合成；基于画笔的绘
制
中图分类号：TP 391
文献标识码：A
针对以上问题，文献[7]在以往颜色传输算法 基础上，把模糊 C- 均值聚类算法应用到颜色传 输中，提出了一种基于模糊 C- 均值颜色聚类的
·8·
工程图学学报
2010 年
颜色传输算法：利用模糊颜色聚类思想把源图像 和目标图像分成若干包含不同颜色特征的聚类 域；为了获得匹配域，为每个聚类域设置一个匹 配权值参数，根据目标图像的特征采用不同的权 值计算方法；然后根据目标图像中的匹配权值在 源图像中选取一个与之最接近的域作为匹配域； 最后在颜色传输过程中，引入隶属度因子对各聚 类域的处理结果进行平滑，解决图像中存在不确 定性信息的情况。与以往颜色传输算法相比，基 于模糊 C- 均值颜色聚类思想的颜色传输算法能 够获得更加和谐、自然的传输效果。对于相似性 较差的图像，利用模糊聚类的思想，能够获得更 加有效的分区；通过匹配权值获得有效的对应模 块，能够使得传输效果更加自然，真实。
带有美学特征的方式借助计算机表现出来，也即 能在形式上指定一种可展现绘画作品的方式并 随之编写生成非真实感绘画作品的计算机程 序[1-3]。
目前，非真实感绘制技术已经能够实现多种 艺术作品的模拟创作，如：水彩画、各种风格的
收稿日期：2007- 10-26 作者简介：钱小燕（1979- ），女，江苏泰兴人，讲师，博士研究生，主要研究方向为计算机图像处理与非真实感绘制算法，无线通信技术。
基于图像空间的非真实感艺术绘制工作可 分为两类：一类是计算机自动绘制生成所需的艺 术风格图像，典型算法包括颜色传输和基于纹理 合成的艺术风格传输。另一类是基于过程的物理 模拟，即基于画笔的非真实感艺术绘制。它通过 抽象出特定的笔刷模型，使之产生与现实绘画工 具相似的艺术效果。下面进行分类描述。
1 颜色传输算法
第1期
钱小 燕：基于图像的非真实感艺术绘制技术综述
·9·
因此，为了获得最终传输效果，需要花费几十分 钟甚至一小时的时间。
逼近搜索和 Ashikhmin 算法都以 L2 距离作为 相似性度量，而此方法是个不完美的概念性相似 度量方法，潜在的平滑高斯模型往往使得合成效 果比较模糊，因此需要寻求更好的度量方法来获 得最佳匹配点。文献[11]以经典 Ashikhmin 算法 为基础并对其进行改进，提出了一种新的邻域一 致性度量方法，把源图像和目标图像及其低频图 像的统计特性引入相似性度量中，提高了匹配点 搜索的效率。此文献还以随机产生待选点的方法 扩大搜索范围，同时采用双向扫描方法进行风格 传输，解决了 Ashikhmin 算法易产生纹元不完整 的情况，以及绘制效果中存在可察觉水平边缘的 现象，从而获得了理想的风格传输效果，且收敛 速度也大大提高（图 2 所示将一幅水杉图片渲染 成斑驳效果）。
将图像的峰度和斜度等高阶信息引入颜色 传输中，虽然对全局颜色传输算法有所改进，但 对相似性较差或包含多个不同颜色区域的图像 仍不能获得自然的传输效果。主要原因在于没有 能够提供传输过程中所需的足够的空间信息，当 源图像或目标图像包含多个不同颜色区域时，不 能有效分辨出这些区域包含的不同统计信息，从 而导致混合传输，形成不自然的传输效果。就这 一问题，Reinhard 等[5]提出了一种分而治之的解 决方法：从两幅图像中取出代表不同对象的若干 块，选择对应的颜色传输块，对应块间采用全局 颜色传输的思想进行颜色传输。但该方法仍没能 提供足够的分区信息，也没能给出对应块的选择 标准。
为了体现颜色空间中的不同特性，人们总结 了很多颜色空间模型，但许多颜色空间关联性都 比较强，当编辑图像的时候，常常需要对像素的 3 个分量同时修改才不会影响图像本身具有的自 然效果。Ruderman 等[4]提出了一种更适合于人
类视觉感知系统的空间－ιαβ颜色空间的概念，
并给出一个简单的 3 ×3 的矩阵把 RGB 空间的向
K ey words: computer application; non-photorealistic rendering; survey; color transfer; texture analysis; stoke-based rendering
非真实感绘制（Non-photorealistic Rendering, NPR）是计算机图形学和图像处理中一个崭新的 课题，属于计算机艺术的范畴。NPR 是计算机科 学与艺术的有效融合，以计算机为工具，搭建各 种数学模型并设计各种算法，来模拟艺术式的绘 制风格。主要目的是将某个对象以简洁、含蓄、
量转换到ιαβ空间，其中，ι表示非彩色通道；α 表示黄－蓝通道；β表示红－绿通道。这一空间
的 3 个通道相互正交，对于自然场景，通道间的 相关性降到了最小。Reinhard 等[5]把这个空间应 用到颜色传输中，提出了全局颜色传输的概念。 利用图像的全局统计特征，对目标图像的 3 个通 道分别进行修改，使其具有类似于源图像的统计 特征。这一算法对具有单颜色基调图像的处理比 较成功，但对多颜色基调的图像却不能获得自 然、真实的传输效果。 1.2 基于高阶矩的颜色传输算法
全局颜色传输算法仅将图像视为二阶过程， 但人们通过从单个属性的边际分布和多个属性 的联合分布的形状中得出的结论是：图像具有较 高的峰值，仅仅假定其为二阶过程是不够的。这 一发现改变了人们一味地走传统高斯分析的路 子，转而更多地从图像中捕获高阶信息。赵国英 等[6]利用幂变换和模变换对源数据的斜度和峰度 等高阶矩进行调整，使之类似于样本图像的分 布，再结合全局颜色传输使得绘制效果的整体光 照或部分光照更加类似于样本图像的特征，从而 使得传输效果得到了进一步的改善。 1.3 分而治之的颜色传输
Abstr act: Non-photorealistic rendering (NPR)，which is belong to computer art category, is a new problem in computer graphics and image processing, and much attention is given to this field from home and abroad. A detailed survey of current techniques for NPR is given. Firstly, the studying meaning and studying range are presented. Secondly, the related key technologies are summarized in detail. Some typical NPR algorithms are compared and classified. Finally, some key research issues that need further research efforts are pointed out.
图 1 给出了各种颜色传输算法的实验效果， 目的是将源图像图 1(a)的颜色特征传输至目标图 像图 1(b)。图 1(c)直接应用全局颜色传输算法， 整个画面被一层淡淡的黄色笼罩，但树叶、树干
(a) 源图像
(b) 目标图像
(c) Reihard 等[5]算法实验效果 (d ) 高阶矩传输效果[6]
(e) 文献[7]算法传输效果 图 1 各种颜色传输算法的传输效果
2010 年 第1期
工程图学学报
J OURNAL OF ENG INEERING GRAP HICS
201 0 No.1
Fra Baidu bibliotek
基于图像的非真实感艺术绘制技术综述
钱 小燕
（南京航空航天大学民航学院，江苏 南京 210016）
摘
要：非真实感绘制是计算机图形学和图像处理中一个崭新的课题，属于计算机
艺术的范畴，正受到国内外研究者越来越多的重视并取得了一系列的研究成果。首先简要介
第1期
钱小 燕：基于图像的非真实感艺术绘制技术综述
·7·
油画、中国画、点画等；在计算机动画制作中也 有了广泛的应用，它不仅能够实现动画数据作为 运动图像的可视化，也可实现其作为静态图像的 可视化；非真实感绘制与计算机辅助建筑设计结 合，在建筑业也获得了重要的应用，它们的结合 不但可以向用户展示未来环境中的建筑物，而且 可以利用虚拟现实技术进行场景设置，使人们能 够在建筑物建好之前就可以“访问”它；另外， 在医学领域，非真实感绘制技术可实现医学数据 的可视化；还可实现针对盲人的触觉绘制等。
2 基于纹理合成的艺术风格传输
应用纹理合成技术生成具有特定艺术风格 的图像是基于图像的非真实感艺术绘制的一个 重要方面。这种技术不像基于物理过程的绘制， 需要对各种手绘风格图像的特征进行比较深入 的研究和分析，并需要较多的交互工作，对不熟 悉绘画的用户，要调试出具有较好视觉效果的风 格画很不容易。基于纹理合成的非真实感艺术绘 制仅需设定与纹理合成相关的参数便可自动把 手绘图像的风格传输至目标图像，使得目标图像 具有与源图像类似的艺术风格。
文 章 编 号：1003-0158(2010)01-0006-07
Sur vey on Non-Photor ealistic Render ing Technology for Ar tistic Images
QIAN Xiao-yan
( Coll ege of Civil Aviat ion, Nanj ing University of Aeronauti cs and Astronaut ics, Nanjing Jiangsu 210016, China )
等都呈现出不真实的黄色。图 1(d)经高阶矩调整 后，获得了更加明亮、清晰的传输效果，但也不 能很好地避免失真情况。但图 1(c)、(d)能呈现出 一种陈年老照片的艺术感。图 1(e)为应用模糊 C均值颜色聚类的颜色传输算法的传输效果。可以 看出，图 1(e)较好地继承了源图像中各域的颜色 特征，树木、天空等仍保持了比较真实、自然的 颜色效果，整个画面更加清晰，更加接近目标图 像的颜色分布。
应用纹理合成技术实现两幅图像间的艺术 风格传输的工作仍不是很多。Hertzmann 等[8]提 出了一种基于类推思想的绘制算法，可以将绘画 风格传输到新的实例中。为了获得具有画家本人 风格特点的绘制效果，该算法需要一对源图像 A， A′和一幅目标图像 B′，其中 A 是 A′的原始参考图 像。算法通过学习源图像间纹理合成的方法，再 将这一方法类推到目标图像中，从而生成类似于 源图像艺术风格的图像。当原始参考图像无法获 得时，文献[8]采用了对 A′滤波的方法得到 A，虽 然这种方法具有较大的随机性，不易控制 A 的调 整程度，但仍可获得比较好的类比效果。徐文华 等[9]将纹理合成算法应用在敦煌壁画虚拟的复原 临摹工作中，取得了较好的效果。文献[8]和文献 [9]都采用两种搜索方法来寻找待选点：逼近搜索 获得全局最优的匹配点，经典 Ashikhmin 算法[10] 获得邻域相关的待选点。综合运用这两种方法虽 然能够获得不错的风格传输效果，但为了获得一 个匹配点，逼近搜索需要上万次的迭代，并且源 图像分辨率愈高，迭代次数越多；而 Ashikhmin 算法也需要几十次的计算才能获得一个待选点。
绍了非真实感绘制的研究意义及其研究范围；然后通过对其中涉及的主要关键算法进行总结
分析，并对国内外典型的绘制方法进行比较和分类，阐述了非真实感绘制的主要研究内容；
最后对今后的发展方向做出了展望。
关 键 词：计算机应用；非真实感绘制；综述；颜色传输；纹理合成；基于画笔的绘
制
中图分类号：TP 391
文献标识码：A
针对以上问题，文献[7]在以往颜色传输算法 基础上，把模糊 C- 均值聚类算法应用到颜色传 输中，提出了一种基于模糊 C- 均值颜色聚类的
·8·
工程图学学报
2010 年
颜色传输算法：利用模糊颜色聚类思想把源图像 和目标图像分成若干包含不同颜色特征的聚类 域；为了获得匹配域，为每个聚类域设置一个匹 配权值参数，根据目标图像的特征采用不同的权 值计算方法；然后根据目标图像中的匹配权值在 源图像中选取一个与之最接近的域作为匹配域； 最后在颜色传输过程中，引入隶属度因子对各聚 类域的处理结果进行平滑，解决图像中存在不确 定性信息的情况。与以往颜色传输算法相比，基 于模糊 C- 均值颜色聚类思想的颜色传输算法能 够获得更加和谐、自然的传输效果。对于相似性 较差的图像，利用模糊聚类的思想，能够获得更 加有效的分区；通过匹配权值获得有效的对应模 块，能够使得传输效果更加自然，真实。
带有美学特征的方式借助计算机表现出来，也即 能在形式上指定一种可展现绘画作品的方式并 随之编写生成非真实感绘画作品的计算机程 序[1-3]。
目前，非真实感绘制技术已经能够实现多种 艺术作品的模拟创作，如：水彩画、各种风格的
收稿日期：2007- 10-26 作者简介：钱小燕（1979- ），女，江苏泰兴人，讲师，博士研究生，主要研究方向为计算机图像处理与非真实感绘制算法，无线通信技术。
基于图像空间的非真实感艺术绘制工作可 分为两类：一类是计算机自动绘制生成所需的艺 术风格图像，典型算法包括颜色传输和基于纹理 合成的艺术风格传输。另一类是基于过程的物理 模拟，即基于画笔的非真实感艺术绘制。它通过 抽象出特定的笔刷模型，使之产生与现实绘画工 具相似的艺术效果。下面进行分类描述。
1 颜色传输算法
第1期
钱小 燕：基于图像的非真实感艺术绘制技术综述
·9·
因此，为了获得最终传输效果，需要花费几十分 钟甚至一小时的时间。
逼近搜索和 Ashikhmin 算法都以 L2 距离作为 相似性度量，而此方法是个不完美的概念性相似 度量方法，潜在的平滑高斯模型往往使得合成效 果比较模糊，因此需要寻求更好的度量方法来获 得最佳匹配点。文献[11]以经典 Ashikhmin 算法 为基础并对其进行改进，提出了一种新的邻域一 致性度量方法，把源图像和目标图像及其低频图 像的统计特性引入相似性度量中，提高了匹配点 搜索的效率。此文献还以随机产生待选点的方法 扩大搜索范围，同时采用双向扫描方法进行风格 传输，解决了 Ashikhmin 算法易产生纹元不完整 的情况，以及绘制效果中存在可察觉水平边缘的 现象，从而获得了理想的风格传输效果，且收敛 速度也大大提高（图 2 所示将一幅水杉图片渲染 成斑驳效果）。
将图像的峰度和斜度等高阶信息引入颜色 传输中，虽然对全局颜色传输算法有所改进，但 对相似性较差或包含多个不同颜色区域的图像 仍不能获得自然的传输效果。主要原因在于没有 能够提供传输过程中所需的足够的空间信息，当 源图像或目标图像包含多个不同颜色区域时，不 能有效分辨出这些区域包含的不同统计信息，从 而导致混合传输，形成不自然的传输效果。就这 一问题，Reinhard 等[5]提出了一种分而治之的解 决方法：从两幅图像中取出代表不同对象的若干 块，选择对应的颜色传输块，对应块间采用全局 颜色传输的思想进行颜色传输。但该方法仍没能 提供足够的分区信息，也没能给出对应块的选择 标准。
为了体现颜色空间中的不同特性，人们总结 了很多颜色空间模型，但许多颜色空间关联性都 比较强，当编辑图像的时候，常常需要对像素的 3 个分量同时修改才不会影响图像本身具有的自 然效果。Ruderman 等[4]提出了一种更适合于人
类视觉感知系统的空间－ιαβ颜色空间的概念，
并给出一个简单的 3 ×3 的矩阵把 RGB 空间的向
K ey words: computer application; non-photorealistic rendering; survey; color transfer; texture analysis; stoke-based rendering
非真实感绘制（Non-photorealistic Rendering, NPR）是计算机图形学和图像处理中一个崭新的 课题，属于计算机艺术的范畴。NPR 是计算机科 学与艺术的有效融合，以计算机为工具，搭建各 种数学模型并设计各种算法，来模拟艺术式的绘 制风格。主要目的是将某个对象以简洁、含蓄、
量转换到ιαβ空间，其中，ι表示非彩色通道；α 表示黄－蓝通道；β表示红－绿通道。这一空间
的 3 个通道相互正交，对于自然场景，通道间的 相关性降到了最小。Reinhard 等[5]把这个空间应 用到颜色传输中，提出了全局颜色传输的概念。 利用图像的全局统计特征，对目标图像的 3 个通 道分别进行修改，使其具有类似于源图像的统计 特征。这一算法对具有单颜色基调图像的处理比 较成功，但对多颜色基调的图像却不能获得自 然、真实的传输效果。 1.2 基于高阶矩的颜色传输算法
全局颜色传输算法仅将图像视为二阶过程， 但人们通过从单个属性的边际分布和多个属性 的联合分布的形状中得出的结论是：图像具有较 高的峰值，仅仅假定其为二阶过程是不够的。这 一发现改变了人们一味地走传统高斯分析的路 子，转而更多地从图像中捕获高阶信息。赵国英 等[6]利用幂变换和模变换对源数据的斜度和峰度 等高阶矩进行调整，使之类似于样本图像的分 布，再结合全局颜色传输使得绘制效果的整体光 照或部分光照更加类似于样本图像的特征，从而 使得传输效果得到了进一步的改善。 1.3 分而治之的颜色传输