基于GPU的非真实感图形学水墨渲染

上海交通大学硕士学位论文基于GPU的非真实感图形学水墨渲染基于GPU的非真实感图形学水墨渲染
摘要
目前，非真实感图形学发展非常迅速，在影视、游戏和动画制作等诸多领域都有广泛的应用。

本文研究了基于GPU的水墨风格渲染，运用了当前流行的图形硬件技术，将中国传统艺术形式与非真实感图形学技术相结合，研究成果对推进中国水墨风格的计算机应用以及相关影视娱乐产业的发展具有一定现实意义。

通过对中国水墨画特点的深入观察分析，调查当前非真实感图形学技术发展以及深入了解了当前图形处理硬件的相关知识后，本论文提出了利用可编程图形处理硬件将三维模型实时转换为水墨画效果非真实感图形的渲染方法，并做了多种水墨风格的研究以及泼墨动画和关键帧动画的研究。

对模型内部着色渲染上,实现了过渡自然的水墨效果;对轮廓线绘制上，找到适合于中国水墨画风格的轮廓线渲染方法，通过双层纹理和多遍绘制的方法实现更真实的水墨轮廓线效果，将亦虚亦实的水墨效果较好的表现出来。

本文在已经建立的算法基础上还研究了多种水墨效果的实现，包括工笔画效果、彩绘效果、水墨浸润效果、背景融合效果等。

本文用到的主要算法是可以利用可编程硬件(GPU)加速的纹理查找算法和向量点积乘法,算法优点在于处理速度较快。

此外，渲染前纹理预
上海交通大学硕士学位论文基于GPU的非真实感图形学水墨渲染处理也保证了渲染过程高效快速。

对比该领域的相关研究成果，本文的研究实现了更具备视觉效果的渲染算法和较高效的处理技术。

关键词：水墨渲染，非真实感图形学，实时，图形硬件，视觉效果
上海交通大学硕士学位论文基于GPU的非真实感图形学水墨渲染GPU-BASED NON-PHOTOREALISTIC RENDERING OF
CHINESE INK DRAWING
ABSTRACT
The non-photorealistic rendering now has rapid development. It is applied in the fields of movie, video game and CG animation. We do research in the Chinese ink drawing based on Graphics Processing Unit, and combine the NPR and Chinese traditional art by using new graphics hardware technology. The research result can contribute to the development of Chinese painting’s application on computer and the related entertainment industry.
This paper proposes a method to transform 3D models to Chinese painting style in real-time, after studying Chinese ink drawing features and investigating the development in NPR and studying the knowledge of GPU. We also do research in some kinds of Chinese style painting simulation and animation.
This paper implements ink transition effect in model’s inner shading,
上海交通大学硕士学位论文基于GPU的非真实感图形学水墨渲染finds the way of silhouette rendering with Chinese ink drawing style and implements better ink silhouette effect by using texture operation.
This paper uses the acceleration of graphics hardware on texture finding and vector operation. Our algorithm is really fast and it is the one of the most important feature of this paper. The application of texture preprocessing also improves the efficiency of our method.
Comparing with the related achievement in this field, this paper implements an efficient rendering algorithm with better visual effect.
KEY WORDS: Chinese ink drawing, NPR, real-time, graphics hardware, visual effect
上海交通大学硕士学位论文基于GPU的非真实感图形学水墨渲染
第一章概述
1.1 引言
随着时代进步与科技的迅速发展，计算机技术越来越多的应用到影视、游戏等强调视觉感观的领域中去，这些应用也反过来带动了计算机图形渲染技术的飞速发展。

当前图形学中用到的渲染技术大体可以分为真实感图形渲染技术和非真实感图形渲染技术，即NPR(Non-photorealistic Rendering)两类,目前模仿照相机输出的真实感图形渲染技术已经十分成熟，而非真实感图形渲染技术近十几年来则得到了更多的关注和应用，在其研究领域也得到很多突破性的进展。

NPR技术追求的是艺术化渲染效果，目前大多数NPR的研究成果都集中在西方艺术形式的模拟上，如油画、水粉、素描等，而东方的艺术形式的研究还相对较少。

东方(尤其是中国)悠久的文明孕育了无数非凡的艺术成就，用具独特，以意传神的水墨画就是其中璀璨的一支。

水墨绘画艺术历史悠久，渊远流长，经过数千年的不断丰富、革新和发展，创造了具有鲜明民族风格和丰富多彩的艺术表现手法，形成了独特的绘画语言体系，在东方以至世界艺术中都具有重要的地位与影响。

经过深入分析和研究中国画的风格以及用具(纸笔墨)的特点，结合对目前图形学软硬件技术发展现状的研究，本论文提出了一种利用可编程图形处理硬件将三维模型实时转换为非真实感水墨画效果的渲染方法，并做了多种风格化处理以及关键帧动画的研究。

本文的水墨画风格非真实感实时渲染技术可以应用于中国画风格的影视特效制作，
如果能够以计算机图形技术促进反映中国历史文化的中国独特的水墨动画制作，将在很大程度上的推动相关行业的制作水平和发展。

此外在电脑游戏、电视游戏上，实时的水墨处理技术也可以为制作人提供更为广阔的创作空间，带给受众更多更好的视觉体验。

1.2 非真实感图形学的发展
20世纪60年代，计算机图形学的开拓者们在图形学领域引入了真实感（Photorealism）一词，进而人们用真实感计算机图形学（Photorealistic Computer Graphics）这一术语来表示模仿照相机输出的一系列技术, 真实感计算机图形学也形成了计算机图形绘制技术第一个
上海交通大学硕士学位论文基于GPU的非真实感图形学水墨渲染大类。

迄今为止，真实感计算机图形学通常采用物理建模的方法，基于物理的模型场景，对场景的色彩、材质、光照等属性进行模拟和仿真，并研究与对象进行交互，进而实现真实的结果。

简而言之，真实感计算机图形学就是对人们观察世界、摄影摄像过程的模拟和仿真。

而回顾一下艺术发展的历史我们会发现，早在十七世纪的欧洲就有艺术家用较精细的笔触来进行对现实的真实刻画。

后来，由于过于细腻的画技风格使得绘画与照片无法区分引来了一系列的批评，有人认为这种真实背离了艺术，是一种“灵魂的缺失”。

随着真实感图形学的深入发展，它也无可避免的面临了同样的困境。

图形学的发展使更多的研究致力于这些问题的解决，到了1990年，Haelberi[1]的开创性论文给出了若干对照片或视频序列进行抽象处理并得到特定的艺术效果的结果，这也标志了图形学绘制技术的第二个大类――非真实感图形绘制(non-photorealistic rendering，NPR)的诞生。

从技术上讲，对真实感的追求成就了绘制技术的历史，计算机图形学绘制是用计算机图形学创造合成影像。

早期的计算机图形绘制技术研究主要集中于第一大类中，这一领域中最早的工作与开发和近似真实的局部光照明模型的过程有关，局部光照明模型研究光是怎样从表面反射出来;随后的工作与研究关注于整体光照明问题。

将这些问题表征为可以用日益增加的速度和精度来模拟的物理过程，是计算机图形学领域取得的巨大成功。

近年来，人们开始把注意力转向第二大类NPR中，图形学领域的学者更多的开始致力于开发自动的、具有非真实感意象的、充满艺术表现力的绘制技术和方法[2]。

非真实感图形学渲染与第一大类的渲染无论在目的、结果和方法上均有很大的不同，我们用表1来阐明这两者的主要区别：表1 真实感图形学绘制与非真实感图形学绘制的对比
Tab 1 Contrast between non-photorealistic rendering and Photorealistic rendering
对比内容真实感图形学绘制非真实感图形学绘制
绘制方法模拟仿真风格化处理
绘制特点客观世界再现世界的主观表现
效果与风格物理过程仿真类似艺术品制作，强调感知
艺术表现无强调各式的艺术内涵对第二大类绘制技术的追求比对真实感的追求更为新颖有趣。

从某种意义上说，这种趋势与追求具有实用意义和艺术效果的（而非仅仅是物理上真实的）影像有关。

在这一过程中，再单纯的基于物理学模型来研究绘制技术已经不再合时宜了，学者们在研究中结合了认知科学、主流的艺术形式、图形设计手法和传统插图等,在这些领域中，人们已经进行了仔细的研究（对信息进行结构化和抽象化），以期能最有效地传达信息。

此外，非真实感图形学还以视觉心理学为对象，力图创造出符合人们心理认知的作品。

最近出现的日益广泛的应用是对绘画风格和自然媒体（如钢笔、墨水、木炭、水彩和油彩等）进行模拟。

为了模拟各种媒介的真实效果，研究者们业已提出了各种不同的算法，这
上海交通大学硕士学位论文基于GPU的非真实感图形学水墨渲染些算法涵盖并超越了真实感图形学算法的全部。

Curtis[3]等人在“Computer-generated Watercolor”一文里提出了一个完整的水彩建模系统，模拟了水彩画的媒质和画纸的物理特性，他另外还模拟了其它几种效果，用Kubelka-Munk色彩混合方式获取相当真实的水彩效果，如边界加深、背景运动效果、粒子化、流动效果、釉画效果。

不过他的成果集中在二维的图像处理上，没有涉及以三维模型的信息来渲染三维图像。

如图1-1:
图1-1二维图像转换的水彩风格画
Fig 1-1 Convert a 2D Image into Watercolor Style
在另一个重要的艺术风格－－钢笔画插图风格非真实感渲染中，大多数研究者的研究集中在基于三维模型的参数化方法来进行非真实感渲染。

另外，在与钢笔画画风格较相近的铅笔画风格模拟上，Praun[4]实现了铅笔阴影风格的三维模型渲染，如图1-2：
图1-2三维模型铅笔线影风格
Fig 1-5 Applying Pencil Hatching Style on 3D Models 卡通渲染则是另一种独特的门类，目的是将3D场景渲染成传统卡通风格。

Decaudin[5]最先提出了计算机自动生成卡通效果的3D场景的渲染算法，通过结合深度映像中的轮廓线
上海交通大学硕士学位论文基于GPU的非真实感图形学水墨渲染检测结果得到轮廓线，卡通着色通过OpenGL的Phong模型计算得到的光照强度然后结合Shadow Map技术得到的阴影来获得最终的效果。

Claes[6]提出一种快速卡通渲染的方法，并且在卡通着色时对着色的边界进行了平滑处理。

Lander[7]提出了通过纹理贴图来进行卡通着色的方法。

卡通动画中也是非真实感渲染中一个重要的问题是处理动画各帧之间一致性问题，也即是场景细节避免出现跳跃的情况。

笔划增减是采用较为普遍的维护各帧间连贯性的方法，Praun[8]的系统中，一个三角面片需要进行色调改变时，总是用同一簇的纹理来表现新色调。

该系统中，同一簇纹理在笔划上互为子集和超集。

以上的研究开拓了NPR的研究领域，但还有很多的领域有待进一步的深入，总的来说，对于NPR而言，追求更好的艺术效果是非常必要的，此外，NPR没有固定的研究线路和体系，采用的是开放式的研究方式。

NPR的研究远没有达到人们追求的目标，现在和将来都会是图形学领域的一个热点所在。

1.3 中国水墨画的历史和特点
中国水墨画作为一个具有鲜明民族特色的艺术品种，扎根于中华民族深厚的文化土壤之中，经数千年的发展，形成融会了整个中华民族独特的文化素养、审美意识、思维方式、美学思想和哲学观念的完整的艺术体系。

从顾愷之的“以形写神”、谢赫的“六法论”、张璪的“外师造化、中得心源”，直到近现代齐白石的“似与不似之间”等等，包括了立意、意境、气韵、笔墨、风格等一系列艺术创造[9]。

当下中国水墨画正处于一个转型时期，研究探寻传统中国水墨画构成的特性及其意义对其本身的创新和发展不无裨益，也能为以计算辅助为手段的水墨画创作提供帮助。

中国绘画讲内在、讲含蓄、讲文雅、讲修养。

就“用笔”来说，则又最讲“气”，各种“气象”，如气派、气势、气度、气韵等等。

古人积累以上各种绘画理论和技法，在当今看来，对中国水墨画的沿续和发展，是具有意义的。

传统水墨在男耕女织的农业文明中诞生、成长，形成完整的体系，是东方绘画的代表，这已是不争的事实。

但历史发展到现代的工业社会、信息社会，在全球经济一体化的大环境下，传统水墨不可避免地受到巨大冲击。

在二十世纪中西两种绘画体系两次大碰撞的基础上，它逐渐转换成新的水墨表现形态也是自然而然的事了，尽管在转换过程中有多种抵制行为，但最后还是形成了其多元化的水墨表现形式。

中国传统的水墨画是以一种既定的观念和技法去表现自然的手法，离不开自然之门和精神之门的，所以，在绘画技法上不可太拘泥于家法，也要适当抛弃一些前辈在绘画上的文化包袱，同时有选择地继承传统。

因为目前我们生活的时代毕竟与前辈大师们的不同，艺术发展到今天拥有更大的艺术参照系，在绘画上可以走得比前人更深、更远。

此外，我们大可不必担心吸收一点西方艺术的表现形式（或思维模式）就会把传统的水墨画推上末路，相反，必要地吸收异质文化
上海交通大学硕士学位论文基于GPU的非真实感图形学水墨渲染精华，水墨的传统会变得更加广博，水墨的表现力会更丰富多彩。

创作中国水墨画的基本工具是宣纸、毛笔、和水墨，此外有时也会用一些其它的彩色水墨来丰富创作，主要还是黑色的水墨。

宣纸是一种采用特殊材质和工艺制作的不同于西方绘画使用的纸，宣纸具有非常高的渗透性，墨水画在上面可以向周围扩散渗透。

在这种纸上做画之前，画已经在画家的脑海中全面布局好，一旦开始就要一气呵成，不能中途看到效果再做涂改，没有进行修改的工具。

毛笔是在一个笔杆的一头安装上笔毛，通常这些笔的笔毛是采用动物的毛发制作而成。

画家用毛笔沾取少量的浓墨可以创作出干笔的效果，也就是黑色墨迹在纸上走过时有断续的效果，也可以用毛笔沾取充分的墨水创作出扩散渗透重叠的效果。

水墨画的用墨主要是运用墨色变化的技巧。

由于笔中含水量的差异,产生了干、湿、浓、淡的变化。

以墨代色, 产生墨分五色的说法, 唐张彦远《历代名画记》曰:“运墨而五色具”。

五色, 即：焦、浓、重、淡、清, 而每种墨色又有干、湿、浓、淡之变化。

此外，还有墨分六彩之说，即：黑、白、干、湿、浓、淡。

用墨的问题实质是用水的多和少，焦墨、淡墨互相参用，互相辉映、互相生发，画面中才能出现黑、白、灰互相穿插的生动。

水墨画, 正是依靠了毛笔运动的灵活多变和水墨的丰富性, 留下斑斑迹象, 在纸面上形成有艺术意味的黑白构成。

花鸟画是中国绘画门类中特有的一种绘画画种，以描绘花卉、竹石、鸟虫等为作画主体，其题材内容非常广泛，花卉、翎毛、走兽、草虫、鳞介、蔬果、树石、器物、池沼、溪潭、林莽、草地等等，除人物以外的自然界的一切几乎都可以归属于花鸟画的表现范畴。

在我国四五千年以前的陶器上就出现了简单的鸟鱼图案，可以作为我国最早的花鸟画。

唐张彦远《历代名画记》载：东晋、南朝宋时画在绢帛上的花鸟画已逐步形成了独立的画种。

花鸟画中的画法中有“工笔”、“写意”、“兼工带”写三种。

工笔花鸟画即用浓、淡墨进行勾勒，再深浅分层次着色；写意花鸟画即用简练概括的手法绘写对象；介于工笔和写意之间的就称为兼工带写。

本文中选择多种水墨风格为研究对象，其中又以动物类为主，所用到的动物的三维模型多以NURBS曲面建模为主，这样可以使光照效果更好些。

所采用到的特定算法能够符合硬件计算的要求并可以充分利用到图形硬件来进行性能加速。

1.4 本文主要研究工作和创新点
近两年来，以计算机图形学的方法来辅助或者生成中国画、水墨画风格的研究已经取得了一些突出的成果[10][11][12]。

其中一个研究是着眼于精确模仿水墨画绘制的物理过程，以较高的成本开发一套辅助系统来帮助画家在计算机上实现作画和艺术创作，在实时性上的要求只是达到满足基本的交互即可，同时画面的视觉角度是基于二维空间的。

另外一个研究角度从画面的视觉效果来精巧模仿出发，不考虑绘制的实时性以及动画效果的生成。

本文的主要研究目标是实现实时的3D模型的水墨渲染效果，并且着重强调给予受众的
上海交通大学硕士学位论文基于GPU的非真实感图形学水墨渲染视觉观感。

研究内容从保证实时性的角度出发，同时考虑到系统是在普通个人计算机上完成，主要可以应用于影视动画制作和三维游戏制作领域;着力从视觉上模拟出中国画水墨风格，并不去追求精确模拟水墨画的物理特性,而是力图给观者以水墨风格的体验和感受。

在中国水墨画的领域中一个最主要特点是重在写意而不是重在写形，力求画的神似而不苛求具体技法是否合乎规则。

这种随意性的存在也确定了它是不太可能被准确仿拟的。

本文的研究放在基于分析了水墨画普遍规律后近似的效果模拟上，目的在于能整体上营造出水墨的意境。

通常图像显示的帧率能达到15帧以上，就可以说是其基本具有了实时性，而交互式的情况下帧率能达到30-60帧为佳。

为了实现和追求更好的性能要求，本文采用了基于图形硬件加速的办法，这样做是充分考虑到具有可编程能力的图形加速硬件现在已经达到了相当的普及程度，造价日益低廉，其性能指标也越来越高。

充分利用图形硬件的计算能力来实现本文的研究具有很大的现实意义和应用意义。

本文研究利用可编程图形加速硬件来从三维的模型上渲染出中国水墨风格的图像。

相较于其他人的工作，本文的创新点主要有：
1、通过压缩纹理低通平滑预处理实现墨色的自然过渡。

2、采用去除边缘锯齿（盒式平滑滤波）和双重边缘纹理的多遍绘制方法，较好的生成
轮廓线的水墨画风格。

3、采用多遍渲染方法来实现水墨浸润效果。

4、采用光源变换的方法来实现水墨散开的动画效果。

5、三维模型水墨画渲染后与背景（宣纸等）的融合效果研究。

1.5 本章小结
本章主要介绍了真实感图形学和非真实感图形学的一些概念、中国水墨画的历史和主要风格特点，以及本文的研究工作和主要的创新点。

因为本身是着力于艺术的表现，所以非真实感风格渲染算法和处理方法大都是受启发于真实的艺术创造过程中。

和艺术家相似，进行计算机辅助的NPR(或者说是艺术创造)也需要把握住艺术创作的特点，唯一的不同之处是把需要绘画的技法转换为程序语言并且用算法来模拟艺术家创造的全过程。

从以前的论文成果中我们发现，非真实感图形学渲染以西方风格的绘画艺术居多，如水彩画、钢笔画、线影画和油画等，直到最近两三年，关于中国画风格的渲染研究才开始兴盛起来。

另外实现实时处理效果或交互式处理也是这个领域的重要发展方向。

本文的主要结构如下：
第一章主要介绍本文的研究背景、研究目的、研究的创新点和主要内容安排。

上海交通大学硕士学位论文基于GPU的非真实感图形学水墨渲染第二章主要介绍NPR领域国内外相关研究的技术发展的情况。

从第三章开始介绍水墨画绘制的实现过程，其中第三章主要介绍3D模型内部着色处理和边缘处理，第四章介绍进一步的多种水墨画风格生成的研究成果。

第五章介绍了水墨动画的实现，其中有墨迹散开的动画效果和基于网格模型的关键帧动画。

第六章介绍了图形硬件的加速主要方法、实验结果等。

第七章对本文的工作进行了总结，对今后的工作方向进行了研究展望。

上海交通大学硕士学位论文基于GPU的非真实感图形学水墨渲染第二章国内外相关研究和技术的发展概况
2.1 NPR的相关研究现状
非真实感图形学渲染(NPR)处理中一个最基本的工作就是对物体的轮廓线查找，Appel[13]提出一个隐藏线算法，这个算法如同Galimberti[14] 的算法一样，是基于一种QI (quantitative invisibility)概念的方法，也就是对对象上的点到视点之间通过的正向(Front-facing)多边形的个数进行计数。

将这个算法应用于多面体上所有三角片的边上，记录下所有的QI值。

对于QI＝0的点就是可见的同时绘制这个点。

此算法的主要缺点是编程较复杂而且速度慢，不利于实时处理。

Markosian[15]等人提出了一种对Appel算法的改进算法，它可以以实时的速度检测可见的线和面，利用连续的图像各帧之间所具有的相关性提出一种特殊的查找算法，以前一帧里查找到的轮廓线为起点查找这一帧的轮廓线，这样，无需遍历模型所有的边就可以很快的发现轮廓线。

这种算法是一种随机算法：确定一个边是轮廓线的可能性大小有以下几条规则：1、夹角锐度越大的二面角夹边越具有比较大的轮廓线的可能性。

2、上一帧中为轮廓线的边具有较大的轮廓线的可能性。

3、处于已经是轮廓线的边附近的边具有较大的轮廓线的可能性。

之后文中提出了一种特别的查询方法，即只要确定一个边是轮廓线，就去检查此边相邻的所有的边是否是轮廓线的边，然后再从新的边开始进行递归，直到没有相邻的边是轮廓线的边为止。

为了避免递归过程中重复查找已经找到的边，就需要建立一个记录轮廓线边的哈希表，每次查找到新的轮廓线都需要在哈希表里进行是否重复的确认。

Northrup[16]等人采用了一种混合绘制轮廓线的方法。

使用基于图像的方法从轮廓线拼接组成可见路径，该路径具有长而且平滑的特性，在路径的基础上可以绘制成不同风格的线条，他们的算法同时解决了线条的锯齿和离散问题，而且运算过程是可以以交互的实时速度进行。

另外，Isenberg[17]等人给出了如何从轮廓线的边中构造出一个可用于艺术处理的轮廓线路径的算法，此算法的优点是能够达到实时处理的要求。

Isenbergr的处理过程基本分为四个步骤：1、首先去除掉会造成干扰点的多余的轮廓线的边。

2、之后对轮廓线段的可见性进行检查。

3、然后从可见的轮廓线段上生成轮廓线的路径。

4、最后去除在图像平面上造成干扰点的轮廓线路径。

了解了轮廓线的相关研究成果后，我们来看笔画的构建方面已经取得的成果。

Strassman[18]在“Hairy Brushes”中模拟了毛刷在纸张上钩画墨水的过程，他以实际真实笔刷为研究对象，建立了复杂的物理模型。

为了使模拟更加真实，笔划的每一笔绘制都依赖于多个控制参数，例如笔划路径上每个点的画笔压力、倾斜度和运笔速度的快慢等。

论文通过对。