使用卷积神经网络的图像样式转换

《使用卷积神经网络的图像样式转换的研究》

院系信息工程学院

专业电子与通信工程

班级信研163

提交时间：2016年11月28日

使用卷积神经网络的图像样式转换的研究

湖北省武汉，430070

摘要：以不同的风格样式渲染图像的内容一直都是一个十分困难的图像处理任务。也可以说，以前主要限制因素是不知如何明确表示内容信息。在这里我们使用图像表示导出优化的能够识别对象的卷积神经网络，这使得高级图像信息显示。我们引入了一种可以分离和重组自然图像的图像内容和艺术风格的神经算法。这个算法允许我们生成高质量的新目标图像，它能将任意照片的内容与许多众所周知的艺术品的风格相结合。我们的结果提供了对卷积神经网络学习的深度图像表示的新理解，并且展示了他们的高水平图像合成和操纵的能力。

关键词：卷积神经网络；图像处理；神经算法

The Study of Image Style Transfer Using Convolutional

Neural Networks

LiWenxing

School of Science,Wuhan University of Technology,Wuhan 430070,China

Abstract: Rendering the content of an image in a different style has always been a difficult image processing task. It can also be said that the main limiting factor in the past is that I do not know how to clearly express the content information. Here we use an image representation to derive an optimized, object-aware convolutional neural network, which allows advanced image information to be displayed. We introduce a neural algorithm that can separate and reconstruct the image content and artistic style of natural images. This algorithm allows us to generate high-quality new target images that combine the content of any photo with the style of many well-known works of art. Our results provide a new understanding of the depth image representation of convolution neural network learning and demonstrate their ability to synthesize and manipulate high-level images.

Keywords: Convolutional Neural Network;Image Processing;Neural algorithm

1作者观点

认为在卷积神经网络中的图像内容和图像风格是可分离的。也就是说，可以获取一个图片的图像内容，获取另一张图片的图像风格，二者结合起来产生新的有意义的图像。让你的照片瞬间变换成艺术风格作品。它不同于传统的风格滤镜，而是基于人工智能，每个风格都是由真正的艺术家创作的。

印象派、野兽派、浮世绘、解构主义，这些曾经的艺术风格都是画家脑中不可捉摸的概念。然而而到了人工智能时代，所有艺术风格都被证实是可以进行“量化”的，并且通过卷积神经网络的学习，可以源源不断地产生新作品。

2对别人做法的评价

1. 他人方法上的不足

一直以来，都有人试图将图像样式从一个图像转移到另一个图像，而且这一直被认为是纹理传送问题。前人的解决方法是在纹理传送中，从源图像合成它的纹理，同时对纹理合成进行约束以保留目标图像的实际内容。对于这种纹理合成，一直使用强大的非参数的算法，而这算法是通过重新确定源图像纹理的像素来合成照片纹理。例如，Efros和Freeman引入了包含目标图像特征的对应图像，利用图像的强度来约束纹理合成程序。Hertzman etal使用了图像类比的方法，将已经风格化的图像中的纹理转移到目标图像上。Ashikhmin则专注于高频信息的传输，同时保留目标图像的尺度。Leeetal通过利用边缘取向的信息，额外地操作纹理传递来改进该算法。

虽然这些算法获得了显着的结果，但是它们都有相同的基本限制：它们仅使用目标图像的低级图像特征来影响纹理传送，得到的目标图像看上去像是两个图像的内容结合，而不是风格的转移。

2.如何克服他人的不足

在的一般情况下，将图像内容与图像中的风格分离仍然是一个非常困难的问题。然而，由于最近的深层卷积神经网络的发展进步，它已经产生了强大的计算机视觉系统，

能够从自然图像提取出高级的语义信息。这表明可以利用卷积神经网络来克服前人工作

上的不足，利用高级图像特征来影响纹理传送。比如在对象识别实验中，能够获得足够

的标签数据来学习如何提取高级图像内容的特征，得出数据集。因此，在这项实验中，

将通过使用高性能卷积神经网络，它可以用来独立处理和操纵自然图像的内容和风格。

3实现过程以及其数学基础

我们将使用由19层VGG网络的16个卷积层和5个池层的归一化来提供的特征空间。我们可以通过缩放修改各个权重来对神经网络进行归一化改进，使得每个卷积滤波器在图像和位置上的平均值等于1，这种重新缩放可以对VGG网络进行并且不改变其输出。对于图像合成方面，我们发现，通过平均池替换最大池会产生更有吸引力的结果。

1.图像内容的表示

通常，在网络中的每个层定义一个非线性滤波组，它的复杂度随着网络中的层的位置而增加。因此，给定的输入图像x 通过对该图像的滤波器，在卷积神经网络的每一层中进行