第10章图像处理

• 1.DPM(Deformable Parts Model) • 2. OverFeat • 3.DeepID-Net • 4.RCNN • 5.Fast RCNN • 6.Faster RCNN • 7.SPPNet • 8.YOLO • 9.SSD
10.2 图像物体识别
我们将实现对Cifar-10数据集图像中的物体识别
10.3 图片验证码识别
我们将使用机器学习的图像处理技术实现对验证码的自动识别。 10.3.1 验证码生成 • 在Python中提供了captcha库可以便捷的生成验证码图片。 • 对于验证码的内容，我们采用数字和英文字符组合的形式。在验证
码的长度，我们使用四位长度。所以，对于验证码的文本内容，随 机生成：
10.3 图片验证码识别
10.3.4 训练模型 • 为了更好的训练效果，在训练时，每次都随机生成验证码，然后进
行训练。
# 训练
def train_crack_captcha_cnn(): output = crack_captcha_cnn()
#调用训练模型
loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=output, labels=Y))
• 2.输入数据处理
• 对于图片数据，在训练前进行统一裁剪到24×24像素大小，裁剪中央区域用于评估 或随机裁剪用于训练。并且对图片进行数据增广，包括对图像进行随机的左右翻转、 随机变换图像的亮度、随机变换图像的对比度操作，最后对图像进行白化操作。
10.2 图像物体识别
10.2.2 生成训练模型
• 使用卷积神经网络为基础，包括了两次的卷积层、池化层以及抑制 层，然后进行全连接层，最后通过逻辑分类层softmax_linear进行输 出。
• 图像修复(image inpainting)：图像修复通俗来讲就是一张照片上被 挖了一个洞，利用照片中的其他信息来将这个洞画上的过程。是图 像编辑和图像生成领域的一个典型问题。
• 对于图像修复问题，核心的思想就是利用图像文件本身的冗余性 (redundancy)，利用图像已知部分的信息来补全未知部分。
10.2 图像物体识别
10.2.3 模型训练学习 • 使用数据集在模型中进行训练学习。
with tf.train.MonitoredTrainingSession( checkpoint_dir=FLAGS.train_dir, hooks=[tf.train.StopAtStepHook(last_step=FLAGS.max_steps), tf.train.NanTensorHook(loss),_LoggerHook()], config=tf.ConfigProto( log_device_placement=FLAGS.log_device_placement)) as mon_sess:
optimizer = tf.train.AdamOptimizer(learning_rate=0.001).minimize(loss)
predict = tf.reshape(output, [-1, MAX_CAPTCHA, CHAR_SET_LEN])
max_idx_p = tf.argmax(predict, 2)
• 修复的流程分为两大步骤，首先选择待修补的像素，然后进行搜索 补全。
在图像修复问题上也引入了机器学习方式来进行解决。一般，利用 卷积神经网络来学习图像中的高准确度特征，利用特征来指导图像 缺失部分的生成。通过将大数据和图像高准确度特征的组合起来， 使得图像修复得到了极大的完善。
10.1 机器学习的图像处理简介
while not mon_sess.should_stop(): mon_sess.run(train_op)
10.2 图像物体识别
10.2.4 评估模型 • 完成了模型的训练，使用测试数据进行评估模型。在评估时，使用
的数据不再经过翻转、调整亮度、对比度等操作，直接从测试数据 集中转为TFRecord格式的数据进行使用。 • 将测试数据输入到训练好的模型中，获得最终的分类结果并与真实 分类进行对比。
10.2.1 数据预处理
• Cifar-10数据集。Cifar是加拿大政府牵头投资的一个科学项目研究 所，Cifar-10数据集是一个用于普适物体识别的数据集。
• CIFAR-10包含了60000幅RGB彩色图片，其中50000张用于训练、 10000张用于测试。这些图片分为10个不同的类别，每类包含6000 幅图片。为了简化了计算机模型的任务，并降低了分析图片的计算 负载，数据集中每幅图片的规格是32x32像素
padding='SAME', name='pool1') # norm1 norm1 = tf.nn.lrn(pool1, 4, bias=1.0, alpha=0.001 / 9.0, beta=0.75, name='norm1')
10.2 图像物体识别
10.2.2 生成训练模型 • 使用卷积神经网络为基础，包括了两次的卷积层、池化层以及抑制
saver = tf.train.Saver()
#保存训练模型
10.3 图片验证码识别
10.3.5 评估模型
• 对于模型的评估，同样随机的生成一张验证码，使用模型进行预测， 查看预测的结果。
#获取随机验证码 text, image = gen_captcha_text_and_image() #对验证码进行灰度处理 image = convert2gray(image) #将图片一维化 image = image.flatten() / 255 #调用评估 predict_text = crack_captcha(image) print("正确: {} 预测: {}".format(text, predict_text))
10.3 图片验证码识别
10.3.3 生成训练模型
• 使用卷积神经网络为基础，进行三次的卷积层、池化层以及抑制层， 然后进行全连接层，最后通过输出层进行输出。对于损失函数的选 取，使用最常用的交叉熵算法。
# 将占位符 转换为 按照图片给的新样式 x = tf.reshape(X, shape=[-1, IMAGE_HEIGHT, IMAGE_WIDTH, 1]) # 第一次 w_c1 = tf.Variable(w_alpha*tf.random_normal([3, 3, 1, 32])) b_c1 = tf.Variable(b_alpha*tf.random_normal([32])) conv1 = tf.nn.relu(tf.nn.bias_add(tf.nn.conv2d(x, w_c1, strides=[1, 1, 1, 1], padding='SAME'), b_c1)) conv1 = tf.nn.max_pool(conv1, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME') conv1 = tf.nn.dropout(conv1, keep_prob) #第二次 #第三次 #全连接层 w_d = tf.Variable(w_alpha*tf.random_normal([8*20*64, 1024])) b_d = tf.Variable(b_alpha*tf.random_normal([1024])) dense = tf.reshape(conv3, [-1, w_d.get_shape().as_list()[0]]) dense = tf.nn.relu(tf.add(tf.matmul(dense, w_d), b_d)) dense = tf.nn.dropout(dense, keep_prob) #输出层 w_out = tf.Variable(w_alpha*tf.random_normal([1024, MAX_CAPTCHA*CHAR_SET_LEN])) b_out = tf.Variable(b_alpha*tf.random_normal([MAX_CAPTCHA*CHAR_SET_LEN])) out = tf.add(tf.matmul(dense, w_out), b_out)
第10章 图像处理
10.1 机器学习的图像处理简介 10.2 图像物体识别 10.3 图片验证码识别 10.4 图像物体检测 10.5 看图说话
10.1 机器学习的图像处理简介
使用机器学习进行图像处理已经成功的应用到了图像修复、物体识别、 物体检测、图像问答、人脸识别等领域。
• 10.1.1 图像修复
层，然后进行全连接层，最后通过逻辑分类层softmax_linear进行输 出。
（1）首先对卷积操作后的输出结果使用tf.reshape 函数将样本都转变为一维向量 （2）通过2次全连接层的训练， （3）使用Relu激活函数进行非线性化。 （4）通过softmax_linear层进行分类输出 • 损失函数选择最常用的交叉熵算法
max_idx_l = tf.argmax(tf.reshape(Y, [-1, MAX_CAPTCHA, CHAR_SET_LEN]), 2)
correct_pred = tf.equal(max_idx_p, max_idx_l)
accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))
10.3 图片验证码识别
10.3.2 数据预处理
• 对自然语言处理的第一步就是对自然语言符号进行编码。对验证码 的识别也先需要对识别的验证码进行转码处理。由于验证码仅仅包 含了数字和字母，而且均为四位，在这里采用矩阵编码。
• 如“4352”可以表示为：
[0000100000 0001000000 0000010000 0010000000]