如何用Python机器学习搞定爬虫验证码

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
再进行识别得到了结果:
另外,从图片来看,实际数据颜色明显和噪点干扰线不同,根据这wk.baidu.com点可以直接把噪点全部去除。
识别:
效果还可以。接下来生成一个字母数字组合的:
生成验证码如下:
第3个为小写字母o,第4个为大写字母O,第5个为数字0,第6个为小写字母z,第7个为大写字母Z,最后一个是数字2。人眼已经跪了有木有!但现在一般验证码对大小 写是不做严格区分的,看自动识别什么样吧:
人眼都跪的计算机当然也废了。但是,对于一些干扰小、形变不严重的,使用tesserocr还是十分简单方便的。然后将修改的claptcha.py的285行_drawLine还原,看添加 干扰线的情况。
. 灰度处理 . 增加对比度(可选) . 二值化 . 降噪 . 倾斜校正分割字符 . 建立训练库 . 识别
由于是实验性质的,文中用到的验证码均为程序生成而不是批量下载真实的网站验证码,这样做的好处就是可以有大量的知道明确结果的数据集。 当需要真实环境下需要获取数据时,可以使用结合各个大码平台来建立数据集进行训练。
处理后的图片如下: 好像……根本没卵用啊?!确实是这样的,因为示例中的图片干扰线的宽度和数字是一样的。对于干扰线和数据像素不同的,比如Captcha生成的验证码:
从左到右依次是原图、二值化、去除干扰线的情况,总体降噪的效果还是比较明显的。另外降噪可以多次执行,比如我对上面的降噪后结果再进行依次降噪,可以得到 下面的效果:
可以看出,验证码有形变。对于这类最简单的验证码,可以直接使用谷歌开源的tesserocr来识别。 首先安装:
然后开始识别:
可以看出,对于这种简单的验证码,基本什么都不做识别率就已经很高了。有兴趣的小伙伴可以用更多的数据来测试,这里我就不展开了。 接下来,在验证码背景添加噪点来看看:
生成验证码如下:
生成验证码这里我使用Claptcha这个库,当然Captcha这个库也是个不错的选择。 为了生成最简单的纯数字、无干扰的验证码,首先需要将claptcha.py的285行_drawLine做一些修改,我直接让这个函数返回None,然后开始生成验证码:
这里需要注意ubuntu的字体路径,也可以在网上下载其他字体使用。生成验证码如下:
加了条干扰线就完全识别不出来了,那么有没有什么办法去除干扰线呢? 虽然图片看上去是黑白的,但还需要进行灰度处理,否则使用load()函数得到的是某个像素点的RGB元组而不是单一值了。处理如下:
处理后的图片如下: 可以看出处理后图片锐化了很多,接下来尝试去除干扰线,常见的4邻域、8邻域算法。所谓的X邻域算法,可以参考手机九宫格输入法,按键5为要判断的像素点,4邻 域就是判断上下左右,8邻域就是判断周围8个像素点。如果这4或8个点中255的个数大于某个阈值则判断这个点为噪音,阈值可以根据实际情况修改。
写爬虫有一个绕不过去的问题就是验证码,现在验证码分类大概有4种:
. 图像类 . 滑动类 . 点击类 . 语音类
今天先来看看图像类,这类验证码大多是数字、字母的组合,国内也有使用汉字的。在这个基础上增加噪点、干扰线、变形、重叠、不同字体颜色等方法来增加识别难 度。 相应的,验证码识别大体可以分为下面几个步骤:
相关文档
最新文档