您的位置:首页 > 新闻资讯 >文章内容
python爬虫解决验证码问题的三种方法
来源:互联网 作者:admin 时间:2019-02-05 09:49:00

  爬虫经常遇到网站的反爬虫,比如IP限制,可以使用代理精灵的海量IP来解决限制,但是对于验证码限制,大家又是怎么突破这个限制的呢?


  验证码是一种区分用户是计算机还是人的公共全自动程序。可以防止:恶意破解密码、刷票、论坛灌水,有效防止某个黑客对某一个特定注册用户用特定程序暴力破解方式进行不断的登陆尝试,实际上用验证码是现在很多网站通行的方式,我们利用比较简易的方式实现了这个功能。这个问题可以由计算机生成并评判,但是必须只有人类才能解答。由于 计算机无法解答CAPTCHA的问题,所以回答出问题的用户就可以被认为是人类。


  我们使用Python进行爬虫时经常遇到一些障碍,其中验证码算是最普遍的了,如果直接从生成验证码的页面把验证码下载到本地后识别,再构造表单数据发送的话,会有一个验证码同步的问题,即请求了两次验证码,而识别出来的验证码并不是实际需要发送的验证码。有如下几种方法解决。


  1.用cookie


python爬虫解决验证码问题的三种方法


  2.用session


python爬虫解决验证码问题的三种方法


  3.elenium+手动构造cookie


python爬虫解决验证码问题的三种方法


  这种方法难点在于确定该网站是用cookie中的什么key值来表示“用户名”和“密码”的。而且好像有些cookie是加密过的。可以先用get_cookies()进行观察。


  以上介绍了关于爬虫突破验证码的问题,当然了这只是其中会遇到的其中一种问题的解决方法,其他关于IP被封,爬取受限、违法操作等多种问题,在爬取数据之前,一定要了解好预爬网站是否涉及违法操作,找到合适的代理IP访问网站等一系列问题。


相关文章内容简介
推荐阅读
  • 09 2020-01
    代理ip​能否反爬虫?

    代理ip​能否反爬虫?选择基本每个网站都有反爬虫机制的存在,一般来说最常见的反爬虫措施就是通过ip限制来实现,禁止某个ip地址的访问来保护网站的安全。既然大部分网站的机制都是通过ip

  • 11 2019-06
    Squid配置正反向代理服务器

    Squid配置正反向代理服务器,估计很多人都不知道Squid是指什么?其实Squid是一种用来缓冲Internet数据的软件。

  • 27 2019-06
    想刷阅读量用代理IP

    想刷阅读量用代理IP,这个刷量在目前来说是比较常见的,有些人是为了让数据好看些,免得被批评;有些人刷量是为了获取广告费等等,总之现今的刷量已经成为常态了。

  • 02 2019-07
    代理ip的类型不同作用也不一样

    代理ip的类型不同作用也不一样,我们经常使用的代理ip其实是有分不同的类型的,其用途不一样,因此,如果要用代理ip要根据实际的用途来分析。

  • 13 2020-01
    爬虫为什么会被封禁?

    爬虫为什么会被封禁?在当今互联网高速发展的年代,爬虫采集成为很多公司企业和个人的需求,但正因为如此,反爬虫的技术也层出不穷,比如时间限制、IP限制、验证码限制等等,都可能会导

  • 07 2019-10
    开源代理服务器介绍:Privoxy篇

    5大开源web代理服务器的第二篇文章,机灵代理给大家介绍Privoxy这个软件。它具有哪些特性功能,是我们平时在使用的时候忽略掉的呢?下面一起来看看吧。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部