您的位置:首页 > 新闻资讯 >文章内容
python爬虫解决验证码问题的三种方法
来源:互联网 作者:admin 时间:2019-02-05 09:49:00

  爬虫经常遇到网站的反爬虫,比如IP限制,可以使用代理精灵的海量IP来解决限制,但是对于验证码限制,大家又是怎么突破这个限制的呢?


  验证码是一种区分用户是计算机还是人的公共全自动程序。可以防止:恶意破解密码、刷票、论坛灌水,有效防止某个黑客对某一个特定注册用户用特定程序暴力破解方式进行不断的登陆尝试,实际上用验证码是现在很多网站通行的方式,我们利用比较简易的方式实现了这个功能。这个问题可以由计算机生成并评判,但是必须只有人类才能解答。由于 计算机无法解答CAPTCHA的问题,所以回答出问题的用户就可以被认为是人类。


  我们使用Python进行爬虫时经常遇到一些障碍,其中验证码算是最普遍的了,如果直接从生成验证码的页面把验证码下载到本地后识别,再构造表单数据发送的话,会有一个验证码同步的问题,即请求了两次验证码,而识别出来的验证码并不是实际需要发送的验证码。有如下几种方法解决。


  1.用cookie


python爬虫解决验证码问题的三种方法


  2.用session


python爬虫解决验证码问题的三种方法


  3.elenium+手动构造cookie


python爬虫解决验证码问题的三种方法


  这种方法难点在于确定该网站是用cookie中的什么key值来表示“用户名”和“密码”的。而且好像有些cookie是加密过的。可以先用get_cookies()进行观察。


  以上介绍了关于爬虫突破验证码的问题,当然了这只是其中会遇到的其中一种问题的解决方法,其他关于IP被封,爬取受限、违法操作等多种问题,在爬取数据之前,一定要了解好预爬网站是否涉及违法操作,找到合适的代理IP访问网站等一系列问题。


相关文章内容简介
推荐阅读
  • 28 2019-05
    爬虫代理IP池的维护

    爬虫代理IP池的维护要注意什么?一般上,如果需要使用大量的IP,这IP地址只能是动态的IP地址,否则无法满足需求,比较现在IP资源稀缺。代理IP池中的这些动态IP的有效时间长短不一,有些只

  • 15 2019-11
    设置代理IP来爬虫

    如何在爬虫中设置代理IP来使用?机灵代理下面通过3步来带领大家建立好配置,下面我们一起来好好学习是如何操作的吧。

  • 11 2019-10
    使用代理IP时出现报错 如何解决?

    在使用代理IP的时候,我们通过会因为设置上出现错误,或者是IP本身质量问题导致无法使用。那么,如果在使用代理IP提示Cache Access Denied 错误,这个报错又是什么情况呢?

  • 29 2020-06
    有几种反爬虫机制

    对于爬虫用户来说,网站的反爬机制可以说是他们的头号敌人。反爬机制是为了防止爬虫爬取数据过于频繁,给服务器造成过重的负担导致服务器崩溃而设置的机制,它其实也有几种不同的方式

  • 11 2019-07
    ip代理的两个使用方法

    ip代理的两个使用方法分享,这完全是不一样,如果想要设置成功,还是需要用到一些专业的知识,下面我们来看看ip代理的两个使用方法吧。

  • 12 2019-06
    代理服务器的定义和作用

    代理服务器的定义和作用,很多人都可能了解的似是而非,能了解一点,却不并不是很透彻。今天机灵代理小编带大家去看看关于代理服务器的定义和作用。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部