您的位置:首页 > 新闻资讯 >文章内容
爬虫使用代理IP后,还遇到IP问题怎么处理
来源:互联网 作者:admin 时间:2019-02-16 16:17:35

    对爬虫来说,由于爬虫爬取速度过快,在爬取过程中可能会遇到同一个IP访问过于频繁的问题,网站就会让我们输入验证码或登录或直接封锁IP,这样会给爬取带来极大的不便。


    而通过使用代理隐藏IP,让服务器误以为是用户在请求自己,在爬取过程中通过不断更换代理,就不会被封锁,可以达到很好的爬取效果。比如使用代理精灵,海量的IP资源随意切换,高匿名可以更好的隐藏起用户的真实IP。


爬虫使用代理IP后,还遇到IP问题怎么处理


    但即使使用了代理IP,也不能百分百的保障不会遇到问题,或者IP不会被封了,因为爬虫毕竟不是真正的用户,在使用的过程中可能会因为行为问题暴露了,又或者是代理IP有效性低,经常出现IP效果,导致出问题,还有其他的一些原因也会影响效果。如何解决这些问题?下面跟小编一起去看看:


    1、web端做了一层缓存


    挑选一定数量的ip,每隔2-3分钟,进行检测,这个检测就不需要是爬取的网站的url,因为测试过能够连接代理访问即可,例如baidu之类的比较大众的网站.


    2、使用了bloomfilter进行判重


    获取的代理ip可能之前有判定重复的,通过检查判重,减少资源消耗。每隔一定时间bf会被清空,python本身自带bf,当时好像遇到什么问题了,实际使用与需求有点不符,具体记不清楚了,最后摒弃了自带的bf,使用了别人的一个bf on redis的项目.paramiao/pydrbloomfilter其实我就是想用用bf而已.造轮子花费时间,就暂时不造了.


    3、代理ip通过轮询的方式给出


    后续想更新算法,根据时间与计数挑选。


    4、多进程进行ip判定


    防止数量太多进程一直运行.目前判定进程数是直接配置在配置文件中的,后面想做到自适应.


    5、数据库使用redis


    redis这里作为两点,一个是数据存储,一个是web的缓存.而且redis本身又不是很大.用在这里很适合.而且bf-redis项目中,也在使用redis.


    6、目标网站检测使用的反爬虫方式


    代理ip,随机agent,带cookie访问。


    以上介绍了关于爬虫遇到IP问题时如何处理的方法,由于IP会失效,这可能会遇到许多问题,大家对于找出原因,对症下药处理。


相关文章内容简介
推荐阅读
  • 22 2020-01
    爬虫一定要有代理ip软件吗

    网络爬虫一定用代理IP吗?好多人认为网络爬虫必需要加代理IP没了代理IP将无路可走;也有些人认为代理IP非需要的这是为什么呢?不能直接用采集工具吗?

  • 16 2019-05
    HTTP代理适合大众使用吗?

    HTTP代理适合大众使用吗?其实私密代理而且这种http代理ip资源在之前的人们耳中并不时常听到,随着时代的发展,他开始在人们的生活中活跃起来,越来越多的人开始对它有所了解。

  • 20 2019-03
    怎么写个免费的开源IP代理池?

    凡是使用网络爬虫的用户都知道,爬虫的标配是代理IP,没有代理IP,爬虫基本上属于寸步难行的,但是如果一直都要使用代理IP,每个项目需求的IP量也多,成本可不低,能不能使用免费的呢?

  • 25 2019-11
    怎么通过随机UA来突破爬虫?

    突破网络爬虫限制的方法有很多,有使用代理IP来换IP的,也有的是验证码限制的。今天,机灵代理要给大家详细介绍的一种方法就是使用随机UA。什么是随机UA呢?我们一起来认识一下怎么操作。

  • 29 2019-11
    什么样的IP适合拿来爬虫?

    网络爬虫对于大数据工作者来说非常熟悉,互联网细分到各个行业,每个行业对于数据的需求都是不一样的。庞大的数据需求,爬虫工作如果没有代理IP,那么是非常难开展的。

  • 28 2020-03
    爬虫可以不用ip代理吗

    现在网络数据的获得,主要是通过网络爬虫技术进行抓取的,这种技术的好处就在于能够简单快速的将数据进行爬取,不用耗费太多的人力。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部