您的位置:首页 > 新闻资讯 >文章内容
使用代理IP池伪装爬虫IP地址可以继续爬
来源:互联网 作者:admin 时间:2019-03-21 16:33:54

  爬虫的IP地址如果没有伪装好,这是非常容易被封的,影响效率不说,还拿不到数据。因此,对于爬虫而言,代理IP池是非常重要的。如果爬虫使用了高质量的代理IP池,可以很好的伪装自己的IP地址,并抓取到数据的。


  在Python中,编写爬虫时需要合理的使用到代理IP,这应该怎么设置的呢?


  requests使用代理 ip


  定义代理IP


使用代理IP池伪装爬虫IP地址可以继续爬


  使用代理


使用代理IP池伪装爬虫IP地址可以继续爬


  这样就可以使用你定义的代理地址去访问网站了。


  代理地址哪里来


  在网上有很多免费的代理,随便搜就有一堆了。不过你知道的,免费的话很多人都去使用,所以这些代理IP很不稳定。如果你有钱的话,市面上有人就专门提供代理IP的,直接去买就行了,推荐代理精灵。


  不想花钱呢?可以搞一个代理IP池,主要就是通过python程序去抓取网上大量免费的代理ip,然后定时的去检测这些ip可不可以用,这样下次你要使用代理ip的时候,你只需要去自己的代理IP池里面拿就行了。


  道理都懂,但是不想自己弄一个代理池,有没有现成的?


  找个不错的开源代理IP池,首先使用git clone将源代码拉到你本地。


使用代理IP池伪装爬虫IP地址可以继续爬


  接着打开项目中的setting.py,在这里可以配置相关信息,比如Redis的地址密码相关。


使用代理IP池伪装爬虫IP地址可以继续爬


  接着在你clone下来的文件目录中,安装相关所需的python模块:


  pip3 install -r requirements.txt


  接下来开启你的redis


使用代理IP池伪装爬虫IP地址可以继续爬


  redis的默认端口就是6379,接着就可以运行run.py了。


  如果你在运行的时候出现这个错误


  AttributeError: 'int' object has no attribute 'items'


  更新一下redis版本


  pip3 install redis==2.10.6


  运行run.py,这时候在你的redis中就有爬取到的代理ip了。


使用代理IP池伪装爬虫IP地址可以继续爬


       项目跑起来之后,你就可以访问你的代理池了。比如随机获取一个代理ip地址,这样访问之后就会获取到一个代理 ip,在代码中获取代理也不在话下啦,这样我们就成功的在我们的代理池中获取代理ip了。


使用代理IP池伪装爬虫IP地址可以继续爬


  我们都知道使用代理IP池伪装爬虫IP地址可以继续爬,关键是代理IP的获取并不简单,主要是因为我们对代理IP的要求比较高,其质量和数量都能影响到最终的效果。如果你担心找不到好用的代理IP,小编推荐使用代理精灵的,使用效果不错,不过还是建议你自己先去测试下,看看是否符合你的要求。


相关文章内容简介
推荐阅读
  • 25 2020-09
    获取代理IP的两种方法

    获取代理IP和代理IP的常用方法,代理IP可以帮助我们更换电脑的IP,有了代理IP后就可以解决IP限制问题了。很多人不知道代理IP怎么找,下面为大家进行简单的介绍。

  • 03 2019-04
    爬取网页信息为何要使用代理IP?

    代理IP有高匿名的,也有不匿名的,如果python爬虫使用代理IP爬取网页,是选高匿的还是不匿名的呢?爬取网页信息为何要使用代理IP?

  • 01 2019-07
    手游多开需要换IP地址登陆

    手游多开需要换IP地址登陆,现在手游比较火,手游的玩家越来越多了,因此一些游戏工作室也会选择进入手游赚钱,手游工作室行业将进入规模产业化,资源大佬赚钱时代。

  • 19 2020-09
    HTTP代理IP有哪些认知误区

    什么是HTTP代理IP?通俗的来说,就是换IP的。大部分人都知道,在使用爬虫多次爬取同一网站时,经常会被网站的IP反爬虫机制给禁掉,为了解决封禁IP的问题通常会使用代理IP。

  • 20 2019-09
    用代理IP可以帮助解决访问限制

    如果是经常需要切换IP,操作不规范的话,可是会引起搜索引擎的注意,对于在做优化的网站来说可是非常不利的,因为会导致网站的减分降权等惩罚。而且如果你使用了一些不安全的IP,那么

  • 28 2019-08
    代理IP的使用原理是什么?

    虽然代理IP的使用人群还不算特别普遍,但是已经有不少领域如爬虫、营销推广等方面都在用IP代理。那么,你知道代理IP的使用原理是什么吗?为什么用它账号就不会被封了,IP又是从哪里来的,

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部