您的位置:首页 > 新闻资讯 >文章内容
Scrapy爬取知乎------配置代理IP和UA
来源:互联网 作者:admin 时间:2019-03-22 18:16:21

  爬虫们要想进行大规模的爬取数据,这并不容易,因为网站大量的反爬虫也不是摆设的,要想获取到这些数据,势必要伪装好自己的数据,那么需要伪装什么数据呢?


  首先呢,如果有钱的话建议自己去购买个比较高级的代理IP,代理精灵也是可以的,这种代理响应速度比一般的要快很多。知乎对爬虫限制相对来说没有那么严格,所以一般的IP也没啥用(当然我说的单台),如果你部署多台的话有个代理IP是很爽的,方便快捷。


  找代理IP,大家自行百度,我就不多说了,基本每个代理都有免费的额度。


  先把UA池配了,爬虫应该UA池是必须配的。


  在setting.py中加入下面的代码:

Scrapy爬取知乎------配置代理IP和UA


  UA池,百度一搜一大堆。


  在中间件middlewares.py中写入下面的代码。使用代理IP池的方法可以去GitHub上搜proxy,很多。



Scrapy爬取知乎------配置代理IP和UA


Scrapy爬取知乎------配置代理IP和UA
Scrapy爬取知乎------配置代理IP和UA


  在新建一个py文件放入下面的代码:


Scrapy爬取知乎------配置代理IP和UA


  到这配置基本就结束 了。在setting.py中修改下面的代码:


Scrapy爬取知乎------配置代理IP和UA


  完全结束,启动项目就会发现请求是从代理IP发出的。如果配合scrapy-redis配置多台应该效率还是可以的。


  对于数据的爬取,使用单个爬虫是满足不了,若是使用多个爬虫,也是要借用到代理IP的,通过代理IP池的使用,爬虫爬取会更方便。


相关文章内容简介
推荐阅读
  • 09 2019-04
    网站反爬比较严的时候,推荐用爬虫代理IP防封

    网站反爬比较严的时候,有什么工具可以突破?推荐用爬虫代理IP,因为代理IP可以更换IP地址,这样就不会被限制住的,也是很多人的选择。

  • 21 2019-10
    网站如何利用代理IP获益?

    网站通过代理IP也能够赚到钱?现在建立一个网站并不难,有很多的模板可以直接套用,而且操作起来也非常就简单。如果觉得网站太复杂,甚至可以创立一个个人博客也可以。

  • 20 2019-03
    明明用了代理ip,还是被封住了,这是为何?

    明明用了代理ip,还是被封住了,这是为何?在做爬虫的时候会遇到一个问题,明明我已经使用爬虫代理ip了,却发现爬虫程序终止了,一查,真实ip被封了?是IP质量的问题吗?

  • 12 2020-11
    免费的代理ip为什么没人使用

    互联网时代里,随着网络工作的需要,代理ip的需要越来越多,很多人开始接触ip代理,市面上的代理ip软件参差不齐,分别为免费代理与收费代理两大类型。这里就很有很多朋友质疑,有免费的

  • 21 2019-03
    爬取大规模数据必备高效代理IP和分布式爬虫

    学习Python爬虫,必然是想要爬取大规模数据,如果还想单个单个来爬取数据,那还不如人工采集呢?何必花时间花成本去做网络爬虫进行采集,是吧。但是想要爬取大规模数据,我们需要准备一

  • 03 2019-04
    爬虫借用代理IP工具把伪装技能点满了

    在爬虫时,我们不可避免的会遇到网页的反爬封锁,所以就有了爬虫的攻防,在攻和守之间两股力量不断的抗衡。接下来就讲讲我在爬虫时遇到的一些问题,以及解决的方法。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部