您的位置:首页 > 新闻资讯 >文章内容
Scrapy爬取知乎------配置代理IP和UA
来源:互联网 作者:admin 时间:2019-03-22 18:16:21

  爬虫们要想进行大规模的爬取数据,这并不容易,因为网站大量的反爬虫也不是摆设的,要想获取到这些数据,势必要伪装好自己的数据,那么需要伪装什么数据呢?


  首先呢,如果有钱的话建议自己去购买个比较高级的代理IP,代理精灵也是可以的,这种代理响应速度比一般的要快很多。知乎对爬虫限制相对来说没有那么严格,所以一般的IP也没啥用(当然我说的单台),如果你部署多台的话有个代理IP是很爽的,方便快捷。


  找代理IP,大家自行百度,我就不多说了,基本每个代理都有免费的额度。


  先把UA池配了,爬虫应该UA池是必须配的。


  在setting.py中加入下面的代码:

Scrapy爬取知乎------配置代理IP和UA


  UA池,百度一搜一大堆。


  在中间件middlewares.py中写入下面的代码。使用代理IP池的方法可以去GitHub上搜proxy,很多。



Scrapy爬取知乎------配置代理IP和UA


Scrapy爬取知乎------配置代理IP和UA
Scrapy爬取知乎------配置代理IP和UA


  在新建一个py文件放入下面的代码:


Scrapy爬取知乎------配置代理IP和UA


  到这配置基本就结束 了。在setting.py中修改下面的代码:


Scrapy爬取知乎------配置代理IP和UA


  完全结束,启动项目就会发现请求是从代理IP发出的。如果配合scrapy-redis配置多台应该效率还是可以的。


  对于数据的爬取,使用单个爬虫是满足不了,若是使用多个爬虫,也是要借用到代理IP的,通过代理IP池的使用,爬虫爬取会更方便。


相关文章内容简介
推荐阅读
  • 04 2019-06
    用代理服务器换ip软件解决IP被封问题

    用代理服务器换ip软件解决IP被封问题,这是很多爬虫工程师的做法,不然被拦住的就是你的爬虫了。

  • 13 2019-02
    爬虫怎么获取Ajax请求的信息

    我们在搜索某一关键词的信息后,服务器只会向我们返回少量的数据,但当我们再次向下刷新的时候,会再次通过Ajax请求返回指定数目的数据。比如当浏览器的滚动条触底时,再次提取数据。

  • 11 2019-05
    用IP代理会掉回原来的IP吗?

    用IP代理会掉回原来的IP吗?如果IP代理不稳定,是不是会失效,变回原来的IP访问。由于工作或者生活中有时会遇到IP地址被封的情况,导致这种情况的原因有很多,比如贴吧发帖频繁、数据采

  • 20 2019-05
    代理IP选择侧重看响应速度好吗

    代理IP选择侧重看响应速度好吗?代理IP出现在人们的工作和生活中,应用也是越来越频繁。许多普通人也许少使用代理IP,并不知道关于代理IP的一些知识,因此在代理IP的选择和应用中可能存

  • 29 2019-09
    Linux快速配置虚拟IP替换教程

    Linux怎么快速配置虚拟IP,才能够实现IP快速替换?实现起来步骤复杂吗?机灵代理下面为大家带来相关的教程给大家进行参考。

  • 11 2019-05
    爬虫代理原本是为了解决什么问题?

    爬虫代理原本是为了解决什么问题?主要是IP限制问题,爬虫代理如果是高匿名的话可以很好的隐藏IP地址,达到突破限制的目的。

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961