您的位置:首页 > 新闻资讯 >文章内容
Scrapy爬取知乎------配置代理IP和UA
来源:互联网 作者:admin 时间:2019-03-22 18:16:21

  爬虫们要想进行大规模的爬取数据,这并不容易,因为网站大量的反爬虫也不是摆设的,要想获取到这些数据,势必要伪装好自己的数据,那么需要伪装什么数据呢?


  首先呢,如果有钱的话建议自己去购买个比较高级的代理IP,代理精灵也是可以的,这种代理响应速度比一般的要快很多。知乎对爬虫限制相对来说没有那么严格,所以一般的IP也没啥用(当然我说的单台),如果你部署多台的话有个代理IP是很爽的,方便快捷。


  找代理IP,大家自行百度,我就不多说了,基本每个代理都有免费的额度。


  先把UA池配了,爬虫应该UA池是必须配的。


  在setting.py中加入下面的代码:

Scrapy爬取知乎------配置代理IP和UA


  UA池,百度一搜一大堆。


  在中间件middlewares.py中写入下面的代码。使用代理IP池的方法可以去GitHub上搜proxy,很多。



Scrapy爬取知乎------配置代理IP和UA


Scrapy爬取知乎------配置代理IP和UA
Scrapy爬取知乎------配置代理IP和UA


  在新建一个py文件放入下面的代码:


Scrapy爬取知乎------配置代理IP和UA


  到这配置基本就结束 了。在setting.py中修改下面的代码:


Scrapy爬取知乎------配置代理IP和UA


  完全结束,启动项目就会发现请求是从代理IP发出的。如果配合scrapy-redis配置多台应该效率还是可以的。


  对于数据的爬取,使用单个爬虫是满足不了,若是使用多个爬虫,也是要借用到代理IP的,通过代理IP池的使用,爬虫爬取会更方便。


相关文章内容简介
推荐阅读
  • 17 2019-06
    安卓手机无限换ip地址

    安卓手机无限换ip地址,这能不能实现啊!虽说之前都是电脑换IP的,不过手机换IP应该也是行的吧?现在大部分人都使用手机啦,尤其是安卓手机的。

  • 18 2019-03
    想解决IP限制问题,怎么获得不限量动态IP代理

    一些需要更换IP的项目,仅靠一个IP是无法完成,即使自己动手更换IP,效果也不大,因为很多地方使用的是局域网,内网IP怎么换都没有什么用,其外网IP是一致的。

  • 23 2019-07
    用动态ip代理软件的益处有哪些?

    用动态ip代理软件的益处有哪些?不知道大家是否都有使用过动态ip代理软件,其实动态ip代理软件属于代理,可以更换ip地址,如果你利用动态ip代理软件上网访问时,电脑浏览器并不是立即到we

  • 17 2019-07
    哪里找http代理ip?

    哪里找http代理ip?现如今,互联网上各种各样的http代理服务器层出不穷,由于做python爬虫的缘故,这个问题已经被ask无数次了。下面小编介绍几个常见的http代理服务器渠道。

  • 29 2019-08
    代理IP助你解决反爬虫策略

    现在,反爬虫是越来越严,不少人在吐槽现在爬虫不好做。面对平台的反爬虫规则,我们是一点办法都没有了吗?显然不是的,代理IP这就告诉你,怎么样可以减少被封的几率。

  • 19 2019-03
    网站反爬虫遍布,代理IP是突破防线的好办法

    如今这个网络发达的时代,不管是反爬虫还是网络爬虫,都是遍布网络的每个角落,网站为了保护好自己的网站服务器,使用反爬虫拦截是自然的,若是要进行数据的采集,一般也是出动网络爬

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
400-998-9776转3