您的位置:首页 > 新闻资讯 >文章内容
Scrapy爬取知乎------配置代理IP和UA
来源:互联网 作者:admin 时间:2019-03-22 18:16:21

  爬虫们要想进行大规模的爬取数据,这并不容易,因为网站大量的反爬虫也不是摆设的,要想获取到这些数据,势必要伪装好自己的数据,那么需要伪装什么数据呢?


  首先呢,如果有钱的话建议自己去购买个比较高级的代理IP,代理精灵也是可以的,这种代理响应速度比一般的要快很多。知乎对爬虫限制相对来说没有那么严格,所以一般的IP也没啥用(当然我说的单台),如果你部署多台的话有个代理IP是很爽的,方便快捷。


  找代理IP,大家自行百度,我就不多说了,基本每个代理都有免费的额度。


  先把UA池配了,爬虫应该UA池是必须配的。


  在setting.py中加入下面的代码:

Scrapy爬取知乎------配置代理IP和UA


  UA池,百度一搜一大堆。


  在中间件middlewares.py中写入下面的代码。使用代理IP池的方法可以去GitHub上搜proxy,很多。



Scrapy爬取知乎------配置代理IP和UA


Scrapy爬取知乎------配置代理IP和UA
Scrapy爬取知乎------配置代理IP和UA


  在新建一个py文件放入下面的代码:


Scrapy爬取知乎------配置代理IP和UA


  到这配置基本就结束 了。在setting.py中修改下面的代码:


Scrapy爬取知乎------配置代理IP和UA


  完全结束,启动项目就会发现请求是从代理IP发出的。如果配合scrapy-redis配置多台应该效率还是可以的。


  对于数据的爬取,使用单个爬虫是满足不了,若是使用多个爬虫,也是要借用到代理IP的,通过代理IP池的使用,爬虫爬取会更方便。


相关文章内容简介
推荐阅读
  • 08 2019-04
    爬虫配代理IP和UA爬取顺利,绕过反爬虫机制

    网上对于爬虫采集的教程或者是一些讨论都比较多的,如果我们要去爬取一个网站的信息,大家可能最先想的是对方有什么反爬虫机制。是的,这个问题是非常关键的,而且还是必须要解决的。

  • 21 2019-06
    代理IP的匿名度会影响稳定性吗

    代理IP的匿名度会影响稳定性吗?我们知道,代理分为透明代理、普通匿名代理和高级匿名代理三种,有很多朋友疑问:高级匿名代理是否比普通匿名代理更稳定,普通匿名是否比透明代理更稳

  • 09 2019-05
    爬虫代理可以提高爬取信息效率

    爬虫代理可以提高爬取信息效率,绝大多数目标网站都具有反爬虫策略,最简单的反爬虫策略包括限制单位时间内同一ip的访问次数,或同一个登陆账户的访问次数(通过cookies实现)。例如新浪

  • 08 2019-05
    机灵代理的ip有效时间可控制

    机灵代理的ip有效时间可控制,这IP有效时间其实受很多的因素影响,比如,代理服务器受网络带宽、访问量、服务器本身性能等多种因素影响,其稳定性也是受影响的。

  • 17 2019-06
    优质http代理商家推荐

    优质http代理商家推荐,找个非常好的http代理可不容易了,很多商家都是有各种的问题,总之用不长久的,经常换http代理很麻烦,有没有好用的呢?今天小编就来给大家说下优质http代理商家推

  • 11 2019-06
    什么是api代理?

    什么是api代理?对于api,我相信知道的人不多,但是使用的人很多。其实日常生活中,我们有很多类似API的场景,比如:

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961