您的位置:首页 > 新闻资讯 >文章内容
Scrapy下载器中间件设置代理IP步骤
来源:互联网 作者:admin 时间:2019-12-03 10:40:22

  如何在Scrapy下载器中间件实现随机请求头以及设置代理IP使用?要实现这一操作,我们总共需要完成3个步骤,下面跟着机灵代理来一起学习吧。

Scrapy下载器中间件设置代理IP


  一、设置随机请求头


  class UAMiddleWare(object):


  UA_LIST = [


  'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',


  'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',


  'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',


  'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)'


  ]


  def process_request(self,request,spider):


  user_agent = random.choice(self.UA_LIST)


  request.headers['User-Agent'] = user_agent


  二、设置随机代理ip(开放代理)


  class IPMiddleWare(object):


  PROXIES = ['http://121.123.32.1:8080','http://122.21.32.2:8000','http://221.32.123.321:8080']


  def process_request(self,request,spider):


  proxy = random.choice(self.PROXIES)


  request.meta['proxy'] = proxy


  三、设置独享代理


  import base64


  class IPduxiang(object):


  def process_request(self,request,spider):


  proxy = '123.32.12.3:16861'#独享代理的IP地址


  account_password = 'qishuai@juan-juan.com:12342332'


  request.meta['proxy'] = proxy


  #base64.b64encode('转换为字节型')


  b64_password = base64.b64encode(account_password.encode('utf-8'))


  #需要设置请求头 'Basic' + 转换为字符串


  request.headers['Proxy-Authorization'] = 'Basic'+b64_password.decode('utf-8')


  # 相比开放代理池,独享代理需要将用户名和密码进行base64加密再传入请求头中


  设置完这3个步骤,我们就已经完成这一系列的操作配置了,可以开始使用代理IP。


相关文章内容简介
推荐阅读
  • 20 2019-06
    解决IP被封的长久有效办法

    解决IP被封的长久有效办法,都有哪些?IP被封,这是很多人都遇到的问题,平常偶尔换个IP还可以,但如果需要长久的解决这个问题,有没有什么方法呢?

  • 22 2019-03
    Scrapy爬取知乎------配置代理IP和UA

    爬虫们要想进行大规模的爬取数据,这并不容易,因为网站大量的反爬虫也不是摆设的,要想获取到这些数据,势必要伪装好自己的数据,那么需要伪装什么数据呢?

  • 01 2020-04
    代理IP对爬虫的重要性

    网络数据越来越多,想做数据分析,就要抓取多个网站的数据进行分析,靠人工来完成是不现实的。因此,爬虫就出现了,可以用爬虫直接抓取数据。

  • 07 2020-09
    代理IP的动静态线路有什么区别

    不过有很多人并不清楚代理ip是什么,通过这篇文章,大家可以直观的对代理ip有一个简单的认识。网络上,我们有时候会经常需要用到一种换ip的技术,叫做代理ip。

  • 27 2019-03
    服务器代理IP哪家强?

    对于很多爬虫来说,他们目前只是一个为了不断应付越来越高级牌爬虫代理的目的而成就了现在无数代理IP的行业。尤其是现在这个行业中各式各样的爬虫服务越来越多,想要找到一家可靠的服

  • 18 2019-04
    使用爬虫代理的常见问题有哪些?

    使用爬虫代理的常见问题有哪些?大家对爬虫代理的了解有多少呢?在使用爬虫代理的过程中都会遇到哪些问题呢?我们一起来了解下。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部