您的位置:首页 > 新闻资讯 >文章内容
Scrapy下载器中间件设置代理IP步骤
来源:互联网 作者:admin 时间:2019-12-03 10:40:22

  如何在Scrapy下载器中间件实现随机请求头以及设置代理IP使用?要实现这一操作,我们总共需要完成3个步骤,下面跟着机灵代理来一起学习吧。

Scrapy下载器中间件设置代理IP


  一、设置随机请求头


  class UAMiddleWare(object):


  UA_LIST = [


  'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',


  'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',


  'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',


  'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)'


  ]


  def process_request(self,request,spider):


  user_agent = random.choice(self.UA_LIST)


  request.headers['User-Agent'] = user_agent


  二、设置随机代理ip(开放代理)


  class IPMiddleWare(object):


  PROXIES = ['http://121.123.32.1:8080','http://122.21.32.2:8000','http://221.32.123.321:8080']


  def process_request(self,request,spider):


  proxy = random.choice(self.PROXIES)


  request.meta['proxy'] = proxy


  三、设置独享代理


  import base64


  class IPduxiang(object):


  def process_request(self,request,spider):


  proxy = '123.32.12.3:16861'#独享代理的IP地址


  account_password = 'qishuai@juan-juan.com:12342332'


  request.meta['proxy'] = proxy


  #base64.b64encode('转换为字节型')


  b64_password = base64.b64encode(account_password.encode('utf-8'))


  #需要设置请求头 'Basic' + 转换为字符串


  request.headers['Proxy-Authorization'] = 'Basic'+b64_password.decode('utf-8')


  # 相比开放代理池,独享代理需要将用户名和密码进行base64加密再传入请求头中


  设置完这3个步骤,我们就已经完成这一系列的操作配置了,可以开始使用代理IP。


相关文章内容简介
推荐阅读
  • 20 2019-06
    暴力爬取网站被封IP地址

    暴力爬取网站被封IP地址,毕竟这些网站又不是你家的,凭什么给你随便爬取信息啊!这么粗鲁,直接的爬取,这给对方带去了麻烦,服务器压力大,不封你封谁呢,是吧。

  • 31 2019-05
    游戏号被封IP可能是同IP引起的

    游戏号被封IP可能是同IP引起的,也就是说使用大量的游戏号,这些游戏号的IP地址还都是一样的,并且在同一个ip下同时长期登录使用。比方说用安卓模拟器在电脑上登录多个游戏号,使用的是

  • 20 2019-06
    解决IP被封的长久有效办法

    解决IP被封的长久有效办法,都有哪些?IP被封,这是很多人都遇到的问题,平常偶尔换个IP还可以,但如果需要长久的解决这个问题,有没有什么方法呢?

  • 03 2020-04
    代理ip软件有哪些好处

    代理ip软件主要用于更换访问ip地址,那么使用代理ip具有哪些好处及作用?

  • 02 2021-03
    ip代理​都能做什么

    现在很多领域都需要用到代理IP,用到的领域越来越广,如爬虫、投票、抢购等等,那么具体代理ip有什么用?能做些什么呢?

  • 10 2019-12
    服务器怎么识别真实ip?

    服务器怎么识别真实ip?许多使用代理ip​的用户都是为了能够隐藏自己真实ip,避免被其他服务器所追踪和监控,想要知道代理ip是怎么避免被发现我们就要先知道服务器是怎么识别真实ip,知己

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部