您的位置:首页 > 新闻资讯 >文章内容
Scrapy下载器中间件设置代理IP步骤
来源:互联网 作者:admin 时间:2019-12-03 10:40:22

  如何在Scrapy下载器中间件实现随机请求头以及设置代理IP使用?要实现这一操作,我们总共需要完成3个步骤,下面跟着机灵代理来一起学习吧。

Scrapy下载器中间件设置代理IP


  一、设置随机请求头


  class UAMiddleWare(object):


  UA_LIST = [


  'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',


  'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',


  'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',


  'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)'


  ]


  def process_request(self,request,spider):


  user_agent = random.choice(self.UA_LIST)


  request.headers['User-Agent'] = user_agent


  二、设置随机代理ip(开放代理)


  class IPMiddleWare(object):


  PROXIES = ['http://121.123.32.1:8080','http://122.21.32.2:8000','http://221.32.123.321:8080']


  def process_request(self,request,spider):


  proxy = random.choice(self.PROXIES)


  request.meta['proxy'] = proxy


  三、设置独享代理


  import base64


  class IPduxiang(object):


  def process_request(self,request,spider):


  proxy = '123.32.12.3:16861'#独享代理的IP地址


  account_password = 'qishuai@juan-juan.com:12342332'


  request.meta['proxy'] = proxy


  #base64.b64encode('转换为字节型')


  b64_password = base64.b64encode(account_password.encode('utf-8'))


  #需要设置请求头 'Basic' + 转换为字符串


  request.headers['Proxy-Authorization'] = 'Basic'+b64_password.decode('utf-8')


  # 相比开放代理池,独享代理需要将用户名和密码进行base64加密再传入请求头中


  设置完这3个步骤,我们就已经完成这一系列的操作配置了,可以开始使用代理IP。


相关文章内容简介
推荐阅读
  • 01 2019-11
    爬虫的解析数据与模拟器讲解

    网络爬虫在大数据时代已经见怪不怪,甚至就算不是从事互联网行业的人群,也或多或少听说过网络爬虫这个词。而代理IP的利用,高效提升了爬虫的效率与进程,让爬虫工作得到了提升。

  • 13 2020-04
    哪些领域常用http代理ip

    如果使用过ip代理,那么对于代理服务器的功能作用可能已经比较清楚。根据代理ip的功能,我们能够举一反三,在不同的业务范畴使用它来帮助提高效率。

  • 21 2019-11
    手机设置线程IP教程

    现在使用代理IP的设备手机端的数量已经呈现出超出电脑端的迹象了,如果每用一个IP就要手动切换一次,这样岂不是很麻烦吗?线程IP池就可以解决这个困扰。

  • 13 2019-02
    几种获取Ajax加载信息的方法

    网站为了应对各种爬虫采用了许多的反爬虫策略,即使不能完全杜绝爬虫进行爬取,也能大大降低爬虫的采集速度,比如说网站采用Ajax加载数据,但这些信息爬虫又不能不进行采集,那么爬虫

  • 18 2019-04
    互联网工作者都要使用代理IP吗?

    互联网工作者都要使用代理IP吗?代理IP使用的主要催化剂是媒体素材的使用,为什么这么说呢?很多互联网工作者,需要收集网络的信息,但是大量的收集,人工太慢了,使用代理IP之后,可以

  • 17 2019-05
    https代理使用怎样?

    https代理使用怎样?机灵代理解决https代理使用困难问题,虽然https代理对用户来说是一个非常安全可靠的选择,但是因为如今国内提供https代理服务的团队非常少,导致很多用户即使想要使用http

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部