您的位置:首页 > 新闻资讯 >文章内容
Scrapy框架中间件代理IP设置教程
来源:互联网 作者:admin 时间:2019-11-29 10:49:23

  Scrapy框架中间件如何设置user agent以及配置代理IP进行伪装?下面我们一起来看看机灵代理带来的教程介绍,看看这两个步骤分别是如何实现的。

Scrapy框架中间件代理IP设置

  1、下载中间件中的ua 伪装


  下载中间件可以拦截调度器发送给下载器的请求。可以将请求的相应信息进行篡改,主要可以通过拦截请求修改请求的ip


  在settings 中开启下载中间件


  DOWNLOADER_MIDDLEWARES = {


  'postPro.middlewares.PostproDownloaderMiddleware': 543,


  }


  process_request()


  更改中间件中的 : ROBOTSTXT_OBEY = False


  使用 UA 池


  user_agent_list = [


  "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 "


  "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",


  "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 "


  "(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",


  "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 "


  "(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",


  "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 "


  "(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",


  "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 "


  "(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",


  "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 "


  "(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",


  "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 "


  "(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",


  "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "


  "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",


  "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 "


  "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",


  "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 "


  "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",


  "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "


  "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",


  "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "


  "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",


  "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "


  "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",


  "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "


  "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",


  "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 "


  "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",


  "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "


  "(KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",


  "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 "


  "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",


  "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 "


  "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"


  ]


  #拦截所有的正常的请求对象


  def process_request(self, request, spider):


  #可以拦截到所有的响应对象


  request.headers['User-Agent'] = random.choice(self.user_agent_list)


  2、代理IP


  process_exception(self, request,)


  ip列表


  PROXY_http = [


  '153.180.102.104:80',


  '195.208.131.189:56055',


  ]


  PROXY_https = [


  '120.83.49.90:9000',


  '95.189.112.214:35508',


  ]


  使用 ip代理池:


  # request.meta['proxy'] = 'http://ip/port'


  # 判断请求协议头


  #拦截的是发生异常的请求对象


  def process_exception(self, request, exception, spider):


  #设置代理ip


  if request.url.split(':')[0] == 'http':


  request.meta['proxy'] = 'http://'+random.choice(self.PROXY_http)


  else:


  request.meta['proxy'] = 'https://'+random.choice(self.PROXY_https)


  验证 使用 百度查询 请求ip 地址


  这样我们就完成了设置UA以及代理IP的伪装工作了,大家使用的时候只要将自己的代理IP进行替换就可以了。


相关文章内容简介
推荐阅读
  • 18 2019-07
    爬虫代理存在的意义

    爬虫代理存在的意义就是为了换IP吗?其实也不仅仅是这个,爬虫代理除了可以换ip,突破ip限制,实现再次访问之外,还有其他的作用。

  • 13 2020-03
    IP代理都有哪些优势

    IP即互联网协议(Internet Protocol)是用于分组交换数据网络的一种协议,其任务仅仅是根据源主机和目的主机的地址来传送数据。互联网协议定义了寻址方法和数据报的封装结构,通俗的说就是

  • 21 2020-02
    IE怎么设置ip代理使用

     代理服务器的功能就是代理网络用户去取得网络信息,也可以比喻为是网络信息的中转站。如果你想要突破访问限制,代理服务器可以帮助你,如果你想要隐藏自己的IP地址,代理服务器同样

  • 19 2020-01
    代理IP软件哪家好

    代理IP软件现在是很常见的工具,可以帮用户解决IP限制的困扰。但是现在提供代理IP软件的商家有很多,质量上还是有一定差距的,那么,代理IP软件哪家好呢?

  • 27 2019-09
    代理IP分享如何搭建搭建负载集群(下)

    经过前面的长长铺垫,我们终于进入到Linux+NetCore+Nginx搭建负载集群的重头戏了。前方知识点比较多,代理IP建议细细查看,这样才是学习知识的正确姿势。相关阅读:如何搭建搭建负载集群(上)

  • 08 2020-06
    代理IP软件有什么益处

    代理IP软件是很多网络工作者的必备工具,例如网络推广、注册、爬虫等等。代理IP深受很多用户的欢迎,但还有很多用户对其不是很了解。那么,代理IP软件有什么益处?

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部