您的位置:首页 > 新闻资讯 >文章内容
添加代理ip,爬虫是否能绕过访问
来源:互联网 作者:admin 时间:2019-04-05 17:02:00

在使用爬虫时,有没有遇到什么问题?比如说,刚开始爬,马上就被封了,还不知道原因。遇到这个问题,一般是什么原因呢?


在使用python对网页进行多次快速爬取的时候,访问次数过于频繁,服务器不会考虑User-Agent的信息,会直接把你视为爬虫,从而过滤掉,拒绝你的访问,在这种时候就需要设置代理,我们可以给proxies属性设置一个代理的IP地址,代码如下:


 import requests
 from lxml import etree
 url = ""
 headers = {"User-Agent": "Mozilla/ (Windows NT 10.0; Win64; x64) AppleWebKit/ (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/ OPR/57.0.3098.116", }
 pro = {
 # 'https': '', #四川省成都市 电信
 'https': '', #湖北省武汉市 电信
 }
 try:
 response = (url, headers=headers, proxies=pro)
 html_str = ()
 # print(html_str)
 html = (html_str)
 message = ("//div[@class='well']//p/text()")
 ip = ("//div[@class='well']//p/code/text()")
 eng = ("//div[@class='well']/p/text()")
 print(message[0]+ip[0])
 print(message[1]+ip[1])
 print(eng[2])
 except requests.exceptions.ProxyError as e:
 print("当前代理异常")
 except:
 print("当前请求异常")

在上面的代码中,调用requests库,对一个IP地址查询网页进行访问,随后使用lxml库的xpath对网页进行分析提取,返回用户访问此网页时自己的IP地址,如果代理设置成功,则会返回你的信息和IP地址,如下:


添加代理ip,爬虫是否能绕过访问


如果代理失败则会返回异常,在代码中使用了捕获异常,则会返回设置的提示信息,"当前代理异常",如果不是代理的错误则是"当前请求异常"


添加代理ip,爬虫是否能绕过访问


PS:免费的代理不是很稳定,在确认代码无误后,如果仍然返回异常,可尝试更换代理IP...


以上就是遇到封IP之后,爬虫应对的方法,也就是说可以设置个代理ip,绕过进行访问的。免费代理不好用,可以找付费的代理,像机灵代理也是不错的。

相关文章内容简介
推荐阅读
  • 27 2019-03
    代理服务器网的服务性质是什么?

    现在各大网站的代理服务网成为业界赫赫有名的网站,随便拿一个普通的IP代理商,他们的质量都是非常可靠的,但是如何具体到细节还是需要客户提前测试之后才能够熟知的。

  • 26 2019-03
    平台代理哪家好?靠谱的服务商推荐

    现在服务器代理在广泛使用,尤其是服务器在我国占有巨大的市场主导能力,尤其是近几年来各种服务器平台代理在逐渐的发展起来,每一个服务器的服务商都会有所不同,在众多代理服务器服

  • 28 2019-05
    爬虫代理IP池的维护

    爬虫代理IP池的维护要注意什么?一般上,如果需要使用大量的IP,这IP地址只能是动态的IP地址,否则无法满足需求,比较现在IP资源稀缺。代理IP池中的这些动态IP的有效时间长短不一,有些只

  • 16 2019-05
    代理IP提取IP的格式设置

    代理IP提取IP的格式设置怎样的?我们知道,每次调用API后都会返回一批新的IP,默认输出格式是ip:port,不过代理IP提取IP的格式设置有几种,很多朋友的业务往往需要不一样的输出格式,比如要J

  • 20 2019-05
    代理服务器伪IP地址

    代理服务器伪IP地址,这样可以有效的节约网上资源,即用代理服务器可以减少对IP地址的需求,对于使用局域网方式接入Internet,如果为局域网(LAN)内的每一个用户都申请一个IP地址,其费用

  • 08 2019-05
    找一款靠谱的代理IP资源

    哪里找一款靠谱的代理IP资源?正是由于网络的限制越来越多,而且一些网站在渡过初期之后,会逐渐完善一些规则,加大各种限制,如果想要突破这些限制并不容易,就比如IP限制。

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961