您的位置:首页 > 新闻资讯 >文章内容
爬取的代理ip不能用,要先进行检验
来源:互联网 作者:admin 时间:2019-08-13 10:40:28

    爬取的代理ip不能用,要先进行检验,这检验的过程是怎样的?如何免费构建自己的代理IP池?网上有很多公开的免费代理IP,下面我们用爬虫爬取这些IP并进行验证。


    爬来的IP不能保证都能用,所以爬取下来后需要检验,用爬取的代理ip访问网站,看状态码,是200就证明能用,保存到MongoDB非关系型数据库保存,mysql也行。


爬取的代理ip不能用,要先进行检验


    步骤:


    安装Mysql数据库,过程略


    python 引用 json threading BeautifulSoup


    建立多线程,在线程中爬取,检查ip是否可以使用(因为采集到的ip不一定是都能用的,只有当状态码是200的时候表明有响应,可以用),保存进数据库


    提供大量的User-Agent,为什么要这么多头的user agent呢,因为如果头都一样的话,人家很容易知道你这个是一个爬虫,所以你用很多头模仿很多用户在不同客客户端都访问就可以蒙混过关了。


    既然爬取的代理ip不能用,要先进行检验,不然用着就不能使用了,这非常麻烦。也可以向商家直接购买使用的,机灵代理质量不错,也可以试试的。


相关文章内容简介
推荐阅读
  • 17 2019-12
    低价的IP代理​软件靠谱吗?

    低价的IP代理​软件靠谱吗?谁都有想占便宜的心理,就看这诱惑够不够大,不过这廉价的产品,要考虑到安全问题,质量问题的。如果我们的IP被封了,要解决,使用IP代理软件,找廉价的如何?

  • 11 2019-12
    怎么在UC浏览器上使用IP代理​?

    怎么在UC浏览器上使用IP代理​?UC浏览器在手机上有着极大的占用率,凭借精简快速的系统占领了非常大的流量入口,我们有时候需要在UC浏览器上使用代理ip的时候,该如何对其进行设置呢?下面

  • 05 2021-01
    会影响ip代理速度的六大因素

    对于一些专业的网络营销人员来说,ip切换器是他们经常使用上网的方式,ip切换器资源是专业网络营销人员必不可少的工具之一。在试用ip切换器的时候,除了稳定性和安全性以外,IP代理的速

  • 22 2019-03
    代理IP在Python中如何使用?

    上文刚刚讲到对于代理IP资源的获取方法,如果选择使用代理精灵,这效果还是不错的,可以先进行测试使用的。那么代理IP在Python如何使用的呢?

  • 31 2019-10
    普通代理IP怎么理解?

    代理IP也有普通跟高级之分吗?就跟不同的服务级别,其实,代理IP也是可以根据IP的质量来分为普通代理以及高质量代理的。

  • 25 2020-08
    HTTP代理与SOCKS代理的区别

    HTTP代理:能够代理客户机的HTTP访问,主要是代理浏览器访问网页,它的端口一般为80、8080、3128等;

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部