您的位置:首页 > 新闻资讯 >文章内容
搭建一个爬虫代理IP池
来源:互联网 作者:admin 时间:2019-05-24 12:04:00

    代理对于爬虫行业来讲,是很熟悉的,因为基本上没有爬虫代理大部分的数据都拿不到手,毕竟都不是自家开的平台,想要拿数据肯定是不可能的,总有各种的陷阱等着爬虫。而爬虫代理就是一种解决陷阱的工具之一,使用的范围还是比较广的。


    如果手边没有趁手的爬虫代理IP池,自己搭建一个爬虫代理IP池也是很正常的,并不是很有难度。搭建过程如下:


    安装squid


    使用yum直接安装即可yum install squid -y,安装完成后配置文件在/etc/squid/目录下。


    配置basic认证


    不得不说现在网络上扫描器实在太多了。笔者在一台机器上使用默认端口3128开启了squid服务,没有配置访问认证,测试结束后忘记关闭squid服务,过了几个小时就发现服务器负载太高,查看日志(/var/log/squid/)发现是已经被人扫到并用上了。


搭建一个爬虫代理IP池


    看来必需要配置访问认证了


    1.生成passwords文件 在本机上执行


    # 安装htpasswd工具 yum install httpd-tools -y # 生成passwords文件 htpasswd -c passwords authorized_user


    2.输入两次密码后生成passwords文件


    配置squid认证 将passwords文件上传到爬虫服务器/etc/squid/目录下,编辑/etc/squid/squid.conf文件,添加


搭建一个爬虫代理IP池


    高匿配置


    squid默认配置为透明代理,通过squid发送请求时squid会添加x-forwarded-for与via请求头,对方会发现你在使用代理,并根据这个得知你的真实ip,对于爬取数据必需要使用高匿代理,在配置文件中添加如下内容


搭建一个爬虫代理IP池


    批量安装


    上面已经介绍了搭建与配置squid的步骤,下面介绍如何通过python批量安装。首先需要通过ssh连接到服务器,使用paramiko库可以通过ssh连接到远程服务器,建立连接后执行上面的命令就可以了,没什么可说的就直接贴代码了。


搭建一个爬虫代理IP池


    搭建一个爬虫代理IP池的过程就到此告一段落了,大家可以参考下这个搭建的过程。关于IP的来源,小编想说在网上找的免费代理可用性又太低,建议代理商家拿比较快,例如机灵代理这类的,有数量,有质量,搭建起来会比较快。


相关文章内容简介
推荐阅读
  • 06 2019-05
    利用代理隐藏本地ip地址

    利用代理隐藏本地ip地址,这是怎么操作的?是先要找到个能用的代理IP吗?还是可以直接上网找个代理服务器使用的?平常使用的代理是否具有隐藏本地ip地址的作用?

  • 29 2019-04
    高效代理IP哪里找呢?

    高效代理IP哪里找呢?需要使用到代理IP的工作有点多,基本都是需要更换IP地址的,不过想更换个IP也不是那么容易的的,这对代理IP的质量有所要求。我们举个例子来看看。

  • 18 2020-09
    浅谈代理ip的用途

    网络ip的使用是很基础的一项,没有网络ip我们的很多网络操作都无法很好地开展。

  • 29 2019-08
    代理IP分享Python爬虫抓取歌曲方法

    现在的音乐播放器歌曲版权竞争非常激烈,有时想要听某首歌在这个播放器找不到,还得切换到另一个播放器,实在太麻烦。而且有些歌曲还要开VIP会员才能够听跟下载,这里机灵代理为大家带

  • 04 2019-03
    爬虫代理IP的获取方式有哪些,该怎么选择呢

    ​随着互联网的迅猛发展,爬虫工作日益重要,而爬虫工作者一般都绕不过代理IP这个问题,为什么呢,这是因为在网络爬虫抓取信息的过程中,抓取频率高过了目标网站的设置阀值

  • 24 2019-12
    换IP会影响网络使用吗?

    换IP会影响网络使用吗?在如今的信息时代我们无时无刻都在使用互联网,而用来连接互联网的终端设备都会有一个ip地址,主要是用来确认终端设备的具体位置同时也是为了标识终端设备,毕竟每天

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部