您的位置:首页 > 新闻资讯 >文章内容
搭建一个爬虫代理IP池
来源:互联网 作者:admin 时间:2019-05-24 12:04:00

    代理对于爬虫行业来讲,是很熟悉的,因为基本上没有爬虫代理大部分的数据都拿不到手,毕竟都不是自家开的平台,想要拿数据肯定是不可能的,总有各种的陷阱等着爬虫。而爬虫代理就是一种解决陷阱的工具之一,使用的范围还是比较广的。


    如果手边没有趁手的爬虫代理IP池,自己搭建一个爬虫代理IP池也是很正常的,并不是很有难度。搭建过程如下:


    安装squid


    使用yum直接安装即可yum install squid -y,安装完成后配置文件在/etc/squid/目录下。


    配置basic认证


    不得不说现在网络上扫描器实在太多了。笔者在一台机器上使用默认端口3128开启了squid服务,没有配置访问认证,测试结束后忘记关闭squid服务,过了几个小时就发现服务器负载太高,查看日志(/var/log/squid/)发现是已经被人扫到并用上了。


搭建一个爬虫代理IP池


    看来必需要配置访问认证了


    1.生成passwords文件 在本机上执行


    # 安装htpasswd工具 yum install httpd-tools -y # 生成passwords文件 htpasswd -c passwords authorized_user


    2.输入两次密码后生成passwords文件


    配置squid认证 将passwords文件上传到爬虫服务器/etc/squid/目录下,编辑/etc/squid/squid.conf文件,添加


搭建一个爬虫代理IP池


    高匿配置


    squid默认配置为透明代理,通过squid发送请求时squid会添加x-forwarded-for与via请求头,对方会发现你在使用代理,并根据这个得知你的真实ip,对于爬取数据必需要使用高匿代理,在配置文件中添加如下内容


搭建一个爬虫代理IP池


    批量安装


    上面已经介绍了搭建与配置squid的步骤,下面介绍如何通过python批量安装。首先需要通过ssh连接到服务器,使用paramiko库可以通过ssh连接到远程服务器,建立连接后执行上面的命令就可以了,没什么可说的就直接贴代码了。


搭建一个爬虫代理IP池


    搭建一个爬虫代理IP池的过程就到此告一段落了,大家可以参考下这个搭建的过程。关于IP的来源,小编想说在网上找的免费代理可用性又太低,建议代理商家拿比较快,例如机灵代理这类的,有数量,有质量,搭建起来会比较快。


相关文章内容简介
推荐阅读
  • 18 2020-02
    代理ip知识大汇总

    关于代理IP,光是看机灵代理官网上的套餐信息,可能大家无法很全面的知道自己要购买的是什么产品。接下来,我们通过这一篇文章来好好介绍一下代理IP这个产品。

  • 27 2019-05
    代理服务器在网络中的一些用途

    代理服务器在网络中的一些用途,如果能够掌握这些用途,这对于我们的工作会更加有帮助的,那么我们就去了解下代理服务器的一些使用,使用代理服务器都有什么好处呢?

  • 27 2020-09
    代理IP究竟有何妙用

    代理IP如今这么火,代理IP究竟有何妙用?引得商家纷纷自建或者利用技术手段在公网上扫描收集代理IP。

  • 24 2020-04
    代理ip​都用在哪些方面

    代理ip在一些行业领域是特别备受青睐的,不晓得亲们是否有察觉哪些方面群体是较为常需用在日常性互联网使用的情况下换ip的。下面就由小机灵来为亲们详细介绍这一方面的群体。

  • 24 2020-03
    免费换ip软件安全性高吗

    相信大家都有听说过什么是代理ip,但是你对ip代理的认识有多少呢?动态ip代理是否跟你的想象一致呢?今天,我们就一同来走近换ip软件。

  • 24 2019-08
    动态IP代理在爬虫中怎么实现?

    通常在写爬虫时,网站都会针对有对应的防爬措施,就像是会限制你的单个IP访问次数,但是爬虫反复抓取,IP多次访问无法避免,那么这种问题我们通过代理IP,还能如何解决呢?

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部