爬虫的IP地址如果没有伪装好，这是非常容易被封的，影响效率不说，还拿不到数据。因此，对于爬虫而言，代理IP池是非常重要的。如果爬虫使用了高质量的代理IP池，可以很好的伪装自己的IP地址，并抓取到数据的。

　　在Python中，编写爬虫时需要合理的使用到代理IP，这应该怎么设置的呢？

　　requests使用代理 ip

　　定义代理IP

　　使用代理

　　这样就可以使用你定义的代理地址去访问网站了。

　　代理地址哪里来

　　在网上有很多免费的代理，随便搜就有一堆了。不过你知道的，免费的话很多人都去使用，所以这些代理IP很不稳定。如果你有钱的话，市面上有人就专门提供代理IP的，直接去买就行了，推荐代理精灵。

　　不想花钱呢？可以搞一个代理IP池，主要就是通过python程序去抓取网上大量免费的代理ip，然后定时的去检测这些ip可不可以用，这样下次你要使用代理ip的时候，你只需要去自己的代理IP池里面拿就行了。

　　道理都懂，但是不想自己弄一个代理池，有没有现成的？

　　找个不错的开源代理IP池，首先使用git clone将源代码拉到你本地。

　　接着打开项目中的setting.py，在这里可以配置相关信息，比如Redis的地址密码相关。

　　接着在你clone下来的文件目录中，安装相关所需的python模块：

　　pip3 install -r requirements.txt

　　接下来开启你的redis

　　redis的默认端口就是6379，接着就可以运行run.py了。

　　如果你在运行的时候出现这个错误

　　AttributeError: 'int' object has no attribute 'items'

　　更新一下redis版本

　　pip3 install redis==2.10.6

　　运行run.py，这时候在你的redis中就有爬取到的代理ip了。

       项目跑起来之后，你就可以访问你的代理池了。比如随机获取一个代理ip地址，这样访问之后就会获取到一个代理 ip，在代码中获取代理也不在话下啦，这样我们就成功的在我们的代理池中获取代理ip了。

　　我们都知道使用代理IP池伪装爬虫IP地址可以继续爬，关键是代理IP的获取并不简单，主要是因为我们对代理IP的要求比较高，其质量和数量都能影响到最终的效果。如果你担心找不到好用的代理IP，小编推荐使用代理精灵的，使用效果不错，不过还是建议你自己先去测试下，看看是否符合你的要求。