代理IP定期爬取并检测是否可用，这样代理IP池的使用性就会好很多，努力避免因为IP的失效影响工作。但也不能老盯着，最好可以弄个自动的程序，就是一个任务每隔一定时间去到目标代理IP提供网站去爬取可用数据存到mysql数据库，并且检测数据库已有数据是否可用，不可用就删除。

    1.编写提取代理ip到数据库的爬虫

    准备mysql表

    创建爬虫工程，编写items.py(对应数据库的字段)

    编写settings.py，编写spider，这里用到了bs4,需要自行安装。

    编写pipline，这里需要安装：pip install mysqlclient

    这里插入数据库之前做两个校验：数据是否存在、数据是否可用。

    测试爬虫scrapy crwal爬虫名

    3.到此我们的 提取代理ip到数据库的 爬虫就写好了,接下来就是我们的任务定时器的编写。

    4.如果你是windows平台，cmd执行运行 python start.py , 任务就会一直执行，除非关掉cmd 。

    5.如果你是linux平台，最好编写一个.sh文件来执行，还可以把这个.sh搞成开机启动等等。