如果遇到的网站反爬虫机制比较严，网络爬虫怎么入手爬取比较好？一般上来讲，只要利益大于成本，不管反爬虫机制有多严，网络爬虫都是有办法的，大不了多找些工具，把程序做好些。

　　即使网站比较严苛的检查每一个IP的请求操作，然后对于可能是异常的请求，返回某一页面给对应请求或是提示需要登录信息等等甚至可能把相应的IP拉入黑名单。

　　我们也可以使用代理IP来隐藏我们的身份，以及通过更换IP来达到不断爬取数据的目的。那么这些代理IP要从哪儿获取呢？

　　其实有蛮多免费代理IP的网站，里面会有很多的代理IP，但是不要太开心，因为这里的代理IP大都不稳定甚至失效，不然为什么那么多都要钱呢。因此，当你批量爬下来代理IP后，还需要再单独写一个程序，去利用每一个IP请求一个一定有的网站，例如百度，如果这个IP的(‘‘, proxies = proxy)（这里的proxy就是你的IP地址）访问成功了，才能说明这个IP是可用的。

　　如果你是通过免费代理IP爬取下来的IP地址，那么使用的时候就需要用到get函数的proxies属性

　　并不要把你获得的IP地址和端口号以这样的方式表示出来：

　　其中，"http": "" 是用来对http构成的网页进行请求时的代理，而"https": "" 是用来对https构成的网页进行请求时的代理，所以在使用时，如果发现设置的代理没有起作用，有可能就是你就http的网页运用了Https的代理或者反之，可以留意一下。

　　如果我们想知道设了了proxies属性后的get请求到底有没有携带我们设置的IP地址去请求，可以通过一下方法：

　　因为代码段中的网页就是用来返回本机IP地址的。

　　如果是使用付费代理IP的话，最好能爬高匿的IP，因为这样的IP的隐匿性更好，不会暴露你的一些电脑信息也会比较好的隐匿访问时携带的Cookie值（一些网站可能也会查Cookie值来做反爬技术）。

　　像机灵代理这样的商家的，IP都是比较稳定的，目前有效率都去到95%这样了，即使不进行检测使用，也是可以的。