在爬虫时，我们不可避免的会遇到网页的反爬封锁，所以就有了爬虫的攻防，在攻和守之间两股力量不断的抗衡。接下来就讲讲我在爬虫时遇到的一些问题，以及解决的方法。

　　网站的反爬虫机制会使用到user-agent，什么是user-agent？在反爬虫与爬虫的抗衡种，到底是谁更胜一筹呢？

　　user-agent是浏览器的身份标识，网站就是通过user-agent来确定浏览器类型的。当我们在请求时发现，通过get函数发送的请求返回的内容与在PC浏览器检查的不一样。就可以首先考虑在get函数下的headers属性，把user-agent字段值构造成字典，添加给headers属性。例如：

　　然后用requests.get(url, headers = headers)进行请求，这种方法可以满足部门网页的请求，可以作为遇到问题的第一种尝试。

　　第二种封锁user-agent的方法就是，携带cookies一些赋给Headers值，把Repuest Headers下的信息都构造成字典，赋给headers属性：

　　利用以上信息构造成字典：

　　这种携带cookie值得headers一般用于需要登录才能获取部分信息的网页。

　　可见，爬虫伪装身份的技能点满时，我们能拿到的信息越快也越多，在此过程中要注意代理IP的利用，因为IP是无法伪装了，只是借用代理IP工具了。