爬虫想要抓取数据，首先要伪装好自己的数据，如需要使用代理IP修改IP地址，伪装请求头访问，否则会被系统检测到你是爬虫，这样就访问不了网页。关键是Python爬虫怎么伪装http请求，实现访问呢？

    1.我们在百度搜索时，输入关键词，比如“hello”，URL发生变化，如下：

    https://www.baidu.com/s?wd=hello&rsv_spt=1&rsv_iqid=0xfc1746f10002f457&issp=1&f=8&rsv_bp=0&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=1&rsv_sug3=6&rsv_sug1=6&rsv_sug7=100&rsv_t=bfb1srfxPDC%2B3vVQ8VIkfcg4Yus9EaBJZmHlVn5upgnCTMv99iZYH9iJSX3nVzXYdpeC

    如果只截取前一部分“https://www.baidu.com/s?wd=hello”，搜索效果是相同的，wd=后面跟的就是我们要搜索的关键词。

    因此，我们可以通过这个构造GET请求。

    也可以用另一种简化一点的方法，原理是相同的：

    这样保存到1.html的，就是我们想要的搜索结果网页。

    但是对于汉字搜索，上面的程序就是报错，这是由于编码问题造成的。对于这个问题，可以利用urllib.parse中的quote解决，具体如下：

    2.Python爬虫可以通过模拟浏览器登陆来实现伪装，即通过设置User-Agent的方式来达到隐藏爬虫身份的目的。原理：User-Agent存放于Headers中，服务器就是通过查看Headers中的User-Agent来判断是谁在访问的。

    我们可以通过chrome的审查元素功能来查看User-Agent，然后添加进去。获取各浏览器的User-Agent：

    Python爬虫怎么伪装http请求？可以构造GET请求，设置User-Agent来模拟浏览器访问，避免被认出是爬虫，这样可以更好的获取到信息了。