您的位置:首页 > 新闻资讯 >文章内容
Python爬虫怎么伪装http请求
来源:互联网 作者:admin 时间:2019-02-19 15:26:31

    爬虫想要抓取数据,首先要伪装好自己的数据,如需要使用代理IP修改IP地址,伪装请求头访问,否则会被系统检测到你是爬虫,这样就访问不了网页。关键是Python爬虫怎么伪装http请求,实现访问呢?


    1.我们在百度搜索时,输入关键词,比如“hello”,URL发生变化,如下:


    https://www.baidu.com/s?wd=hello&rsv_spt=1&rsv_iqid=0xfc1746f10002f457&issp=1&f=8&rsv_bp=0&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=1&rsv_sug3=6&rsv_sug1=6&rsv_sug7=100&rsv_t=bfb1srfxPDC%2B3vVQ8VIkfcg4Yus9EaBJZmHlVn5upgnCTMv99iZYH9iJSX3nVzXYdpeC


    如果只截取前一部分“https://www.baidu.com/s?wd=hello”,搜索效果是相同的,wd=后面跟的就是我们要搜索的关键词。


    因此,我们可以通过这个构造GET请求。


Python爬虫怎么伪装http请求


    也可以用另一种简化一点的方法,原理是相同的:


Python爬虫怎么伪装http请求


    这样保存到1.html的,就是我们想要的搜索结果网页。


    但是对于汉字搜索,上面的程序就是报错,这是由于编码问题造成的。对于这个问题,可以利用urllib.parse中的quote解决,具体如下:


Python爬虫怎么伪装http请求


    2.Python爬虫可以通过模拟浏览器登陆来实现伪装,即通过设置User-Agent的方式来达到隐藏爬虫身份的目的。原理:User-Agent存放于Headers中,服务器就是通过查看Headers中的User-Agent来判断是谁在访问的。


    我们可以通过chrome的审查元素功能来查看User-Agent,然后添加进去。获取各浏览器的User-Agent:


Python爬虫怎么伪装http请求


    Python爬虫怎么伪装http请求?可以构造GET请求,设置User-Agent来模拟浏览器访问,避免被认出是爬虫,这样可以更好的获取到信息了。


相关文章内容简介
推荐阅读
  • 28 2019-04
    用高匿IP代理上网会被查到真实IP吗?

    用高匿IP代理上网会被查到真实IP吗?虽然说高匿能隐藏IP地址,但是有些人还是不放心的,就怕什么时候这IP地址就被爆出来了。

  • 15 2019-03
    企业使用哪个IP代理比较好?

    普通人是比较少会使用到IP代理的,通常都是一些企业使用,那么企业使用哪个IP代理比较好?企业使用IP代理,主要是因为在使用代理ip采集数据的时候,经常会碰到有反采集策略规则的网站.

  • 02 2019-06
    自己搭IP代理池能用么?

    自己搭IP代理池能用么?每个项目需要使用的代理IP数量不同,一般来说像做营销推广的,换IP换账号发帖,或者问答等,这些需要的IP量相对来说是比较少,而类似于刷票,刷单这些,需求的IP

  • 05 2019-05
    快速找到可用的http代理IP

    如果遇到IP被拦截的情况,怎么办呢?在这种情况下,我们除了换IP继续测试之外好像没什么其他方法了,代理在这个时候就非常有用了。那么如何快速找到可用的http代理IP呢?互联网上有很多

  • 24 2019-09
    代理IP推荐MySQL索引策略

    MySQL的索引功能使用需要注意什么?怎么才能够优化得更好?下面就由代理IP来跟大家进行介绍。索引是一种特殊的文件(InnoDB 数据表上的索引是表空间的一个组成部分),它们包含着对数据表里所有

  • 20 2019-03
    刷流量用什么IP代理软件好?

    自网络发展以来,商家都是跟着流量走,流量越多的地方,商机自然越多,获利也越容易。为了吸引客户,商家会首先自己刷些流量,增加些人气。这刷流量是有技巧,不然容易被系统查到

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部