您的位置:首页 > 新闻资讯 >文章内容
如何突破反爬虫机制抓取网页信息?
来源:互联网 作者:admin 时间:2019-01-22 17:26:43

    爬虫怎么抓取网页信息?人人都说使用Python爬虫非常简单,容易学,无非是分析HTML、json数据,真的就这么简单吗?太天真了,网站都设有反爬虫机制,想要获取数据,首先要不被限制了,能突破网站的反爬虫机制,才能获取到信息。那么如何突破反爬虫机制呢?


    一、爬虫怎么抓取网页信息


    1.先生成用于抓取第一个URL的初始请求,然后指定要使用从这些请求下载的响应调用的回调函数。


    2.第一个执行的请求通过调用 start_requests()(默认情况下)Request为在start_urls和中指定的URL生成的parse方法获取, 并且该方法作为请求的回调函数。


如何突破反爬虫机制抓取网页信息?


    3.在回调函数中,您将解析响应(网页),并返回带有提取的数据,Item对象, Request对象或这些对象的可迭代的对象。这些请求还将包含回调(可能是相同的),然后由Scrapy下载,然后由指定的回调处理它们的响应。


    4.在回调函数中,您通常使用选择器来解析页面内容 (但您也可以使用BeautifulSoup,lxml或您喜欢的任何机制),并使用解析的数据生成项目。


    5.从爬虫返回的项目通常将持久存储到数据库(在某些项目管道中)或使用Feed导出写入文件。


    注意:当编写爬网爬虫规则时,避免使用parse作为回调,因为CrawlSpider使用parse方法本身来实现其逻辑。所以如果你重写的parse方法,爬行爬虫将不再工作。


    二、如何突破反爬虫机制


    1.限速


    scrapy 默认情况下在下载网页的空隙是 0 的,也就是返回一个页面,立刻就去下载了。


    在 settings.py 文件中有一个参数是:DOWNLOAD_DELAY = 0


    这个参数的意思是下载器在下载同一个网站下一页面需要等待的时间,该选项可以用来限制爬取速度,减轻服务器压力。同时也支持小数。那我们就知道了,在爬取过快的时候,适当限一下速,别让翻车了就不好。


    2.代理IP


    使用机灵代理中的大量IP,来突破限制,多IP访问以获取信息,提高工作效率。


    3.cookies的禁用


    在settings.py 文件中有一个参数是:COOKIES_ENABLED = False


    默认情况下是禁用的,request 就不会把 cookies 带进去。在一些不需要登录就能访问的网站来说,这种方式是很好用的。


    如何突破反爬虫机制抓取网页信息?上介绍了突破限制的方法,虽说很多网站都设置了上面的这些反爬虫,但网站并不止这些反爬虫,在进行数据爬取之前,要先了解详细的情况,制定计划。


相关文章内容简介
推荐阅读
  • 24 2020-02
    IPV4和IPV6有什么区别

    很多人购买代理IP很多时候是为了拥有大量的可更换的IP来应对自身所需求的业务,但是好多人还是对IP还只是处于一知半解,或者压根就是不求甚解,得过且过不深入了解,不深入学习。导致后

  • 22 2019-03
    一个免费的异步爬虫代理池

    由于网络流量不断增加,而且恶意爬虫遍地,许多网站为了保护自己都设置了大量的反爬虫。对面日益增加的反爬虫技术,网络爬虫要想突破,必须要借用各种的工具,比如代理IP。对于爬虫来

  • 15 2020-01
    HTTP代理协议是什么?

    HTTP 协议极其庞杂,它影响着浏览器、爬虫、代理服务器、防火墙、CDN、Web 容器、微服务等诸多方面,自身的规范却并不统一,所要面对的各类软件的新旧版本也同时存在于网络上。在这种情况

  • 13 2019-08
    新手对代理IP比较疑惑的问题

    新手对代理IP比较疑惑的问题,这里列举了几个,新手可以来了解下,加深对代理IP的认识。

  • 28 2019-11
    代理IP是如何影响网络爬虫的?

    网络时代,大家已经对很多技术操作见怪不怪了,像现在如果说起爬虫,可能之前感到惊奇的人会有很多,觉得这样数据抓取也是可以的吗?但是现在网络爬虫已经随着代理IP的普及,变得无所不

  • 16 2019-04
    虚IP切换和动态改IP意思是一样的吗?

    虚IP切换和动态改IP意思是一样的吗?虚IP指的是什么?IP地址是上网必须的,但都是真实的IP地址,这虚IP是假的么?另外动态改IP的意思是不是也一样呢?

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部