现在很多地方都使用到爬虫了，使用爬虫的人群也不断增多，主要是因为现在数据产生非常快，要获取有效的信息，需要从大量的数据中挖掘出来，而采集这么多数据，人工采集太慢了，所以爬虫使用逐渐多了起来，特别是大数据以来，更多的企业都使用了爬虫采集。

    而且爬虫学习也并不是很难，经过短期的学习Python爬虫，就能实现信息的抓取了，下面跟小编去了解下关于爬虫采集信息的流程。

    首先生成用于抓取第一个URL的初始请求，然后指定要使用从这些请求下载的响应调用的回调函数。

    第一个执行的请求通过调用start_requests()（默认情况下）Request为在start_urls和中指定的URL生成的parse方法获取，并且该方法作为请求的回调函数。

    在回调函数中，您将解析响应（网页），并返回带有提取的数据，Item对象，Request对象或这些对象的可迭代的对象。这些请求还将包含回调（可能是相同的），然后由Scrapy下载，然后由指定的回调处理它们的响应。

    在回调函数中，您通常使用选择器来解析页面内容（但您也可以使用BeautifulSoup，lxml或您喜欢的任何机制），并使用解析的数据生成项目。

    最后，从爬虫返回的项目通常将持久存储到数据库（在某些项目管道中）或使用Feed导出写入文件。

    即使这个循环（或多或少）适用于任何种类的爬虫，有不同种类的默认爬虫捆绑到Scrapy中用于不同的目的。

    我们看到上面爬虫采集信息的步骤，看起来并不难实施，但是在爬取的过去中，爬虫会遇到网站的各种反爬虫，这才是非常难搞的地方。例如IP限制、验证码限制、COOKIES限制、javascript渲染、ajax异步传输...

    何为IP限制？

    网页的运维人员通过分析日志发现最近某一个IP访问量特别特别大，某一段时间内访问了无数次的网页，则运维人员判断此种访问行为并非正常人的行为，于是直接在服务器上封杀了此人IP。

    解决方法：此种方法极其容易误伤其他正常用户，因为某一片区域的其他用户可能有着相同的IP，导致服务器少了许多正常用户的访问，所以一般运维人员不会通过此种方法来限制爬虫。不过面对许多大量的访问，服务器还是会偶尔把该IP放入黑名单，过一段时间再将其放出来，但我们可以通过分布式爬虫以及购买代理IP也能很好的解决，使用代理精灵，其IP量大，高质量，使用稳定。