您的位置:首页 > 新闻资讯 >文章内容
学习python爬虫,需要掌握网站抓取、伪装技巧、代理IP工具
来源:互联网 作者:admin 时间:2019-03-23 18:17:32

  学习python爬虫,需要学习哪些知识?都说python比较容易学,而且用途也比较广,不管是进行数据的采集,还是做其他的一些开发,其实都可以使用python的。

  网络爬虫在开发过程中也有很多复用的过程,这里总结一下,以后也能省些事情。

  1.基本抓取网站页面


学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  2.Cookies处理

  cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密),python提供了cookielib模块用于处理cookies,cookielib模块的主要功能是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问Internet资源.

  代码片段:


学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP


  关键在于CookieJar(),它用于管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中,对CookieJar实例进行垃圾回收后cookie也将丢失,所有过程都不须要单独去操作。

  手动添加cookie

学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP


  3.使用代理IP

  在开发网络爬虫过程中经常会遇到IP被封掉的情况,这时就须要用到代理IP;

  在urllib2包中有ProxyHandler类,通过此类还可以设置代理访问网站页面,如下代码片段:

学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  4.伪装成浏览器

  某些网站反感网络爬虫的到访,于是对网络爬虫一律拒绝请求。所以用urllib2直接访问网站经常会出现HTTP Error 403: Forbidden的情况

  对有些 header 要特别留意,Server 端会针对这些 header 做检查

  User-Agent 有些 Server 或 Proxy 会检查该值,用来判断是否是浏览器发起的 Request

  Content-Type 在使用 REST 接口时,Server 会检查该值,用来确定 HTTP Body 中的内容该怎样解析。

  这时还可以通过修改http包中的header来实现,代码片段如下:

学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  5.页面解析

  对于页面解析最强大的当然是正则表达式,这个对于不同网站不同的使用者都不一样,就不用过多的说明,附两个比较好的网址:

  正则表达式入门:http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html

  正则表达式在线测试:http://tool.oschina.net/regex/

  其次就是解析库了,常用的有两个lxml和BeautifulSoup,对于这两个的使用介绍两个比较好的网站:

  lxml:http://my.oschina.net/jhao104/blog/639448

  BeautifulSoup:http://cuiqingcai.com/1319.html

  对于这两个库,小编的评价是,都是HTML/XML的处理库,Beautifulsoup纯python实现,效率低,但是功能实用,比如能用通过结果搜索获得某个HTML节点的源码;lxmlC语言编码,高效,支持Xpath  

  6.多线程并发抓取

  单线程太慢的话,就须要多线程了,这里给个简单的线程池模板 这个程序只是简单地打印了1-10,但是还可以看出是并发的。

  虽然说python的多线程很鸡肋,但是对于网络爬虫这种网络频繁型,还是能一定程度提高效率的。


学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  以上是关于学习python爬虫需要用到的知识,及早掌握还是不错的。在爬虫去抓取信息的期间,是需要使用代理IP,对于代理IP的选择,最好可以找个高质量,高匿名的,比如代理精灵这样的。



相关文章内容简介
推荐阅读
  • 05 2019-06
    爬虫代理ip的抓取和验校过程

    爬虫代理ip的抓取和验校过程,如果大家会的话,对于免费爬虫代理ip的使用更加得心应手。

  • 13 2019-05
    代理IP用于刷流量的好处

    代理IP用于刷流量的好处都有哪些?许多朋友需要使用来增加流量或点击率,例如:增加他们的博客流量,新颖访问,视频点击率,论坛帖子点击率等等。这将提高您的排名或显示在页面上的热

  • 28 2019-06
    透明IP代理根本不能隐藏IP地址

    透明IP代理根本不能隐藏IP地址,这一点估计很多人都没有留意到,IP代理里的“透明”“匿名”“高匿”分别是指?

  • 01 2019-05
    用代理服务器的好坏影响

    用代理服务器的好坏影响都有哪些?一般都是了解代理服务器使用的好处,但是对代理服务器的影响并没有怎么了解的,本文详细为大家介绍下。

  • 27 2019-02
    机器刷票:投票系统配合代理IP使用刷票更加安全

    很多投票活动都在微信上,在朋友圈中也是经常看到别人分享的投票页面,这也是一种拉票的方式,这微信人工刷票和机器刷票区别在哪里?人工刷票过于麻烦了,能不能使用机器刷票呢?如何

  • 19 2019-04
    动态ip代理软件到底有什么用处?

    动态ip代理软件到底有什么用处?动态ip代理软件是一款比较常见的修改IP地址的软件,那么这一款软件对于我们来说有什么用呢?当然是有用的。

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961