您的位置:首页 > 新闻资讯 >文章内容
学习python爬虫,需要掌握网站抓取、伪装技巧、代理IP工具
来源:互联网 作者:admin 时间:2019-03-23 18:17:32

  学习python爬虫,需要学习哪些知识?都说python比较容易学,而且用途也比较广,不管是进行数据的采集,还是做其他的一些开发,其实都可以使用python的。

  网络爬虫在开发过程中也有很多复用的过程,这里总结一下,以后也能省些事情。

  1.基本抓取网站页面


学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  2.Cookies处理

  cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密),python提供了cookielib模块用于处理cookies,cookielib模块的主要功能是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问Internet资源.

  代码片段:


学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP


  关键在于CookieJar(),它用于管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中,对CookieJar实例进行垃圾回收后cookie也将丢失,所有过程都不须要单独去操作。

  手动添加cookie

学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP


  3.使用代理IP

  在开发网络爬虫过程中经常会遇到IP被封掉的情况,这时就须要用到代理IP;

  在urllib2包中有ProxyHandler类,通过此类还可以设置代理访问网站页面,如下代码片段:

学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  4.伪装成浏览器

  某些网站反感网络爬虫的到访,于是对网络爬虫一律拒绝请求。所以用urllib2直接访问网站经常会出现HTTP Error 403: Forbidden的情况

  对有些 header 要特别留意,Server 端会针对这些 header 做检查

  User-Agent 有些 Server 或 Proxy 会检查该值,用来判断是否是浏览器发起的 Request

  Content-Type 在使用 REST 接口时,Server 会检查该值,用来确定 HTTP Body 中的内容该怎样解析。

  这时还可以通过修改http包中的header来实现,代码片段如下:

学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  5.页面解析

  对于页面解析最强大的当然是正则表达式,这个对于不同网站不同的使用者都不一样,就不用过多的说明,附两个比较好的网址:

  正则表达式入门:http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html

  正则表达式在线测试:http://tool.oschina.net/regex/

  其次就是解析库了,常用的有两个lxml和BeautifulSoup,对于这两个的使用介绍两个比较好的网站:

  lxml:http://my.oschina.net/jhao104/blog/639448

  BeautifulSoup:http://cuiqingcai.com/1319.html

  对于这两个库,小编的评价是,都是HTML/XML的处理库,Beautifulsoup纯python实现,效率低,但是功能实用,比如能用通过结果搜索获得某个HTML节点的源码;lxmlC语言编码,高效,支持Xpath  

  6.多线程并发抓取

  单线程太慢的话,就须要多线程了,这里给个简单的线程池模板 这个程序只是简单地打印了1-10,但是还可以看出是并发的。

  虽然说python的多线程很鸡肋,但是对于网络爬虫这种网络频繁型,还是能一定程度提高效率的。


学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  以上是关于学习python爬虫需要用到的知识,及早掌握还是不错的。在爬虫去抓取信息的期间,是需要使用代理IP,对于代理IP的选择,最好可以找个高质量,高匿名的,比如代理精灵这样的。



相关文章内容简介
推荐阅读
  • 23 2019-11
    认识代理IP与API

    什么是代理IP?什么是API接口?购买代理IP服务时候,我们在成功购买之后,会发现需要通过API接口来提取代理IP使用,这样才能够用它来换IP或者是网络营销。今天我们来看看它们分别的介绍。

  • 09 2020-05
    代理ip对亚马逊电商的好处

    电商现在正在全世界大展拳脚,全球最瞩目的电商无疑是亚马逊电商,不仅可以把商品卖到国内也可以卖到国外,真正的实现全球一体化商业,使用亚马逊需要我们利用ip地址进行营销,那么代

  • 29 2019-10
    HTTP代理全面介绍

    HTTP代理作为代理IP服务最常用的一种方式,你对这种代理了解多少?机灵代理下面跟大家介绍HTTP代理的使用过程,以及在选择的时候,要注意什么方面。

  • 11 2019-11
    使用代理IP上网与普通上网的不同

    网络现在已经非常普遍了,上网已经是大家日常生活中见怪不怪的一件平常事了。不过你知道我们与网络的沟通是如何实现的吗?如果是用了代理IP,与网络沟通的传输方式是否会有不同呢?

  • 21 2019-07
    代理IP选哪个:Socks、HTTP、HTTPS代理

    代理IP选哪个:Socks、HTTP、HTTPS代理,这三者有什么区别?代理最常见的可以分为HTTP代理IP、HTTPS代理IP和Socks代理IP,用途是一样的吗?怎么选呢?

  • 02 2019-10
    代理IP分享:什么是MapReduce?

    使用代理IP进行爬虫数据挖掘,这些被我们采集回来的数据又该怎么处理呢?如果没有合适的去对它们进行处理分析,那可就白白浪费了爬虫的努力了。今天机灵代理带来一种大批量进行数据处理

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部