您的位置:首页 > 新闻资讯 >文章内容
学习python爬虫,需要掌握网站抓取、伪装技巧、代理IP工具
来源:互联网 作者:admin 时间:2019-03-23 18:17:32

  学习python爬虫,需要学习哪些知识?都说python比较容易学,而且用途也比较广,不管是进行数据的采集,还是做其他的一些开发,其实都可以使用python的。

  网络爬虫在开发过程中也有很多复用的过程,这里总结一下,以后也能省些事情。

  1.基本抓取网站页面


学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  2.Cookies处理

  cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密),python提供了cookielib模块用于处理cookies,cookielib模块的主要功能是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问Internet资源.

  代码片段:


学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP


  关键在于CookieJar(),它用于管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中,对CookieJar实例进行垃圾回收后cookie也将丢失,所有过程都不须要单独去操作。

  手动添加cookie

学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP


  3.使用代理IP

  在开发网络爬虫过程中经常会遇到IP被封掉的情况,这时就须要用到代理IP;

  在urllib2包中有ProxyHandler类,通过此类还可以设置代理访问网站页面,如下代码片段:

学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  4.伪装成浏览器

  某些网站反感网络爬虫的到访,于是对网络爬虫一律拒绝请求。所以用urllib2直接访问网站经常会出现HTTP Error 403: Forbidden的情况

  对有些 header 要特别留意,Server 端会针对这些 header 做检查

  User-Agent 有些 Server 或 Proxy 会检查该值,用来判断是否是浏览器发起的 Request

  Content-Type 在使用 REST 接口时,Server 会检查该值,用来确定 HTTP Body 中的内容该怎样解析。

  这时还可以通过修改http包中的header来实现,代码片段如下:

学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  5.页面解析

  对于页面解析最强大的当然是正则表达式,这个对于不同网站不同的使用者都不一样,就不用过多的说明,附两个比较好的网址:

  正则表达式入门:http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html

  正则表达式在线测试:http://tool.oschina.net/regex/

  其次就是解析库了,常用的有两个lxml和BeautifulSoup,对于这两个的使用介绍两个比较好的网站:

  lxml:http://my.oschina.net/jhao104/blog/639448

  BeautifulSoup:http://cuiqingcai.com/1319.html

  对于这两个库,小编的评价是,都是HTML/XML的处理库,Beautifulsoup纯python实现,效率低,但是功能实用,比如能用通过结果搜索获得某个HTML节点的源码;lxmlC语言编码,高效,支持Xpath  

  6.多线程并发抓取

  单线程太慢的话,就须要多线程了,这里给个简单的线程池模板 这个程序只是简单地打印了1-10,但是还可以看出是并发的。

  虽然说python的多线程很鸡肋,但是对于网络爬虫这种网络频繁型,还是能一定程度提高效率的。


学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  以上是关于学习python爬虫需要用到的知识,及早掌握还是不错的。在爬虫去抓取信息的期间,是需要使用代理IP,对于代理IP的选择,最好可以找个高质量,高匿名的,比如代理精灵这样的。



相关文章内容简介
推荐阅读
  • 18 2019-04
    恶意“爬虫”的几个特征,租用IP代理也上黑名单

    恶意“爬虫”的几个特征,租用IP代理也上黑名单。爬虫其实最早是用作搜索引擎的,但也可以作用批量收集信息,有些还被称为恶意“爬虫”,这是为何?

  • 21 2019-11
    代理IP正确调用API的说明

    今天我们来一起了解代理IP使用过程中遇到的问题,当代理IP绑定2个白名单,要怎么才能够正确的调用API链接?

  • 29 2019-06
    找个质量好的动态代理ip

    找个质量好的动态代理ip,因为如果动态代理ip质量不错,使用起来更佳的顺畅,能极大的提高工作效率。

  • 26 2019-03
    怎样才能从代理服务器IP中获得收益?

    现如今网络在不断的发展,而网站一夜之间也备受大家的瞩目,从之前的单人使用现在变成了共享网络,但是其资源的正确使用却给客户造成了不少的麻烦,而服务器却帮助他们很好的解决这一

  • 17 2020-06
    换ip工具对网络营销的作用

    网络上很多的营销手段,都是需要反复进行操作的,比如网络发帖就是一个明显的例子。

  • 28 2019-11
    Python如何抓取网络图片?

    使用Python来进行网络爬虫,我们可以配置购买的代理IP,或者是使用代理IP池。Python可以帮助我们完成很多工作,今天我们来介绍其中一个使用技巧给大家。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部