您的位置:首页 > 新闻资讯 >文章内容
学习python爬虫,需要掌握网站抓取、伪装技巧、代理IP工具
来源:互联网 作者:admin 时间:2019-03-23 18:17:32

  学习python爬虫,需要学习哪些知识?都说python比较容易学,而且用途也比较广,不管是进行数据的采集,还是做其他的一些开发,其实都可以使用python的。

  网络爬虫在开发过程中也有很多复用的过程,这里总结一下,以后也能省些事情。

  1.基本抓取网站页面


学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  2.Cookies处理

  cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密),python提供了cookielib模块用于处理cookies,cookielib模块的主要功能是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问Internet资源.

  代码片段:


学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP


  关键在于CookieJar(),它用于管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中,对CookieJar实例进行垃圾回收后cookie也将丢失,所有过程都不须要单独去操作。

  手动添加cookie

学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP


  3.使用代理IP

  在开发网络爬虫过程中经常会遇到IP被封掉的情况,这时就须要用到代理IP;

  在urllib2包中有ProxyHandler类,通过此类还可以设置代理访问网站页面,如下代码片段:

学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  4.伪装成浏览器

  某些网站反感网络爬虫的到访,于是对网络爬虫一律拒绝请求。所以用urllib2直接访问网站经常会出现HTTP Error 403: Forbidden的情况

  对有些 header 要特别留意,Server 端会针对这些 header 做检查

  User-Agent 有些 Server 或 Proxy 会检查该值,用来判断是否是浏览器发起的 Request

  Content-Type 在使用 REST 接口时,Server 会检查该值,用来确定 HTTP Body 中的内容该怎样解析。

  这时还可以通过修改http包中的header来实现,代码片段如下:

学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  5.页面解析

  对于页面解析最强大的当然是正则表达式,这个对于不同网站不同的使用者都不一样,就不用过多的说明,附两个比较好的网址:

  正则表达式入门:http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html

  正则表达式在线测试:http://tool.oschina.net/regex/

  其次就是解析库了,常用的有两个lxml和BeautifulSoup,对于这两个的使用介绍两个比较好的网站:

  lxml:http://my.oschina.net/jhao104/blog/639448

  BeautifulSoup:http://cuiqingcai.com/1319.html

  对于这两个库,小编的评价是,都是HTML/XML的处理库,Beautifulsoup纯python实现,效率低,但是功能实用,比如能用通过结果搜索获得某个HTML节点的源码;lxmlC语言编码,高效,支持Xpath  

  6.多线程并发抓取

  单线程太慢的话,就须要多线程了,这里给个简单的线程池模板 这个程序只是简单地打印了1-10,但是还可以看出是并发的。

  虽然说python的多线程很鸡肋,但是对于网络爬虫这种网络频繁型,还是能一定程度提高效率的。


学习python爬虫,需要掌握网站抓取、伪装技巧、运用代理IP

  以上是关于学习python爬虫需要用到的知识,及早掌握还是不错的。在爬虫去抓取信息的期间,是需要使用代理IP,对于代理IP的选择,最好可以找个高质量,高匿名的,比如代理精灵这样的。



相关文章内容简介
推荐阅读
  • 22 2019-05
    IP被封最快的破解方法是用代理IP

    IP被封最快的破解方法是用代理IP,如果等平台把你被封的IP进行解封,最快也要几个小时,或者24小时,或者几天,甚至于更久,这样你就无法在短期内进行使用了。因此,IP被封最快的破解方

  • 09 2019-08
    通过代理IP刷IP可以增加阅读量吗

    通过代理IP刷IP可以增加阅读量吗?这当然是可以的,不过想要让数据真是有效,还可以合理的使用。我们来看看爬虫通过代理IP刷IP增加阅读量有什么阻碍。

  • 26 2019-06
    怎么知道换的代理IP有没有效

    怎么知道换的代理IP有没有效?现在很多平台都有限制,因此使用代理IP的场景也越多了,不过有时候使用代理IP也没有效果,那么怎么知道换的代理IP有没有效呢?

  • 15 2019-04
    高匿代理ip能防止别人查看你的IP地址吗?

    高匿代理ip能防止别人查看你的IP地址吗?网络确实给我们带来了许多的便利,但是隐患也是有的,如信息的泄露,这信息泄露后对于普通人来说是没有影响的,若是有些人拿来牟利,这对我们

  • 06 2019-09
    socks5代理IP是怎么使用的?

    使用代理IP的时候,我们会发现有socks5代理跟http代理,机灵代理发现其实有很多朋友都不知道如何使用socks5代理,甚至把socks5代理IP当成HTTP代理IP来使用,这样完全显示不出socks5代理的优势与特

  • 10 2019-04
    电商使用代理IP可以达到什么目的?

    电商使用代理IP可以达到什么目的?电商是依托互联网发展起来的,几十年以前,我们所知道的电商平台真的是寥寥无几。不过如今,由于互联网的发展,越来越多的人看到了电商行业的商机,

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961