您的位置:首页 > 新闻资讯 >文章内容
Python怎么获取网页源码?
来源:互联网 作者:admin 时间:2019-11-22 10:44:32

  Python跟代理IP是一组梦幻的搭配,很多网络工作者都非常喜欢。今天我们来聊聊Python怎么获取网页的源码?下面看看机灵代理带来的教程。

Python怎么获取网页源码

  1、获取网页的头部信息以确定网页的编码方式:


  import urllib.request


  res = urllib.request.urlopen('http://www.163.com')


  #info()方法 用来获取网页头部


  print(res.info())


  2、取网页代码:


  #导入 urllib库的request模块


  import urllib.request


  #指定要抓取的网页url,必须以http开头的


  url = r'http://fund.eastmoney.com/340007.html?spm=search'


  #调用 urlopen()从服务器获取网页响应(respone),其返回的响应是一个实例


  res = urllib.request.urlopen(url)


  #调用返回响应示例中的read()函数,即可以读取html,但需要进行解码,具体解码写什么,要在你要爬取的网址右键,查看源代码


  html = res.read().decode('utf-8')


  print(html)


  3、正式代码(加入头部,伪装成浏览器):


  import urllib.request


  url = r'http://fund.eastmoney.com/340007.html?spm=search'


  headers = {


  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}


  req = urllib.request.Request(url=url, headers=headers)


  res = urllib.request.urlopen(req)


  html = res.read().decode('utf-8')


  print(html)


  注意:urllib.request.Request()用于向服务端发送请求,就如 http 协议客户端想服务端发送请求;


  urllib.request.urlopen()则相当于服务器返回的响应;


  按照上面的3个步骤,我们就成功使用Python获得了网页的源码了。


相关文章内容简介
推荐阅读
  • 30 2020-10
    验证代理IP的几种方法

    在使用代理IP之前,一般都会先进行验证,看看代理IP是否有效。对于高级工程师来说,也许就是几行代码几分钟的事情,对于新手朋友来说,就比较棘手了。今天和大家讨论几种简单的验证代

  • 20 2019-03
    刷流量用什么IP代理软件好?

    自网络发展以来,商家都是跟着流量走,流量越多的地方,商机自然越多,获利也越容易。为了吸引客户,商家会首先自己刷些流量,增加些人气。这刷流量是有技巧,不然容易被系统查到

  • 05 2019-07
    有代理IP可以高频访问目标吗?

    有代理IP可以高频访问目标吗?在没有使用代理ip之前,这肯定是不行的,平常我们就连点击快一些就会被提示访问的速度过快的,但如果使用了代理IP,是不是结果不一样呢?

  • 08 2020-04
    怎样选择代理ip

    随着互联网大数据的迅速发展,用户对于代理IP的需求也在与日俱增,各种代理IP服务商也是如雨后春笋般的冒出来。当选择多了的时候,质量就变得至关重要了。那么,代理IP的质量与那些因素

  • 05 2019-05
    选择性价比高的http代理技巧

    选择性价比高的http代理技巧有哪些?买东西都讲究性价比高,买代理IP也是一样,那如何购买性价比高的http代理呢?很多人选择http代理第一眼看的是价格,一开始就将价格贵的淘汰掉了,剩下

  • 09 2020-10
    机灵代理ip都有什么优势

    目前互联网各行各业蓬勃发展,代理IP地址作为资源被广为应用,如今市面上大大小小的代理服务器数不胜数,国内优质代理服务器哪里有呢?小编经过多方对比,在这里为大家推荐机灵代理。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部