编写爬虫程序时,使用requests进行获取页面是常见操作,requsets返回的结果包含一些headers信息,我们通常只需要主体部分,所以需要进行提取。

resp = requests.get(url)
  1. resp.text:返回的是Unicode型的数据。(str)
  2. resp.content:返回的是bytes型也就是二进制的数据。(str)
  3. resp.json():返回的是json格式数据。(dict)

根据需求进行选择提取方法:

  1. 如果你想取文本:resp.text
  2. 如果想取图片,文件:resp.content

一些相关的转换:

x = eval(resp.text)
y = resp.json()
x == y	//true