「生活可以更简单, 欢迎来到我的开源世界」
  1. 安装说明
  2. 使用简介
  3. 特殊作用
python爬虫——使用随机headers
2019-08-11

使用python编写爬虫程序时,基本都需要对网页(或网站)发出请求,而发出的请求可以通过设置参数使用不同的headers,以绕过一些简单的反爬虫检测。

安装说明

随机请求头模块安装:

pip install fake-useragent

使用简介

  1. 随机获取headers

    from fake_useragent import UserAgent

    for i in range(5):
    print(UserAgent().random)
  2. 指定获取headers

    from fake_useragent import UserAgent

    print(UserAgent().chrome)
    print(UserAgent().ie)
    print(UserAgent().firefox)
    print(UserAgent().opera)
    print(UserAgent().safari)

特殊作用

一般网页针对访问设备会有不同的网站布局:PC端、手机端,有时候手机端访问会少一些广告或者Flash动画之类的,而我们就可以通过设置headers获取到手机端的网页,可以方便信息采集。

<⇧>