python爬虫——使用随机headers

使用python编写爬虫程序时，基本都需要对网页（或网站）发出请求，而发出的请求可以通过设置参数使用不同的headers，以绕过一些简单的反爬虫检测。

安装说明

随机请求头模块安装：

pip install fake-useragent

使用简介

1. 随机获取headers

   from fake_useragent import UserAgent
   
   for i in range(5):
       print(UserAgent().random)
   

2. 指定获取headers

   from fake_useragent import UserAgent
   
   print(UserAgent().chrome)
   print(UserAgent().ie)
   print(UserAgent().firefox)
   print(UserAgent().opera)
   print(UserAgent().safari)
   

特殊作用

一般网页针对访问设备会有不同的网站布局：PC端、手机端，有时候手机端访问会少一些广告或者Flash动画之类的，而我们就可以通过设置headers获取到手机端的网页，可以方便信息采集。