写爬虫时,浏览器开发者工具可谓是非常重要的。现在很多网站为了反爬,对开发者工具的使用设置了一些限制。

禁止F12或右键检查

这种情况比较常见,也比较容易解决:

  • 打开一个普通页面,提前打开开发者工具
  • 复制目标网址到打开了开发者工具的页面打开

debugger

浏览器在打开开发者工具时会检测到debugger标签。

就我遇到的情况分析:

  • https://www.vmgirls.com/网站需要提前打开开发者工具,但是

    • 火狐浏览器:正常检查元素
    • 谷歌浏览器:返回空页面
  • http://flzy.xyz/网站会循环进入断点程序

    image

    • 谷歌浏览器:开发者工具 -> Sources -> Deactivate breakpoints

      image-20210211232254738

      此时点一下蓝色的“Resume script execution”程序会继续执行,且不会进入断点程序循环

    • 火狐浏览器:火狐的没有谷歌的好用

      image-20210211232715763

参考文章

爬虫笔记之JS检测浏览器开发者工具是否打开