Chrome浏览器插件推荐:WEB SCRAPER爬虫插件

Web Scraper简介

webscraper 是一款谷歌插件,可以方便的抓取网页上的内容:文字、链接、图片、表格等,而无需写一行代码

webscraper有如下优点:

  1. 免费
  2. 不受操作系统限制,只要安装Chrome浏览器即可运行
  3. 操作简单,易上手。(很多没有技术背景的同学,都可以快速学会)
  4. 功能强大:不仅可以抓静态网页,对于js动态加载的数据,也很容易抓取

根据已经测试的经历,下列类型网站均可抓取:

  1. 58同城、大众点评、美团、链家等
  2. 微信公众号、简书、知乎、博客等
  3. 淘宝、阿里巴巴、网易严选等

Web Scraper下载

Web Scraper安装

1.下载安装文件。下载插件,并在浏览器提示的文字中选择 “保留” 打开所在文件夹

2.打开「扩展程序」页面。复制 chrome://extensions 并粘贴到地址栏,进入扩展中心

3.拖拽安装。打开扩展安装页面右上角的 【开发者模式】 并刷新,拖拽安装 文件到扩展安装页面,点击 “添加扩展程序” 完成安装

Web Scraper 的使用

1、什么情况下会用到 web scraper?

web scraper 适合批量抓取数据,如果只是少量数据,就不需要用 web scraper 了。

举例:

  • 统计公众号所有标题、时间
  • 获取知乎某个问题的所有回答阅读、点赞
  • 抓取某个大 v 所有微博、统计转发数、点赞数等

2、如何确定自己要抓的东西,能用 web scraper 完成?

如果你要抓一个东西

  1. 你必须提供一个 网址(也可以叫链接、或者 URL)。

例如:http://www.anspoon.com/

  1. 你需要在浏览器的地址栏里访问这个页面,看一下,你要抓取的信息,能不能用眼睛看到。

如果能看到,那就能抓,如果看不到,那就抓不了。

3、web scraper 的优点(重复强调一遍~~)。

web scraper 优点:

  • 免费
  • 不受操作系统限制,只要安装 Chrome 浏览器即可运行
  • 操作简单,易上手。(很多没有技术背景的同学,都可以快速学会)
  • 功能强大:不仅可以抓静态网页,对于 js 动态加载的数据,也很容易抓取

根据已经测试的经历,下列类型网站均可抓取:

  1. 58 同城、大众点评、美团、链家等
  2. 微信公众号、简书、知乎、博客等
  3. 淘宝、阿里巴巴、网易严选等
  4. 等等

只要能在浏览器查看到的数据,99% 均可抓取。

你可能会问,那剩下的 5%是什么呢?—— 

等你遇到再说吧,如果遇不到,那对你来说,就是 100%了。

5、web scraper 不能做什么?

  • 不能实时监控
  • 不能搜索
  • 没有定时功能
  • 没有数据分析功能
  • 不是黑客,不能拿到别人的手机号、身份证号码

Web Scraper官网:https://www.webscraper.io/

留下评论