爬虫和Web Scraper抓取数据实战案例，附详细教程" height="383" src="https://i-blog.csdnimg.cn/img_convert/120411411e9af19f4a5dc8b09d2838e3.png" width="720" />

最近有不少小伙伴咨询怎么抓取抖音视频或者评论的数据，他们多是自媒体或者商家，想要模仿爆火视频或者分析视频评论区的舆情信息，确实呀，现在抖音是流量高地，淘金的地方，真的是一个值得挖掘的宝藏。当然我一直在强调抓取网络数据一定要遵守网站的规定，合法合规去操作。

授人以鱼不如授人以渔，简单讲讲抖音数据爬虫需要怎么操作。其实整个过程分为三大步，首先模拟用户行为发送数据请求，其次解析并提取网页HTML内容，最后清洗并存储数据。任何的爬虫都离不开这三大步。

抖音分为APP和网页版，有专门抓取APP和网页的工具，比如Python中的Appium、selenium、beautifulsoup等，但这些工具的使用都需要有一定的编程基础，对于自媒体博主或商家来说门槛过高。其实有更加“傻瓜式”的爬虫方法，无需任何代码，只要在软件上点点点就可以抓取抖音的数据。

无代码爬虫神器：八爪鱼和Web Scraper

八爪鱼是国内的一款爬虫软件，有图形化的操作界面，它把爬虫所需要的一切功能集成在桌面应用中，你只需要配置url、cookie等信息，就可以直接自动爬取网站信息，诸如文本、图片、表格、视频等等。

比较方便的是，八爪鱼还内置了上百种主流网站的爬虫任务模板，比如电商、社媒、新闻、社区、游戏、APP等等，相当于爬虫流程已经全部设置好了，你只需要一键启动，就可以抓取数据，无论对于有技术背景的用户还是技术小白，都非常的方便，能极大的提升爬虫效率。

使用八爪鱼非常的简单，它是图形化应用，不需要任何编程语言，你只需要下载安装八爪鱼桌面端软件，就能直接自定义任务或者使用相应的模板。后面会详细介绍使用八爪鱼下载抖音短视频评论数据。

网站：https://affiliate.bazhuayu.com/zwjzht

这个工具支持数据自动化去重、格式化、清洗、合并等功能，并可以导出excel、csv等多种数据格式，可以满足不同的需求，基本不用代码来处理。

另外有必要讲讲八爪鱼里面非常重要的Xpath功能，XPath是一种用于在HTML文档中定位和提取数据的语言，通过标签、属性和层级关系来精确访问网页元素。你可以使用XPath工具，如火狐浏览器的XPath功能，可以快速生成定位数据的XPath表达式，就可以在数据采集中更高效地获取所需信息。

下面是一个简单的XPath查询例子，用于说明如何在HTML文档中使用XPath来选取元素：

如果想要选取类名为fruit的元素中的文本内容，即“橙子”。

XPath查询表达式为：

这个表达式你可以理解为：在HTML文档中选取所有元素，其中类名(class)属性值为fruit的，然后获取这些元素的文本内容。

说完桌面应用八爪鱼，再推荐一个浏览器端的爬虫插件 - Web Scraper，这是一个基于Chrome浏览器的插件，能够在网页上自动爬取数据，提供了丰富的配置，支持自动翻页、登录认证、JavaScript渲染等等，可以解决多数爬虫难题。

Web Scraper的安装也很简单，在chrome应用商店里搜索“Web Scraper”，找到该插件并点击“添加至Chrome”按钮。

安装好Web Scraper后，需要在开发者工具中使用它，按F12键打开开发者模式能找到Web Scraper功能区，在这里可以新建并配置爬虫，你也不需要写任何代码就能抓取数据。

Web Scraper相比较八爪鱼会更加会复杂些，因为需要在开发者工具栏里进行配置，需要了解一些HTML的知识，很多人都不太清楚怎么操作。

下面我通过抖音数据爬虫来具体讲讲这两个爬虫工具都是怎么操作的，以及各自的优势是什么。

使用八爪鱼抓取抖音短视频评论数据

使用八爪鱼获取抖音短视频数据可以自定义设置也可以使用模板，下面讲讲自定义设置的主要步骤。

首先是要创建一个爬取任务，包括任务名称（抖音评论抓取），网址url（你想要抓的视频链接）

接着进入配置页面，首先要登录抖音账号，系统会记住你的登录信息。

然后设置要抓取的步骤，抓取文本->循环设置->确认抓取方式，你也可以使用自动识别网页功能，它会自动提取评论区的信息。

这个过程可以通过数据预览看到自己将要获取到的评论数据，最后导出爬好的数据。

如果你不想自己去配置爬虫，可以使用八爪鱼内置的抖音评论爬虫模板，只需要输入视频链接，就能自动一键爬取所有评论。

对于其他抖音抓取任务，比如抖音主页爬虫，可以看看相关教程，还是蛮详细的。

使用Web Scraper抓取抖音短视频评论数据

接下来，我们再来用Web Scraper爬取抖音评论数据，先F12打开开发者界面，点击Web Scraper按钮，会进入到操作界面。

接下来新建Sitemap name项目名称，英文随意取，Start URL就是想要爬取的网站的URL，输入完点击Create Sitemap。

然后点击“添加新的Selector”按钮，在网页中选择要爬取的数据所在的区域（如“抖音视频”模块中的评论区）。注意必须勾选Multiple，因为字样才会批量爬取。

这样对于评论的简单抓取设置就可以了，最后保存并导出评论数据。

总结

使用Web Scraper需要对HTML结构有一定的了解，需要自己一步步去配置，可能对于初学者还有些门槛，适合IT从业者。而且Web Scraper抓取的数据形式有限，适合文本这样简单的数据需求，对于图片、视频就会比较困难。

八爪鱼则是完全图形化操作，有大量的爬虫模板，支持数据类型比较丰富，应用场景更多，从网页登陆到批量获取到数据清洗都有一整套的自动化流程，会更加适合大多数人的数据抓取需求，比如IT工程师、自媒体从业者、商铺管理者、商业分析师等等。

如果你需要稳定的爬虫功能，特别对于复杂数据及大数据集，非常适合用八爪鱼，这个软件已经非常成熟。

现在八爪鱼的很多模板都开放免费使用大家可以去试试。

网站：https://affiliate.bazhuayu.com/zwjzht