大众点评采集

news/2025/1/17 23:12:20/

关注微信公众号:八爪鱼大数据(bazhauyudata)

 

本文介绍使用八爪鱼7.0采集大众点评商家数据的方法(以厦门商家排行为例)

 

采集网站

http://www.dianping.com/shoplist/search/15_10_0_score

 

 

大众点评:大众点评是中国领先的本地生活信息及交易平台,也是全球最早建立的独立第三方消费点评网站。大众点评不仅为用户提供商户信息、消费点评及消费优惠等信息服务,同时亦提供团购、餐厅预订、外卖及电子会员卡等O2O(Online To Offline)交易服务。

 

数据说明:大家可能会有采集大众点评数据的需求。以下是一个完整的大众点评数据采集示例。本文采集的是大众点评首页-选择地点为厦门-选择美食分类-选择评价餐厅,采集此类别下的餐厅商家数据。我们发现,此网页是表格类的表现形式。

本文仅为一个示例,大家在实操过程中,可以更换不同分类的URL 和要采集的字段,按需使用八爪鱼进行数据采集。

 

详细字段说明:排名、商户、商区、口味、环境、服务、人均。

 

使用功能点:

Ajax翻页

表格内容提取

 

步骤1:创建采集任务

进入主界面选择,选择自定义模式

大众点评商家数据采集图1

 

上面网址的网址复制粘贴到网站输入框中,点击“保存网址

大众点评商家数据采集图2 

保存网址后,页面将在八爪鱼采集器中打开,红色方框中的表格就是我们要采集的内容,这是一个类似表格结构的列表,可以参考之前的单网页表格信息采集进行任务的编辑 

大众点评商家数据采集图3 

步骤2:创建翻页循环

  1. 找到翻页按钮,设置翻页循环
  2. 设置翻页ajax延时时间

将页面下拉到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中,

选择循环点击下一页

大众点评商家数据采集图4

这个页面使用了ajax加载技术,需要进行下图的操作,设置ajax延时加载

(ajax判断方法:打开流程图,找到翻页循环框,手动执行翻页,看网站有没有进行加载)

在右侧的高级选项框中,勾选Ajax加载数据,选择合适的超时时间,一般设置2秒;最后点击确定

4

步骤3:商家信息采集

 

选中需要采集的字段信息,创建采集列表

编辑采集字段名称

 

选择表格中两个以上要采集的单元格,步骤如下:移动鼠标选中表格里需要采集

的文本右键点击,如图所示,商户名这一列的数据会被全部选中;

50

右键点击第二个文本,如下图

51

表格中需采集的内容会变成绿色,点击右侧选中全部

大众点评商家数据采集图8

点击采集以下数据

大众点评商家数据采集图9

修改采集字段名,并点击下方提示中的“保存并开始采集

大众点评商家数据采集图10

根据采集的需求选择合适的采集方式,这里选择启动本地采集

大众点评商家数据采集图11

说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。

 

步骤4:数据采集及导出

采集完成后,会跳出提示,选择导出数据

大众点评商家数据采集图12

选择合适的导出方式,将采集好的数据导出

大众点评商家数据采集图13

 

 


http://www.ppmy.cn/news/125573.html

相关文章

嵌入式硬盘录像机与视频采集卡的不同

说到嵌入式硬盘录像机与视频采集卡的区别比较这个问题的时候,我们就从四个方面为大家详细的阐述,首先先说下他们各自的概念。 现在网络上谈视频采集卡(videocapturecard)或嵌入式DVR(standaloneDVR)的文章很多,大家仁者见仁、智者见智&#x…

视频会议采集卡与监控采集卡有何区别

我们经常有这样疑问,监控的设备是否可以用于视频会议系统,因为监控设备一般都比视频会议的云台摄像机价格低很多,廉价的监控设备和我们平时用的视频会议摄像机是不是一样的呢?回答这个问题之前,我们首先需要讲一下监控…

一文看懂图像采集卡选型

图像采集卡(Image Capture Card),又称图像捕捉卡,是一种可以获取数字化视频图像信息,并将其存储和播放出来的硬件设备。很多图像采集卡能在捕捉视频信息的同时获得伴音,使音频部分和视频部分在数字化时同步…

用计算机进行实时自动采集,动态数据采集

动态数据采集,是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。动态数据采集一般要求结构在动作运行过程中采集数据,而采集点一般是静态测试数值较大的位置和比较关键的部位。通过高速计数器测量输入、输出数据,通过传感器测量输入、输出轴扭矩,并将…

视觉检测图像采集卡选型及具体应用

图像采集卡对于工业和科研应用,其目标是从初始的视频信号获取一幅精确的数字图像。机器视觉检测设备上的图像采集卡主要是由视频输入、A/D转换、时序及采集控制、图像处理、总线接口及控制、输出及控制等几大模块构成的。作为自用产品配件,这类应用以实现…

PCI-6220 C语言开发编程,使用PCI-6220采集卡和LabVIEW软件实现ABS传感器功能测试系统设计...

目前,汽车安全件的检测设备绝大多数是从汽车制造业发达的国家进口的,ABS(Anti-lock Braking System,制动防抱死系统)传感器的功能测试设备更是如此,因此需要自主开发一种适合生产环境、快速、稳定、通用的检测设备,以满足生产过程中每件必检的一道工序的需要。 本设计使用…

研华USB4711A采集卡高速中断模式采集总结

研华USB4711A采集卡是一款USB接口的采集卡,笔记本上就可以用,不用专门要ISA或者PCI插槽,价格上倒是比较贵,AI最多可以到150KS/s。这里记录高速中断模式采集使用方法。 windows平台:xp sp3 框架:vs2010 M…

图像采集卡

图像采集卡的工作原理、发展历史及在机器视觉系统中的地位 ROC先生:目前常用的采集卡主要分图象采集卡和视频压缩卡;图像采集卡按照信号方式分为模拟卡和数字卡;模拟采集卡的 主要功能就是A/D转换和数据传输。国内开发公司主要是大恒、中自、…