珍爱网

news/2024/11/15 4:44:42/

介绍:采集珍爱网(仅开始学爬虫,太多方法都不会)

  • 必须要有一个账号,当采集多了后会受到限制 要求通过手机App上传身份证等详细信息
  • 列表页是post请求 有一个参数找不到规律,详情页面不需要登录 get请求即可

方式一:模拟登录

  • 需要:珍爱网账号
  • 数据:红色部分,可采集:黄色部分

 

限制:

  • 没有上传照片的用户的,详细页面的链接采不了
  • (可以通过添加 点击-采集链接 的部分采集详页面的细信息)

采用:selenium爬取珍爱网用户信息

方式二:八爪鱼/后裔采集器+get请求

可以通过采集器采集所有信息(类似于模拟登录 模拟点击采集的原理),但图1采集的数据所在字段是乱的 图2只能整块采集(好像可以通过采集器的xpath还是什么可以处理,但我不会)

介绍:

  • 珍爱网账号
  • 用的MongoDB
  • 通过采集器采集详细页面的url(后裔:注意设置间隔时间 和 字段检测是否登录),get采集详细信息并进行字段处理
  • 采集器采集后的结果
  • get请求采集数据结果
  • 最终结果

 


http://www.ppmy.cn/news/869978.html

相关文章

南京注册公司

南京注册公司 链接:http://www.jykcs.com 来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/26181713/viewspace-705207/,如需转载,请注明出处,否则将追究法律责任。 转载于:http://blog.itpub.net/26181713/viewsp…

INNO SETUP 注册OCX

关键字:Inno Setup, ActiveX, OCX, Regsvr32, 安装, 反安装 Inno Setup真是一个不错的轻量级安装程序。之所以使用这个软件来做安装包是因为Visual Studio自带那个竟然需要依赖于Dot Net Framework 2.0,而且图形界面的东西用起来实在有的时候不知所云。I…

中日德三系PLC编程软件对比,各位工控人用的哪款?

自PLC诞生以来,PLC厂商如雨后春笋般崛起,如今市场种类繁多的品牌让人看的眼花缭乱。 Since the birth of PLC, PLC manufacturers have mushroomed, and the wide variety of brands in the market today is dazzling 那么今天我们就来盘点一下那些有代…

天上友嘉不用c语言吗,【天上友嘉怎么样?】-看准网

匿名用户 u3d程序员 成都 感觉靠谱 笔试题只是面向无经验实习生,笔试题基本是算法 5道题: 1、排序算法; 2、判断是否是2的阶次方; 3、日期算法; 4、数组打乱顺序; 5、面向对象思想实现篮子中鸡蛋苹果的交换…

友元基本介绍

文章目录 参考友元类友元成员函数其他友元关系? 参考 《C Primer Plus》第15章:友元、异常和其他菜鸟教程 类的友元函数是定义在类外部,但有权访问类的所有私有(private)成员和保护(protected)成员。尽管…

【嵌入式Qt开发入门】Qt如何网络编程——建立TCP通信服务端(附项目代码)

TCP 简介 TCP 协议(Transmission Control Protocol)全称是传输控制协议是一种面向连接的、可靠的、 基于字节流的传输层通信协议。 TCP 通信必须先建立 TCP 连接,通信端分为客户端和服务端。服务端通过监听某个端口来监听是否有客户端连接到来…

元几官网: http://www.yuanji.tech

元几官网: http://www.yuanji.tech 元几官网 元几科技官网 南京元几科技有限公司官网 元几首页 元几科技首页 南京元几科技有限公司首页 元几主页 元…

基恩士编程c语言,基恩士xg7000系列.pdf

基恩士xg7000系列 全新 超高速,全自定义视觉系统 XG-7000 系列 全面的自定义单机式视觉系统 直观,迅速,高灵活性且完全自定义 - XG 7000 系列 4.0 版 满足您所有的应用需求 XG-7000 系列 XG-7000 系列的来临 CV-5000 系列 XG-7000 度 速 理 处…