“京东云深海数据平台” 焕新升级

ops/2024/10/22 7:23:16/

深海数据平台 致力于为每一个数据客户提供灵活化、一站式、智能化的数据开发与管理工具。同时,根据客户行业提供成熟的数据业务全链路解决方案,包括数据集成、开发、元数据管理等功能,帮助数据开发人员快速高效地完成数据相关工作,使得企业更加科学规划和合理构建全域数据,以开放的方式实现企业内部数据共享,充分发挥数据价值。

升级背景

自深海数据平台上线以来,我们已成功在金融证券、政府部门、零售等行业领域得到广泛应用,助力企业在数据开发与管理方面取得了显著成效。在深入了解各行各业需求的基础上,我们不断优化产品,积累了丰富的实践经验。为了更好地满足市场及客户的需求,我们决定对深海数据平台进行升级。

此次升级,我们充分借鉴了以往的成功案例,针对行业痛点,打造了更强大、更稳定的公有云数据平台。升级后的深海数据平台在性能、安全性、易用性等方面均有大幅提升,能够为企业提供更加高效、智能的数据服务。此外,我们还紧跟行业发展趋势,增加了多项创新功能,以满足不断变化的市场需求。

版本简介

JBDP新版本为数据开发、数据安全治理能力带来了极大的提升:

  1. 升级多租户能力:平台支持多租户隔离,确保各租户数据安全稳定,提高资源利用率,满足不同规模企业需求。

  2. 计算存储资源按量付费:用户可根据实际使用量付费,灵活调整资源,降低成本,实现成本配置最优化。

  3. 开通免费体验模式:新用户可免费试用平台功能,零成本感受产品价值,为合作奠定基础。

深海数据平台全新升级后,对各领域、不同体量的客户提供更适配的服务,全方位满足企业需求,助力业务发展。

功能介绍

数据集成

  • 支持向导式配置,通过可视化配置快速完成数据同步任务的配置工作

  • 来源数据源和目标数据源支持多种数据源类型

  • 任务规则支持定时作业、一次性作业、条件触发、手动作业和文件触发等多种作业类型,对作业运行规则可进行失败重试、超时时长配置等操作

  • 任务运行频率支持分钟、小时、天、周、月 频率进行数据采集

  • 支持任务的并发限速配置;可配置任务并发数、通道限流、jvm配置等

数据开发

  • 支持存算分离,降低存储成本

  • 支持云仓引擎,可以在统一的平台上进行引擎任务的开发、发布和运维等操作

  • 支持智能编辑器、可视化依赖编排

  • 支持脚本版本管理,包括创建、删除、修改、查看脚本、上传脚本等配套功能,帮助企业快速地完成数据开发

  • 支持管理发布记录,对发布的版本进行管理,可以对发布的任务进行查看、对比、重新发布(回滚)

运维中心

  • 支持运维大屏,智能告警,及时监控任务概况进行处理。

  • 支持小时分钟级调度,增强离线开发数据处理能力,保障数据准确及时输出

  • 支持批量补数功能,帮助数据开发人员快速弥补历史数据

  • 支持查看任务依赖关系,以任务列表和任务链路的形式展示

数据图谱

  • 支持查看元数据分区信息、分区字段

  • 提供血缘分析等功能,让企业清晰了解数据来源、加工过程及使用情况

  • 支持分词、模糊匹配等检索方式

  • 支持数据权限精细化管理,确保数据在合规范围内使用,为企业筑牢数据安全防线

核心功能介绍

  • 按量付费,存算分离

功能说明:

存算分离功能是一种先进的云计算架构模式,它将数据存储与数据处理计算分开部署和管理,存储按照使用量进行计费,计算资源按照任务执行消耗CU来进行计费,帮助用户降低使用成本。适应不同场景下的数据处理需求,助力企业实现数据价值的最大化。

应用场景:

数据密集型分析任务

当需要进行大规模数据分析和处理时,您可以通过存算分离功能,将计算任务与数据存储分离,实现高效的数据处理。包含对海量数据进行批量查询、复杂计算和实时分析,而无需担心存储资源的限制,提升数据处理效率。

图片.png

  • 全链路的开发能力

功能说明:

JBDP提供全链路的开发能力,旨在为用户提供从数据集成、数据开发、数据运维到数据元管理的一站式服务,同时通过有形产品和实施方法论,帮助客户持续不断的将数据转变成资产并最终服务于业务使用。推进客户转型升级、创新发展,加速客户全面数字化转型升级,实现更高的经营绩效,更强的竞争优势,更可持续的发展。

应用场景:

通过JBDP,可以实现全生命周期的数据中台数仓模型管控体系建设。

数据源在数据图谱的保障下经过数据集成、数据开发、数据运维后产生的分析数据可以回流指导业务数据,增强企业内数据价值管理。

图片.png

  • 运维大屏及时监控,小时分钟级调度保障数据准确

功能说明:

运维总览功能支持运维实例总览,及时查看时间范围内实例及任务运行情况,包括运行实例总数、成功实例、不成功实例等概览,可视化显示当日运行不成功实例原因、任务运行情况分布和调度数量趋势等信息。

运维中心支持对任务运行的管理,可以展示每个任务的运行记录、更改任务信息、终止或重跑任务,支持批量补数。

应用场景:

实时风险监控,运维大屏上实时展示任务异常指标等关键信息,迅速显示故障点,帮助运维团队快速定位问题并进行修复。
数据准确性保障,分钟级的调度保障能够在最短时间内恢复数据的正常处理,减少潜在的风险。

图片.png


http://www.ppmy.cn/ops/107786.html

相关文章

论文速读|重新审视奖励设计与评估:用于强健人型机器人站立与行走控制的方法

论文地址:https://arxiv.org/pdf/2404.19173 这篇论文为类人机器人站立和行走(SaW)控制器的持续可衡量改进奠定了基础。通过引入一套定量实际基准测试方法,作者展示了现有控制器的优缺点,并通过基准测试指导新控制器的…

【maxcompute|ODPS|SQL|HSQL】日期数据非标准日期格式(yyyy/M/d),如何转为yyyy-MM-dd HH:mm:ss标准格式

SQL中的日期数据转换真是一个复杂多变的问题啊! 一、需求及问题描述 在日常开发中,我们会遇到时间戳与标准日期格式之间的转换,两个日期差,及日期加加减减,想必大家都已经非常熟悉了 题主最近接到一个需求&#xff…

Java 利用ASM读取变量值(Field value)问题研究

最近在学习Spring源码的过程中,遇到了spring-asm工程的重新打包的问题,于是突然就想研究一下asm这个 开源字节码操作工具。秉承我的一贯风格,想到啥就立马学啥。 对于开源产品,我的一贯风格就是通过其官方提供的源码版本管理地址(…

如何恢复回收站中已删除/清空的文件

回收站清空后如何恢复已删除的文件?是否可以恢复永久删除的文件?或者最糟糕的是,如果文件直接被删除怎么办?本文将向您展示清空回收站后恢复已删除数据的最佳方法。 回收站清空后如何恢复已删除的文件? “回收站清空后…

git 常用命令整理

全局配置 git config --global user.name "Your Name Comes Here" # 配置使用git仓库的人员姓名 git config --global user.email youyourdomain.example.com # 配置使用git仓库的人员email git config --global credential.helper cache # 配置到缓存 默认15分…

【网络安全】DNS重绑定原理详析

原创文章,不得转载。 文章目录 DNSDNS查询过程同源策略DNS重绑定攻击原理DNS重绑定攻击步骤DNS重绑定工具工具一工具二DNS 在网络中,访问网站实际上是通过其对应的 IP 地址实现的,然而,IP 地址往往难以记忆。因此,DNS(域名系统)应运而生。 DNS(Domain Name System)是…

大数据时代的技术hive:hive的数据类型和数据模型

在上篇文章里,我列举了一个简单的hive操作实例,创建了一张表test,并且向这张表加载了数据,这些操作和关系数据库操作类似,我们常把hive和关系数据库进行比较,也正是因为hive很多知识点和关系数据库类似。 关…

Node.js的express模块

一、express介绍 express 是一个基于 Node.js 平台的极简、灵活的 WEB 应用开发框架 官方网址:https://www.expressjs. com.cn/ 简单来说,express 是一个封装好的工具包,封装了很多功能,便于我们开发 WEB 应用(HTTP …