京东零售数据可视化平台产品实践与思考

导读本次分享题目为京东零售数据可视化平台产品实践与思考。

主要包括以下四个部分：

1. 平台产品能力介绍

2. 业务赋能案例分享

3. 平台建设挑战与展望

作者：梁臣京东数据产品架构师

01平台产品能力介绍

1. 产品矩阵

数据可视化产品是一种利用数据分析和可视化技术，帮助企业从大量数据中提取具有价值的信息和洞察的工具，主要作用有以下几点：

可视化呈现与报告。将数据以图表、仪表盘、报告等形式进行可视化呈现，让用户更加直观地理解数据，快速识别关键指标。
数据分析与探索。通过对数据进行多维度切片和钻取来进行分析。用户也可以通过交互式界面对数据进行探索，发现数据中的模式、趋势和关联性。
实时监控和预警。通过实时监控及时洞悉关键业务指标和数据变化，通过报警和通知来提醒用户异常情况的发生。
业务的监测和评估。通过该产品可以监测评估业绩，并跟踪关键业务指标的变化趋势。
数据驱动决策。帮助决策层、管理层做出更明智的决策，降低决策风险，优化业务的运营。

数据可视化产品可以帮助企业更好地利用数据进行决策和业务洞察，加强数据驱动的决策文化，促进业务的增长和创新。

京东数据可视化的产品矩阵主要有：智能BI平台，数据大屏平台，低代码平台和交互分析平台。

数据可视化平台的产品有多种典型应用场景。比如将来自企业内部的业务数据通过数据抽取、清理加工，进行数仓的分层存储，通过数据集市提供给用户进行分析处理。或通过消息管道的方式，利用 Flink 等引擎进行实时的数据计算，再通过 OLAP 数据库进行数据查询和使用，等等。根据不同的业务场景，有不同的产品使用链路。

下面主要介绍如下三个京东内部的可视化产品平台：

EasyBI 定位于拖拽式的可视化报表搭建平台，面向京东域内提供报表搭建能力。
低代码平台定位于低代码的可视化编排系统，提供多种场景化的数据组件，进行代码配置。
JDV 大屏定位于自助式的可视化大屏搭建工具，比如 618、双 11 的可视化大屏都是通过 JDV 大屏来搭建和呈现的。

接下来将详细介绍这几款产品的功能。

2. EasyBI

EasyBI 是京东推出的一款自助式数据报表与可视化分析工具，面对不同的业务场景，以数据驱动价值，帮助用户快速地分析和洞察数据。

整体架构分为四层：

数据连接层，支持 MySQL、Presto、ClickHouse、ElasticSearch、API 等数据的接入，还支持本地上传以及数据填报等，满足不同场景的数据接入与集成。

第二层为数据建模，可进行轻量级数据建模，包括表与表之间的关联，表条件的过滤，表权限的配置和设置，实现了类似数据视图的功能。

第三层是可视化配置，包括大量自研的可视化组件和配置能力，目前支持 insight 等不同画布模式，通过不同的图层设计、可视化组件编排，以及相应的筛选器、组件参数配置等形成整体的可视化看板。

最上面是数据看板应用的发布与管理，支持邮件订阅、看板智能预警，支持配置不同主题，加入第三方组件，也可以无缝嵌入其它业务平台，支持报表、门户等不同功能。

这款产品目前赋能于京东各个集团及海内外业务，在报表开发者数量、日常使用者数量、嵌入式支持系统的数量、已开发报表数量和外嵌报表数量等方面均取得了较为领先的数据规模。

EasyBI 的核心功能包括，支持多源数据的接入，可以用于搭建企业级数据门户，支持智能分析，允许用户深度追踪和挖掘数据，包含内置算法，可提供数据诊断分析、时间序列分析等等，帮助用户做智能数据分析和决策。场景模板功能，是基于京东零售在数据分析领域内多年的积累和沉淀，将方法论模板化，形成开箱即用的场景化模板。此外还有丰富的数据可视化组件，交互分析能力，权限管控能力和数据抽取能力等核心功能。

在数据看板消费者端，我们做了很多工作，比如性能查询的提升，通过数据查询全链路的监控分析、缓存性能的优化提升、SQL 语法的识别分析、SQL 全表扫描的查询优化、性能诊断工具等能力，为用户查询体验保驾护航。

EasyBI 产品的核心优势包括：支持零代码拖拽，可以灵活嵌入到各种不同的业务系统中，做到无缝嵌入，还有数据找人的智能预警功能、引擎侧的优化，以及安全管控体系的优化等等。

3. 低代码平台

低代码平台的产生背景有三个方面，首先在业务上，京东有一套成熟的数据 BP 陪跑模式，会深入到业务一线战场做业务的数据分析，从而对场景化分析提出了较高要求；第二是在研发资源上，希望在有限的人力下，通过技术能力提升，改变原有定制化的研发模式，提升研发效率和质量；第三是需要纵观全行业，做竞品分析。基于这些需求，我们搭建了一站式低代码平台，通过深入业务场景，抽象数据分析流程，打造了全流程分析配置化的能力，大幅优化了传统开发模式中的复杂流程，通过将前期原型设计、代码编辑、调试、测试与部署上线的流程于一身，实现了可视化代码全生命周期管理。在功能上还涵盖移动分析、交叉分析、转化分析、地域分析等多种分析方法。

产品架构：

（1）技术栈基于 react ,webpack ,nodejs 等，打造了一套分析可视化的组件，也是基于业界先进的图形语法理论，通过数据、元素、坐标等的组合，深层次反映可视化图形的层次结构，并且沉淀了大量可视化场景分析能力。

（2）编排能力。数据产品页面往往有比较复杂的业务逻辑，可能包含很多组件，涵盖布局、筛选等配置，组件间存在大量的联动逻辑，如筛选器和可视化组件联动，可视化组件间的联动等。基于上述特性，我们设计并实现了一整套编排技术方案。首先，自研了基于 MVC 模型的状态管理框架，在 Redux 基础上升级了状态更新变化的响应机制，可以支持复杂的异步状态管理。其次，可以灵活做到布局组件和复杂页面的编排，除了常规样式的编排外，充分发挥底层数据的可视化能力，支持如杜邦分析等指标关系的编排。

（3）数据编排系统。通过编排维度、指标、过滤构建数据分析模型，将可视化组件和数据服务进行充分打通，实现数据驱动可视化。

（4）代码生成和注入系统。使用一套标准的 schema 驱动，基于 schema 结合底层的 react 技术栈自动生成代码。

（5）将基础能力和基础编排服务于京东域内的各种不同的产品线产品平台，打造可视化场景看板。

以异动分析为例，为了实现对全链路检测的可视化展示，平台沉淀了一套网格指标卡组件，该组件适用于异常监控分析、全链路转化分析等场景。

在具体的技术实现上，针对点、线、卡片位置进行计算和绘制，采用类似杜邦分析的技术思路，前端动态计算节点连接关系位置，使用 SVG 等前端技术渲染。由于图表机构和逻辑的复杂性，在图表配置化方案层面进行了大量的技术创新和优化。除异动分析组件外，在自动化、智能化的数据分析方面，也沉淀了自动化分析组件，核心思路是通过贡献度和基尼系数等算法计算出最需要关注的品牌品类等，基于增强分析技术，如洞察文案生成技术和图表标注技术等自动生成分析报告，还可以通过多种因素分析进一步进行数据探查。基于表格组件，通过组件的联动能力，组合多个表格形成联动下钻分析。

4. JDV 大屏

JDV 是京东内部搭建可视化大屏的数据平台工具，内置多种特效模板，数十种风格各异的图表组件，并与集团其它数据工具打通，支持一站式、自动化、拖拽式大屏搭建，可以实现非常炫酷的大屏效果，包括数据切换、数据刷新等效果，可以满足高管、采销、产研等整个集团内部对可视化大屏的诉求。比如双 11 活动、媒体对外宣传的大屏都是基于 JDV 大屏搭建的。

产品步骤包括首先进行数据接入，然后使用预置组件与素材模板，通过大屏画布的编排系统，最终进行大屏的发布。

与 EasyBI、低代码平台不同，大屏系统将软硬件管控结合，用于媒体发布会、演讲等现场的投放，与现场硬件进行联动，通过技术集成方案，可以集成到其它平台系统中。

02 业务赋能案例分享

数据可视化平台服务的典型业务应用场景如：

精细化电商分析管理方面，帮助业务实现线上线下的数据打通，帮助业务侧及时调整销售和营销策略。

科学门店管理方面可以监控整体货品上下货，从门店角度调整运营策略。

物流侧，通过接入订单、仓储、配送、售后服务以及财务侧数据，打通业务数据孤岛，能够从多维度高效灵活交叉分析，评估整个物流质量。

对外赋能服务，包括城市数字化产能管理平台，为城市产业经济提供数据分析研判和智能分析解决方案。在宏观层面让使用方观察整体产业状况，微观层面进行多级钻取和影响因子分析。

1. 通过 EasyBI 实现多域多场景打通

此场景下，通过 EasyBI 的自定义报表，提供了一套统一的数据融入入口，通过搭建门店品类、商品销售、进货、库存等不同维度的数据分析报表，让业务侧实时查看监控分析数据，提升整体数据使用效率和业务价值。从数据角度为用户解决滞销、多售后、供补货、负库存等痛点，实现了所有环节数字化流通管理。

2. 通过低代码场景化数据分析

经分疫情看板，是在疫情期间，打造的一个经营分析类看板。通过 UV、订单量、GMV 等指标去做各类指标转化分析，分析疫情的影响。商家服务看板，通过预警分析、杜邦分析、联动分析等，不断向下拆解，定位商家服务的薄弱环节，定向帮扶商家升级，提升平台整体服务水平。

03 平台建设挑战与展望

接下来介绍一下整个数据可视化平台建设的挑战与展望。

平台建设理念为，打造以“数据分析工具+分析能力培养+数据基础设施”为核心的人人都是分析师的愿景。包括四个方面：

首先是大平台理念，目标是实现一站式的数据可视化服务，以此来提升用户整体使用效率。
第二是小积木，将大平台分解为模块化功能或服务，从而提高系统灵活性和可维护性。
第三是高复用，通过高度抽象和模块化的设计来提升整体平台的开发效率，减少代码复杂性。
第四是低耦合，通过小积木之间清晰的接口进行交互，而不是直接访问其他积木的内部来交互。

平台建设策略从产品、技术、服务三个方面分别展开。

产品层面，建立低门槛、高复用的可视化展示和自主分析平台，通过统一基础能力建设和一站式数据工具生态，整合大模型的语言能力和看板的自动化生成分析能力来整体提升用户使用效率，提升数据分析黄金链路的最后一公里价值比例。
技术层面，重点提升数据查询的加速引擎能力和前端渲染性能，以及在系统稳定和数据安全等方面进行升级。
服务层面，建立一整套数据驱动的服务机制，借助数据运营、数据培训、数据认证、数据方案的沉淀，在整个京东域内推动数据人才的培养，营造人人都是数据分析师的企业文化。

可视化平台能力建设可以分为三个层次：底层为系统能力的统一，中层为产品能力的组合，上层是业务场景整合。系统能力，通过打造统一的数据源、数据接入、数据录入、大模型、组件集市编排引擎、页面服务化等，为底层打造统一系统能力。数据工具层面，对于不同的数据工具借助统一的系统底层能力，进行产品能力整合。最后为不同业务场景提供不同的解决方案。