浅谈数据中台之标签管理平台

news/2024/12/22 1:56:25/

在现如今的大数据时代,相信大家一定了解或者听说过下列几个场景:

购物APP:千人千面,意思不同用户使用相关的产品感觉是不一样的,不同用户看到的购物APP首页推荐内容和其他相关推荐流信息可能是完全不同的。

社交APP:社交广告,不同用户的个人主页或者其他媒体场景下的广告信息是不同的,会基于用户特征进行推荐。

资讯APP:信息价值,根据用户浏览信息,分析用户相关喜好,针对分析结果推荐相关的信息流,越关注某类内容,获取相关的信息越多。

那么这些场景是通过什么工具构建的呢,我想每个人都想了解背后的原理。在了解之前需要知道两个概念:

第一个是标签,标签在生活中非常常见,比如商品标签,个人标签,行业标签,例如提到996就想到程序员,提到程序员就想到格子衫。

第二个是用户画像,用户画像是标签集合的展示,作为一种勾画目标用户、联系用户诉求与设计方向的有效工具,把该用户相关联的数据可视化的展现,就形成了用户画像。

知道了这两个概念后,以上几种场景的逻辑就清楚了:基于不断分析用户的行为,生成用户的特征画像,然后再基于用户标签,定制化的推荐相关内容。
 

什么是标签

标签

对某一类特定群体或对象的某项特征进行的抽象分类和概括,其值(标签值)具备可分类性。

例:
对于“人”这类群体,可将“男”、“女”这类特征进行抽象概括,统称为“性别”,“性别”即一个标签;

对于“手机”这类对象,可将“骁龙835”、“骁龙845”这类特征进行抽象概括,统称为“手机处理器”,“手机处理器”即一个标签。

标签值

标签的实例,指某一标签所包含的具体内容,其特点是符合MECE原则(相互独立、完全穷尽)。

例:
对于标签“性别”,其标签值根据MECE原则可分为“男”、“女”、“未知”;

对于标签“年龄”,其标签值可分为“0-18”、“18-35”、“35-60”、“60-100”等。

用户画像

由某一特定群体或对象的多项特征构成,输出结果通常是对特征的具体描述。(也可理解为用户画像是由多个标签组合而成,其实例是由多个标签值构成)。

例:
小明是用户画像的一个实例,小明的输出结果为“男“、“20”、“iPhone”、“北京”、“足球”,是由多个标签中的具体标签值构成。

标签的分类

按统计方式分类的标签可分为事实类标签、规则类标签、预测类标签。

1) 事实类标签

事实类标签是用户画像最基础、最常见的标签,通常是基于原始数据清理后的归类,用于描述客观事实。例如,姓名、会员等级、终端类型、购买次数、购买金额等。

2) 规则类标签

规则类标签,顾名思义,是基于确定的规则而产生。与事实类标签不同的是,规则类标签拥有更多的业务属性,其业务规则需与业务人员共同制定。例如,将“活跃用户”标签可定义为,“过去30天发生a行为x次”&“过去30天发生b行为x次”,进行综合评定。

3) 预测类标签

预测类标签,基于现有事实及规则无法得出,需要运用决策树算法、贝叶斯算法等进行数据挖掘与训练,得出标签预测结果。

预测类标签复杂度高、开发周期长、开发成本高,且需要算法工程师参与,通常此类标签的占比较少。

元年方舟数据中台白皮书

什么是标签管理平台

当我们通过各种方式,计算、生成了大量的标签数据后,很快会发现一个问题:这么多的标签,该如何管理呢?这个时候需要构建产品化的标签管理平台,元年方舟数据中台之标签管理平台应运而生。

标签管理平台以打造一站式标签管理平台为目标,基于公司数据中台,构建公司级标签库,对内支撑提质增效,对外支撑数据增值变现,有效解决数据服务和数据产品灵活性差、建设周期长、成本高等问题,支撑数据中台的业务数据融通共享。标签管理平台提供一个统一的业务视角的、易操作的、高效的标签管理、分析、展现,以支撑公司基于标签或画像开展的业务应用。
 


标签管理平台以“业务精准化”为导向,涵盖标签需求梳理、标签体系设计、标签开发、标签管理与应用、标签评估优化等工作,实现标签的闭环管理。

标签需求梳理是根据标签需求,设计标签目录体系和具体的标签内容。标签开发是根据标签体系设计,完成设计确认、数据接入、标签开发、标签固化等。标签管理和应用是对标签从创建到下线的全生命周期管理,以及标签对业务应用和决策管理的支撑。标签评估优化是从标签的更新、使用、成效等方面评估,以优化标签设计。
 

如何构建标签管理平台

基于以上标签管理平台的需求,整体标签管理平台架构包括数据采集、数据加工、标签计算、标签管理、标签应用五个环节,如下图所示:


数据采集:基于采集工具按照T+1的方式采集业务系统数据以及外部互联网数据到数据中台的ODS层。通过汇聚海量数据,为后续的数据分析提炼提供数据基础。

数据加工:通过对海量数据的加工,分析和提取,按照数仓建设规范加工明细层、汇总层以及相关主题域数据,为数据标签加工提供基础数据大宽表。

标签加工:有了宽表的数据,接下来就可以创建标签体系。标签管理平台提供多种方式创建标签,包含了事实标签的映射、规则标签的加工、自定义SQL模式加工。标签创建完成形成标签的元数据和标签加工规则,系统依赖数据中台的离线计算能力和调度能力加工相关的标签结果数据物理表,标签体系通过计算沉淀业务所需的标签库。

标签管理:包括标签对象管理、标签元数据管理、标签审批、标签上下架、标签应用效果评估、衍生标签配置、标签圈群、标签画像等标签全生命周期管理功能。

标签应用:标签服务是依赖标签平台沉淀的物理表进行可视化拖拽快速生成API方便上层应用来调用标签数据。数据走了一大圈转换成标签,自然还是要回归到业务层面,通过对标签数据的分析,可以进行个性营销、精准推送和智能推荐等相关操作。
 

标签管理平台功能介绍

元年方舟数据中台之标签管理是集标签管理、定义、生产、分析、应用的一站式标签管理平台,主要包含了标签全景、标签管理、标签圈群、标签画像、标签协同、标签服务等六大功能模块。


标签全景

纵览所有标签包含标签地图,实现可视化查询标签目录、标签检索等功能,满足业务人员快速精准定位、使用管理标签。根据展示维度不同,可从标签主体、标签场景等维度检索标签及目录层级信息,支撑业务人员在不同的应用场景中检索运用标签。


标签对象管理

对离线计算加工的基础宽表进行统一配置与接入,实现对标签主体与标签源数据的有效管理。


标签管理模块

对庞大的标签体系进行统一有序的管理,通过体系化的标签全生命周期管理功能,实现对标签的统一有序管理,持续对标签进行评估优化,保证标签的实用实效。


群体筛选模块

通过基于标签与展性的目标群体筛选,让业务人员能快速筛选相应目标群体,支撑精准人的业务应用。


画像展示模块

通过画像展现的方式让标签以更加直观地方式让业务人员“看得着”,让业务人员可以直观地洞察业务对象特征。

标签系统应用成效

前面介绍了元年标签管理平台的架构和产品功能,下面介绍下在元年科技众多案例中标签管理平台产生的价值。元年科技为某省电力公司搭建的标签管理平台,充分利用数据中台的数据资源,以“数据驱动+用户驱动”理念建设用户多维度立体画像,通过固化申计规则和审计指标,以营销业务审计为试点,初步构建数字化审计以系统各单位为主体的营销域标签体系,固化营销用电用户和光伏扶贫用户标签138项,构建纳管电费回收风险分析等5个场景。通过标签管理平台整合全量营销数据,支撑客户数字化审计项目做深、做透。

结 语

本文主要介绍了标签管理平台的一些基础知识,包括标签定义、标签分类、标签画像、标签系统的数据架构。通过对平台的初步介绍,帮助读者对标签和画像以及平台有基本的了解。后续希望通过标签管理平台,基于数据中台数据资产搭建标签体系,帮助企业将技术数据转换为业务标签,实现数据的可见、可懂、可用、可运营,实现数据资产价值的萃取以及服务化,为企业的数字化转型和精细化运营赋能。

元年方舟数据中台白皮书


http://www.ppmy.cn/news/396944.html

相关文章

国产MCU,C28x内核+CLA浮点协处理内核,pin2pin替代TMS320F280049C,高频100MHz

QX320F280049C,特性: 1、C28x内核CLA浮点协处理内核,32位双核CPU,高频100MHz 2、IEEE754单精度浮点单元(FPU) 3、三角法数学单元(TMU) 4、Viterbi/复杂数学单元(VCU-I) 5、十个…

微信小程序----引入外部字体库iconfont的图标

直接使用阿里巴巴的网络路径 选择iconfont图标 官网:阿里巴巴矢量字体库 步骤:阿里巴巴字体库使用方法 全局引入app.wxss font-face {font-family: iconfont; /* project id 518032 */src: url(//at.alicdn.com/t/font_518032_t2q88z3jok8iwwmi.eot);s…

BUUCTF - re - CrackRTF

BUUCTF - re - CrackRTF ida分析,需要输入两次密码,估计是两段flag 先看"27019e688a4e62a649fd99cadaafdb4e"是经过sub_401019()函数,跟进过去,应该是一种什么加密方式 这段字符是32位,猜测md5,…

小程序引用icon图标(入门)

iconfont网站 1.先把图标添加到项目(新建项目) 2.在page文件下 新建iconfont目录和子文件iconfont.wxss iconfont.wxss 代码复制到浏览器,打开css文件 全部复制,放到新建的iconfont.wxss文件里 初步 iconfont.wxss font-face {font-family: "iconfont";src:…

如何搭建可正常使用的centOS7系统虚拟机节点/小白专属

如何搭建可正常使用的centOS7系统虚拟机节点 一、虚拟机安装步骤 安装VMware Workstation Pro 下载地址:https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html 安装完成后,创建虚拟机,按下述步骤操作。 …

使用PolarDB数据库和阿里云服务器ECS搭建网站!超详细图文教程!实现外网访问个人网站并且能够处理高并发!

阿里云体验 使用PolarDB和ECS搭建门户网站 地址:https://developer.aliyun.com/adc/scenario/a7161434e6cd499e9e26f2e62d0242fb?spma2c6h.15013979.J_7591448770.9.7f447077NAyF7i 使用步骤 1.创建资源 在页面左侧,单击 云产品资源 下拉菜单&#…

Iconfont轻量化导入vue项目

1.进入iconfont官网,详情 2.选中你喜欢的icon并加入购物车,然后添加进你的Iconfont文件夹下,最后下载到本地,就会有如下的一个包: 上图中,我红色标记的这六个文件是需要的,其他的不需要&#x…

关于GPS信息在谷歌地图上实时更新位置信息的问题

常规的日志收集方案中Client端都需要额外安装一个Agent来收集日志,例如logstash、filebeat等,额外的程序也就意味着环境的复杂,资源的占用,有没有一种方式是不需要额外安装程序就能实现日志收集呢?Rsyslog就是你要找的…