数据安全体系全貌
在数据仓库平台中,对应数据的请求必须严格尊属数据安全体系
数据使用安全
- 数据安全 = 认证 + 授权
认证主要是对用户的身份确认,比如最简单的用户的登录需要账户和密码;像你登录Mysql需要输出用户名和密码。比如大数据中使用的kerberos的认证框架的认证管理。
授权是指用户可以访问的资源,比如授权用户张三不能访问ods层的表,可以访问dwd层和dws层的表。再比如java中基于角色的身份认证RBAC(Role-Based Access Control)基于角色的权限控制。比如大数据中使用的Sentry和Ranger的授权框架的权限管理。
一般意义上的数据安全流程
- 数据的产生:通过数据分级体系对敏感字段打标签;
- 数据的存储:需要通过加密的方式存储相关数据,避免直接存储Text格式的数据;
- 数据的使用:包括了一个独立的权限控制系统;
- 数据的传输:相关的申请与查询操作需要通过专门的API接口进行,并且有高安全等级的加密措施;
- 数据的展示:在申请通过后,根据申请人的安全等级,展示对应等级的数据;
- 数据的销毁:敏感数据仅在HDFS上做逻辑删除是不够的,需要配合物理删除同步清理敏感数据。
仓库中数据表分级标准
一般情况下,数据仓库部门对外开放的表是ads层,可能由于需要可以申请dwd层的数据,但是ods层的原始数据是不会对外开放的。对于这些对外开放的表也会有安全等级的划分。
表安全设置为四个等级:
- S4:非业务核心表,删除对于其他计算任务无影响;
- S3:非业务核心表,但删除对于其他计算任务有一定的影响;
- S2:业务核心表,仅限本部门使用,删除对于其他部门使用无影响;
- S1:业务核心表,删除对于其他部门使用有影响。