238页9万字大数据治理与服务平台建设及数据服务实施方案(word)

news/2025/2/22 22:43:42/

本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除。

1 项目解决方案

1.1 建设业务技术方案

1.1.1 业务需求分析

根据对招标要求的理解,建设业务需求主要包括如下几个方面:

(1)建设完善数据库:通过人口、法人、空间地理库数据源整合开发,并对接电子证照库。实现对人口、法人、空间地理信息、证照等的接入、整合、开发、利用。结合实际,构建公共主题库及专题库,为应用提供安全高质的专题数据服务。

(2)建立数据管理子系统:主要实现数据架构管理、数据关系管理、数据资产管理、数据标签管理、数据异常管理、数据分析管理、数据流程管理、流数据处理、知识图谱功能。

(3)扩展数据治理子系统:通过国家资源管理子系统实现资源申请、撤销、审核、查询、配置、目录管理、业务流程对接、监控模块对接等功能。

(4)建设大数据综合应用(一期):通过宏观经济、市场运行、民生幸福、城市立方体等专题应用的建设,构建大数据综合应用示范辅助领导决策,构建应用管理中心支撑数据应用,以为各部门提供优质的数据服务。

(5)建设数据开放子系统(一期):通过数据应用方管理、开放清单管理、数据开放管理、开放授权管理等构建全面的数据开放子系统,为数据应用方、数据管理方、外部第三方等提供数据注册、身份认证、订阅分发、开放数据追溯等功能。

(6)扩展平台集成门户:在大数据资源平台项目的基础上扩展功能。主要包括消息推送、数据推送、个人信息管理、系统管理等功能。

(7)建立数据开放门户:主要实现数据目录、数据接口、数据应用、数据图谱、地图数据、互动交流、数据开发者、辅助事项、个人管理等各项门户目录的建设。

1.1.2 数据资源范围

本次项目建设范围覆盖招标方客户单位以及所有委办局。数据来源即为来自委办局、四大库、互联网及社会等业务数据。

本项目建设中公共数据管理涉及数据的汇聚、抽取、治理、交换、共享等全生命周期,在生命周期的各个阶段对数据的归属权、管理权有明确的界定,有利于各个项目参与单位能够做到权责明确、协调统一。

1.1.3 数据资源层次

本项目建设将于平台采用数据湖+数据库的数据存储架构。数据湖与数据库依托于大数据支撑平台建设。

(1) 数据湖

数据湖是所有从外部数据源落地到招标方客户单位的统一数据存储空间。

数据湖基于政务云提供的云数据库和云存储服务进行搭建(通常包括关系型数据库、NoSQL数据库、列数据库、分布式文件存储等),主要存放政府部门业务数据库、未经加工的原始业务数据库,支持存储结构化、非结构化等多种类型的数据。

数据湖通过大数据资源平台,与各部门业务应用系统、区级各部门或区数据管理部门的前置节点进行交换。数据湖中的共享数据依据元数据进行编目,并建立动态更新的资源目录。

数据湖的数据存储规模极其庞大,需要支持存储扩展和横向、纵向迁移,直接用于分析的平均价值密度较低,通常需经过预处理、集成后,形成高质量公共数据资源。

(2)数据库

数据库,用于存放经过一系列清洗、转换、加载、治理步骤后的高质量的公共数据资源,其数据来源主要来自于数据湖。对于如一网通办等特殊应用,平台支持各部门政务应用系统与数据资源池的直接双向交互,无需通过数据湖进行中转,通过平台的调度引擎可进行交换链路的灵活设置。

数据库以面向不用数据应用、行业领域及主题进行划分(如:综合业务协同、公共基础库、公共主题库、扩展主题库等),并为业务应用和终端用户提供业务对象访问、数据集访问等数据类服务,支撑辅助决策、数据可视化、数据开放、数据挖掘分析等不同公共数据应用场景。

通过大数据资源平台提供的数据集成总线,对数据湖数据进行批量离线处理或实时处理,并将处理结果落地到数据资源池。数据资源池中的共享数据也需要依据元数据进行编目,并建立动态更新的资源目录。

数据库的数据存储规模极其庞大,需要采用合适的大数据平台对明细数据和汇总数据进行存储计算,计算结果可以使用分布式文件存储或关系型数据库,用于应用访问或直接展现。

1.1.4 整体业务架构

建立全市数据管理与利用体系:本项目将依托S市数据共享交换子平台,持续汇入各市级委办、各区县、市级统建系统、四大库的数据,并新增接入互联网及社会数据,通过数据生命周期管理子系统提供公共数据管理、数据层次管理、数据关联及流向分析、统一数据地图等功能,整合法人库、人口库、空间地理库数据源,并通过数据处理子系统建立经济活动、公用事业、社会关系等公共主题库,提供各类专业业务领域主题库建设的数据支撑,通过数据服务总线对外提供利用。建设安全管理子系统,提供安全数据采集、敏感数据管理、安全监管中心等功能。另外,将建立宏观经济、市场运行、民生幸福、城市综合体等一系列专题应用,在数据利用层面,通过平台集成门户对政务部门提供数据利用支撑,通过数据开放子系统与数据开放门户对各类社会机构提供数据利用支撑;进一步推动与促进数据共享交换与利用的生态体系构建,持续基于公共数据进行业务创新。

通过本次项目建设的各子系统、整合的人口、法人、空间地理库数据源,新建的公共主题库、专题库等,结合S市数据共享交换子平台,将初步构建较为完整的S市大数据资源平台,支撑智慧政府的改革。

1.1.5 业务功能描述

1.1.5.1 数据库建设

建设完善市级数据库:通过人口、法人、空间地理库数据源整合开发,并对接电子证照库。实现对人口、法人、空间地理信息、证照等的接入、整合、开发、利用。结合S市实际,构建公共主题库及专题库,为应用提供安全高质的专题数据服务。

1.1.5.1.1 公共基础库

1.1.5.1.1.1 人口库数据源整合

人口基础信息库提供身份核查和信息查询共享服务,通过输入公民姓名和身份证号码,便可查询居民身份号码和姓名匹配度以及死亡(注销)标识,也可提供公民性别、民族、出生日期、出生地等信息查询。

人口库数据源整合利用大数据资源平台已归集的人口相关数据,对人口库数据接入相关功能进行数据接入来源方面的功能整合开发。

通过对人口库数据源的全面梳理,对于原来由人口库向数据提供部门采集且已(将)接入大数据资源平台的数据,通过相关数据接入功能整合开发,改由大数据资源平台直接向人口库提供,不再需要相关数据提供部门重复提供。

1.1.5.1.1.2 法人库数据源整合

作为全市法人信息的基础数据库,法人库把原先碎片化存放的信息归集到法人名下,全面立体的展示法人相关信息。同时,法人库及S市法人信息共享与应用系统为全市其他平台和应用提供有力支撑。

法人库数据源整合利用大数据资源平台已归集的法人相关数据,对法人库数据接入相关功能进行数据接入来源方面的功能整合开发。

通过对法人库数据源的全面梳理,对于原来由法人库向数据提供部门采集且已(将)接入大数据资源平台的数据,通过相关数据接入功能整合开发,改由大数据资源平台直接向法人库提供,不再需要相关数据提供部门重复提供。

1.1.5.1.1.3 空间地理库数据源整合

空间地理库提供地图服务、影像服务、地名地址服务、三维服务与坐标转换等功能服务,持续为全市用户提供优质的地理信息服务。

空间地理库数据源整合,利用大数据资源平台已归集的空间地理相关数据,对空间地理库数据接入相关功能进行数据接入来源方面的功能整合开发。

通过对空间地理库数据源的全面梳理,对于原来由空间地理库向数据提供部门采集且已(将)接入大数据资源平台的数据,通过相关数据接入功能整合开发,改由大数据资源平台直接向空间地理库提供,不再需要相关数据提供部门重复提供。

1.1.5.1.2 支持公共主题库

立足于公共基础库,跨领域跨专题的数据提取并按主题进行整合汇聚,形成公共主题库,形成对专题的公共支撑。公共主题库数据来源不限于政府部门数据,包括事业单位、企业提供数据和互联网采集数据等。

1.1.1.1 数据治理子系统

扩展数据治理子系统:通过国家资源管理子系统实现资源申请、撤销、审核、查询、配置、目录管理、业务流程对接、监控模块对接等功能。

国家资源申请模块:开发资源申请功能,供资源需求方进行资源申请管理

资源撤销模块:开发资源撤销功能,供资源提供方进行资源撤销管理

资源审核模块:开发资源审核功能,供主管部门进行资源申请的审核管理

查询模块:查询已上线的所有资源及已发布的资源管理功能开发

消息管理模块:查看申请审核消息、待办消息、预警消息的消息管理功能开发

配置管理模块:配置管理功能开发,提供配置库表、文件资源申请审核、服务接口申请审核等功能

应用及事项管理模块:应用及事项管理功能开发,提供服务事项管理、政务事项管理等功能

使用单位对接模块:将本区数据共享交换平台使用单位信息注册到市数据共享交换平台的功能开发

目录对接模块:目录对接功能开发,提供下发目录接口秘钥、更新授权秘钥、目录分类获取、目录分类注册、目录分类变更、目录分类撤销管理等功能

资源对接模块:资源对接功能开发,提供库表资源对接发布、库表资源对接订阅、库表资源对接变更、库表资源对接撤销管理等功能

业务流程对接模块:业务流程对接功能开发,提供市数据共享交换平台对接管理功能

通知管理模块:通知管理功能开发,提供通知下发管理等功能

对接监控模块:监控目录及资源对接运行情况的功能开发

1.1.1.2 大数据综合应用

根据宏观经济、市场运行、民生幸福、城市立方体等专题应用的建设的要求,构建大数据综合应用示范辅助领导决策。

建立事件服务功能,主要实现事件规则定义、事件管理功能。

规则定义:事件规则定义提供简单事件的定义、复杂事件的组合规则定义,通过过滤、聚合和关联识别事件。

事件采集:时间采集提供事件采集的适配接口和信息转换,支持实时接收各系统的事件信息,完成信息的标准化处理。

事件处理:事件处理提供多事件并发处理的进程管理,对事件数据流进行大任务高并发的处理。

事件管理:开发事件管理功能,实现复杂事件的事件列表查看、事件处理等功能。

事件分发:事件分发是将事件下发给事件的订阅者,用于事件驱动型的业务触发。

在数据服务和事件服务的双重支撑下,构建应用管理中心支撑数据应用,为各部门提供优质的数据服务。

1.1.1.2.1 宏观经济专题

经济运行监测:开发包括GDP运行态势、工业增加值趋势、投资及消费趋势、对外贸易进出口运行态势、价格水平运行态势、金融运行态势的经济运行监测专题分析展示功能

宏观经济预测:开发包括GDP增速预测、工业增加值增速预测、M2增速预测,CPI预测的宏观经济预测专题分析展示功能

宏观景气指数预测:开发包括宏观预警指数、宏观一致指数、宏观先行指数、宏观滞后指数的宏观景气指数预测专题分析展示功能

市场主体发展:开发包括市场主体数量分析、区域活力分析、行业活力分析的市场主体发展专题分析展示功能

人口和就业:开发包括全市及各区人口情况、就业情况、人力资源情况的人口和就业专题分析展示功能

1.1.1.2.2 市场运行专题

主体准入分析:开发包括主体市场准入分析、主体市场退出分析、主体变迁分析的主体准入专题分析展示功能

产业结构调整:开发包括产业结构分布、产业结构调整分析的产业结构调整专题分析展示功能

主体经营分析:开发包括主体营收分析、主体纳税分析、就业规模分析的主体经营专题分析展示功能

大众创业分析:开发包括创业密度、创业热点行业分布、创业类型、创业年龄分布、创业者学历分布、创业生存周期、创业发展、创业与就业的大众创业专题分析展示功能

中小企业发展:开发包括对中小企业主体数量、分布区域、分布行业、生命周期情况分析的中小企业发展专题分析展示功能

电子商务发展:开发包括电子商务平台、电子商务经营者、电子商务交易、电子商务维权的电子商务发展专题分析展示功能

区域市场发展:开发包括产业数量分析、市场主体排名的区域市场发展专题分析展示功能

1.1.1.2.3 民生幸福专题

人口大数据首页:开发包括区域人口密度分布、人口增长趋势、老龄化趋势、不同年龄阶段的性别比、流动人口民族构成的人口大数据首页分析展示功能

人口迁移:开发包括外省市迁入本市的人口分布情况、职业特征、年龄特征、学历特征、迁移趋势特征的人口迁移专题分析展示功能

老龄化及养老:开发包括老龄化发展趋势、老年配套设施分布及完善情况、老年人疾病、养老方式、老年消费、老年需求的老龄化及养老专题分析展示功能

流动人口:开发包括流动人口的聚集地分布、流动人口来源地、流动人口转化为常驻人口的比例趋势、流动人口的民族构成、子女入学率、犯罪率、犯罪类型的流动人口专题分析展示功能

公共安全:开发包括刑事犯罪、交通违章的公共安全专题分析展示功能

食品安全:开发包括食品生产、食品流通、餐饮服务、食品检测、食品维权、食品事故的食品安全专题分析展示功能

政务服务能力:开发包括事项分类、办件数量、办件来源、跑腿次数、办理时限、办结率、行政相对人、各区热点事项的政务服务能力专题分析展示功能

1.1.1.2.4 城市综合体专题

城市立方体模型:开发包括360度分析展示、区域挖掘分析的城市立方体模型专题分析展示功能;

社区画像:开发包括公共能服务能力排名、老龄化排名、学龄儿童排名、人口结构、年龄结构、收入分布、民族结构、学历分布的社区画像专题分析展示功能。5cbd445035d66f09c6b3b8315ea74f66.jpeg

1.1.1.3 数据开放子系统

建设数据开放子系统(一期):通过数据应用方管理、开放清单管理、数据开放管理、开放授权管理等构建全面的数据开放子系统,为数据应用方、数据管理方、外部第三方等提供数据注册、身份认证、订阅分发、开放数据追溯等功能。

实现可配置的数据开放管理,支持配置后流通任务自动分发部署,在供应端与需求端节点实现标准化的数据接口,数据流通过程可支持标准化业务流程管理,实现自动化、可机读的数据流通,其中:数据开放需支持单条实时流通、异步批量流通两种模式,流通性能不低于10,000QPS。

1.1.1.3.1 数据应用方管理

身份注册:开发身份注册功能,提供自然人、法人身份注册;

身份验证:开发身份验证功能,区分使用者身份实现个性化服务,包括通过App或人脸识别进行身份验证以及法人用户通过法人一证通进行身份验证。

1.1.1.3.2 开放清单管理

公共数据资源ACL:开发公共数据资源ACL功能,提供公共信息资源目录的查看,基于目录实现数据访问控制;公共数据资源可根据公共信息资源目录及供应情况,使数据使用者获知公共数据提供的范围、方式、更新频率等信息,并整体控制某项数据资源是否开放;

公共数据服务接口注册:开发公共数据服务接口注册功能,实现公共数据服务发布;使得数据使用者获知公共数据服务接口与应用的获取方式、接口形式等信息,控制接口的可用性。

数据应用注册:开发数据应用注册功能,实现公共数据应用发布;可管理数据资源目录与清单、公共数据服务接口与数据应用的注册,以及第三方数据服务的注册。

第三方数据服务支持方服务接口注册:开发第三方数据服务支持方服务接口注册功能,实现第三方数据服务支持方服务接口发布;公共数据服务接口与应用注册需维护公共数据服务接口清单,第三方数据服务支持方以接口形式提供应用数据,便于数据使用者整合使用。提供接口获取方式等信息,控制接口可用性。

1.1.1.3.3 数据开放管理

可通过该管理模块对数据开放进行全过程的管理,不仅需要包括目录查看、数据信息项查看、数据应用查看、接口信息查看在内的一般性访问,还需包括建立与划分数据主题,开放数据资源的收藏、订阅与分发管理。除此之外,还需建立消息定义事件,由事件驱动事物执行的功能。

数据主题建立:开发数据主题建立功能,建立并管理数据主题

数据主题划分:开发数据主题划分功能,建立数据资源与主题的关联

消息事件管理:开发消息事件管理功能,按照消息定义建立事件,由事件驱动事务的执行

一般性访问:开发一般性访问功能,包括目录查看、数据信息查看、应用信息查看、接口信息查看等功能

收藏:开发收藏功能,注册的访问者收藏特定的数据集、接口、应用

订阅:开发订阅功能,注册的访问者可收藏对频繁更新的同类数据资源

订阅分发:开发订阅分发功能,当数据资源更新时,系统根据事件向相关订阅者推送

1.1.1.4 平台集成门户

扩展平台集成门户:基于统一鉴权中心的基础上实现多租户管理,并根据租户角色提供开发者门户(内部)、运营门户以及开放门户。

并在门户功能框架下实现消息推送、数据推送、个人信息管理、系统管理等功能。

篇幅有限,无法完全展示,喜欢资料可转发+评论,私信了解更多信息。


http://www.ppmy.cn/news/96853.html

相关文章

测试C#分词工具jieba.NET(续1:提取关键词及并行分词)

jieba.NET支持通过两种算法提取文本关键词:TF-IDF算法和TextRank算法,关于这两种算法的介绍详见参考文献10-11,在jieba.NET中对应的类为TfidfExtractor和TextRankExtractor,这两个分词都都支持调用ExtractTags和ExtractTagsWithWe…

ubuntu安装搜狗输入法,图文详解+踩坑解决

搜狗输入法已支持Ubuntu16.04、18.04、19.10、20.04、20.10,本教程系统是基于ubuntu18.04 一、添加中文语言支持 系统设置—>区域和语言—>管理已安装的语言—>在“语言”tab下—>点击“添加或删除语言”。 弹出“已安装语言”窗口,勾选中文…

Protobuf协议初级详解(python使用)从安装到序列化-反序列化

教程 一、前言二、效果三、教程1)安装2)使用1.创建.proto文件2.proto语法3.protoc.exe文件编译.proto语法文件4.序列化5.反序列化 四、借鉴 一、前言 Protobuf是一种轻便高效的结构化数据存储格式,可以用于结构化数据序列化,很适合…

辅助驾驶功能开发-功能规范篇(24)-2-影子模式功能触发规范

书接上回 3.3.算法功能模块 算法功能模块包含八种触发事件:主动接管事件、提醒接管事件、拥堵上匝道事件、拥堵下匝道事件、汇入口避让事件、拥堵变道事件、决策冲突事件以及预测冲突事件,对这八种事件进行触发测试。 对于算法功能模块,其所需要接收的信号如下表所示: 信号…

Linux(进程间通信)

目录: 1.进程间通信的介绍 2.管道通信 3.管道的原理 ------------------------------------------------------------------------------------------------------------------------------- 1.进程间通信的介绍 2.管道通信 当我们在创建子进程时,我们的…

Go快速上手之基础语法 | 青训营笔记

Go快速上手之基础语法 | 青训营笔记 文章目录 Go快速上手之基础语法 | 青训营笔记系列介绍本文摘要1. Go 介绍2. Go 的环境配置2.1 :sparkles: IDE2.2 Gitpod 和 Jetbrians Gateway 的使用 3. Go的基础语法3.1 Hello World3.2 变量与常量3.3 条件控制语句…

第3章 Class and Object

构造函数 Guaranteed initialization with the constructor使用构造函数保证初始化 • If a class has a constructor, the compiler automatically calls that constructor at the point an object is created, before client programmers can get their hands on the o…

Unity之2D碰撞器

1、什么是碰撞器 碰撞器是用于在物理系统中 表示物体体积的的(形状或范围) 刚体通过得到碰撞器的范围信息进行计算 判断两个物体的范围是否接触 如果接触 刚体就会模拟力的效果产生速度和旋转 2、参数 Edit Collider:编辑碰撞器 Material…