ICS 35.240.01 CCS L 67 黑 DB23 龙 江 省 地 方 标 准 DB23/T XXXX-XXXX 政务信息共享交换平台 数据汇聚 XXXX - XX - XX 发布 黑龙江省市场监督管理局 XXXX - XX - XX 实施 发 布 DB23/T XXXX-XXXX 前 言 本文件依据GB/T 1.1-2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》 的规定起 草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本文件由黑龙江省营商环境建设监督局提出并归口。 本文件起草单位：黑龙江省营商环境建设监督局、黑龙江省标准化研究院、浪潮软件集团有限公司。 本文件主要起草人：张建峰、江中阳、蒋毅、谭嘉宁、王磊、于运来、董鹏飞、张桐瑗、陈要武、 杨大志、吕猛、李严。 I DB23/T XXXX-XXXX 政务信息共享交换平台数据汇聚 1 范围 本文件规定了黑龙江省政务信息资源数据汇聚的总体架构，以及数据汇聚的基本要求。 本文件适用于黑龙江省政务信息资源数据汇聚的规划、设计、建设和应用。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 22239 信息安全技术 网络安全等级保护基本要求 3 术语和定义 下列术语和定义适用于本文件。 3.1 政务信息资源 政务部门在履行职责过程中制作或获取的，以一定形式记录、保存的文件、资料、图表和数据等各 类信息资源，包括政务部门直接或通过第三方依法采集的、依法授权管理的和因履行职责需要依托政务 信息系统形成的信息资源等。 3.2 数据汇聚 采集各政务部门可提供的政务信息资源，按照一定的数据更新频率及共享条件，将政务数据汇聚至 省共享交换平台。 3.3 资源提供方 对外提供政务信息资源共享的政务部门。 3.4 库表资源 库表资源是指资源提供方以数据库的形式提供的数据。 3.5 文件资源 文件资源是指资源提供方以文件形式提供的数据，一般使用的文件类型是Excel、CSV、TXT等。 4 缩略语 1 DB23/T XXXX-XXXX 下列缩略语适用于本文件。 UTF-8：Unicode的可变长度字符编码（8-bit Unicode Transformation Format） 5 数据汇聚总体框架 5.1 政务信息资源数据汇聚由信息资源、信息资源目录、数据交换、数据共享交换平台组成，标准规 范和安全保障贯穿于各部分，为各部分提供指导和支撑保障。政务信息资源数据汇聚总体架构见图 1。 图1 数据汇聚总体框架 5.2 信息资源目录是信息资源共享交换工作的基础，用于快速检索、定位、发现相应的信息资源。通 过汇聚基础信息资源、主题信息资源、政务部门信息资源和其他信息资源以数据交换服务为工具，为数 据共享交换平台提供数据应用支撑。 6 数据汇聚总体要求 6.1 汇聚方式 6.1.1 库表模式汇聚 6.1.1.1 库表模式汇聚流程 库表模式汇聚流程见图2。 2 DB23/T XXXX-XXXX 图2 6.1.1.2 库表模式汇聚流程图 汇聚流程 汇聚流程包括： a) 完成数据提供方与电子政务外网的联通，并能成功访问省共享交换平台提供的部门前置库，要 求资源提供方通过安全设备保证资源提供方业务数据中心的安全； b) 通过数据共享中心数据处理工具把需要推送的库表数据推送至共省共享交换平台部门前置库 中（增量推送）； c) 省共享交换平台数据交换系统把部门前置库的数据采集至中心前置库中。 6.1.1.3 数据要求 数据要求包括以下方面，需提供字段见表1： a) 提供数据表的主键，这是表中的某一条记录的唯一标识，为必须提供项； b) 数据更新时间戳，要求默认为业务生成时间或者变更时间；如果无法提供则修改成进入前置库 时间，修改业务时也为进入前置库时间，可采用数据库默认时间和触发器相结合的方式解决此 问题，格式为 yyyy-MM-dd hh:mm:ss； c) 新增数据类型，数据新增时为“I”，修改时为“U”，删除时为“D”； d) 来源部门，该字段填入各部门的监管编码，省级厅局为 23+“#”+“三位机构代码”（三位机 构编码参考附录 A.1） ，地市为 6 位行政区划编码； e) 批次号：规则为日期+次数，例如 2019 年 8 月 11 日第二次提交数据，批次为“2019081100002” ； f) 要求对数据按照时间戳进行增量更新，不可以进行每次全量覆盖式更新。 3 DB23/T XXXX-XXXX 表1 库表模式需提供字段 字段名称 字段类型 字段意义 cd_id C100 数据主键 id cd_time timestamp 数据更新时间戳 数据新增时为“I” ， cd_operation C50 修改时为“U” ， 删除时为“D” 6.1.2 cd_source C50 来源部门 cd_batch C50 批次号 文件模式汇聚 6.1.2.1 基于 FTP 服务数据汇聚流程 基于FTP服务数据汇聚流程见图3。 图3 基于 FTP 服务数据汇聚流程图 4 DB23/T XXXX-XXXX 6.1.2.2 汇聚流程 汇聚流程如下： a) 根据自身实际情况选择人工导出并上传至数据中心 FTP 服务器或者选择机器自动生成文件并 上传至 FTP 服务器； b) 按照选择的网络图谱配置前置机及网络安全设备并打通网络链路； c) 人工导出模式为省共享交换平台为资源提供方提供 FTP 上传的用户名和密码，资源提供方通过 人工导入至 FTP 服务器中，共享平台交换工具自动将上传的数据采集至前置库； d) 机器自动上传至资源提供方自建 FTP 服务器，共享平台交换工具通过资源提供方提供的用户名 和密码自动下载新增文件，并把数据采集至前置库中； e) 交换系统把前置库中的数据采集至中心前置库。 6.1.2.3 数据要求 数据要求包括： a) 明确每个文件每行数据的主键数据项，且不能为空，如同一条数据记录多次传输必须保证主键 值不变； b) 每个文件每行数据中需增加一个时间戳字段，以方便系统根据时间戳识别增量数据（时间格式 为 yyyy-MM-dd hh:mm:ss）； c) 每个文件每行数据中存在无效或者删除数据需提供数据有效性标示字段； d) 按照目录的汇聚频率，更新备份库中的数据； e) 如果导出文件为 Excel 文件，第一行需为列名称，最后一行必须为数据行，不能出现总计等汇 总型数据； f) 如果导出文件为 XML 文件则必须为标准的 XML 文件，必须有成对的标识符。 注：一个Excel文件中只能有一个sheet。 Excel内不能有合并过的单元格，单元格不能有单元格格式。 6.1.3 接口模式汇聚 6.1.3.1 服务接口数据落地模式汇聚数据流程图 基于服务接口数据落地模式汇聚数据流程图见图4。 5 DB23/T XXXX-XXXX 图4 6.1.3.2 基于服务接口数据落地模式汇聚数据流程图 汇聚流程 汇聚流程如下： a) 资源提供方提供 service 接口，实现通过接口调取业务应用数据库中的数据； b) 按照选择的网络图谱配置前置机及网络安全设备并打通网络链路； c) 数据共享平台交换工具通过资源提供方提供的 service 地址、用户名密码、传入参数进行服务 调用获取数据，并把数据采集至前置库中； d) 数据交换系统把前置库中的数据采集至中心前置库中。 6.1.3.3 数据要求 数据要求包括： a) 明确每条记录中数据的主键数据项，且不能为空； b) 每条记录中的数据需增加一个时间戳字段，以方便系统根据时间戳识别增量数据（时间格式为 yyyy-MM-dd hh:mm:ss）； c) 按照目录的汇聚频率来更新数据； d) 服务调用必须根据时间段进行数据的采集，输入参数中必须包含起始时间参数和截止时间参 数。 6.2 汇聚频率 各单位应以增量更新的方式按规定的频率进行数据交换。更新频率应为资源提供方根据业务产生的 实际频率进行定义。 6.3 6.3.1 命名要求 库表模式 6 DB23/T XXXX-XXXX 资源提供方以库表模式提供数据，需注意库表的命名格式，库表的命名应以提供方部门首字母_数 据资源目录名称首字母小写来命名，如省税务局的管理员以库表模式提供的一项数据资源目录名称为 “纳税人信用等级信息”的库表，那么该库表文件的命名应为：swj_nsrxydjxx。 6.3.2 文件模式 资源提供方以文件模式上传的数据，其命名规则是数据资源目录名称_上传该数据的日期+顺序号， 如省税务局的管理员在2020年3月20日以文件方式提供一项数据资源目录名称为“纳税人信用等级信息” 的Excel文件，那么该文件的命名应为：纳税人信用等级信息_2020032001。注：这里的顺序号是由两位 数字组成，指的是当日上传此文件的顺序。 6.4 安全保障 资源系统方业务系统与省数据共享交换平台应参照GB/T 22239的规定执行，宜采用信息安全等级保 护为三级及以上。 7 数据汇聚流程 7.1 数据汇聚流程 数据汇聚流程见图5。 图5 7.2 数据汇聚流程 汇聚准备阶段 7 DB23/T XXXX-XXXX 7.2.1 创建数据库及文件、接口开发 7.2.1.1 创建数据库 创建数据库。数据库要求字符编码为 UTF-8，最大连接数不少于 300； 创建数据表； 创建表索引。为了满足数据交换的性能要求，所有汇聚表的主键都应创建索引，索引命名规则 为“表名_主键”。 a) b) c) 7.2.1.2 创建文件 创建文件夹，准备数据文件。 7.2.1.3 接口开发 资源提供方需准备好接口地址及可返回参数的测试用例，并提供接口说明文档。 7.2.2 存量数据处理 资源提供方将存量数据按本文件的数据汇聚标准及代码集标准进行转换处理。 7.2.3 资源确认 省数据共享交换平台作为资源需求方确认待汇聚的数据资源，完成数据汇聚准备。 7.2.4 资源注册、审核、发布 省数据共享交换平台，将待汇聚数据资源进行注册、审核、发布。 7.3 汇聚运行阶段 7.3.1 数据更新 资源提供方在数据库表创建成功后，按时间增量的方式进行数据更新。 a) 增量数据应满足本文件要求的数据汇聚标准； b) 更新频率按照业务产生频率进行更新。 7.3.2 数据汇