数据集成总览
本页介绍中-集团智能化合并报表系统的数据集成架构、集成方式、接口清单以及系统环境要求。适用于系统架构师、数据集成开发人员和项目管理人员。
数据集成架构
本项目数据集成架构图如下：
数据集成方式
数据集成方式
合并报表系统数据集成方式包括自动集成和手工集成两种方式，详细说明如下：
| 集成方式 | 释意 | 集成需求 | 备注 |
|---|---|---|---|
| 数据集成 | 通过接口或取数公式方式，实现数据的自动集成； | 主数据、报表数据、辅助数据、分录数据 | 财务平台系统跨模块取数 异构系统对接 |
| 手工集成 | 通过表单、台账方式、数据导入等方式，实现数据集成 | 主数据、报表数据、辅助数据、分录数据 | 表单：详见详细设计文档 台账：详见详细设计文档 数据导入：详见详细设计文档 |
数据集成需求
根据合并报表业务需求，梳理集成需求汇总如下：
| 集成需求 | 集成内容 | 数据来源 | 集成方式 |
|---|---|---|---|
| 主数据 | 组织架构和股权 | 主数据管理平台 | 自动+手工 |
| 主数据 | 往来组织（客商） | 主数据管理平台-客商 | 自动+手工 |
| 主数据 | 汇率 | 主数据管理平台 | 自动+手工 |
| 主数据 | 币种 | 主数据管理平台 | 自动+手工 |
| 报表数据 | 月度快报 | 中-仁和Oracle/中-外运Oracle/中-海通SAP/久其预算等 | 自动+手工 |
| 报表数据 | 集团管理报表 | 中-仁和Oracle/中-外运Oracle/中-海通SAP/久其预算等 | 自动+手工 |
| 报表数据 | 国资委报表 | 中-仁和Oracle/中-外运Oracle/中-海通SAP/久其预算等 | 自动+手工 |
| 报表数据 | 应用报表 | 中-仁和Oracle/中-外运Oracle/中-海通SAP/久其预算等 | 自动+手工 |
| 台账数据 | 单体调整台账 | 手工录入 | 手工 |
| 台账数据 | 权益抵销台账 | 手工录入 | 手工 |
| 台账数据 | 关联交易台账 | 手工录入 | 手工 |
| 台账数据 | 评估增值调整台账 | 手工录入 | 手工 |
| 台账数据 | 投资性房地产准则转换台账 | 手工录入 | 手工 |
| 分录数据 | 手工分录 | 手工录入 | 自动+手工 |
| 分录数据 | 自动分录 | 系统自动生成 | 自动+手工 |
特定板块数据集成
中-下属二级板块中中-港口和中-证券，因其本身的特殊性，需采取特殊的数据集成或合并方式，说明如下：
| 二级板块 | 说明 | 合并方式 | 数据集成 | 备注 |
|---|---|---|---|---|
| 中-港口 | 中-港口2021年上线中-港口体系财务平台合并报表系统，因其个性化需求和特殊性，集成特殊合并方式纳入集团合并体系。 | 单体：适用集团通用逻辑 合并：通过原财务平台合并体系进行数据合并。 | 集团合并系统通过跨维度体系数据传输方式集成合并后结果。 | 第一批只集成合并数据，后续港口和集团并体系后在按标准方式集成单体公司数据 |
| 中-证券 | 中-证券出于中-集团内部管理要求和自身合并特点，部分合并功能通过手工方式编制，不适用集团标准合并功能； | 单体：适用集团通用逻辑 合并：权益抵销通过手工分录方式编制； | 集团合并系统通过中间库方式集团单体公司数据。 |
单体取数接口
数据集成接口清单
| NO | 开发事项 | 集成内容 | 实现方式 | 备注 |
|---|---|---|---|---|
| 1 | 中-集团EAS核算模块集成 | |||
| 1.1 | 集团EAS核算模块 | 科目余额表、现金流量表 | 集成平台 | 集团EAS组织占大多数，该核算系统的集成工作为重点内容； |
| 2 | 其它核算模块集成 | |||
| 2.1 | 中-海通SAP核算模块 | 科目余额表 | 集成平台 | |
| 2.2 | 中-仁和Oracle核算模块 | 科目余额表 | 集成平台 | |
| 2.3 | 中-证券EAS核算系统 | 科目余额表 | 集成平台 | |
| 2.4 | 中-外运Oracle核算模块 | 科目余额表 | 集成平台 | |
| 3 | 其它业务模块集成 | |||
| 3.1 | 集团EAS固定资产模块 | 固定资产变动数据 | 集成平台 | |
| 3.2 | 集团EAS租赁模块 | 租赁负债明细 | 集成平台 | |
| 3.3 | 财务平台司库系统 | 贷款管理 集成借款&提款单据数据 发债管理 集成债券发行单据数据 担保管理 集成担保合同单据数据 | 集成平台 | 财务平台系统内集成 |
| 3.4 | 久其数据平台-预算集成 | 集成平台+手工填报 | 与久其预算平台集成 | |
| 3.5 | 久其数据平台-报表推送 | 快报和决算表传至久其 | 集成平台+手工填报 | |
| 3.6 | 中-港口财务平台合并系统 | 144和1872合并结果 | 集成平台 | |
| 3.7 | 集团EAS报表平台（表集成） | 并行阶段，财务平台报表数据推回到EAS。 | 集成平台 | |
| 4 | 主数据集成 | |||
| 4.1 | 主数据管理系统 | 组织、汇率、客商、币别 | 集成平台+手工填报 | 与主数据平台集成 |
系统环境与硬件要求
系统部署架构设计
-
DMZ区 通过中-提供的中-随行零信任服务，保障用户登录及系统使用安全
-
PaaS层-中-容器平台： 在中-提供IaaS层资源(物理机或虚拟机、网络、存储）基础上，安装部署“某IT基础平台”服务来构建
-
PaaS层计算区：
-
网关转发：用户登录零信任后点击“内部应用”应用，通过中-提供的网关服务，自动跳转到财务平台的web实例
-
财务平台应用容器微服务拆分：根据业务拆分合并报表容器微服务，拆分为合并报表应用、合并后台事务、集成、工作流、平台基础服务等应用，提升处理合并报表效率，通过容器技术保障各业务独立运行
-
容器持续化存储说明：使用中-金科NFS共享存储，挂载到财务平台每个容器实例中，保障财务平台数据持续化存储
-
共享存储使用场景：轻分析存储、图片附件服务器存储、静态资源、应用仓库(appstore)存储。 4、高可用说明
部署架构中的每个服务部件都采用分布式集群架构，财务平台应用的状态通过独立的集群（Redis）存储，财务平台应用实现无状态服务，满足应用层的弹性伸缩和可用性需求。
利用数据库的复制能力实现每个库的主从互备，读写分离。满足数据层的伸缩性和可用性需求。
硬件架构部署建议
以财务平台合并报表5000家组织，5000个用户估算，现有财务平台环境的测试及生产环境硬件资源远远不符合要求，需要进行优化升级，具体优化建议如下：
| 安装内容 | 建议说明 | 推荐配置 | 推荐配置 | 推荐配置 | 推荐配置 | 推荐配置 |
|---|---|---|---|---|---|---|
| 安装内容 | 建议说明 | 数量 | cpu(核) | 内存(G) | 磁盘空间(G) | 硬盘类型 |
| mservice-bcm 合并报表应用 | 以一个用户使用10M，每个实例10G最多支持100用户，以5000用户数估算，需要增加合并报表应用实例至50个 | 50 | 6c | 13g | \ | \ |
| mservice-bcmcal 合并报表应用后台事务 | 以5000家组织估算，每个实例支持300个组织，需要增加合并报表应用后台事务实例至10个 | 10 | 8c | 13g | \ | \ |
| mservice-iscb 集成 | 以5000家组织集成数据量估算，需要增加集成实例至10个 | 10 | 6c | 13g | \ | \ |
| web 对外入口 | 以增加5000用户数估算，需要增加web入口实例至10个 | 10 | 4c | 9g | \ | \ |
| mysql-集成库 | 以5000家组织集成数据量估算，需要加大内存至128g | 1 | 64c | 128g | \ | \ |
| mysql-企业绩效库（新增） | 为保障合并报表性能，与其他功能互不影响使用，合并报表数据库独立拆分 | 1 | 64c | 128g | ||
| Redis-algo | 以5000用户数估算，合并报表为提升效率将大量使用缓存，需要加大内存至64g | 1 | 8c | 64g | \ | \ |
| Redis-缓存 | 合并报表为提升效率将大量使用缓存，需要加大内存至64g | 1 | 8c | 64g | \ | \ |
| Redis-会话 | 以5000用户数估算，会产生许多会话，需要加大内存至64g | 1 | 8c | 64g | \ | \ |
| Elasticsearch | 以5000家组织估算，合并报表日志数据量将成倍提升，需增加磁盘空间至2T | 1 | 64000 | 16g | 2TB | HDD |
| Logstash | 以5000家组织估算，合并报表日志数据量将成倍提升，需增加磁盘空间至2T | 1 | 64000 | 16g | 2TB | HDD |
| Kafka | 以5000家组织估算，合并报表日志数据量将成倍提升，需增加磁盘空间至2T | 1 | 64000 | 16g | 2TB | HDD |
| 多维数据库MDD | 合并报表核心计算都在多维数据库中进行，需要CPU128核，内存1TB支持 短时间暂预估：5000个组织,每期1亿的明细数据，占用磁盘10GB左右，每年共13期加4个季报、1个年报，共约180GB左右的磁盘占用空间的数据，此外，多维库会定期备份，磁盘空间需要预备1T | 2 | 128 | 1TB | 1TB | SSD |
| 应用仓库，静态资源，附件（包括图片），轻分析存储 | 预留合并报表附件空间，磁盘空间需要预备1T，且需考虑后续扩展性 | \ | \ | \ | 1TB | HDD |
用户电脑配置建议
财务平台为b/s架构，不需要安装客户端，通过中-随行“内部应用”应用即可登录
主数据集成
主数据集成业务分析
整体概况
目前，集团系统大部分公司统一了主数据平台，而本次项目上线之后，中-集团合并报表将统一使用某IT财务平台系统，所以需要将各异构核算系统数据传输到某IT财务平台合并报表，实现中-集团各级公司统一在某IT财务平台系统出具合并报表；同时为了实现各公司各系统数据的数据资产及隔离管理，本项目中中-集团各二级公司将核算系统数据按合并表样进行整理，再由某IT财务平台系统从核算数据库或中间库调取相关数据，生成合并报表。
适用范围
本章节适用于中-集团系统公司核算系统集成。
数据集成需求
主数据集成需求
基于科目余额表和现金流量表的业务数据涉及的基础资料也需同步集成：组织（主数据平台同步）、期间、汇率（主数据平台同步）、币别（主数据平台同步）、
| 序号 | 基础数据集成 | 说明 | 数据状态 | 备注 |
|---|---|---|---|---|
| 1 | 组织 | 当前是从主数导入，由于合并要求的组织与现有基础资料有差异，当前建立中间表进行承接 | 生效 | |
| 2 | 客商 | 当前是从主数导入，后续通过接口对接到基础资料 | 生效 | |
| 3 | 汇率 | 当前是从主数导入，后续通过中间表接口进行对接 | 生效 | |
| 4 | 币别 | 当前是从主数导入 | 生效 |
数据集成频率
| 序号 | 数据分类 | 频率 | 数据状态 | 备注 |
|---|---|---|---|---|
| 1 | 基础数据 | 初始化时批量获取，后续同步增量新增 | 生效 |
数据集成方式
同 1.3.3.4.3，请参考相关文档
数据集成技术架构
同 1.3.3.4.4，请参考相关文档
集成解决方案
整体方案设计
针对改进目标，本次集成将开发中间表的前置设置功能整体方案如下：
集成数据流程
数据集成需求
功能设计
依据整体解决方案需要开发的功能界面：
基础资料中间表：
a、组织;
b、客商;
c、汇率;
功能菜单
功能界面与算法逻辑
组织中间表
界面原型
字段规格
| 编码 | 字段名称 | 字段类型 |
|---|---|---|
| cfmdmnumber | 主数据编码 | nvarchar(256) |
| fcode | 助记码 | nvarchar(80) |
| fdisplayname | 显示名称 | nvarchar(600) |
| feffectdate | 生效日期 | datetime |
| fenglishname | 英文名称 | nvarchar(128) |
| finvaliddate | 失效日期 | datetime |
| fisleaf | 是否叶子节点 | decimal(10,0) |
| fisousealup | 是否封存 | decimal(10,0) |
| fisprofitorgunit | 是否是利润中心 | decimal(10,0) |
| fispurchaseorgunit | 是否是采购组织 | decimal(10,0) |
| fisqualityorgunit | 是否是质检组织单元 | decimal(10,0) |
| fissaleorgunit | 是否是销售组织 | decimal(10,0) |
| fisstart | 是否启用 | decimal(10,0) |
| fisstorageorgunit | 是否是库存组织 | decimal(10,0) |
| fistransportorgunit | 是否是发运组织单元 | decimal(10,0) |
| fisunion | 是否合并范围 | decimal(10,0) |
| flastupdatetime | 最后修改时间 | datetime |
| flastupdateuserid | 最后修改者 | varchar(44) |
| flevel | 级次 | decimal(10,0) |
| flongnumber | 长编码 | nvarchar(255) |
| fmainorgid | 对应的主账簿组织 | varchar(44) |
| fmaintaincuid | 维护CU | varchar(44) |
| fname_l1 | 名称(英文) | nvarchar(600) |
| fname_l2 | 名称(简体) | nvarchar(600) |
| fname_l3 | 名称(繁体) | nvarchar(600) |
| fnamepinyin | FNAMEPINYIN | varchar(44) |
| fnameshortpinyin | FNAMESHORTPINYIN | varchar(44) |
| fsimplename | 简称 | nvarchar(80) |
| fversionnumber | 版本号 | varchar(3) |
客商中间表
界面原型
字段规格
| 编码 | 字段名称 | 字段类型 |
|---|---|---|
| cfenterprise | 企业性质 | nvarchar(50) |
| cfgknumber | 港口编码 | nvarchar(50) |
| cfgroupnumber | 集团主数据编码 | nvarchar(50) |
| cfinterfacelasttime | 接口最后修改时间 | datetime |
| cfkdaddress2 | kDaddress2 | nvarchar(255) |
| cfkdaddress3 | City | nvarchar(255) |
| cfkdtextfield | CFKDTEXTFIELD | nvarchar(255) |
| cfpaypriority | 付款优先级 | varchar(100) |
| cfsourcecode | 主数据平台编码 | nvarchar(50) |
| cfsourcenumber | 原供应商编码 | nvarchar(50) |
| cfsponsor | sponsor | nvarchar(50) |
| cfwygroupnumber | 中-外运主数据编码 | nvarchar(50) |
| faddress | 地址 | nvarchar(255) |
| fadmincuid | 管理组织 | varchar(44) |
| fartificialperson | 法人代表 | nvarchar(80) |
| fbarcode | 条形码 | nvarchar(80) |
| fbizanalysiscodeid | 业务分析码 | varchar(44) |
| fbizregisterno | 工商注册号 | nvarchar(80) |
| fbrowsegroupid | 供应商基本分类 | varchar(44) |
| fbusiexequatur | 生产经营许可证 | nvarchar(80) |
| fbusilicence | 营业执照 | nvarchar(80) |
| fcityid | 城市 | varchar(44) |
| fcontrolunitid | 控制单元 | varchar(44) |
| fcountryid | 国家 | varchar(44) |
| fcreatetime | 创建时间 | datetime |
| fcreatorid | 创建者 | varchar(44) |
| fdescription_l1 | 描述(英文) | nvarchar(255) |
| fdescription_l2 | 描述(简体) | nvarchar(255) |
| fdescription_l3 | 描述(繁体) | nvarchar(255) |
| feffectedstatus | 生效状态 | decimal(10,0) |
| fforeignname | 外文名称 | nvarchar(500) |
| ffreezeorgunit | 客户组织单元 | varchar(44) |
| fgspauthentication | GSP认证 | nvarchar(80) |
| fid | ID | varchar(44) |
| findustryid | 行业 | varchar(44) |
| finternalcompanyid | 集团内公司 | varchar(44) |
| finternalprofitcenter | 集团内利润中心 | varchar(44) |
| finternalsuppliertype | 内部供应商类型 | decimal(10,0) |
| fiscarrier | 是否承运商 | decimal(10,0) |
| fisinternalcompany | 是否集团内公司 | decimal(10,0) |
| fismulticopy | 是否为多页签复制 | decimal(10,0) |
| fisouter | 委外商 | decimal(10,0) |
| flastupdatetime | 最后修改时间 | datetime |
| flastupdateuserid | 最后修改者 | varchar(44) |
| fmnemoniccode | 助记码 | nvarchar(80) |
| fname_l1 | 名称(英文) | nvarchar(255) |
| fname_l2 | 名称(简体) | nvarchar(255) |
| fname_l3 | 名称(繁体) | nvarchar(255) |
| fnamepinyin | namePinYin | varchar(44) |
| fnameshortpinyin | nameShortPinYin | varchar(44) |
| fnumber | 编码 | nvarchar(80) |
| foldnumber | 旧编码 | nvarchar(80) |
| fparentid | 上级供应商 | varchar(44) |
| fprovinceid | 省 | varchar(44) |
| fregionid | 区 | varchar(44) |
| fsimplename | 简称 | nvarchar(80) |
| ftaxdataid | 税种 | varchar(44) |
| ftaxpayertype | 纳税人类型 | varchar(80) |
| ftaxrate | 税率 | decimal(28,10) |
| ftaxregisterno | 税务登记号 | nvarchar(80) |
| fusedstatus | 状态 | decimal(10,0) |
| fversion | 版本 | decimal(10,0) |
汇率中间表
界面原型
字段规格
| 编码 | 字段名称 | 字段类型 |
|---|---|---|
| cfgroupnumber | 集团主数据编码 | nvarchar(50) |
| cfinterfacelasttime | 接口最后修改时间 | datetime |
| cfsourcecode | 主数据平台编码 | nvarchar(50) |
| exchangerate | 汇率日期 | datetime |
| currency | 原币名称 | nvarchar(50) |
| ratevalue | 汇率值 | decimal(28,10) |
| currencyfrom | 换算方式 | nvarchar(50) |
| currencyto | 目标币 | nvarchar(50) |
| fusedstatus | 状态 | decimal(10,0) |
| fversion | 版本 | decimal(10,0) |
相关专题页面
- EAS 系统集成方案 — 集团 EAS 核算模块、固定资产、租赁、司库等集成方案
- SAP 系统集成方案 — 中-海通 SAP 系统数据集成方案
- Oracle 系统集成方案 — 中-外运 Oracle、中-仁和 Oracle 数据集成方案
- 特殊板块数据采集 — 中-港口、中-证券等特殊板块采集方式