主数据系统的设计与实现-主数据系统设计
主数据系统的设计与实现
作者:蒙天放 2022-09-14 09:37:22新闻 系统 主数据系统涉及多个系统的数据同步,由于各异构系统的差异性,导致主数据系统复杂度较高,成功的案例不多。1 主数据系统的必要性
随着企业信息化的不断深入,企业建设的业务系统、办公系统等信息系统越来越多。由于规划、预算、实施计划等原因限制,各信息系统建设的步调不一致,规划不统一,导致一个严重的问题:一些基础数据,比如商品编码、客户编码等,在不同信息系统内取值不一致,甚至定义也不一致,为各业务系统打通,以及数据中心建设带来极大的障碍。这些基础数据一般称为主数据,对主数据的规范和梳理需要建设“主数据系统”。
主数据问题主要有几个方面:
各系统基础数据定义不一,集中的数据处理(比如 BI、大数据、机器学习等)需要经过繁琐的数据清洗、格式化、一致性检查和转换等步骤,代价巨大;
数据字典各自为政,甚至存在无法调和的逻辑矛盾,比如在 A 系统是主键的字段在 B 系统却允许不唯一;
有时候尽管定义了统一的规范,但各系统独立维护,也无法保证主数据的一致性。
由此,主数据系统的建设宜早不宜晚,特别是对于已经在使用 ERP 的传统企业。但是,由于主数据系统偏重于“技术优化”的范畴,很难在业务上见到立竿见影的效果,甚至对于业务人员都是“透明”的,而且还投入不小,所以对于如何申请到资源并立项,是个不小的挑战。但这不在本文讨论的范围内。
2 主数据系统设计的基本原则
主数据系统的设计方法很多,但大多数都需要对原有信息系统进行伤筋动骨的改动。因此,各企业在主数据系统的实施上都比较保守,宁愿花费大量的人工处理,以及诸多的各系统补丁,进行数据清理和转换,这种方案效率低而且无法解决根本性问题。
在结构上,由于多个应用系统之间,都可能存在提供数据和使用数据两种角色,一般采用点对点两两交互的网状结构,这种结构对同步时序、转换规则、系统复杂度等均提出了极高的要求,也带来——复杂性高,实施周期长,无法分步实施,容易失败等问题。
图 1 网状结构和星形结构
很显然,星形结构明显由于网状结构,而且必然对原信息系统的修改更少。
主数据系统设计原则几个要点如下:
数据同步从一般的“网状结构”改为稳定性高的“星形结构”,打破点对点两两交叉的复杂结构;通过“数据代理”方式,不侵入原信息系统,不需要对原系统进行大量改动,可以进行有计划的分步实施;主数据系统对每一条数据记录,设置全域范围唯一的 uuid 记录识别码,用于主数据记录全生命周期的识别、映射和转换;所有数据转换、映射均由主数据系统实现,对原系统完全“透明”;关联记录通过 uuid 多次映射的方式,确保任何现有系统以及将来接入的系统,都无需关心源数据的关联关系,复杂度大大降低。3 主数据系统的具体实现
下面结合一种实现方法,给出完整的数据库设计和流程图。并对其中的关键点进行详细阐述。该项目已经上线运行半年多,可靠性和数据一致性均经过严格验证。
本项目几个前提如下:
(1)所有业务系统数据库都是 MySQL;
(2)所有业务系统数据提供者的主数据表都有 id 主键,但字段名不一定为“id”,也不一定具有自增属性;
(3)所有业务系统数据提供者的主数据表都有最后更新时间戳,同样字段名各不相同;
(4)所有业务系统数据提供者均以标志位标识“删除”,而不进行记录的物理删除。
3.1 总体架构
总体架构为星形结构,如图 2:
图 2 主数据系统总体架构图
其中:
(1)为简化设计,基于前提的第 2、3 点,数据代理直接采用数据库连接方式,定时对数据提供者的数据库表进行轮询。由此,对于数据提供者对应主数据表必须具有读权限,对于数据消费者的对应主数据表必须具有 insert/update 权限;
(2)数据代理(1~n),每个均连接主数据数据库和唯一一个信息系统数据库。业务系统数据库的“数据消费者”和“数据提供者”角色可能只有一种,例如,办公自动化(OA)系统,可能只作为“数据提供者”角色,提供组织架构、人员等主数据。这种情况下,该“数据代理”无需配置和调度“数据消费者”功能。
(3)MySQL 数据库表结构定义可以从 information_schema.COLUMNS 直接获取,其他数据库可以找类似系统表,如果没有,则需要单独填充字段定义。
(4)数据库设计如下:
tb_columns_def:表结构定义,从 information_schema.COLUMNS 直接复制tb_data_role:数据角色定义3.2 数据提供者拉取
功能流程如图 3:
图 3“数据提供者”拉取流程
其中:
(1)被定时调度(本项目设置 1 分钟一次)激活后,连接对应的信息系统数据库,检查是否有新增或更新记录,如有,则进行数据拉取——从源数据数据库拉取并存入主数据数据库,同时记录“同步轮次”。
(2)一个信息系统可能提供多个“数据提供者”,在全部数据提供者都轮询并处理结束后,流程结束。
(3)数据库设计如下:
tb_data_sync_log:同步日志表,保存同步控制数据
3.3 数据消费者推送
功能流程如图 4:
图 4 数据消费者推送流程
其中:
(1)被定时调度激活后,检查主数据系统“同步轮次”是否有新增,如有,则进行数据推送。连接数据消费者信息系统数据库,从主数据数据库推送新增或更新数据记录到信息系统数据库,同时记录“同步轮次”。
(2)检查主数据系统“同步轮次”是否有新增,通过 tb_data_sync_log.relative_cycle_no 与对应主数据(main_role)记录的最新伦次比较。
(3)一个信息系统可能需要多个“数据消费者”,在全部数据消费者都轮询并处理结束后,流程结束。
(4)数据库设计同数据提供者(参见第 2 节)。
3.4 数据转换
功能流程如图 5:
图 5 数据转换流程
其中:
(1)数据转换是不同信息系统与主数据之间,字段类型、长度、格式转换的核心模块。
(2)数据转换通过参数配置和附加处理函数,实现高度灵活性。
(3)数据转换首先获取源和目标数据表的字段定义,其次获取对应字段的转换规则。对所有已定义转换规则的字段进行处理:
A、对字段类型、长度进行通用转换;
B、调用附加处理函数(如果有),进行特殊转换;
C、按照关联 id 规则(如果有),读取主数据数据库的 id 映射,进行对应关联 id 处理;
D、循环处理所有字段。
(4)数据库设计如下:
tb_transfer_def:转换规则定义表
tb_transfer_rule:转换规则字段映射表
tb_id_mapping:id 映射表
4 关键点总结
主数据系统涉及多个系统的数据同步,由于各异构系统的差异性,导致主数据系统复杂度较高,成功的案例不多。本项目基于前述前提,取得较好的效果。现将关键点总结分享如下:
1、数据提供者的新增 id 和更新时间戳,对于不具备这两个条件的数据提供者,无法辨识新增和更新,不能进行增量同步,必须进行改造。如果由于种种原因源数据无法改造,则可以考虑变通方法,利用数据库自有同步工具(例如 Oracle 的 DGG 等),在同步的副本中增加新增和更新标识;
2、不管数据提供者还是数据消费者,无法进行数据库直接连接的,则“数据代理”需要以外挂应用的形式存在,与主数据系统的通讯采用 WebService 方式。将带来缓存、重试、幂等……多个复杂度的大大提高。
3、由于不同主数据表之间字段上存在映射关系,比如人员的所属部门的,需要在 id 映射上做多次转换,基本原则就是以落地主数据的 uuid 为“唯一权威”,其他关系都通过与 uuid 映射获得。
4、待补充——从数据库设计中,经过思考可以去发现,不再赘述。
责任编辑:张燕妮 来源:中生代技术 数据系统推荐系统
微软Win11原版22H2下载_Win11GHOST 免 激活密钥 22H2正式版64位免费下载
语言:中文版系统大小:5.13GB系统类型:Win11微软Win11原版22H2下载_Win11GHOST 免 激活密钥 22H2正式版64位免费下载系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。Win11 64位 Office办公版(免费)优化 1、保留 Edge浏览器。 2、隐藏“操作中心”托盘图标。 3、保留常用组件(微软商店,计算器,图片查看器等)。 5、关闭天气资讯。
Win11 21H2 官方正式版下载_Win11 21H2最新系统免激活下载
语言:中文版系统大小:4.75GB系统类型:Win11Ghost Win11 21H2是微软在系统方面技术积累雄厚深耕多年,Ghost Win11 21H2系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。Ghost Win11 21H2是微软最新发布的KB5019961补丁升级而来的最新版的21H2系统,以Windows 11 21H2 22000 1219 专业版为基础进行优化,保持原汁原味,系统流畅稳定,保留常用组件
windows11中文版镜像 微软win11正式版简体中文GHOST ISO镜像64位系统下载
语言:中文版系统大小:5.31GB系统类型:Win11windows11中文版镜像 微软win11正式版简体中文GHOST ISO镜像64位系统下载,微软win11发布快大半年了,其中做了很多次补丁和修复一些BUG,比之前的版本有一些功能上的调整,目前已经升级到最新版本的镜像系统,并且优化了自动激活,永久使用。windows11中文版镜像国内镜像下载地址微软windows11正式版镜像 介绍:1、对函数算法进行了一定程度的简化和优化
微软windows11正式版GHOST ISO镜像 win11下载 国内最新版渠道下载
语言:中文版系统大小:5.31GB系统类型:Win11微软windows11正式版GHOST ISO镜像 win11下载 国内最新版渠道下载,微软2022年正式推出了win11系统,很多人迫不及待的要体验,本站提供了最新版的微软Windows11正式版系统下载,微软windows11正式版镜像 是一款功能超级强大的装机系统,是微软方面全新推出的装机系统,这款系统可以通过pe直接的完成安装,对此系统感兴趣,想要使用的用户们就快来下载
微软windows11系统下载 微软原版 Ghost win11 X64 正式版ISO镜像文件
语言:中文版系统大小:0MB系统类型:Win11微软Ghost win11 正式版镜像文件是一款由微软方面推出的优秀全新装机系统,这款系统的新功能非常多,用户们能够在这里体验到最富有人性化的设计等,且全新的柔软界面,看起来非常的舒服~微软Ghost win11 正式版镜像文件介绍:1、与各种硬件设备兼容。 更好地完成用户安装并有效地使用。2、稳定使用蓝屏,系统不再兼容,更能享受无缝的系统服务。3、为
雨林木风Windows11专业版 Ghost Win11官方正式版 (22H2) 系统下载
语言:中文版系统大小:4.75GB系统类型:雨林木风Windows11专业版 Ghost Win11官方正式版 (22H2) 系统下载在系统方面技术积累雄厚深耕多年,打造了国内重装系统行业的雨林木风品牌,其系统口碑得到许多人认可,积累了广大的用户群体,雨林木风是一款稳定流畅的系统,一直以来都以用户为中心,是由雨林木风团队推出的Windows11国内镜像版,基于国内用户的习惯,做了系统性能的优化,采用了新的系统
雨林木风win7旗舰版系统下载 win7 32位旗舰版 GHOST 免激活镜像ISO
语言:中文版系统大小:5.91GB系统类型:Win7雨林木风win7旗舰版系统下载 win7 32位旗舰版 GHOST 免激活镜像ISO在系统方面技术积累雄厚深耕多年,加固了系统安全策略,雨林木风win7旗舰版系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。win7 32位旗舰装机版 v2019 05能够帮助用户们进行系统的一键安装、快速装机等,系统中的内容全面,能够为广大用户
番茄花园Ghost Win7 x64 SP1稳定装机版2022年7月(64位) 高速下载
语言:中文版系统大小:3.91GB系统类型:Win7欢迎使用 番茄花园 Ghost Win7 x64 SP1 2022.07 极速装机版 专业装机版具有更安全、更稳定、更人性化等特点。集成最常用的装机软件,集成最全面的硬件驱动,精心挑选的系统维护工具,加上独有人性化的设计。是电脑城、个人、公司快速装机之首选!拥有此系统
相关文章
- Win8系统自带的病毒防护技巧怎样打开
- Win11怎么隐藏底部任务栏?Win11隐藏底部任务栏方法
- 没有可用的音频设备怎样办,本文教您电脑没有可
- WindowsXP鼠标右键不能复制的处理办法
- Win8系统如何更新无线网卡驱动?
- win7/win8/win10系统office2010激活图文教程
- win7备份还原软件
- 电脑怎么进入安全模式修复系统的具体教程
- 文件误删不要怕,帮你找到Win10回收站清空文件
- ppt转pdf如何操作
- win10开机慢,本文教您win10开机慢怎样处理
- 最新win7家庭普通版激活密钥
- 老电脑怎么装win11系统?老电脑一键升级Win11系统教程
- 本文教你处理win10系统安装软件出现文件系统出错
- win10怎样新建网络连接?win10网络连接的创建办法(图文)
- 高手教你用U盘怎样安装pear os 8
- 雨林木风GHOSTwin7 64纯净版最新系统推荐
- Win8.1系统搜索技巧坏了如何修好?
热门系统
- 1华硕笔记本&台式机专用系统 GhostWin7 32位正式旗舰版2018年8月(32位)ISO镜像下载
- 2深度技术 Windows 10 x86 企业版 电脑城装机版2018年10月(32位) ISO镜像免费下载
- 3电脑公司 装机专用系统Windows10 x86喜迎国庆 企业版2020年10月(32位) ISO镜像快速下载
- 4雨林木风 Ghost Win7 SP1 装机版 2020年4月(32位) 提供下载
- 5深度技术 Windows 10 x86 企业版 六一节 电脑城装机版 版本1903 2022年6月(32位) ISO镜像免费下载
- 6深度技术 Windows 10 x64 企业版 电脑城装机版2021年1月(64位) 高速下载
- 7新萝卜家园电脑城专用系统 Windows10 x64 企业版2019年10月(64位) ISO镜像免费下载
- 8新萝卜家园 GhostWin7 SP1 最新电脑城极速装机版2018年8月(32位)ISO镜像下载
- 9电脑公司Ghost Win8.1 x32 精选纯净版2022年5月(免激活) ISO镜像高速下载
- 10新萝卜家园Ghost Win8.1 X32 最新纯净版2018年05(自动激活) ISO镜像免费下载
热门文章
常用系统
- 1深度技术 GHOST WIN10 64位专业稳定版 V2020.12 下载
- 2Ghost Win7旗舰版系统下载_番茄花园Ghost Win7 32位稳定装机版镜像下载
- 3新萝卜家园GHOST Win7 干净旗舰版x64 v2020.02免费下载
- 4雨林木风Win10纯净版下载_雨林木风Win10 64位专业版纯净系统2023.03
- 5深度技术 GHOST XP SP3 电脑城装机版 V2017.08 下载
- 6正版Win10镜像免激活下载_微软原版Win10镜像64位(永久密钥)下载
- 7宏基笔记本专用windows11 64位旗舰版系统镜像 v2023下载
- 8系统之家GHOST WIN7 SP1 X86稳定装机版 v2023
- 9电脑公司Ghost Win10 X64位 安全专业版 v2023.04最新免费下载
- 10技术员联盟 GHOST WIN7 SP1 X86 官方正式版 V2023.04 (32位) 下载