目录
概述
数据资产分类
数据治理的重要性
数据质量框架的4个方面
主数据模型
数据编码管理
校验规则
分发策略
概述
数据治理的核心是加强对数据资产的管控,通过深化数据服务,持续创造价值。数据治 理是在数据资产价值创造的过程中,治理团队对数据资产管理的评价、指导、控制,如下图所示。
数据资产分类
数据资产划分成为主数据、业务数据、分析数据三个主要部分。主数据包含元数据、引用数据、企业结构数据、业务结构数据;
- 业务数据是在交易和企业活动过程中动态产生的,通常具有实时性的要求;
- 分析数据是对业务数据梳理和加工的产物, 相对业务数据而言,实时性要求较低,通常按照分析的主题进行组织和管理。
主数据和业务数据支撑起企业的业务流程,而主数据和分析数据则是企业商务智能的基础。其中,主数据会出现在所有重要的业务流程和分析任务中,是企业数据资产中的黄金部分,如下图所示。
数据治理的重要性
为确保企业可进行跨业务领域、跨职能部门、跨信息系统的业务协作和整体分析,需对主数据、业务数据、分析数据进行数据治理,保证其一致性,提升数据质量和数据安全水平。
主数据、业务数据和分析数据构成了企业数据治理中三个核心的治理域。每个治理域都包含数据标准管理、元数据/数据模型管理、数据质量管理、数据安全管理、数据生命周期管理5个基本的管理组件。
主数据治理是业务数据治理和分析数据治理的前提,为业务系统和分析系统提供基础性的数据服务。而后续业务数据治理更关注改善数据流通,分析数据治理更关注改善数据洞察。
数据资产来源丰富,可拷贝、可重用,这将导致数据搜集、存储、 使用都具有特殊性。同时,数据还涉及个人隐私、运行安全等问题。当跨业务、跨部门、跨系 统进行协作时,更需要数据的一致性。这些都是数据治理要解决的关键问题。因此,数据治理不但与数据标准、数据产生过程的业务规范相关,也涉及企业战略、管理决策架构等因素, 是战略问题、管理问题、技术问题的综合。
数据质量框架的4个方面
主数据模型
主数据（Master Data）是指在整个信息实现中各个业务系统之间都需要共享的数据、业务规则和策略。常见的主数据主要包括与 客 户 （ customers ） 、 供 应 商 （ suppliers ） 、 账 户（accounts）及组织单位（organizational units）相关的数据。MDM描述了一组约束（规程）、方法和技术解决方案，用来保证整个信息供应链内主题域（subject domain）和跨主题域相关主数据的完整致性。主数据管理是应用流程的补充，为应用提供精确、完整的关键业务实体数据。
数据编码管理
数据编码是指把需要加工处理的数据库信息，用特定的数字来表示的一种技术，是根据一定数据结构和目标的定性特征，将数据转换为代码或编码字符，在数据传输中表示数据组成，并作为传送、接收和处理的一组规则和约定。经过数据编码，人们可以方便地进行信息分类、校核、合计、检索等操作，节省存储空间，提高处理速度。
主数据编码是应用系统中重要的数据类型之一，通常用来描述业务操作的具体对象及其特征。主数据编码管理的范围除了直接参与业务交易的业务对象数据外，还应该包括主数据编码的特征信
息，如国家代码、币种、计量单位、地区划分等，这些具体的特征信息需要在各个业务系统中保持一致以利于系统的协作和进行统一维度的分析。
编码规则和配置工具支持多种编码属性标识，如流水码、特征组合码、对照码等信息标识（见图9-4），定义主数据编码生成方式，以符合多系统集成的要求。可支持可变码长、可变码段、步
长、码位设定，支持等长码和不等长码的自动生成。当编码规则由多个编码段组成时，需要定义每个编码段生成规则，可配置每个编码段长度、步长、初始值、前置符号、后置符号、段间关联、编码列信息、编码描述、备注等。
校验规则
校验规则是指创建主数据实体时的数据校验方法，如唯一性校验、相似性校验等。具体来说，数据校验是类似Excel公式返回一个布尔成功或失败的结果。校验可以引用字段和属性，执行算术运
算，字符串和逻辑运算，调用内置函数，甚至引用其他先前定义的校验。完备的主数据管理需要支持多种校验规则（图9-5），并可自定义校验规则。例如，属性值组合校验、属性值表达式校验、数
据唯一性校验、多属性组合关联校验、取值范围校验、相关附属表校验、直接利用主数据管理系统定义的数据内容进行取值校验、同名库校验、重复性校验、正则表达式校验、关联性校验等，实现对
数据之间的精确查重和模糊查重，在校验结束后自动提示错误输入，有效地保证主数据的唯一性和规范性，最大限度地降低和避免人为因素导致的信息错误。
分发策略
通过数据中间件生成符合规范的主数据并将其分发到各个业务信息系统中，可以同时定义对多异构系统的数据分发策略和规则，自动生成并提供标准Web服务。
根据预定义的分发规则、分发频率向目标业务系统进行主数据分发，同时自动创建数据分发同步日志及日志下载。通过分发服务的定义、参数、服务描述，在主数据配置中提供数据映射功能的定
义和使用。通过抽取规则的配置实现外部数据进入主数据管理系统。通过分发规则的配置实现数据分发至其他系统。
在主数据的具体分发和传输过程中，有两种数据传输方式：一种是主动传输，一种是被动传输。其中，主动传输是指主数据管理系统向目标系统提供数据的过程中，主数据管理系统主动调用目标
系统在企业服务总线上发布的Web服务，通过这种方式为目标系统提供数据。主数据管理系统向目标系统发送主数据后，主数据管理系统客户端处于等待状态，当目标系统接收数据成功后会同时返回处理结果，主数据管理系统接收端接收目标系统返回的处理结果。若目标系统主动调用主数据管理系统在企业服务总线上发布的Web服务，主数据管理系统根据请求返回相应的主数据，则目标系统通过这种方式获取数据称之为被动传输。
系列阅读
- 基于主数据驱动的数据治理
- 京东内部Redis性能优化最佳实践
- 应用架构设计模式
- 现代企业架构框架白皮书 | 跟着Byte学架构
- 主数据驱动的数据治理-原理-技术与实践 | 跟着Byte学架构
 "深入理解指针(四)")
