主数据(MD)
什么是主数据
主数据,维基百科定义是在企业中用来定义业务对象的、具有持续性、非交易类的数据。相对于交易类数据,主数据是相对稳定的数据。
主数据的特点
主数据(Master Data)是具有共享性的基础数据,可以在企业内跨越各个业务部门被重复使用,处于相对高价值,高共享,相对稳定的状态。所以,主数据具有以下几个特征。
超越部门:主数据是组织范围内共享的、跨部门的数据,不归属某一特定的部门而归属于整个组织,是企业的核心数据资产。
超越业务:主数据是跨越了业务界限,在多个业务领域中被广泛使用的数据,其核心属性也是来自业务。主数据在各个业务流程中都是唯一识别的对象,它不会依赖于业务流程存在,但它的价值是业务交互中体现的。
超越系统:主数据是多个系统之间的共享数据,是应用系统建设的基础,同时也是数据分析系统重要的分析对象。因此,它应该保持相对独立,服务于但要高于其它业务信息系统。
超越技术:主数据是要解决不同异构系统之间的核心数据共享问题,应当满足与不同业务系统架构下使用的情况,提供兼容多种系统架构,多兼容的数据接收及应用方式,不会局限于一种特定的技术。
主数据管理(MDM)
主数据管理(MDM-Master Date Management)是把企业中多个业务系统中最核心最需要共享的数据进行整合,集中进行数据的清洗和标准化,最终通过主数据管理系统发送到各个需要使用这些数据的系统中去。
建立数据标准,实现数据集成、统一管控与无障碍共享。在这里需要强调一点的是:对主数据的管理要集中化、系统化、规范化。也就是说,主数据管理应保持相对独立,主数据管理系统是信息系统建设的基础,它服务于但是高于其它有业务信息系统。
企业使用主数据管理系统的原因:
- 在具有一定规模的企业中会同时使用多个系统,这些系统之间相互独立,互不干扰,系统间的数据会存在一物多码、一码多物的情况。
- 企业的各个子公司、分公司和部门之间的数据各自有各自的编码规则和命名规则,子公司、分公司甚至是部门之间的数据不能统一,企业获取到的数据质量太低。
- 数据难以协同、整合和共享,集成难度高,运营管理成本过高。
企业使用主数据管理系统意义:
- 在集团级统一了数据的编码规则和命名规则,减少一物多码和一码多物出现的概率。
- 可以通过主数据管理系统把数据推送到各个系统中,把系统中的数据来源、命名和编码规则规范。
- 数据集成、共享、协同程度高难度小,降低运营成本。
- 企业从各系统、子公司、分公司和部门获取到的数据准确,可用性高,提高了分析结果精确度。
主数据具有:特征唯一性、识别唯一性、长期有效性、业务稳定性
- 特征唯一性:在不同的应用和系统中有高度的一致性;
- 识别唯一性:在一个企业中,不分系统、部门都可以唯一识别出来;
- 长期有效性:长时间都是有效的数据,该业务对象贯穿于整个生命周期甚至更长;
- 业务稳定性:一旦录入系统中就很少fg改动,就像是人员的姓名、身份证号一样。
Master Data 生命周期管理
为了保证MasterData 它的生命周期内被有效管理和利用。MDM系统必须能提供以下类型的功能:
从新建直到数据停用,MasterData均能在MDM系统得到管理。
能分组和定义MasterData 实体间的层次关系。
灵活管理不同MasterData domain间的复杂的关系。比如 产品VS供应商,客户VS账户和地理位置。
能定义MasterData间的层次、关系和分组。手工方式或者自动方式(从外部系统获得诸如公司和机构、人员和机构等之间的关系)
有版本管理能力,能明白MasterData 实体的状态是如何随时间变化的,
有编写能力,能定义,管理,定制和扩展不同的类型的MasterData。
能够迅速增加新的MasterData。比如增加多渠道属性(multichannelattribute),隐私偏好(Privacypreference),还有存在但是尚未在企业应用中捕获的各种事件。多渠道属性可标记客户与企业最近一次交互的日期和时间,客户可能是通过客服代表,电话 或者Internet与企业接触的。隐私偏好标记客户的个人信息能不能在多个业务线间共享。
支持多种层次结构。比如产品的分类:可以从购买者的角度分,也可以从销售的角度分。
能维护数据的来源,标记出与MDM系统中的Master Data实体相关联的MasterData的存储位置。MDM系统可能不存储所有的与Master Data实体相关的信息,仅包含了一些需要集中维护的属性。
必要的MDM安全和隐私机制。
必要的审计(Audit)功能,帮助管理员了解修改Master Data 的相关信息:“who,” “what,” “how,” and “when”。
数据质量管理
需要有作数据分析和概要 (analysis and profiling)的能力。这有利于了解源系统中MasterData的质量和结构,确认必要的清理和合并规则。数据概要(DataProfiling)能力提供了建立数据质量基线(baseline)的方法,用以评估Master data的质量的改进程度。
能基于一致的数据标准化、校验和清理逻辑 改进Master Data的数据质量。这要求定义和实施一致的数据清理和校验规则,为数据域指定标准化逻辑,比如姓名和地址。
数据调谐(Datareconciliation):能自动调谐MasterData实体,比如:客户和产品。 要组合deterministic和probabilistic的匹配功能,定义在合并多个Master Data记录时的存留规则(survivorship rule)。
数据治理能力:在发生数据冲突时,管理MasterData间的调谐,实施更新关键MasterData的数据质量策略。
能测量数据的失效程度(staleness),定期更新和重新评估Master Data的数据质量。