主数据管理（Master Data Management）助力企业发现数据隐藏价值

在之前的公众号文章《DAMA 数据管理知识体系与Teradata数据管理服务》中，我们谈到了Teradata企业数据管理体系，除了数据仓库与数据模型咨询实施服务之外，还包括数据治理、数据架构、主数据、元数据、数据安全与隐私、数据质量、数据集成等不同主题，其中主数据管理服务提供教育、推荐和交付基于Teradata MDM软件的主数据管理解决方案的服务，使客户能够在其分析和运营环境中建立业务参考数据（包括主数据、参考数据）的单一视图，现在我们来谈一谈什么是主数据以及主数据管理带来的价值。

以数据的角度切入，数据可以分为主数据，交易数据，关系数据等，相对于交易类数据，主数据是相对稳定的数据，在企业中用来定义业务对象的、具有持续性、非交易类的数据。典型的主数据包括客户、产品、组织机构、财务科目、人员等，举例来说：银行业的客户可以定义为每一个办理信用卡的个人，而这些客户的信息包括姓名、性别、身份证号等，这些信息基本上不会有变化，而信用卡则经常会产生消费记录，这些消费记录为交易数据，每笔交易都会与客户存在关联性，而交易本身则对主数据不会产生影响，主数据的大价值在于确保企业范围内信息对称及基于主数据进行分析挖掘，实现大数据应用的价值。

在现今这个数字化的时代，许多企业拥有数十甚至数百个单独的应用程序和系统（如ERP，CRM等），跨部门的数据很容易变得零散且重复，同时也发生了时效性的问题，而数据量的大量增加使得公司更难以有效地管理数据，使用数据帮助决策，例如信用卡业务有自己的客户主数据，同样理财业务也有同样的客户主数据，不同系统所使用的客户主数据各不相同，造成主数据冗余或不一致的情况，这种情况发生时，想要准确回答关于企业的绩效指标或KPI等基本却又关键的问题时就变得困难重重，例如“谁是带给我们多收益的客户？”，或者是，“这个客户买了多少我们的产品？”，想要得到这些问题的答案，变的耗时且缺乏准确性。

企业事实上对于准确且及时的信息是非常迫切的，并且随着数据来源的增加，需要对其进行有序的管理并使主数据定义保持新状态，同时企业中所有的部门都要使用一致的信息，为了应对这些挑战，企业需要更好的面向主数据管理（MDM），它的出现将使得企业提高其关键数据资产（如产品数据，资产数据，客户数据，风险数据等）的一致性和质量，使业务主数据在整个企业范围内同步一致和易于访问是使用和洞察大数据分析中首要考虑，组织必须能够识别、访问、整合和同步来自多个内部和外部源的数据，然后可以使用对应的流程和标准化策略随时间有效地对其进行管理。

现在大多数业务决策都是基于数据的，错误的主数据将大大影响企业的业务能力，主数据不准确更是会影响公司的决策能力，这不仅影响业务增长还可能造成客户满意度的降低，许多企业已经意识到高质量、准确的主数据对企业成功的重要性，因此正在以主数据管理来提高数据资产价值，主数据是企业中有信息价值的强大动力来源，整个组织的各部门都不可避免的需要使用它来完成工作。

随着公司的成长将面临很多数据问题，业务部门使用大量资源来准备主数据和增加洞察力，如果主数据不准确，投入的资源无疑是一种浪费。而主数据管理所面临的一些挑战包含：

• 不一致的数据：由于跨组织职能、位置和系统使用的数据版本不同，因此很难维护单一事实数据来源，主要原因可能是缺乏整合而造成主数据的混乱。

• 缺乏数据权限管理：如果没有主数据的协同授权，公司将很难维护主数据的安全性和准确性。

• 手动复制数据：由于数据是由多个来源单独处理的，因此公司有重复主数据的风险，这将会严重影响业务流程。

主数据管理（MDM）是将企业的所有关键业务数据连接到单个参考点的过程，它减少了错误及业务流程的冗余，具备以下特点：

• 关键业务用户可以管理主数据，而不必等待IT部门的协助。

• 数据管理人员有权批准或拒绝主数据的使用与获取，数据质量控制依赖于数据管理人员。

• 可以进行变更请求管理，其中只有在获得权限的批准后，才能对主数据进行任何的更改。

• MDM支持集中和分散的数据管理，可以使用主数据的单一所有者权限来集中管理主数据，或者主数据在多个实体分散管理。

借助MDM解决方案，数据质量将得到改善，进一步使得业务运营也将得到提升， MDM包括数据清除、转换和集成，使组织可以享受准确、新且一致的主数据。

考虑到关键数据的重要性， MDM对于任何业务而言都是至关重要的，无论其规模和范围如何，此过程处理组织中主数据整个生命周期的端到端过程，它涉及从相关来源收集数据、应用业务规则以建立单个数据源、数据验证、向应用需求方的数据传输以及数据间的协调工作。

随着有关数据的法规和政策日益严格，有效的数据存储和管理对于任何与数据相关的业务都至关重要，不遵守数据法规可能会产生包括罚款和声誉损失等影响，Teradata Vantage整合分析平台提供了数据的安全性与可靠性，MDM则因为规范了数据，减少了违反法规的可能性。

现在的金融行业规范中，具备良好数据标准及提供高质量数据成为金融行业的重中之重，又由于行业特性，与风险相关的数据常常使得风险分析人员在规避及计算风险时面临巨大的挑战，Teradata Vantage整合分析平台具备应对风险的模型算法及高可用性的特点，充分保障了业务连续性，而MDM则让主数据能够对数据建立标准，让数据被准确且有效率的使用，使行业合规变得容易。

当大量产生数据的同时，许多不良的数据需要清洗，如果主数据存储在多个目的地（例如不同格式，传统电子表格或分散的应用程序）中，则可能会降低数据的可用性，Teradata MDM可以确保整个主数据的一致性和统一性，从而使业务流程更加高效，它降低了数据不准确的风险，还为数据提供了适当的数据架构，避免了应用程序使用主数据时的问题。

主数据的复杂性使手动处理越发困难，准确地处理主数据还需要花费大量时间与金钱，企业需要可自动执行主数据管理过程的平台与工具，从而节省时间，使用更少的资源来管理数据， Teradata Vantage 整合分析平台具备强大的分析能力，并包含各类大数据分析算法，强大的分析与机器学习功能，让业务分析人员与数据科学家能够聚焦于业务主题的探索分析与各类算法应用的验证，Teradata MDM 则可以确保Vantage 整合分析平台提供高质量的数据，减少时间和成本的同时，提高数字化决策的正确性，Teradata MDM与Vantage提供了整体视野，消除了数据烟囱，更好地控制与管理组织的数据，避免不完整和错误的信息让管理层做出错误的决定，影响公司的长期发展，提供高质量的主数据将有助于决策者制定有效的策略，将帮助C-level，管理人员和中层管理者做出更明智的决策。

冗余是分散化数据应用的主要问题之一，数据重复会导致很多问题，这不仅会进一步导致主数据资产问题，还会导致依赖于主数据的其他业务流程的错误，Teradata MDM构建单个数据源，消除了重复的主数据，从而提高了业务流程的效率，Teradata MDM克服了传统手动数据管理，冗余数据和数据差异等挑战的佳实践，能更有效的得到数据洞察所产生的价值。

以某零售商为例，由于现在大多数产品都是可通过线上电商系统与线下门店出售，客户在社交媒体与售后服务中心的交流也越来越广泛，因此很难建立以客户为中心的消费者相关联档案，即以客户兴趣、偏好为核心的客户单一视图，造成营销活动没有针对性或效果不佳，Teradata MDM可以创建一个以云平台方式，单独的，安全的，可扩展的营销平台和生态系统，将客户洞察力中裁剪数据中的重复项和不一致之处，将客户特征和行为属性与目标黄金客户关联起来，以进行广告系列流程的管理和促销执行，让电子邮件营销效率提高了2倍，营销活动整体收益也较过去实现两位数的增长。

企业数据分析人员常常需要合并和管理主数据，但常见的方式是在多个位置中记录数据，对主数据所做的任何更改无法保持隔离状态，造成主要的数据不一致问题，Teradata MDM可以限制对特定个人更改主数据的访问权限，限制访问变更数据可以帮助确保数据安全性并实现数据一致性。

Teradata MDM可帮助企业跨不同的系统和地理位置同步关键数据，简化了异构系统的部署、集成、易于管理，提供了高质量数据以及将主数据与业务应用程序分离。

Teradata MDM将提供：

• 加载，清理，验证，整合和发布数据的数据暂存。

• 模型扩展和模型存储库的数据模型维护。

• 主数据生命周期维护，用于数据维护工作流以及版本控制，编辑和归档数据。

  
  

主数据管理框架的关键在于它能够使用基于服务的体系架构来实现灵活的业务流程管理。它提供了分布式事务框架和强大的集成框架，架构上可以轻易的实现随着事务数据量增加而扩展，它具有强大的业务编程环境来描述业务规则、工作流和数据模型，并且基于开放标准（XML，Web服务），Teradata MDM提供强大的功能对主数据的流程与介面进行管理，包含：

• 数据加载工作流程-将输入的后台数据加载到已定义的主表中，数据加载工作流提供了验证，修复和清除错误以及将数据加载到主表的功能。

• 警报与审批管理-作为通报机制，在发生已定义事件时通知用户，审批管理用于在数据移至目标表之前管理主数据和特定于元数据的流程批准。

• 参考数据管理（RDM）-使企业能够拥有支持统一数据管理策略的存储库和执行环境，允许用户维护源值以及到有效目标值的映射。

• 匹配源记录和目标记录及自定义查询-根据关键属性匹配源记录和目标记录，利用概率和确定性匹配例程来建立不同数据源之间的关系，并可以搜索，创建，编辑，删除以及查询执行历史记录。

• 数据质量可视化与监控-用于基于预定义的业务和技术规则及监控企业主数据质量的仪表盘。

Teradata MDM解决方案提供了一种整合及管理主数据的方法，而不必替换现有的基础架构，Teradata Vantage大数据分析平台与主数据管理可以为企业数据管理提供具有内置流程和服务的受信任基础架构，增强了主数据可靠性与大数据分析的能力，可以暂存、合并、验证、清洗、存储、扩充、交叉引用以及将数据发布到IT基础架构中的系统，通过确保跨系统数据的一致性，主数据管理可以实现业务流程的完美执行，同时利用现有的IT投资并降低管理业务关键数据的总体拥有成本，将从大数据中收集到的洞察转化为行动，使这些行动可以增加收入、降低风险、减少成本并持续提高业务运营效率，现在开始，用Teradata主数据管理发现更多数据中隐藏的价值。

来源 https://mp.weixin.qq.com/s/Mh7WjyRHvZf7OKwPN1RzSg