DAMA 数据管理知识体系与Teradata数据管理服务

作者：张振华，Teradata数据架构师。

随着大数据时代的到来，掀起了数据资产化热潮，很多组织认识到数据是企业一种至关重要的资产，使他们能够洞察客户、产品和服务，帮助创新并实现战略目标。有些组织尝试让数据尽快变现，国内一些地方相继成立了数据交易中心或交易所，交易数据资产。

数据是抽象的概念，组织应该如何管理数据资产并从中获取价值，面临诸多挑战。

首先，关于什么是数据资产没有达成共识。有两种不同的观点，一种观点认为能够为企业带来未来经济利益、产生价值的数据资源才是数据资产。另一种观点认为数据即资产。把数据比作新石油是一个很恰当的比喻，石油需要经过勘探、开采、储存和精炼才能使用，数据也必须经过抽取、清洗、转换、集成之后才能使用。数据与石油一样都是基础资源，许多组织在日常运营中生产数据，并赖以数据支持日常运营。显然，石油是资产，数据也是资产。

其次，与传统资产相比, 数据资产有其独特资产特征。数据无形，容易产生，在使用时不会被消耗枯竭，可以衍生出更多的数据。数据有其行业与个体适用性，某些数据只对特定行业的特定组织有用。数据的内涵太丰富，没有统一的标准来定义数据的内涵与等级。数据的价值与上下文背景相关，没有市场公允价值。数据是动态的，有时效性，易于复制和传输，可用于多种目的，当数据被盗时不会消失，这也意味着风险。组织的数据本身是的，没有两个组织的数据是一样的，如果丢失或被破坏，将不可能替换或替换非常昂贵。数据资产的使用更专业，使用者需要深刻理解数据与其可能用途，才可能产生想要的结果。

另外，数据资产的价值不具备普遍通用性，数据资产有其独特价值特征，很难建立将财务价值与数据关联的直接方法，价值难以评估预测。数据资产没有现值，未来的潜在价值需要通过使用来证实。数据价值与其自身、使用者背景相关，依赖于使有者的管理与使用水平才能发挥出来。数据资产的价值是暂时的、动态的，昨天有价值的东西今天可能没有价值，数据中的商机可能转瞬即逝，例如商业机密数据一旦泄露，价值即归零。数据资产的投资不仅要考虑投资回报率，还要考虑风险、合规等因素。数据资产不可交换，没有可以量化的参照系，没有用于测量数据质量的统一标准，不同类型的数据无法比较价值。

后，数据生命周期的管理更复杂，数据资产有其独特管理特征。数据管理是全组织的工作，需要跨部门甚至跨组织的协调、协作和承诺，需要跨职能的一系列技能和专业知识。数据管理需求驱动信息技术决策，技术必须服务战略数据需要。管理数据意味着管理数据质量，低质量数据代表成本和风险，而不是价值。需要元数据来管理数据，方便管理者与使用者解析与使用。

总的来说，数据资产具有以下三个特征：

数据管理者应将数据作为资产来积极地体系化管理，提升数据的内在价值，在数据管理活动中衡量成本投入与收益产出，降低数据生命周期成本，降低风险，这些都会带来实实在在的内部收益。

管理数据资产比其他资产需要更专业的知识，需要专业人士来管理。

为支持数据管理专业人员工作，国际数据管理协会（DAMA国际）组织全球数据管理技术和业务专业人士编写了《DAMA数据管理知识体系指南》。该指南提供实施企业数据管理实践的职能框架，包括指导原则、广泛采用的实践、方法和技术、职能、角色、可交付成果和度量指标。 

DAMA围绕数据管理框架构建了11个知识领域（见下图）以及其他5个主题。

数据治理是对数据资产的管理进行指导和监督，确保根据政策和佳实践对数据进行适当的管理。数据治理职能指导所有其他数据管理职能。

数据架构，作为企业架构的一部分，是管理数据资产的蓝图。企业数据模型是详细的数据架构设计文档，可以认为企业数据模型是数据管理的核心，给整个企业提供数据的公共一致视图，由数据架构师和数据管理者共同开发和维护。成熟的行业数据模型为快速启动组织企业数据模型的开发过程提供了指南和参考，提供了一个很好的起点。

数据建模是探索、分析和确定数据需求范围，以数据模型的形式表示和沟通这些数据需求的过程，是数据管理的关键组成部分。

参考数据和主数据管理维护核心业务实体的准确、及时的真实版本，确保跨系统一致使用。

数据仓库和商务智能，包括计划、实施和控制流程以管理决策支持数据，使知识工作者能够通过分析和报告从数据中获取价值。数据仓库建设的成功需要企业数据模型，数据仓库之父Inmon建议将所有数据都存储在单个数据仓库层中，该层将存储经过清洗、标准化和治理的原子级数据，达成数据元素的统一定义，允许跨职能分析，有助于数据复用，在保证一致性的同时大幅降低管理与运营成本。

元数据包括计划、实施和控制活动，以便能够访问高质量的集成元数据，包括定义、模型、数据流和其他对理解数据以及创建，维护和访问数据的系统至关重要的信息。

数据质量包括计划和实施质量管理技术，以衡量、评估和提高在组织内使用的数据的适用性。

数据安全确保维护数据隐私和机密性，不破坏数据并正确访问数据。

数据集成和互操作包括与数据存储、应用和组织之间的数据移动和整合相关的过程。

数据存储和操作包括存储数据的设计、实现和支持，以大程度地提高价值。

文档和内容管理包括计划、实施和控制活动，用于管理在各种非结构化媒体中发现的数据和信息的生命周期过程。

Teradata在数据管理领域耕耘了四十多年，积累了大量的数据管理服务经验与资产，形成了Teradata企业数据管理体系，除了众所周知的数据仓库与数据模型咨询实施服务之外，还包括数据治理、数据架构、主数据、元数据、数据安全与隐私、数据质量、数据集成等，基本覆盖了DAMA数据管理知识体系中除文件和内容管理、数据存储和操作之外的所有知识领域（见下图）。

在数据架构知识领域，Teradata在行业数据模型方面积累了丰富的经验与知识，开发了十大行业数据模型产品，包括金融服务、通信、医疗保健、生命科学、媒体和娱乐、制造、零售、旅游酒店、运输与物流以及公用事业。二十多年来，Teradata行业数据模型得到了全球客户广泛使用。

在数据治理知识领域，Teradata为国内企业提供数据治理咨询及数据管控平台解决方案，通过咨询服务建立数据治理体系和数据标准。

在数据仓库与商务智能知识领域，Teradata占有全球企业级数据仓库平台高端市场约75%的市场份额，服务的大型客户超过2000家。为国内金融、电信、航空、零售、制造等多个行业客户实施建设了数据仓库，提供数据建模与设计、数据质量管理、元数据管理与数据集成服务。

Teradata除了提供实施服务之外，还提供相应的软件产品与工具。

主数据管理服务提供教育、推荐和交付基于Teradata MDM软件的主数据管理解决方案的服务，这些解决方案使客户能够在其分析和运营环境中建立业务参考数据（包括主数据、参考数据）的单一视图。

在数据质量管理知识领域 ，Teradata提供数据质量Workshop、数据质量成熟度评估、数据质量剖析、实施数据质量记分卡等服务，并提供数据剖析工具DWM。

在元数据管理知识领域 ，Teradata元数据管理与血缘工具DataDNA，给不同数据点的链接提供了一个的透明与自动的框架。

在大数据和数据科学方面 ，Teradata无所不在的数据智能平台Vantage为高效分析而搭建，加入了机器学习引擎，提供多元统计、机器学习和图形功能，统一集成了大数据分析、数据湖和数据仓库，灵活支持多种数据类型、格式和异质化数据存储，提供大规模的佳分析功能与引擎，如下图所示：

Teradata企业数据管理体系来自于为全球客户服务的成功经验总结，作为数据管理服务领域的先行者与领先者，拥有自己的平台、知识产权、工具和专业的数据管理人员，形成了完整的数据分析生态系统环境与数据资产管理解决方案，必将为更多客户提供更优质的数据管理与服务。

来源 https://mp.weixin.qq.com/s/wxqsvYvWv3nFNctP8pWgRg