数据中台设计思路复盘

2020-07-09 00:00:00 数据架构场景业务能力

首先，什么是数据中台，由于每个企业每种项目对中台的定义不同，这里仅仅给一个概念：数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。

当今世界随着互联网、物联网和云计算技术的迅猛发展，使得数据充斥着整个世界，亟待人们对其加以合理高效的利用，海量数据的价值犹如石油一样，等待人们去发现和开采。但是，如何有效利用，这是大部分企业，政府头疼的问题，这里我只是列举了一些典型的用户痛点。下面会围绕这些痛点同时结合现有情况来分析一些业务场景。

我所面对的使用场景主要是政府部门中的数据共享、融合、应用等场景，这些场景相比企业级中台更加复杂，因为企业级中台的着力点在于企业内部，有相对完整的数据使用流程，内部运作流程，所以中台的方向更加明确。但是政府部门不同，数据中台想要真正发挥其作用，肯定需要各个部门的相互配合，然后由统一的公司或者部门负责运营。各个部门的业务系统也需要和中台对接，所以我们考虑的和更多的是数据的开放方式必须是满足大部分的业务系统需求的方式。另外，由于数据的重要性，数据加密、数据安全以及用户操作权限相对来多也更加重要。

上图是中台的基本功能架构，用鱼骨图主要是因为这些功能其实也是包含了逻辑顺序在里面的，很清晰的展示了大概的数据流向。下面会对各个业务模块进行相关的简要介绍

资产管理

资源管理是对中台以及中台上下游的数据进行管控，分不同的区也是为了体现功能方向不同，作为用户可以站在数据的角度宏观展示各资源分区相对应的功能模块。一般的平台都会支持关系型数据库、大数据存储、半结构化存储、noSQL等。

数据采集

数据归集是消除“信息孤岛”、拔掉“数据烟囱”的关键之举,也是支撑各部门业务流程再造、简化办理环节、精简办事材料的基础工程。数据归集的小单元是归集任务，可以支持不同类型的数据源相互转化，比如Oracle到Mysql。当然，根据场景需求，还有一种归集功能是数据上报。

数据治理

数据治理对于各个平台，各个场景，其实大家理解上是一致但功能设计方向是不同的，这里的数据治理仅仅提供了通用的数据治理工具，方便数据工程师进行数据的清洗、加工、比对、关联、脱敏等，是数据全生命周期管理。所以它不是一个简单的行为动作，而是一系列的流程体系，包含了平台体系和人工流程体系。

数据质量

个人认为把数据质量放入数据治理体系也未尝不可，但是为了凸显它的重要性，所以单独放出来作为一个大的模块，数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。所以量化测量指标尤为重要，所以我们在设计质量检测的重点不在于检测，而在于指标定义的灵活程度。

数据资产

我所理解的数据资产就是必须产生价值的数据单元，前提是必须产生价值。政府数据资产管理是一项复杂的系统工程，实质上是反映政务服务机构信息化综合管理的水平。着重体现在数据元，数据集，数据目录等，类似于政府数据开发平台中数据集的颗粒度。

数据安全

数据保护的核心就是大程度降低风险，保护敏感数据免受威胁，适应不断变化的环境，通过智能、全面的安全保护阻止数据丢失。所以我们设置了数据发现功能，核心就是辨别哪些数据是需要着重保护的，保护级别如何，可以灵活的进行配置。

数据中台的目标是让数据持续用起来，通过数据中台提供的工具、方法和运行机制，把数据变为一种服务能力，让数据更方便地被业务所使用。下图所示为数据中台核心功能架构图

其实对于数据中台落地场景的技术体系我觉得有两种，一种是海量数据，数据中台在其中提供了存储能力，管理能力，计算能力，分析能力以及数据开放能力。另一种是数据量不是特别大的情况，那么中台的计算能力就没有那么突出，更多的是管理、分析、开放等能力。这里我自己总结了一套大数据架构，并不仅仅是针对中台的技术，而是一套通用架构如下：

技术架构会在后面的文章中详细去叙说~

其实通过元数据信息收集、数据血缘探查、数据权限申请授权等手段，解决"有哪些数据可用"、"到哪里可以找到数据"的难题，并且提升数据资源的利用率也是数据中台的一大特色。

围绕数据来进行功能设计的话其实有很多，大而全又或者是小而精，这取决于用户对于数据使用的成熟度，比如小的区县政府，他们更多的是深耕某一块，毕竟想要从头搭建完整的数据运维体系所耗费的成本也是比较高的。

因为保密性关系，其实还有很多点我没有一一给大家剖析，也欢迎大家留言讨论，我会及时给大家解答~

相关文章