数据中台是什么？

数据中台是一套可持续“让企业的数据用起来”的机制，通过有形的产品和实施方法论，构建一套持续不断把数据变成资产并服务于业务的机制。数据来自于业务，并反哺业务，不断循环迭代，实现数据可见、可用、可运营。通过数据中台，数据变成一种服务能力，其目标是提供普惠的数据服务。本质就是数据仓库+数据服务中间件。

数据中台一般具备以下四个能力：

1. 数据采集整合：创建企业数据中台的第一步，打破企业内部各个业务系统的数据隔阂，形成统一的数据中心，为后续数据价值的挖掘提供基础。主要通过数据采集和数据交换实现。
2. 数据提纯加工：对数据统一标准、补充属性，然后根据维度汇总成数据表，最后汇总出所需要的报表，满足企业对数据的需求。
3. 数据服务可视化：对数据进行计算逻辑的封装，生成API服务，上层数据应用可以对接数据服务API，让数据快速应用到业务场景中。数据服务API对接的三种常见数据应用包括数据大屏、数据报表、智能应用。
4. 数据价值变现：通过打通企业数据，提供以前单个部门或单个业务部门无法提供的数据服务能力，为赋能前端应用、数据价值变现提供基础。

数据中台的功能特点

• 数据汇聚整合：数据中台具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现的核心能力。
• 公共计算逻辑下沉：数据中台的核心是实现公共计算逻辑下沉，实现数据复用，提供给接口使用。
• 数据中台的本质：数据中台不是某一个单一的产品或技术，本质上是从数据中发现价值，赋能业务数据管理机制。

数据中台的核心理念在于数据取之于业务，用之于业务。它相对于数据平台，注重的是对业务的积累和沉淀，构建了从数据生产到消费，消费后产生的数据再回流到生产流程的闭环过程。

数据中台的核心是避免数据的重复计算，通过数据服务化，提高数据的共享能力，赋能数据应用。

数据中台出现的背景

为什么要构建数据中台？

1. 烟囱式的开发模式：企业体量不大时，业务需求可以直接由底向上开发，但随着企业体量变大，业务变多，这种烟囱式开发会导致数据无法复用，做很多重复的开发。构建数据分析平台可以解决烟囱式开发问题，但当企业体量继续变大时，不同部门可能会各自搞一套大数据平台，导致资源浪费和重复开发。

2. 数据管理能力缺失：随着业务线增多，业务量和业务指标增多，数据分析时对应的任务和数据表也非常多。如果缺少对这些任务和数据的管控能力，会导致一系列不可预估的问题。

3. 缺少全链路数据治理监控：面对成千上百的数据表，业务开发时可能遇到很多相似的字段，导致数据统计时不清楚应该使用哪个字段。此外，数据处理流程中任意一张表出现问题都会导致整个流程出现问题，排查和恢复时间较长。

4. 成本粗放式管理：数据开发时往往忽略了数据成本，导致产出很多临时表和使用少量次的报表，造成线上资源浪费。

5. 数据使用不灵活：当业务复杂时，报表展示的各类业务指标非常多，面对成百上千的表和指标，不能快速精准定位业务数据。

总结：以上问题主要归结为三个方面：流程规范的缺失、缺少平台工具支撑、组织架构分散。解决这些问题的关键是需要一套机制，通过这套机制整合企业数据，规范、快速地形成数据服务能力，为企业经营决策、精细化运营提供支撑，这套机制就是数据中台。

构建数据中台的价值

1. 提升数据应用能力：数据中台将海量数据转化为高质量的数据资产，为企业提供更深层的客户洞察，从而为客户提供更个性化和智能化的产品和服务。
2. 打破数据应用屏障：传统数据建设中，数据无法被业务使用的一个重要原因是业务人员不够懂数据，导致数据应用到业务变得困难。数据中台通过将数据变成业务人员可阅读、易理解的内容，帮助业务人员快速将数据结合到业务中。
3. 打破数据孤岛，盘活全量数据：数据中台构建将分散割裂的海量数据做到集成，打破数据孤岛的现状，同时降低使用数据服务的门槛，实现数据“越用越多”的价值闭环。
4. 支持跨主题域访问数据：企业早期建设的应用数据层更多是为了某个主题域服务，而数据中台支持从业务对象主体出发来考虑数据应用，设计完整的面向对象的数据标签体系。
5. 数据快速复用：传统架构中，将分析后的数据应用到业务中通常通过数据同步能力，把结果同步到业务系统中，由业务系统自行处理。数据中台可以很好地提供数据服务，业务系统只需要从数据服务中获取数据即可。

数据中台建设方法论

数据中台建设之数据标准

背景：在数据管理的模块域中，数据标准的重要性非常大。没有数据标准通常会遇到以下问题：

1. 数据命名规范混乱：导致理解不一致，沟通成本高，数据同名不同义导致错误。
2. 没有清晰的元数据信息：导致数据共享、使用难、难以管理、数据来源不明。

数据标准的使用场景：

1. 建立统一的数据视图：建立通用的元模型规范，支持用户自定义扩展，对多源异构数据表进行信息抽象提取，形成统一的元数据层。
2. 建立统一的数据认知：通过对多源异构数据的标准化描述，使管理方、开发方、使用方统一认知。
3. 建立质量审核体系：在数据标准统一的前提下，基于标准的元数据信息进行质量的监控和审核，提升数据质量。
4. 面向未来的数据治理：数据治理如果要成为流程自动化、阶段智能化的阶段，就需要数据标准的支持。

数据标准的定义和分类：数据标准是通过制定一套由管理制度、管控流程、技术工具共同组成的体系，来对数据定义、分类、格式、编码等标准化管理。数据标准不是形成各种文档，而是形成规范文档后要落地。

数据中台建设之元数据管理

元数据

元数据分类：在数据中台领域中，元数据一般分为三类：数据字典、数据血缘和数据特征。

1. 数据字典：描述数据的结构信息，如表名、注释信息、表的产出任务、表字段信息、含义和字段类型等。
2. 数据血缘关系：描述表的继承关系，由哪些表经过哪些计算任务得到。数据血缘一般用于影响分析和故障溯源。
3. 数据特征：数据的属性，如存储空间大小、访问热度、主题域、分层、表关联指标等。

数据血缘

数据血缘要素：数据血缘关系一般由数据节点、数据流转路径、数据流转规则构成。

1. 数据节点：数据节点是有独立数据功能业务的载体，体现了数据的业务属性与存储位置。数据节点分为数据流出节点、中间节点和数据流入节点。
2. 数据流转路径：通过表现数据流动方向、数据更新量级、数据更新频率三个维度的信息，标明数据的流入流出信息。
3. 数据流转规则：体现了数据流转在过程中发生的变化以及如何成为其他实体的构成部分。

血缘的应用场景：不同的应用场景对于血缘数据的消费方式、血缘的覆盖范围、血缘的质量诉求都会有所差别。

数据中台建设之数据模型

建模流程：

1. 需求调研：分为自底向上和自顶向下两种方式，从现有业务系统入手，分析数据域、业务过程，了解数据需求。
2. 数据域的划分：分为收集、提炼、归纳三个步骤，对现有数据和业务诉求需要的数据进行merge，保障数据仓库的完整性。
3. 总线矩阵：是一种在全局视角理解数据结构的工具，可以清晰地看出数据域与业务过程、维度的关系。
4. 明确统计指标：根据业务需求明确统计指标，规范定义业务分类、分层划域规范、业务过程、存储策略等。
5. 模型设计：根据需求设计数据模型，确保模型满足业务需求，并在性能、成本、效率、质量等方面有不错的表现。

数据中台建设之数据质量

整体框架：数据质量是保障数据正确性的工具，主要包括准确性校验规则、双表校验、输出校验报告等。

数据质量的八个维度指标：数据的质量可以从准确性、精确性、真实性、完整性、全面性、及时性、即时性和关联性八个维度衡量。

数据中台建设之指标管理

指标的定义：指标是将业务单元细分后量化的度量值，使得业务目标可描述、可度量、可拆解。指标 = 业务维度描述 + 技术维度描述。

指标分类：

1. 原子指标：基于某一业务事件行为下的度量，是业务定义中不可再拆分的指标，如支付金额。
2. 派生指标：对原子指标业务统计范围的确定，由一个原子指标+修饰词（业务限定）+时间周期+聚合粒度组成。
3. 衍生指标：在一个或多个派生指标的基础上，通过各种逻辑运算复合而成，如比率、比例等类型的指标。

数据中台之数据服务

数据服务的核心功能：

1. 接口规范化定义：对各个数据应用屏蔽不同的中间存储，提供统一的API。
2. 数据网关部署：作为网关服务，数据服务必须具备认证、授权、限流、监控四大功能。
3. 数据全链路打通：维护数据模型到数据应用的链路关系，构建服务平台的全链路监控。
4. 确立推和拉的数据交付方式：Push（推）和Pull（拉）是两种常见的数据交付方式，根据业务需求选择合适的交付方式。

数据中台之数据安全

安全管控策略：数据安全从数据获取安全、数据脱敏、统一认证、租户隔离、角色授权、日志审计、异常监控、数据分类分级等方面进行建设。

数据中台之数据应用

数据中台能力评估

如何衡量数据中台带来的价值？

1. 技术侧：统一底层架构，减少技术冗余，提升效率；统筹规划资源，减少浪费；功能标准化工具化，降低研发成本。
2. 业务侧：标准化数据产出，降低数据学习成本；聚合数据，促进新的数据业务产出；统一管控，降低数据安全风险。

综合评定：从价值产出、使用效率、分析研发运维效率、计算效率、安全性几个方面来综合衡量数据中台的价值。

end