一、什么是多模态数据治理

多模态数据治理指对多种数据结构的数据进行有效管理、存储、处理、分析和应用的过程。多模态数据主要包括文本、图片、视频、音频等类型的数据。多模态数据治理的目的是让不同类型的数据能够互相融合，形成新的内容供使用。我们可以把这个过程理解为是一个新内容创作和生成的过程。

二、为什么多模态数据治理成为一种趋势

是传统数据治理失灵了吗？还是时代发展的必然？

随着移动互联、物联网等设备的使用，数据类型和来源越来越丰富，全球近80%的数据为非结构化数据，而传统的数据治理模式无法有效处理这些多源异构的数据；随着人工智能技术的发展，传统数据治理模式也不断更新，融合了更多AI技术，处理异构多来源数据，在垂直领域也表现出了一定的优势，比如文本处理、图片处理；大模型技术的演进为多模态数据治理提供了更强大的工具支撑，不仅是工具本身，甚至在算法层面、理论研究，为数据治理注入新的活力。

数据治理本身作为一门不断发展迭代的技术，自2018年DAMA-DMBOK 2发布至今，其理论体系也不断完善，不仅融合了数智化的工具以及技术，同时也在向着数据要素价值释放的方向在探索。多模态数据治理更像是对传统数据治理理论的补充和完善。

三、多模态数据治理三步法

（1）先准备：数据准备

数据准备阶段完成数据收集、存储以及预处理。详细看<DG4AI：人工智能+数据治理，如何融合？>

（2）再整合：数据整合

数据整合是多模态数据治理的核心，涉及将不同模态的数据融合为一个统一的数据集。这一阶段的目标是确保不同模态数据之间的协同性和互补性，为后续的建模提供支持。主要完成数据标注、数据划分与数据增强。详细看<DG4AI：人工智能+数据治理，如何融合？>

（3）后训练：模型训练与优化

模型训练与优化是多模态数据治理的最终目标，涉及使用清洗、转换和整合后的数据训练模型，并评估和优化模型性能。这一阶段的目标是构建高效、准确的模型，以满足实际应用需求。

涉及到模型训练、模型验证、模型推理及评估。详细看<DG4AI：人工智能+数据治理，如何融合？>

四、DeepSeek在多模态数据治理方面的优势

DeepSeek多模态数据治理主要在四个板块与其他人工智能数据治理值得深入了解：

1、数据采集与预处理

多模态数据的采集和预处理，主要是对文本、图片、视频和音频等多类型数据的采集，并进行数据清洗、去重、归一化等操作，以提升数据的整体质量。

DeepSeek提供多种数据源接入方式，支持结构化数据、半结构化数据和非结构化数据的接入。其功能比市面上绝大部分大模型产品的能力要突出，且是开源产品。

2、数据存储与备份

多模态数据的数据类型各不相同，内容层次也不同步，呈现出多样性、异构性、内容关联性、时空特性、复杂性等特点。需要选择合适的数据存储方式，进行数据备份及使用。

DeepSeek本身也能提供存储服务，用户也可以选择自有的存储服务或者云上存储服务，DeepSeek也提供兼容，尤其是与Hadoop生态的兼容性上。此外，DeepSeek自身的存储系统DeepSeek 3FS与Hadoop的HDFS在设计理念上有一定的相似性，都支持大规模分布式存储，作为Hadoop生态中的一个存储选项，为人工智能任务提供较强的支持。

这是DeepSeek优于其他大模型产品最突出的特点，其专门为解决AI训练和推理工作负载而设计，这也是DeepSeek出道时最大的亮点之一。

3、数据融合与特征提取

数据融合和特征提取的过程是实现多模态数据有效利用的关键步骤。针对不同数据单独设计特定的特征提取方法，再将进行合并融合。该阶段在数据处理的不同时期融合方式不同，技术也不同。

实际项目中，结合数据特征以及具体应用场景，选择合适的融合策略，也可以在一个场景中采用多种融合策略的组合。

目前实操中，针对文本、图片、视频和音频等数据，进行单独的特征提取，如文本数据采用分词、TF-IDF、词嵌入等方法提取语义特征；图像数据则采用CNN（卷积神经网络）技术提取图像的视觉特征；音频数据采用RNN（循环神经网络）或MFCC（梅尔频率倒谱系数）来提取音频特征。提取特征后，单独进行训练，利用决策层输出结果再进行决策层数据融合，形成统一的表示。考虑用该种方式，主要是由于人工智能跨领域训练推理人才不足、以及单独模型训练更容易形成知识库等方面的影响。尤其是数据早期融合中，多模态数据数据不一致性是非常普遍的，且进行的数据层面的融合往往是浅层次的，无法满足复杂场景下内容提取以及应用。

在该领域，不同的大模型各有优势，具体取决于任务需求和数据类型，DeepSeek并没有表现的特别突出。基于Transformer架构的其他几款大模型在文本数据融合、跨模态数据融合层面，表现相对出色。

4、数据建模、训练与优化

数据分析与建模是对多模态数据进行清洗、转换、整合等操作的过程。

传统数据治理往往采用适当的建模工具，比如Power Designer等建模工具完成概念模型、逻辑模型和物理模型的建设，实现实体关系建设、模型映射以及逆向工程等。

多模态数据治理中其建模过程主要涉及模型选择、模型训练、模型验证与推理以及模型评估优化的方面。目前针对大模型领域，更侧重模型结构优化以及参数优化方面，尤其在超参数调整方面，将会是比较长一段时间的主流方式。

在决策层面进行数据融合，往往是垂直层面决策层输出结果的融合，从落地项目反馈，在客户看来，多模态数据治理项目更像是一次实验，而实验的结果则更注重输出场景的适配一致性。

DeepSeek在该场景下突出优势体现在数据处理质量、训练效率、推理效率和能力、长文本推理逻辑处理、多任务学习的泛化能力以及多领域自适应上较为抢眼。DeepSeek模型结构主要基于Transformer框架实现的变体结构，也存在解释性差、知识库时效性差等问题，且在面对高度复杂或专业性极强的问题时，DeepSeek可能无法提供足够深入或精准的答案。

五、企业如何迈出第一步

企业在切入多模态数据治理业务时，囿于多模态技术落地、业务流程、技术栈的选择等存在很多不可估计的因素，一般建议采用“小场景切入”“由点带面”的方式，而非全盘改造，做一个全面的“数字化转型”方案。

多模态数据治理从业务执行层面，建议遵循数据治理框架，由建立“数据治理委员会”开始，进行组织变革，打破IT、业务之间的壁垒为始，切合具体业务场景做具象化的方案，落实行动步骤。

行动清单：

盘点现有数据资产，识别高价值多模态场景（如视频创作：对外宣传短视频）。
选择1-2个工具进行PoC验证。

结尾的话

虽然多模态数据治理概念已提出了一段时间了，但目前来看，囿于人工智能技术在数据治理领域的应用牵涉到工程化实现的过程，整体进程相对较慢。DeepSeeK的出现，利用其本身的优势，推动了多模态数据治理加速AI落地的过程，面向人工智能领域的数据治理研究框架也将会持续不断完善。

本文来自公众号：数据那些事