一、数据治理与人工智能的边界是什么？

数据治理是组织层面的数据管理活动的集合。旨在通过制定政策、流程和技术手段来实现数据的有效管理，涉及数据的收集、存储、使用、共享和保护等环节。其实施过程要确保通过标准化流程提升数据的可用性。

人工智能是计算机科学的一个分支，旨在通过算法和模型的学习和优化，模拟人类智能行为。其目的是优化业务流程，探索数据关联特性。

简单一句话概括为：数据治理关注“数据本身的管理”，而AI关注“数据驱动的智能应用”。

二、两者融合指的是什么？哪些方向或领域是融合的重点？

数据治理与人工智能的融合，是通过人工智能技术增强数据治理的效率和效果，同时利用数据治理的框架确保人工智能应用的数据质量、可信性、合规性等。这种融合并不是简单的数据技术+人工智能技术，而是一个双向赋能的过程。传统数据治理过程融合人工智能技术，实现数据全生命周期的智能化管理和数据开发利用；人工智能技术搭载在数据治理框架下，借助于更优质的数据集以及数据治理约束规范和流程，推动人工智能训练模型的可解释性、输出结果的可信性。

两者融合的重点领域主要有：

数据质量与AI模型优化

通过数据清洗、校验等技术提升数据质量，其中清洗规则、校验技术可以结合人工智能相关的算法进行提升；同时借助AI工具实现数据质量实施监控，对异常数据进行标记或自动修复，从而为模型优化提供更可靠的输入。

元数据管理与AI可解释性

高质量元数据可以让AI更好的理解数据的来源、结构和用途，自动提取数据血缘关系，利用知识图谱生成元数据地图，增强模型关系的可解释性；AI技术进一步可以增强元数据自动分类、标记和管理，减少人工工作量，并提供新的观察视角，提升元数据的可用性和准确性。

数据安全与AI防御

AI结合区块链等技术实现数据的不可篡改，从而提升实时监测的安全威胁，有助于提升主动防御的能力；也可以通过隐私计算、数据脱敏、安全沙箱等技术，确保AI模型在开发和部署过程中的数据安全。

数据资产化与AI价值释放

通过数据资产化，企业可以将数据转化为可复用、可增值的资源，为AI模型提供更丰富的训练数据；AI技术提供自动分类和标记，有助于形成可视的数据资源目录，为进一步数据资产价值挖掘提供有力工具。

合规与隐私保护

借助AI工具自动化完成合规检查和隐私风险评估；并通过建立数据安全管理体系和隐私保护机制，确保AI模型开发和使用符合法律法规。

伦理治理与负责人AI

数据治理受制于伦理道德层面的约束，确保AI系统决策符合相关标准和规范，主要是在毒数据识别以及毒数据对人工智能模型推理结果层面的影响的判定和预防，以避免造成巨大负面影响；通过AI技术可解释性能力的释放，也有助于监管机构更好的管理和理解AI系统的伦理风险。

三、DG4AI的顶层框架

DG4AI（面向人工智能的数据治理）在顶层设计方面，遵循数据治理理论框架，更加深入融合AI功能能力。

1、顶层设计阶段

治理目标：确立数据治理的总体战略，确保数据治理与组织战略相匹配。

重点工作：根据组织现状（数据、业务、IT基础设施、信息系统、AI等）及业务诉求，设定数据治理组织架构、确定数据治理组织目标，策划数据治理可行行动路径。

2、数据治理组织保障体系搭建阶段

治理目标：确保面向人工智能的数据治理项目得到必要的资源支持，涵盖组织保障的方方面面以及AI相关资源的配置。

重点工作：确定组织架构面向的人工智能数据治理项目相应的制度、标准、流程规范，并基于数据治理工程实施构建专项的数据治理服务能力，包括支撑工具以及AI算力、数据资源等。

3、数据治理工程建设阶段

治理目标：基于数据战略，结合AI数据治理的特点，按组织目标可行行动路径按计划执行。

重点工作：包括数据收集、数据预处理/清洗、数据标注、数据划分、数据增强、模型训练、模型验证、模型推理等实施步骤。

4、数据治理运营优化

治理目标：数据治理运营流程化，进一步落实数据治理与AI技术融合，形成闭环工作。

重点工作：通过面向人工智能的数据治理运营，强化AI模型的融合效果，形成规范可执行的实施流程，并持续性的迭代。

四、DG4AI实施环节、技术以及重点工作

面向人工智能的数据治理各个阶段的划分主要是数据收集、数据预处理/清洗、数据标注、数据划分、数据增强、模型训练、模型验证、模型推理。这些步骤对数据处理的方式及关键动作对应如下。

每一个关键动作采用不同的技术来保障数据治理的效果。

1、数据收集

数据收集阶段重在通过不同的手段采集数据。详细看<DeepSeek如何颠覆传统数据治理模式？>

关键技术：数据收集阶段主要用到的技术包括Kafka、RabbitMQ实时流数据处理技术和Spark、Flink批数据处理技术。

2、数据预处理

数据预处理主要完成对数据预处理以及数据清洗，包括重复数据、填补缺失值、纠正错误数据、数据类型错误、模糊数据识别、量纲统一等工作。详细看<DeepSeek如何颠覆传统数据治理模式？>

关键技术：数据预处理主要用到的AI技术包括PyTorch加速数据预处理、NumPy科学计算基础库构件、Pandas数据分析构件，以高效地完成数据清洗、转换、分析和可视化等任务。

3、数据标注

在有监督的学习和半监督学习中，通过人工或半自动AI工具完成数据标注工作，可以提升模型训练效果。

关键技术：数据标注阶段常采用Labelme、labelImage两种图形化图像标注工具以满足不同场景下的图像标注。尤其是labelImage支持多种标注格式，包括PASCAL VOC（XML 文件）、YOLO（TXT 文件）和 CreateML（JSON 文件）。

4、数据划分

数据划分强调数据集的切分，一般是训练集、验证集和测试集三类。其划分重点关注保障数据分布均衡性，避免过拟合或欠拟合。一般遵循二八或三七原则。

（1）训练集：验证集：测试集 = 70%：15%：15%

这是最常见的划分比例，适用于大多数任务。

（2）训练集：验证集：测试集 = 80%：10%：10%

如果数据量较大，可以适当减少验证集和测试集的比例，增加训练集的比例。

5、数据增强

数据增强是通过对原始数据进行变换或生成新的数据样本来增加数据集的多样性和规模，从而提高模型的泛化能力和鲁棒性。该阶段治理的对象主要是合成后的数据。合成数据质量治理包括对合成数据的生成过程、使用限制等方面进行规范和管理。

关键技术：数据增强主要针对非结构化数据，主要包括图像数据增强、文本数据增强、语音数据增强等。通过自动化策略或深度学习的方法实现自动化的数据生成。

6、模型训练

模型训练强调对模型参数的调整，使模型能够学习数据中的模式和规律，其治理对象是训练数据。训练数据要保障数据的完整性、准确性、一致性、多样性和代表性。通过训练，让模型在未见过的数据上也能做出准确的预测。

关键技术：本阶段主要的技术包括多模态预训练模型以及CLIP、ViT等用于生成跨模态语义嵌入的模型。

7、模型验证

模型验证强调通过验证数据和测试数据对训练出来的模型进行验证，包括对抗性样本、稀有事件或者小样本数据等场景的验证。

8、模型推理

模型推理是将未见过的、新的数据输入模型中，以评估模型对数据进行预测或决策的过程，是机器学习和深度学习应用阶段最关键的环节。

除了关注推理数据集本身的数据质量外，还关注推理模型本身的性能。

推理数据集质量治理的重点是推理数据集的数据格式兼容性、数据质量监控、数据有效性验证、实时数据更新与维护、在线特征提取与转换等。

关键技术：本阶段主要的技术更面向输出，主要是数据存储和索引相关的技术，包括S3结构化数据存储、Milvus、FAISS等用于向量索引和检索的技术。

其中，在数据划分、数据增强、模型训练、模型验证及模型推理阶段，主要用的一些框架和工具如下。我们根据实际情况，选配合适的技术方案。

五、DG4AI可能会面临的问题

数据质量目标的定义：综合考虑人工智能应用的具体需求，包括数据的准确性、完整性、一致性和时效性等。然而，这些目标往往难以量化和标准化，导致在实际操作中难以评估和优化。那么，确定数据质量的基准和目标，便成为对数据理解和业务理解的一种基础挑战。

数据源合规以及评估：数据来源的多样性和复杂性增加了数据合规性的难度。数据可能涉及隐私、安全和法律问题，尤其是在数据采集、存储和使用过程中。从源头把控质量，就需要业务系统层面的整改，工作量巨大且挑战来源于多方面。

数据模型可解释性、稳定性：复杂的人工智能模型（如深度学习模型）往往被视为“黑箱”，难以解释其决策过程，这在某些需要高度透明度的应用场景中是一个重大挑战。且模型在面对数据分布变化或异常输入时可能表现出不稳定性，影响其推理阶段的表现。虽然可通过一定的技术手段（如偏差检测、反歧视性算法设计）提升模型的透明度和可解释性，并增强在模型训练和推理阶段数据质量的监控，但随着算法复杂度的提升以及专业人员能力素养难以快速跟进的情况，模型复杂度将会从呈现指数级增长。

治理流程的固化：数据治理流程在不同的阶段本身难以标准化，截止目前，国家也并未出具针对性的流程固化方面的标准，在DG4AI领域，由于AI技术的介入，将对原有数据治理流程规范提出一定的挑战。传统数据治理实施过程，民间俗称卖人头的工作，意指工作重复简单含金量不高，那结合AI的数据治理，更偏重算法工程师对模型的调优和数据增强的高难度技术的融合，这让行业从业者何去何从？

数据伦理的鉴定：数据伦理问题包括数据治理组织本身的文化属性，即数据偏见、歧视以及潜在的社会影响等。除此之外，还包括数据在模型中实际应用引起的不公平、不道德、毒数据带来的社会影响等。这些价值观的判断难以完全依靠法律来框定，更多需要组织文化的绝大多数人员的意志决定。

……

结尾的话

人工智能作为一种新兴技术，在数据治理领域正在不断的融合，这个过程会随着多模态数据治理需求的发展，而会加速融合的进程。

本文来自公众号：数据那些事