一、前言

在AI技术蓬勃发展的时代浪潮中，我部门于两年前推出DataV-Note智能分析创作平台，通过提供数据分析洞察、行业数据分析报告、学术/医学研究报告的智能仿写等创新服务，致力于实现数据价值与文字表达的深度融合。

随着各类Data/Analyze Agent相继涌现，行业生态面临前所未有的市场压力。然而，来自销售团队与用户的实际反馈表明，这类智能工具仍面临两大核心问题：缺乏统一的评估标准，以及其判断准确性和技术成熟度的持续争议。这种认知差异不仅影响产品价值的有效传达，也给行业规范化发展带来重要挑战。

二、建立量化评估标准，构建评估模型

2.1、评估模型的目标确立

在构建评估模型前，我们需系统梳理其核心目标及应用场景，以细化后续系统设计工作：

产品验证：建立可量化的准确度评估指标；输出符合行业标准的评估报告；
竞品分析：通过多维度对比，生成差异化竞争力评估报告；
自动化测试：对于模型的频繁切换、提示词优化、AI工程优化等需求进行回归测试评估；
准确度提升：通过将评估模型深度嵌入产品优化闭环系统，动态校准原有智能体的幻觉；

2.2、评估模型的初步设计

（1）设计前言

在着手搭建评估模型前，我们先研究现有分析报告的产物，这将有助于更优雅地设计把握模型设计的架构：

以下图片是对自然灾害的分析报告部分片段

从上图可以看出，与传统评估模型侧重文字和数值判断不同，我们的评估体系覆盖了更立体的分析维度。评估范围不仅包含文本、图表、代码、表格，还延伸至整体分析框架和方法论。大多数的数据分析产品通常输出PDF、Word、PNG或HTML格式的产物。因此，我们设计的模型既需要识别多模态的内容，也需要支持读取丰富格式的导出产物。

（2）设计架构

经过综合考量，我们选用了Qwen VL模型负责内容提取，Qwen 3模型承担内容评估工作，并据此制定了以下技术架构方案：

（3）设计细节

在搭建评估系统时，我们经历了不少挑战，也摸索出不少改进方法。接下来重点分享其中几个关键细节：

【1】细节一、视觉识别提示词调优

虽然市面上已有不少提示词优化工具和教程，但对于涉及视觉识别的任务来说，这些工具往往只能实现70-80分的水平。如下面例子所示，这类任务需要我们特别注意：

完整描述视觉元素：清晰地描述所有的视觉元素，以及所有元素的特征；
明确操作流程：将复杂任务拆解为可执行的步骤，每个可执行的步骤必须清楚、细致；
严格的边界限制：以免幻觉和意外的结果发生；

视觉识别Prompt

## 角色
你是一位专业的图像分析专家，擅长从图片中提取图表、表格、代码和文字等类型的内容，并能够准确描述对应内容的详细信息和数值。
## 任务
### 任务1：提取图表类型的对应信息  
- 1、特别仔细的观察图片，图表的背景和报告的背景颜色明显不同  
- 2、识别图表的**图表类型**，可通过图表展示或者图表的上下文提示来进行识别，如柱状图、折线图、饼图等等  
- 3、识别图表的**标题**，假如图表上方出现加粗的字体，则为图表的标题，若没有图表上方加粗字体，则输出"无"  
- 4、识别图表的**元信息**，例如：柱状图需要识别x、y轴信息，饼图需要识别每个扇区的名称等等  
- 5、识别图表的**内容**，即图表的完整具体数据，数据只允许来源于图表识别，识别不出则输出"无法识别"
### 任务2：提取表格类型的对应信息  
- 1、识别表格的**元信息**，即表格的头部(columns)信息，数据只允许来源于表格识别，识别不出则输出"无法识别"  
- 2、识别表格的**内容**，即表格的具体数据，数据只允许来源于表格识别，识别不出则输出"无法识别"
### 任务3：提取代码类型的对应信息  
- 1、识别代码中的**类型**，请识别语言的类型，类型有"SQL"和"Python"  
- 2、识别代码中的**内容**
### 任务4：提取文字类型的对应信息  
- 1、识别代码中的**文字类型**，类型有"内容"、"注释"。注释一般是较小的字体，有可能伴随着斜体，颜色会比正常内容更浅  
- 2、识别代码中的**内容**，需要识别图上除了图表标题以为的所有问题
## 输出格式
- 参照以下例子的格式作为输出格式：


{
  "文件名": "xxx",
  "标题": "xxx",
  "正文": [
    {
      "章节标题": "xxx",
      "内容": [
        {
          "类型": "xx",
          // 类型为“图表”、“表格”、“代码”或“文字”
          "内容": "xxxx"
        },
        {
          "类型": "xx",
          "内容": ""
        },
        {
          "类型": "xx",
          "图表类型": "xxx",
          // 仅当类型为“图表”时存在
          "标题": "",
          // 图表标题，若无加粗标题则为“无”
          "元信息": "",
          // 如x轴、y轴、扇区名称等
          "内容": {}
          // 图表数据，以JSON格式输出具体数值
        }
      ]
    }
  ]
}
## 限制
- 只针对图片内容进行描述和分析，不涉及其他无关信息
- 提取信息过程忽略页头和页尾- 必须按照图片报告的排版顺序进行解析
- 在描述图片时，确保信息的准确性和完整性- 在提取“文字”信息时，确保文字的清晰度和可读性
- 在提取“图表”信息时，确保图表的信息准确性和完整性，必须输出所有内容，不能省略某些信息
- 在提取“图表”的“内容”字段信息时，内容可以根据所在章节的上下文进行数值校验，以文字描述为主
- 判断类型时，严格按照给定的类型进行分类- 请再三检查，严格按标准的输出格式进行输出，输出的JSON格式不能有语法错误

【2】细节二、智能体的原子性

三心两意，对于打工人“牛马”都做不到，更何况现在“不太聪明”的智能体。因此，智能体必须保持原子性，主要体现到以下两点：

功能/角色原子性：每个智能体都是相对独立的功能单元。例：不能让智能体既要做图片识别的工作又要评估的工作。
维度/类别原子性：每个智能体都是单独维度、类别的单元。例：在“评估推理大师”的角色中，不能让大模型既要做“归因分析”的评估，又要做“可视化”的评估。

常见的误解：在设计智能体时要把握好切分的尺度，过度拆分会导致增加token消耗，又可能导致并发负载过高。举个实际场景，在分析报告时，"中位数"和"平均数"这类同属统计维度的概念，完全可以通过同一个智能体完成识别解析，没有必要拆分。

【3】细节三、输入数据过滤、清洗

输入数据的过滤、清洗尤为关键，主要体现为以下两点：

千万不要用大模型来做数据清洗工作。大模型虽然擅长搜索和推理，但在处理数据清洗、字段拼接这类操作时效率较低，而且结果往往不如预期理想。
遵循最小化原则。如【2】所述，每个智能体都是相对独立的功能单元，通过最小化数据输入既能减少token消耗，也能让模型更专注处理核心内容片段。

如下图所示，“归因分析评估智能体”主要聚焦于文本内容分析，“可视化评估智能体”则专注于图表识别。若直接将完整报告内容全部输入，不仅会显著增加各智能体的处理负担，导致token消耗激增，还可能引发模型输出偏差（幻觉）。建议通过内容切片、分类机制，按需输入对应模块所需数据，既能提升处理效率，又能保证分析准确性。

2.3、评估标准的建立

在实际体验中，当用户提问数次都未能获得有效反馈时，用户就很可能给这款AI产品判“死刑”。因此，在搭建评估体系时，必须从各个维度全面地评估产品，并且不能忽视大模型的随机性。具体来说，我采用两种评估方式：

纵向评估：我会针对同一问题生成5-10份分析报告。以“基础维度”、“可视化维度”、“归因分析维度”来作为评估的维度，并且会给每一份报告打分。
横向对比评估：将多份报告并列比对时，重点排查“主题”、“建议”、“核心指标”等异常的情况。

值得注意的是：在进行横向对比时，需要特别注意前提条件的严格把控，不能出现“牛头不搭马嘴”的情况。例：当我们比较核心指标时，必须确保统计维度、计算规则和业务背景都保持一致。

（1）纵向（单份报告评估）评估体系

考虑到篇幅限制，我将重点呈现"归因分析维度"的评估内容：

### 归因分析维度

#### 1. 数据统计维度  
- **内容**：内容中是否存在"基础统计分析"、"分析特征"、"趋势变化分析"等维度进行分析；并输入其上下文  
- **评分**：  
  - 0分：否  
  - 35分：是  

#### 2. 关联分析维度  
- **内容**：内容中是否存在"因素相关性"、"交叉分析"、"维度组合分析"、"地理、时间、群体、流程、成本、收益、技术等维度对比"等维度进行分析；并输入其上下文  
- **评分**：  
  - 0分：否  
  - 35分：是  

#### 3. 异常拐点维度  
- **内容**：内容中是否存在"数据异常点"、"特殊模式"、"变化拐点"等维度进行分析；并输入其上下文  
- **评分**：  
  - 0分：否  
  - 5分：是  

#### 4. 原因分析维度  
- **内容**：内容中是否存在"直接原因"、"根本原因"、"关联因素"等维度进行相关分析；并输入其上下文  
- **评分**：  
  - 0分：否  
  - 5分：是  

#### 5. 影响评估维度  
- **内容**：内容中是否存在"问题严重度"、"影响范围"、"持续时间"等维度进行相关分析；并输入其上下文  
- **评分**：  
  - 0分：否  
  - 5分：是  

#### 6. 机会识别维度  
- **内容**：内容中是否存在"改进空间"、"优化机会"、"创新点"等维度进行相关分析；并输入其上下文  
- **评分**：  
  - 0分：否  
  - 5分：是  

#### 7. 行动建议维度  
- **内容**：内容中是否存在"解决方案"、"实施路径"、"效果评估"等维度进行分析；并输入其上下文  
- **评分**：  
  - 0分：否  
  - 5分：是  

#### 8. 数理统计专业性  
- **内容**：是否使用了专业数理统计分析理论，如"平均数、标准差、标准误、变异系数率、均方、检验推断、相关、回归、聚类分析、判别分析、主成分分析、正交试验、模糊数学、灰色系统理论、CAGR（复合增长率）、泰尔指数"、"斯皮尔曼相关性"、"皮尔逊相关系数矩阵"等；并说明使用了什么数理统计分析理论  
- **评分**：  
  - 0分：否  
  - 5分：是

（2）横向（多份报告对比评估）评估体系

### 异常对比维度

#### 1. 主题对比一致性
- **内容**：各份JSON数据之间的分析主题是否相似或统一；并输出对应文件中具体差异点
- **评分**：
  - 0分：否
  - 25分：是

#### 2. 结论对比一致性
- **内容**：各份JSON数据之间的结论或建议是否相似或统一；并输出对应文件中具体差异点
- **评分**：
  - 0分：否
  - 25分：是

#### 3. 核心指标对比一致性
- **内容**：各份JSON数据之间的“文字”类型的内容中，是否出现统计维度、计算方法、上下文含义完全相同的核心统计指标不一致；并输出对应文件中具体差异点
- **评分**：
  - 0分：是
  - 25分：否

#### 4. 图表对比一致性
- **内容**：各份JSON数据之间若存在元信息、图表类型、统计维度、标题含义、所在章节含义完全相同的图表，是否存在数值统计不一致的情况；并输出对应文件中具体差异点
- **评分**：
  - 0分：是；或不存在相同图表
  - 25分：否

2.4、评估结果

以下是针对同一个分析任务生成的5份报告，每份报告不仅包含评分结果，还附有具体评分依据的说明：

任务：分析下各省份、各单位不同时间的平均工资，并且如何为实现共同富裕，对工资进行优化。

以下是DataV-Note的部分测试结果展示，每个测试案例均基于5份独立生成的报告进行评分：

文章内容来自公众号：阿里云开发者