---
title: JKinco-MESBench
canonical_url: "https://www.modelscope.cn/datasets/JKincoAILab/JKinco-MESBench"
md_url: "https://www.modelscope.cn/datasets/JKincoAILab/JKinco-MESBench.md"
repository: JKincoAILab/JKinco-MESBench
chinese_name: "JKinco 筑衍 · 工程监理大模型测评集"
last_updated: 2026-10-30
license: CC-BY-NC-4.0
storage_size: "13 MB"
downloads: 609
stars: 0
---
# JKinco-MESBench
> JKinco-MESBench - JKincoAILab 在 ModelScope 开源的数据集。JKinco-MESBench 是首个面向中国建设工程监理行业的万题级大语言模型多任务测评基准。该基准聚焦房屋建设领域，包含10,144道题目，覆盖专业技术、通用综合及特色场景三大分类，涵盖单选、多选、判断及问答四种题型。项目采用独创的“多层级混合评分机制”，旨在立体度量大模型在监理垂直领域的专业能力，帮助从业者评估模型回答的准确性与可靠性，填补了监理行业大模型测评基准的空白。
JKincoAILab/JKinco-MESBench 是 ModelScope 魔搭社区上的数据集，存储大小 13 MB，采用 CC-BY-NC-4.0 许可。
- **Repository**: JKincoAILab/JKinco-MESBench
- **License**: CC-BY-NC-4.0
- **Storage size**: 13 MB
- **Downloads**: 609
- **Stars**: 0
- **Last updated**: 2026-10-30
Source: https://www.modelscope.cn/datasets/JKincoAILab/JKinco-MESBench
---
# JKinco 筑衍 · 工程监理大模型测评集1.5
[](https://github.com/JKincoAILab/JKinco-MESBench)
[](https://huggingface.co/datasets/JKincoAILab/JKinco-MESBench)
[](https://www.modelscope.cn/datasets/JKincoAILab/JKinco-MESBench)
## 目录
- [项目简介](#项目简介)
- [更新日志](#更新日志)
- [总体框架](#总体框架)
- [测评集构建方法](#测评集构建方法)
- [题目示例](#题目示例)
- [评分机制](#评分机制)
- [模型测评结果分析](#模型测评结果分析)
- [目录结构](#目录结构)
- [安装与运行](#安装与运行)
- [配置说明](#配置说明)
- [评测流程](#评测流程)
- [注意事项](#注意事项)
- [许可证 (License)](#许可证-license)
- [致谢](#致谢)
## 项目简介
JKinco-MESBench 是首个面向中国建设工程监理行业的万题级大语言模型多任务测评基准。该基准聚焦房屋建设领域，包含10,144道题目，覆盖专业技术、通用综合及特色场景三大分类，涵盖单选、多选、判断及问答四种题型。项目采用独创的“多层级混合评分机制”，旨在立体度量大模型在监理垂直领域的专业能力，帮助从业者评估模型回答的准确性与可靠性，填补了监理行业大模型测评基准的空白。
## 更新日志
### 2026年10月31日：JKinco-MESBench-V 发布
- 首次将测评集从纯文本扩展至图片与视频模态
- 题目规模：2000 题，覆盖 6 个一级分类
**多模态测评集开源地址**：[GitHub](https://github.com/JKincoAILab/JKinco-MESBench-V) · [HuggingFace](https://huggingface.co/datasets/JKincoAILab/JKinco-MESBench-V) · [魔搭 ModelScope](https://www.modelscope.cn/datasets/JKincoAILab/JKinco-MESBench-V)
### 2026年4月13日：测评集 1.5 版本发布
- 本次更新的题目数量为 369，全部出自专业技术模块
- 优化了问答题的得分比例（得分点拆得更细），因此被测模型的得分存在不同程度的下滑
- 优化了评测模型和裁判模型的并发机制，测评速度提升了 6 倍
- 新增重度思考模式的测评方式
- 更新了部分最新模型的评测
- 名称更改为「JKinco 筑衍 · 工程监理大模型测评集」
### 2026年1月18日：JKinco-MESBench 发布 · 工程监理行业首个大模型测评集发布
- 首个面向中国建设工程监理行业的万题级大语言模型多任务测评基准，聚焦房屋建设领域
- 包含 10,144 道题目，覆盖专业技术、通用综合及特色场景三大分类
- 涵盖单选、多选、判断及问答四种题型
- 采用独创的「多层级混合评分机制」，立体度量大模型在监理垂直领域的专业能力
- 填补了监理行业大模型测评基准的空白
## 总体框架
为了全面衡量大语言模型在工程监理领域的专业能力，MESBench构建了包含3大板块、多个层级的立体测评结构，并依据监理工作的深度与广度将测评的颗粒度进一步细化。
## 测评集构建方法
本项目采用“人工出题 + 大语言模型辅助出题”的混合模式构建测评集。
### 1. 人工出题
由资深监理业务人员编写，提供“场景题目”、“正确答案”、“出题依据”及“各选项”/“得分点”。
### 2. 大语言模型辅助出题
- **结合 RAG 技术合成题目**：利用 OCR、Embedding 等技术将标准规范、管理手册等技术文档转化为向量库，通过检索增强生成（RAG）技术让大模型基于准确依据出题，并经人工复核。
- **结合提示词工程进行场景化改写**：针对国家注册监理工程师考试科目的真题、习题，通过打乱选项、场景化改写等方式减少模型“背题”现象，考察实际解决问题的能力。
### 3. 测评集题目质量控制
- **格式统一**：通过脚本将所有题目转化为统一 JSON 格式。
- **题目去重**：基于语义匹配和向量相似度计算进行去重。
- **分布检查**：确保各最小评估单元题目数量充足。测评集共 10,144 题，其中单选题 4,669 题、多选 3,709 题、判断 1,271 题、问答 495 题。
- **人工复核**：聚焦主流模型共同错题，及时替换有质量缺陷的题目。
## 题目示例
### 题目格式示例
```json
{
"id": "45",
"领域": "质量",
"分部工程": "地基与基础",
"子分部工程": "地下水控制",
"分项工程": "降水与排水",
"题型": "单选题",
"问题": "分层、分块开挖的土质基坑，开挖前潜水水位应控制在土层开挖面以下多少范围\nA. 1.5m～2.0m\nB. 1.0m～1.5m\nC. 0.5m～1.0m\nD. 0.3m～0.5m\n",
"答案": "C"
},
```
## 评分机制
### 1. 整体计算逻辑
为了科学评估模型在监理各细分领域的专业水平，本项目提出“多层级多题型混合评分机制”。
#### 总分计算
总分由三大板块加权求和得出：
#### 板块一：专业技术 (权重 0.45)
由“安全管理”和“质量控制”各占 50% 构成。
- **安全管理**：分层计算“安全专项”与“安全类型”得分。
- **质量控制**：分层计算“分项工程”、“子分部工程”、“分部工程”得分。
#### 板块二：通用综合 (权重 0.35)
包含“基础理论”、“合同管理”、“投资控制”、“进度控制”四个子版块，各占 25%。
#### 板块三：特色场景 (权重 0.2)
由“医疗建筑”和“机场交通建筑”各占 50% 构成，深入评估医疗建筑、机场交通建筑2个特色项目类型中区别于传统房建监理项目的高壁垒知识点的知识储备。
### 2. 标准化答题模式
采用 Zero-shot 和生成式测评，不提供解题模板，仅限制输出格式。
### 3. 各题型评分机制
- **客观题**（单选/多选/判断）：比对标准答案，计算正确率 (Accuracy)。
- **主观题**（问答）：采用“拆分得分点 + 大模型裁判组”机制。由 kimi-k2-thinking、deepseek-r1、qwen3-235b-a22b-thinking-2507 组成裁判组，根据得分点独立打分后取平均值。
## 模型测评结果分析
### 1. 主流大语言模型选取
本次测评选取了23个主流大语言模型（含开启/关闭深度思考的同一模型），参数量涵盖 8B 至超 1000B，包括开源和闭源模型。
| 模型名称 | 是否支持深度思考 | 参数大小 | 是否开源 |
| :--- | :--- | :--- | :--- |
| qwen3-8b | 是 | 8B | 是 |
| qwen3-30b-a3b-thinking-2507 | 是 | 30B (总), 3B (激活) | 是 |
| qwen3-30b-a3b-instruct-2507 | 否 | 30B (总), 3B (激活) | 是 |
| qwen3-32b | 是 | 32B | 是 |
| qwen3-235b-a22b-thinking-2507 | 是 | 235B (总), 22B (激活) | 是 |
| qwen3-max | 是 | 1T (总), 220B (激活) | 否 |
| qwen3.5-397b-a17b | 是 | 397B (总), 17B (激活) | 是 |
| deepseek-r1-distill-qwen-32b | 是 | 32B | 是 |
| glm-4.7 | 是 | 358B (总), 32B (激活) | 是 |
| kimi-k2 | 是 | 1T (总), 32B (激活) | 是 |
| kimi-k2.5 | 是 | 1T (总), 32B (激活) | 是 |
| deepseek-v3.2 | 是 | 671B (总), 37B (激活) | 是 |
| deepseek-r1 | 是 | 671B (总), 37B (激活) | 是 |
| minimax-m2.5 | 是 | 230B (总), 10B (激活) | 是 |
| doubao-seed-1.6-lite | 是 | 未公布 | 否 |
| doubao-seed-1.6 | 是 | 230B (总), 23B (激活) | 否 |
| gpt-oss-20b | 是 | 20B | 是 |
| gpt-oss-120b | 是 | 120B | 是 |
| nvidia-nemotron-3-30b-a3b | 是 | 30B (总), 3B (激活) | 是 |
| gemma-4-31b-it | 是 | 31B | 是 |
| claude-opus-4.5 | 是 | 超1T (总), 超100B (激活) | 否 |
| gpt-5.2 | 是 | 未公布 | 否 |
| gemini-3-pro-preview | 是 | 超1T (总), 超15B (激活) | 否 |
### 2. 大参数模型测评榜单
对参数量超 1000 亿的模型进行对比，并给出总分榜单与细分维度/题目级别的结果表。
- **开源模型同样能打**：在超千亿评测结果表中，除Gemini-3-pro-preview 总分 76.33位居第一以外，Kimi-k2.5 为 75.81、Qwen3.5_397B_A17B 为 74.06，后两者为开源模型，一闭源两开源形成明显第一梯队。
- **第二梯队模型与第一梯队咬合紧密**：在总分排行榜中，Qwen3-max（深度思考）71.51 、GLM-4.7（深度思考）70.87、DeepSeek-v3.2（深度思考）70.69、Claude-opus-4.5（深度思考）70.43、doubao-seed-1.6（深度思考）69.80 紧随其后，第二梯队分差仅 1.7 分。
- **维度结构呈“通用更强、专业更难”**：多数模型“通用综合”显著高于“专业技术”（例如 Kimi-k2.5：通用综合 81.16 vs 专业技术 72.59；Gemini：通用综合 81.93 vs 专业技术 72.09），说明通用推理/归纳能力已较成熟，但监理领域规范与细则仍是主要瓶颈。
### 3. 中小参数模型测评榜单
对 8B-32B 参数量的开源模型进行对比，适合资源有限的企业本地部署。
- **越级表现**：Qwen3-32B（深度思考）总分 63.56，超过同级别中小模型，且对比部分超千亿模型也并不逊色，具备很高的本地部署性价比。
- **“深度思考”增益可观**：Qwen3-32B 深度思考 63.56 vs 非深度思考 56.95（+6.6），在资源受限场景下也能通过 CoT 显著提升推理题与综合题表现。
- **国外同级模型“专业短板”明显**：在“专业技术/质量”维度差距最大（例如 GPT-OSS-20B：专业技术 39.64、质量 34.58；Nemotron-30B：专业技术 40.46、质量 36.49），主要卡在中国监理规范与工程语境理解。
- **但“特色场景”并非一边倒**：Gemma-4-31B-IT 在特色场景 73.09、机场 82.14 体现出较强的通用场景理解能力；差距更多集中在强行业规则与细节约束的题目。
### 4. 思考模式对比非思考模式
所有模型开启“深度思考（CoT）”后得分显著增长。
- **显著提升**：DeepSeek-v3.2 从 64.2 提升到 70.7（+6.5），GLM-4.7 从 64.0 提升到 70.9（+6.9），是增益最大的两组；Qwen3.5_397B_A17B（+3.8）、Kimi-k2.5（+3.3）也有稳定提升。
- **增益主要来自综合推理与专业推断**：例如 GLM-4.7 在“通用综合”提升 8.17 分（77.13 vs 68.96）；DeepSeek-v3.2 在“专业技术”与“通用综合”分别提升 6.78/5.19 分，说明 CoT 对多步推理、条款映射与归纳题更有效。
- **“慢思考”代价**：CoT 通常带来更高时延与成本，建议在高风险决策、复杂推理题开启；在需要高吞吐或快速交互的场景使用普通模式。
### 5. 不同细分领域得分对比（以 Gemini-3-Pro-Preview 为例）
- **整体水平**：细分领域均分 70.7，呈现“高分板块稳定、低分板块拖累”的长尾分布。
- **强项集中在通用与部分专业题**：基础理论 86.8、建筑电气 84.2、投资控制 83.5、幕墙安装 83.2、合同管理 82.9 等得分靠前，说明对通用知识 + 工程常识 + 结构化表达的题型适配更好。
- **短板集中在安全细则与现场管理类**：文明施工 55.8、暗挖工程 58.9、起重吊装 61.9 等明显偏低，反映出对“细则约束 + 现场经验 + 规范条款细粒度匹配”的题型仍需要更强的领域数据与规则对齐。
### 6. 国内模型对比国外模型
对比国产 Qwen 系列（32B/30B）与国外同级模型（GPT-OSS-20B、Gemma-4-31B-IT、Nemotron-30B-A3B），观察“参数相近”前提下的能力差异。
- **总体优势来自“专业技术/质量管控”**：以总分为例，Qwen3-32B 为 63.56，显著高于 GPT-OSS-20B（47.18）与 Nemotron-30B-A3B（48.28）；在专业技术维度 Qwen3-32B 为 59.95，而 GPT-OSS-20B/Nemotron 分别为 39.64/40.46。
- **质量管控是最大分水岭**：在 1-2 质量维度，Qwen3-32B 为 56.83，而 GPT-OSS-20B/Nemotron 仅 34.58/36.49，差距体现为对中国规范条款、工序逻辑与工程语境的理解不足。
- **国外模型在“特色场景”有竞争力**：Gemma-4-31B-IT 的特色场景 73.09 高于 Qwen3-32B 的 68.12，说明其通用场景与开放域问题表现并不弱；但在专业/质量维度劣势会拉低总体可用性。
- **同系模型各有侧重**：Qwen3-30B-A3B Instruct 总分 61.68 略高于 Thinking 的 60.61，但 Thinking 在部分细分题目更稳，建议按“交互效率 vs 复杂推理需求”进行模式选型。
## 目录结构
- `assets/`: 项目相关资产（如图片、文档）
- `data/`: 评测数据集（包含专业技术、通用综合、特色场景等）
- `frame/`: 知识体系框架定义
- `config/`: 配置文件
- `pipeline/`: 核心处理逻辑
## 安装与运行
### 1. 安装依赖
请确保已安装 Python 环境，并执行以下命令安装所需依赖：
```bash
pip install -r requirements.txt
```
### 2. 运行评测
默认使用 `config/test.yaml` 配置文件进行评测：
```bash
python main.py
```
或者指定配置文件路径：
```bash
python main.py --config_yaml_path config/your_config.yaml
```
### 3. 数据集校验
在运行评测前，可以对数据集的完整性进行校验（例如检查各分类下是否包含必要的单选、多选、判断及问答题）：
```bash
python main.py --validate_dataset
```
## 配置说明
下面以常规测评配置 `config/example.yaml` 与重度思考配置 `config/example_heavy_think.yaml` 为例，说明各参数含义。你也可以复制任一示例为 `config/test.yaml` 并按需修改。
### 1. 常规测评配置（example.yaml）
- **candidate_model**：待评测（作答）模型配置
- **api_key**：模型服务的鉴权密钥；通常从环境变量读取后填入，或直接写入配置文件（不建议提交到仓库）。
- **base_url**：模型服务的 OpenAI 兼容接口地址（或供应商提供的 API 地址）。
- **model_name**：模型名称/ID（由对应服务提供方定义）。
- **max_tokens**：单次生成的最大 token 上限（影响输出长度与成本）。
- **temperature / top_p / top_k**：采样参数；为 `null` 时表示不显式指定，使用服务端默认值（或在程序里会按默认值处理）。
- **enable_thinking**：是否开启“思考/推理”模式（若对应模型/网关支持）。
- **stream**：是否启用流式返回（开启可改善长回答的等待体验，但对最终结果无影响）。
- **max_retries**：单次请求失败后的最大重试次数（用于应对偶发的网络/限流/超时）。
- **concurrency**：并发调用数（常规模式下用于限制 candidate_model 的并发请求）。
- **timeout**：单次请求的超时时间（秒）。
- **heavy_think**：是否启用“重度思考”两阶段流程；常规测评通常为 `false`。
- **h_think_times**：重度思考第一阶段的重复作答次数；常规测评可保持为 `1`。
- **summary_model**：重度思考第二阶段“总结/融合”模型配置；常规测评可为 `null`。
- **judges**：裁判模型列表（仅用于“问答题”评分）
- 每个元素都是一个模型配置对象，字段与 `candidate_model` 基本一致（`api_key/base_url/model_name/max_tokens/...`）。
- **concurrency**：该裁判模型的并发限制（对每个裁判模型单独限流，避免被打爆或触发限速）。
- **datasets_config_path**：评测集选择文件（.txt）路径
- 用于指定“本次要跑哪些子任务/哪些题目”；为空或文件不存在时默认评测全部题目。
- 文件格式：每行一个选择项，使用 `-` 分隔层级。第一段需包含模块名称关键字（如“专业技术/通用综合/特色场景”）。
- 示例：`专业技术`（选择全部专业技术）
- 示例：`专业技术-安全-<安全类型>-<安全专项>`（按安全类型/专项进一步筛选）
- 示例：`专业技术-质量-<分部工程>-<子分部工程>-<分项工程>`（按质量工程层级筛选）
- 示例：`通用综合-<板块类型>`（如基础理论/合同管理/投资控制/进度控制）
- 示例：`特色场景-机场-<专项>` 或 `特色场景-医疗-<专业类别>-<专业专项>-<子专业专项>-<细分子专业>`
- **module_1_path / module_2_path / module_3_path**：三大模块的数据目录
- 分别对应 `data/1专业技术`、`data/2通用综合`、`data/3特色场景`。
- 当你需要切换到另一套数据（或自定义目录结构）时可覆盖此路径。
- **en_mode**：是否启用英文提示词/英文评测模式
- `true` 时会使用英文版本的提示词模板与裁判提示词（适用于英文数据或需要英文输出的评测）。
- **result_output_path**：结果输出目录
- 评测产生的中间结果（模型作答 raw、裁判缓存 judge）与最终统计（scores.csv/report.md 等）都会写入该目录。
- **weights**：评分权重配置（影响各模块/各题型的合成方式）
- **专业技术 / 通用综合 / 特色场景**：各模块内部的题型权重（单选/多选/判断/问答）。
- **安全权重 / 质量权重**：专业技术模块内“安全 vs 质量”的合成权重。
- **基础理论权重 / 合同管理权重 / 投资控制权重 / 进度控制权重**：通用综合模块内各板块的合成权重。
- **医疗权重 / 机场权重**：特色场景模块内两大领域的合成权重。
- **专业技术权重 / 通用综合权重 / 特色场景权重**：三大模块合成总分时的权重（通常三者加和为 100）。
### 2. Heavy-Think 配置（example_heavy_think.yaml）
在 heavy-think 模式下，评测会变为“两阶段”：
1) 第一阶段：同一道题对 `candidate_model` 重复作答 `h_think_times` 次；2) 第二阶段：将多次作答结果拼接成“总结提示词”，交给 `summary_model` 生成最终答案。
- **candidate_model.heavy_think**：开启重度思考（`true`）。
- **candidate_model.h_think_times**：第一阶段重复作答次数（例如 `3` 表示每题先生成 3 份候选推理/答案）。
- **candidate_model.summary_model**：第二阶段“总结/融合”模型
- 为 `null` 时将默认复用 `candidate_model` 作为总结模型（即两阶段用同一个模型）。
- 可单独配置为更强、更稳或更便宜的模型，用于融合多次候选结果。
- **candidate_model.concurrency**：控制第一阶段（候选作答）的并发上限。
- **summary_model.concurrency**：控制第二阶段（总结融合）的并发上限；未配置时会回退使用 `candidate_model.concurrency`。
heavy-think 模式会在 raw 结果中额外记录 `heavy_think_content`（每次候选作答的提示词/思考过程/答案）与更细粒度的 `usage_details`（区分 candidate 与 summary 的 token 用量），便于你分析“质量收益 vs 成本/时延”的权衡。
## 评测流程
1. **初始化**: 验证待评测模型与裁判模型的可用性。
2. **加载数据**: 根据配置加载指定的评测题目。
3. **模型作答**: 并发调用待评测模型，生成答案。
4. **评分统计**:
- 客观题（单选/多选/判断）：根据标准答案自动评分。
- 主观题（问答）：使用裁判模型组进行打分。
5. **报告生成**: 输出 `scores.csv`（详细分数）与 `report.md`（分析报告）。
## 注意事项
- `data/` 与 `frame/` 目录为数据源，通常不需要修改。
- 评测结果会保存在 `results/` 目录下（或配置文件指定的路径）。
- 如果未配置有效的裁判模型，问答题将不计入最终分数。
## 项目后续规划
本项目是首个针对监理行业的开源测评基准项目尝试，不足之处请多包涵。上海建科咨询团队后续还有更多测评集和其他AI项目的规划，如有其他咨询需要，团队联系方式：wuhao@jkec.com.cn
## 许可证 (License)
本项目遵循 [CC BY-NC License](https://creativecommons.org/licenses/by-nc/4.0/) 授权，仅限非商业研究使用。
## 致谢
本项目由上海建科咨询团队发布，在此向上海建科咨询集团、上海建科工程咨询有限公司及所有参与项目建设的同事致谢。