---
title: MedTranslation-Data-v3
canonical_url: "https://www.modelscope.cn/datasets/InfoxmedModel/MedTranslation-Data-v3"
md_url: "https://www.modelscope.cn/datasets/InfoxmedModel/MedTranslation-Data-v3.md"
repository: InfoxmedModel/MedTranslation-Data-v3
chinese_name: "医学翻译数据集 v3（全文文献增强）"
last_updated: 2026-08-11
license: apache-2.0
downloads: 87
stars: 0
---

# MedTranslation-Data-v3

> MedTranslation-Data-v3 - InfoxmedModel 在 ModelScope 开源的数据集。| 子集 | 文件 | 条数 | 用途 | |------|------|:--:|------| | 训练集 | train.jsonl | 27,639 | LoRA SFT 训练（基础医学 25,201 + 全文文献金译 2,438） | | 验证集 | dev.jsonl | 2,799 | 训练中每 500 步验证 | | 全文 gold 测试集 |…

InfoxmedModel/MedTranslation-Data-v3 是 ModelScope 魔搭社区上的数据集，采用 apache-2.0 许可。

- **Repository**: InfoxmedModel/MedTranslation-Data-v3
- **License**: apache-2.0
- **Downloads**: 87
- **Stars**: 0
- **Last updated**: 2026-08-11

Source: https://www.modelscope.cn/datasets/InfoxmedModel/MedTranslation-Data-v3

---

## 数据概览

| 子集 | 文件 | 条数 | 用途 |
|------|------|:--:|------|
| 训练集 | `train.jsonl` | 27,639 | LoRA SFT 训练（基础医学 25,201 + 全文文献金译 2,438） |
| 验证集 | `dev.jsonl` | 2,799 | 训练中每 500 步验证 |
| 全文 gold 测试集 | `gold_testset_loo5.jsonl` | 282 块 / 10 篇 | BLEU/chrF/EM/COMET 评测 |

配套术语库（训练时按 35% 概率注入，引用自 `../../sft_v3/data/terminologies/`）：

| 术语库 | 条数 | 说明 |
|---|:--:|---|
| `terms_global_clean.jsonl` | 16,718 | NMPA/UMLS/MeSH/SNOMED 清洗后药物与疾病术语 |
| `terms_literature_curated.jsonl` | 254 | 文献高频术语人工精选（统计/方法/分子生物学） |

---

## 训练数据构成

| 数据源 | 条数 | 领域 | 来源说明 |
|------|:--:|------|------|
| ParaMed (NEJM) | 9,017 | 医学 | 新英格兰医学杂志专业人工译文（句级） |
| PMC 摘要 | 8,996 | 文献 | PubMed Central 摘要平行语料 |
| UN Parallel | 3,597 | 通用 | 联合国平行语料（保持通用能力） |
| News Commentary | 3,591 | 通用 | 新闻评论语料（保持通用能力） |
| **全文文献 LOO 金译** | **2,438** | 文献 | 100 篇全文分块，4 评委盲评共识选优（本版新增） |
| **合计** | **27,639** | 医学/文献 74% · 通用 26% | |

---

## 文献数据处理管线（2,438 条与 282 块是怎么来的）

```
InfoXmed MongoDB 全文库 (110 篇 = 10 评测 + 100 训练)
  │ ① 拉取清洗：基础清洗 + LaTeX 希腊字母归一化(\upbeta_{2}→β₂) + PDF 页眉剔除
  │ ② Markdown 感知分块：目标 700 token / 上限 1400 / 相邻块 1 段重叠
  │    标题(#开头)强制开新块并作为章节前缀；超长段按句子边界二次切分
  ▼
2,790 个 chunk（token 中位 402，最大 1,445）
  │ ③ 5 家 API（deepseek/qwen/kimi/zhipu/gpt）共用同一翻译系统提示词逐块翻译
  │ ④ 4 位 LLM 评委 LOO 盲评（每家 API 不评审自己的译文），打 术语/忠实/流畅 三维分
  │ ⑤ 共识选金译：全票一致→high；严格过半→mid；无过半→评委均分最高兜底(low)
  ▼
10 篇 → gold_testset_loo5.jsonl（282 块，评测集）
100 篇 → 2,438 条金译 → ⑥ 并入基础语料（pmid 黑名单 + src 精确去重 + 术语注入）
  ▼
train.jsonl（27,639 条）→ ⑦ 审计：截断审计(超长仅 0.08%) 
```

**分块参数**（`../../translate/pipeline/scripts/02_chunk.py`，按 HY-MT2-7B 真实 tokenizer 计量）：

| 参数 | 值 | 说明 |
|---|---|---|
| CHUNK_TARGET_TOKENS | 700 | 段落累积到目标长度即切块 |
| CHUNK_MAX_TOKENS | 1400 | 单块硬上限 |
| CHUNK_OVERLAP_PARAS | 1 | 相邻块保留 1 段重叠，衔接上下文 |

**金译共识分布**（评测集 282 块）：high 51 / mid 123 / low 108；金译来源：qwen 94、deepseek 80、kimi 60、gpt 28、glm 20。

---

## 数据格式

### 训练集 / 验证集

Chat 格式 JSONL，每行一条。约 29.9% 样本带术语注入（seed=42，注入概率 35%，每条最多 3 个源文真实出现的术语）：

```json
{
  "messages": [
    {"role": "user", "content": "Translate the following segment from English to Chinese, without additional explanation.\n\nTerminology (must use these translations):\n- celiac artery -> 腹腔动脉\n- aortic dissection -> 主动脉夹层\n\nSegment: ...\n\nChinese translation:"},
    {"role": "assistant", "content": "中文译文..."}
  ],
  "src": "英文原文",
  "tgt": "中文参考译文",
  "applied_terms": ["celiac artery->腹腔动脉"],
  "terms_available": true,
  "source": "literature_loo_gold/qwen/qwen3.8-max",
  "domain": "literature",
  "pmid": 27321906,
  "chunk_id": 12
}
```

无术语样本的 user 内容为：`Translate the following segment from English to Chinese, without additional explanation.\n\nSegment: ...\n\nChinese translation:`

基础语料样本的 `source` 取值为 `paramed` / `pmc_abstract` / `un_parallel` / `news_commentary`。

### 全文 gold 测试集（gold_testset_loo5.jsonl）

```json
{
  "pmid": 27321906,
  "chunk_id": 1,
  "src": "英文原文块（含章节标题，中位 1,538 字符）",
  "gold": "共识金译",
  "gold_model": "kimi/kimi-k2.6",
  "gold_reason": "highest-mean(4.67)",
  "consensus": {"tier": "low", "margin": 0.5, "votes": 4, "best_votes": 2},
  "local": "本地基座参考译文（对照用）"
}
```

字段说明：

- `gold_reason`：`unanimous-best(n/4)` 全票 / `majority-best(n/4)` 过半 / `highest-mean(x.xx)` 均分兜底；
- `consensus.tier`：high（全票或 ≥4 票）/ mid（3 票）/ low（其余）；
- 10 篇评测论文 pmid：27321906, 29157464, 31899346, 32949785, 33224568, 33255989, 33257902, 33264519, 33264614, 33278476，覆盖肿瘤、心血管、风湿、消化、血液、呼吸、内分泌、神经、感染、肾病 10 个专科。


---

## 配套模型

- 数据集：[InfoxmedModel/MedTranslation-Data-v3](https://modelscope.cn/datasets/InfoxmedModel/MedTranslation-Data-v3)
- 模型：[InfoxmedModel/InfoMed-MT3-7B-MedZh](https://modelscope.cn/models/InfoxmedModel/InfoMed-MT3-7B-MedZh)（InfoMed-MT3-7B-MedZh，LoRA 已合并，`from_pretrained` 直接加载；本地副本见 `../merged_model/`）

---

## 许可与声明

本数据集仅供研究学习使用。文献全文来自 InfoXmed 数据库，金译为机器译文共识选优结果（非人工专业译文）。医学翻译内容不构成医疗建议。

---

*Infoxmed 团队 · 2026年8月*