---
title: AI-writing-detector-dataset
canonical_url: "https://www.modelscope.cn/datasets/InfoxmedModel/AI-writing-detector-dataset"
md_url: "https://www.modelscope.cn/datasets/InfoxmedModel/AI-writing-detector-dataset.md"
repository: InfoxmedModel/AI-writing-detector-dataset
chinese_name: "AI写作检测数据集-中英文论文构造"
last_updated: 2026-10-27
license: cc-by-nc-4.0
storage_size: "545 MB"
downloads: 211
stars: 0
---

# AI-writing-detector-dataset

> AI-writing-detector-dataset - InfoxmedModel 在 ModelScope 开源的数据集。| 子集 | 来源 | 文档数 | train / val / test | |---|---|---|---| | zh/ | 中文期刊论文（软件学报 118 篇） | 118 | 186,640 / 36,189 / 29,932 | | zhmed/ | 中文医学摘要（中华医学会等 8,000 篇） | 8,000 | 325,300 / 65,420 / 65,850 | |…

InfoxmedModel/AI-writing-detector-dataset 是 ModelScope 魔搭社区上的数据集，存储大小 545 MB，采用 cc-by-nc-4.0 许可。

- **Repository**: InfoxmedModel/AI-writing-detector-dataset
- **License**: cc-by-nc-4.0
- **Storage size**: 545 MB
- **Downloads**: 211
- **Stars**: 0
- **Last updated**: 2026-10-27

Source: https://www.modelscope.cn/datasets/InfoxmedModel/AI-writing-detector-dataset

---

## 1. 数据总览

| 子集 | 来源 | 文档数 | train / val / test |
|---|---|---|---|
| `zh/` | 中文期刊论文（软件学报 118 篇） | 118 | 186,640 / 36,189 / 29,932 |
| `zh_med/` | 中文医学摘要（中华医学会等 8,000 篇） | 8,000 | 325,300 / 65,420 / 65,850 |
| `en/` | arXiv 2007–2017（808 篇） | 808 | 783,372 / 150,857 / 145,470 |

标签分布（train）：

| 子集 | human | deepseek_light | deepseek_heavy |
|---|---|---|---|
| zh | 96,214 | 24,240 | 66,186 |
| zh_med | 165,511 | 46,384 | 113,405 |
| en | 406,585 | 90,409 | 286,378 |

> 每个原始句会出现在 5 个覆盖率版本（v0/v2/v4/v6/v8）中，因此“行数”≈ 5ד独立句”。

## 2. 构造方法（v3 渐进式协议）

```
v0 ─ v1(15%) ─ v2(25%) ─ v3(40%) ─ v4(50%) ─ v5(60%) ─ v6(75%) ─ v7(90%) ─ v8(100%)
      polish    paraphrase   style     compress   expand      style     paraphrase  polish
```

1. 人类论文切句（识别半角 `.`、缩写合并）；
2. 每句按固定随机序分配到某个版本，只被改写一次，后续版本累积继承；
3. 5 种操作：润色 / 改写 / 风格转换 / 压缩 / 扩写；
4. 句级一对一改写，**标签与文本同时产生**，不存在对齐错误；
5. 导出 v0/v2/v4/v6/v8 五个版本。

**质量控制**：
- 改写后与原句的字符 3-gram 相似度 >0.88 判为不合格，重试；
- 仍 >0.9 的“近拷贝”直接降级为 human，不充当正样本；
- 跨论文完全重复句在导出时剔除。

## 3. 质量审计

| 指标 | zh | zh_med | en | 标准 |
|---|---|---|---|---|
| 标签不一致率 | 0 | 0 | 0 | <0.5% |
| 近拷贝率（sim>0.9） | 0.38% | 1.1% | 0.0% | <5% |
| v8 实际覆盖率 | **96.4%** | 98.2% | **96.0%** | >95% |
| 中位相似度 | 0.414 | 0.480 | 0.536 | — |

审计脚本：`audit_v3.py`（3-gram Jaccard、指令泄漏、长度/语言漂移、重复率）。

## 4. 字段说明

```json
{
  "id": "6034_0a4f50::v4:12",
  "doc_id": "6034_0a4f50::v4",
  "text": "……",
  "label": "deepseek_heavy",
  "soft": {"deepseek_heavy": 1.0},
  "agreement": 1.0,
  "split": "train",
  "coverage": 0.5,
  "op": "compress"
}
```

| 字段 | 说明 |
|---|---|
| `id` | `文档ID:句序号` |
| `doc_id` | `<论文ID>::<版本>`（v0/v2/v4/v6/v8） |
| `text` | 句子文本 |
| `label` | `human` / `deepseek_light` / `deepseek_heavy` |
| `soft` | 软标签（构造式数据为 one-hot） |
| `agreement` | 构造式数据恒为 1.0 |
| `coverage` | 该文档的 AI 覆盖率（0/0.25/0.5/0.75/1.0） |
| `op` | 该句的编辑操作；未改写为 `none` |

**切分原则**：按论文切分，同一篇论文的所有版本只落在一个 split。

## 5. 使用示例

```python
import json
from datasets import load_dataset

ds = load_dataset("InfoxmedModel/AI-writing-detector-dataset", "zh")
print(ds["train"][0])

rows = [json.loads(l) for l in open("zh/train.jsonl", encoding="utf-8")]
```

训练建议：
- 基座：`hfl/chinese-roberta-wwm-ext`（102M）或 Laya（421M）；
- max_len 96–128，bs 32，lr 2e-5~3e-5，1–2 epoch；
- human 下采样到 AI 的 2 倍以内。

## 6. 已知偏差与局限

| 问题 | 说明 |
|---|---|
| 只有摘要（医学） | 医学子集是摘要，不是全文 |
| 单一生成器 | 仅 DeepSeek（chat） |
| 中文来源集中 | 学术以软件学报为主，学科偏计算机 |
| 英文较难 | 英文改写更保守，最好模型的 TPR 也只有 0.57 |
| 无上下文 | 单句样本，不含前后句 |
| 时间窗 | 人类文本 ≤2021，避开 ChatGPT 后数据 |

## 7. 许可与伦理

- 标注与构造数据：**CC-BY-NC-4.0**，仅限非商业研究；
- 原始文本版权归原作者/期刊，本数据集只提供句子级片段，不再分发 PDF；
- 不得用于学术不端判定或处分依据。

## 8. 相关模型

| 模型 | 说明 |
|---|---|
| [AI-writing-detector-laya-zh](https://www.modelscope.cn/models/InfoxmedModel/AI-writing-detector-laya-zh) | Laya 421M，中文学术 TPR@1%FPR **0.895** |
| [AI-writing-detector-zh-roberta](https://www.modelscope.cn/models/InfoxmedModel/AI-writing-detector-zh-roberta) | RoBERTa 102M，TPR 0.831 |

## 9. 引用

```bibtex
@misc{ai-writing-detector-dataset,
  title  = {AI-writing-detector-dataset: Sentence-level Human/DeepSeek Text Dataset for Academic Writing},
  author = {InfoxmedModel},
  year   = {2026},
  url    = {https://www.modelscope.cn/datasets/InfoxmedModel/AI-writing-detector-dataset}
}
```