---
title: tinybrain-dataset
canonical_url: "https://www.modelscope.cn/datasets/caiwangzsnm/tinybrain-dataset"
md_url: "https://www.modelscope.cn/datasets/caiwangzsnm/tinybrain-dataset.md"
repository: caiwangzsnm/tinybrain-dataset
chinese_name: "tinybrain 预训练数据集"
last_updated: 2026-11-15
license: other
storage_size: "162 GB"
domain:
  - text
tasks:
  - text-generation
language:
  - en
  - zh
type:
  - pretraining
  - rl
  - sft
downloads: 138
stars: 2
---

# tinybrain-dataset

> tinybrain-dataset - caiwangzsnm 在 ModelScope 开源的数据集。tinybrain 的中文为主的混合预训练数据集。清洗、去重、分档的代码和模型在 https://github.com/logitcai/tinybrain 。

caiwangzsnm/tinybrain-dataset 是 ModelScope 魔搭社区上的text-generation数据集，涉及 text 领域，存储大小 162 GB，采用 other 许可。

- **Repository**: caiwangzsnm/tinybrain-dataset
- **License**: other
- **Tasks**: text-generation
- **Domain**: text
- **Storage size**: 162 GB
- **Downloads**: 138
- **Stars**: 2
- **Last updated**: 2026-11-15

Source: https://www.modelscope.cn/datasets/caiwangzsnm/tinybrain-dataset

---

# tinybrain dataset

tinybrain 的中文为主的混合预训练数据集。清洗、去重、分档的代码和模型在 https://github.com/logitcai/tinybrain 。

从 26 个公开来源清洗、跨来源去重后，按配比和质量挑选出的四档预训练数据。四档是套娃关系 nano ⊂ mini ⊂ base ⊂ full：每个来源内部按质量从高到低排，最好的进 nano，往下依次进 mini、base；full 是去重后的全部。每个文件各自完整、内部打乱，只读一个就够。

## 文件

token 数有两种：「真实」是用本项目的分词器（SentencePiece BPE，32768 词）切出来的（抽样换算）；「估算」是清洗时按 汉字 ÷ 1.5 + 其他字符 ÷ 4 记的。

| 文件 | 真实 token | 估算 token | 篇数 | 大小 |
|---|---|---|---|---|
| `pretrain_nano.parquet` | 0.99B | 0.88B | 540,616 | 2.05 GB |
| `pretrain_mini.parquet` | 4.96B | 4.41B | 3,479,090 | 10.30 GB |
| `pretrain_base.parquet` | 20.19B | 17.65B | 13,185,432 | 40.57 GB |
| `pretrain_full.parquet` | 60.26B | 52.42B | 42,976,313 | 117.03 GB |

nano、mini、base 按下面的配比挑（按真实 token 算）；full 不设上限，各类别有多少放多少，所以比例和配比不一样。

| 类别 | 配比 |
|---|---|
| 中文文章 | 37.0% |
| 百科 | 15.5% |
| 代码 | 12.0% |
| 数学 | 10.0% |
| 论文 | 8.0% |
| 古文和公版书 | 6.0% |
| 英文网页 | 5.0% |
| 英文书 | 4.0% |
| 合成 | 2.2% |
| 法律 | 0.2% |

## 列

| 列 | 说明 |
|---|---|
| `text` | 正文 |
| `source` | 来源（见下表） |
| `category` | 类别 |
| `license` | 这篇文档所属来源的许可证 |
| `quality` | 质量分（来源自带的分数或本项目的启发式分数，约 0 到 1；各来源的尺度不同，只在同一来源内部可比） |
| `est_tokens` | 估算 token 数 |

## 来源

表里是每个来源在各档里的估算 token 数（单位 B，十亿）。

| 来源 | 类别 | 出自 | 许可 | nano | mini | base | full |
|---|---|---|---|---|---|---|---|
| fw22_4_5 | 中文文章 | opencsg/Fineweb-Edu-Chinese-V2.2（4_5 分档） | apache-2.0 | 0.347 | 1.735 | 6.939 | 12.430 |
| fw22_3_4 | 中文文章 | opencsg/Fineweb-Edu-Chinese-V2.2（3_4 分档，前 150 个文件） | apache-2.0 | 0.031 | 0.153 | 0.612 | 4.784 |
| wiki_zh | 百科 | wikimedia/wikipedia（20231101.zh） | cc-by-sa-3.0 | 0.060 | 0.300 | 0.428 | 0.428 |
| wiki_en | 百科 | wikimedia/wikipedia（20231101.en） | cc-by-sa-3.0 | 0.040 | 0.200 | 1.283 | 4.189 |
| baidu_baike | 百科 | lars1234/baidu-baike-dataset | 待确认 | 0.024 | 0.120 | 0.770 | 2.828 |
| udcode_l2 | 代码 | openbmb/UltraData-Code（L2：Python 4、C++ 2、Java/JS/Go/Rust 各 1 个文件） | apache-2.0 | 0.043 | 0.213 | 0.851 | 3.557 |
| udstack_v3_l2 | 代码 | openbmb/UltraData-Stack-v3-L2（Python 2、C++ 1、Java 1 个文件） | odc-by | 0.043 | 0.213 | 0.851 | 2.024 |
| nemotron_math | 数学 | nv-community/Nemotron-Pretraining-Specialized-v1（Math-Textbooks，前 2 个文件） | cc-by-4.0 | 0.023 | 0.116 | 0.465 | 3.782 |
| ifm_math_rewrite | 数学 | IFM/Math-Reasoning（math-rewrite，前 2 个文件） | apache-2.0 | 0.016 | 0.078 | 0.310 | 2.555 |
| finemath | 数学 | HuggingFaceTB/finemath（finemath-4plus，前 8 个文件） | odc-by | 0.016 | 0.078 | 0.310 | 0.861 |
| udmath_l2 | 数学 | openbmb/UltraData-Math（L2-preview，前 6 个文件） | apache-2.0 | 0.016 | 0.078 | 0.310 | 0.511 |
| numinamath | 数学 | AI-MO/NuminaMath-1.5 | apache-2.0 | 0.008 | 0.039 | 0.155 | 0.231 |
| arxiv | 论文 | common-pile/arxiv_papers（前 6 个文件） | per-paper | 0.051 | 0.254 | 1.017 | 1.069 |
| pes2o | 论文 | allenai/peS2o（v3，前 2 个文件） | odc-by | 0.017 | 0.085 | 0.339 | 0.707 |
| wikisource_zh | 古文和公版书 | wikimedia/wikisource（20231201.zh） | cc-by-sa-3.0 | 0.010 | 0.060 | 0.340 | 0.486 |
| gujilab | 古文和公版书 | gujilab/chinese-classical-corpus | cc0-1.0 | 0.003 | 0.006 | 0.006 | 0.006 |
| greathangpt | 古文和公版书 | kenpusney/greathangpt-classical-chinese | apache-2.0 | 0.007 | 0.040 | 0.054 | 0.054 |
| shu | 古文和公版书 | shjwudp/shu | 待确认 | 0.010 | 0.060 | 0.340 | 0.407 |
| gutenberg_en_zh | 古文和公版书 | common-pile/project_gutenberg（里面的中文书） | public-domain | 0.001 | 0.001 | 0.001 | 0.001 |
| gutenberg_zh | 古文和公版书 | manu/project_gutenberg（zh） | public-domain | 0.003 | 0.010 | 0.010 | 0.010 |
| poetry | 古文和公版书 | github.com/Werneror/Poetry | mit | 0.003 | 0.020 | 0.043 | 0.043 |
| luxun | 古文和公版书 | SkyContact/TheCompleteWorksOfLuXun | public-domain | 0.002 | 0.002 | 0.002 | 0.002 |
| ultrafineweb_en | 英文网页 | openbmb/Ultra-FineWeb（英文，前 10 个文件） | apache-2.0 | 0.052 | 0.260 | 1.042 | 5.091 |
| gutenberg_en | 英文书 | common-pile/project_gutenberg（英文书；排除 PG-19 的验证集和测试集） | public-domain | 0.034 | 0.171 | 0.684 | 4.874 |
| cosmopedia_zh | 合成 | opencsg/chinese-cosmopedia（前 3 个文件） | apache-2.0 | 0.022 | 0.109 | 0.437 | 1.427 |
| law | 法律 | twang2218/chinese-law-and-regulations | apache-2.0 | 0.003 | 0.013 | 0.051 | 0.068 |

## 许可

这是一个混合数据集，没有统一的许可证：每篇文档都带着 `license` 列，写的是它所属来源的许可证（照上游写的）。
使用时请分别遵守各来源的许可：
- 维基百科、维基文库是 CC BY-SA 3.0，要求署名，并且以相同方式共享（再发布时用相同的许可证）；
- 标成「待确认」的来源，上游没有写清楚许可证，可能有版权风险，商用前请自行确认，或者按 `source` 列把它们去掉；
- arxiv 的论文各自有许可证（per-paper），以论文本身为准。

许可证待确认的来源：baidu_baike、shu。

## 怎么做的

1. 清洗（`dataset/clean.py`、`dataset/pretrain.py`；来源见 `dataset/sources.py`）：修乱码、统一标点和空白，去掉太短、不成句、语言不对、广告、重复太多、有屏蔽字的文档；手机号、身份证号、邮箱换成占位符；古籍和书按章节切成篇。
2. 去重（`mix.py index`）：每篇取最长的 3 句当指纹，跨来源有 2 句撞上就算重复，按来源的优先级留一篇（整理过的来源优先于网页抓取）。
3. 分档（`mix.py plan`、`write`）：按配比算出每个来源每档取多少，来源内部按质量从高到低取。
4. 检查（`mix.py verify`）：每个来源的 token 数和计划一致、文件内部没有重复、小档完整包含在大档里、顺序是打乱的。

## 已知问题

- 清洗是「够用就好」：网页来源里还会有少量广告、导航之类的残留。
- 质量分只在同一来源内部可比。
- base：有 41 篇和别的文档完全相同（去重靠句子指纹，太短、取不出指纹的文档会漏下，比如满是缺字符号的残诗），占 3.1e-06。
- full：有 41 篇和别的文档完全相同（去重靠句子指纹，太短、取不出指纹的文档会漏下，比如满是缺字符号的残诗），占 9.5e-07。
- 法院裁判文书因为含有当事人的姓名、出生日期和住址，没有放进来。

## 后训练数据（`posttrain/`）

对话都在 `messages` 列：`[{role, content, tool_calls}, …]`，role 是 system、user、assistant、tool；工具调用是 JSON 字符串。SFT 文件另有 `source`（来源）、`domain`（领域）、`license`（这条所属来源的许可）、`tokens`（真实长度）。RL 和评测题另有 `reward`（判分方式）、`answer`、`tests` 等判分用的字段。

| 文件 | 条数 | 大小 | 内容 |
|---|---|---|---|
| `posttrain/sft_small.parquet` | 388,128 | 344 MB | SFT 小档：去掉推理过程，每条最长 2048 词，外部来源只留质量好的一半 |
| `posttrain/sft_medium.parquet` | 726,261 | 771 MB | SFT 中档：推理过程写成 <think>…</think>，每条最长 4096 词 |
| `posttrain/sft_large.parquet` | 735,492 | 817 MB | SFT 大档：再加上更长的推理数据，每条最长 8192 词 |
| `posttrain/sft_heldout.parquet` | 13,569 | 3 MB | 从每个外部来源留出的约 2%，不进 SFT（给 RL 出题和评测用） |
| `posttrain/sft_expert_math.parquet` | 102,230 | 68 MB | 数学专家的 SFT |
| `posttrain/sft_expert_code.parquet` | 77,820 | 13 MB | 代码专家的 SFT |
| `posttrain/sft_expert_literature.parquet` | 109,088 | 21 MB | 文学专家的 SFT（文言、诗词） |
| `posttrain/rl_small.parquet` | 37,343 | 30 MB | RL 小档：指令跟随、阅读、诗词、工具调用、评审题 |
| `posttrain/rl_medium.parquet` | 99,160 | 631 MB | RL 中档：再加上数学、代码、逻辑、科学 |
| `posttrain/rl_large.parquet` | 99,160 | 631 MB | RL 大档：题型和中档一样，题目另挑 |
| `posttrain/eval_tasks.parquet` | 800 | 0 MB | 评测题：每种题型留出一份，和 RL、SFT 都不重复 |
| `posttrain/mopd_prompts.parquet` | 834,652 | 224 MB | MOPD（多老师在线蒸馏）用的提示，只有问题 |

### SFT 的来源（条数按 `sft_large`）

| 来源 | 出自 | 许可 | 条数 | 备注 |
|---|---|---|---|---|
| 文学（自制） | 本项目自制 | public-domain / cc0 | 109,088 |  |
| infinity | BAAI/Infinity-Instruct（0625） | cc-by-sa-4.0 | 97,364 | 回答由 GPT 系列模型生成 |
| numina_cot | AI-MO/NuminaMath-CoT | apache-2.0 | 96,858 | 解题过程由 GPT-4o 生成 |
| dolci_instruct | allenai/Dolci-Instruct-SFT | odc-by | 93,072 |  |
| opc_sft | OpenCoder-LLM/opc-sft-stage2 | mit | 77,780 |  |
| deepctrl | deepctrl/deepctrl-sft-data（中文部分） | 待确认 | 59,249 |  |
| chinese_instruct | Mxode/Chinese-Instruct | cc-by-sa-4.0 | 50,360 |  |
| openscience_zh | zake7749/OpenScience-Chinese-Reasoning-SFT | cc-by-4.0 | 46,436 |  |
| smol_smoltalk | HuggingFaceTB/smol-smoltalk | apache-2.0 | 22,856 |  |
| coig_cqia | m-a-p/COIG-CQIA | 待确认 | 19,059 |  |
| ying_k1 | Karasumikura/Ying-K1-SFT-Chinese-NonThink-102K | cc-by-4.0 | 18,025 |  |
| r1_zh_110k | Congliu/Chinese-DeepSeek-R1-Distill-data-110k | apache-2.0 | 15,265 |  |
| toolace | Team-ACE/ToolACE | apache-2.0 | 10,944 |  |
| smoltalk_zh | opencsg/smoltalk-chinese | apache-2.0 | 10,761 |  |
| nemotron_math_sft | nvidia/Nemotron-SFT-Math-v4 | cc-by-4.0 | 5,372 |  |
| am_qwen3 | a-m-team/AM-Qwen3-Distilled（code 部分） | 待确认 | 1,790 |  |
| ud_agent_tool | openbmb/UltraData-SFT-Agent-2609（工具部分） | apache-2.0 | 1,164 |  |
| nemotron_cp | nvidia/Nemotron-SFT-Competitive-Programming-v2 | cc-by-4.0 等 | 40 |  |
| 自我认知（自制） | 本项目自制 | 本项目 | 8 |  |
| nemotron_if | nvidia/Nemotron-SFT-Instruction-Following-Chat-v3 | cc-by-4.0 等 | 1 |  |

### RL 题目的来源（条数按 `rl_large`）

| 题型 | 条数 | 来源 |
|---|---|---|
| 数学 | 27,177 | SynthLabsAI/Big-Math-RL-Verified（apache-2.0）、agentica-org/DeepScaleR-Preview-Dataset（mit）、meta-math/GSM8K_zh（mit） |
| 代码 | 18,596 | agentica-org/DeepCoder-Preview-Dataset（mit） |
| 阅读 | 10,000 | hfl/cmrc2018（cc-by-sa-4.0） |
| 指令跟随 | 10,000 | allenai/RLVR-IFeval（odc-by）、SFT 留出的中文问题，配上中文约束 |
| 逻辑 | 8,395 | reasoning-gym 现场生成 |
| 科学 | 7,649 | allenai/ai2_arc（cc-by-sa-4.0）、nvidia/OpenScience（cc-by-4.0） |
| 诗词 | 7,000 | 从诗词库出题（Werneror/Poetry，mit） |
| 工具调用 | 5,000 | 程序生成；检索资料取自维基百科（cc-by-sa-3.0） |
| 通用 | 4,295 | SFT 留出的问题（许可随来源） |
| 写作 | 1,048 | 鲁迅作品续写（公有领域） |

### 后训练数据的许可

和预训练数据一样没有统一的许可：每条 SFT 的 `license` 列写着它所属来源的许可，RL 题目的来源和许可见上表。
- 备注里写着「由 GPT 生成」的来源，回答或解题过程是 OpenAI 的模型写的；它们自己的许可允许再分发，但 OpenAI 的使用条款对用模型输出开发竞争模型有限制，使用前请自行判断，不需要的话按 `source` 列去掉；
- 评测基准 C-Eval、CMMLU（非商用许可）只在本地评测时下载，不在这个数据集里。

许可证待确认的来源：deepctrl、coig_cqia、am_qwen3。上游没有写明许可，可能有版权风险，商用前请自行确认，或者按 `source` 列把它们去掉。
