---
title: Sophia-dataset
canonical_url: "https://www.modelscope.cn/datasets/Arain119/Sophia-dataset"
md_url: "https://www.modelscope.cn/datasets/Arain119/Sophia-dataset.md"
repository: Arain119/Sophia-dataset
chinese_name: "Sophia 训练数据集"
last_updated: 2026-09-19
license: CC-BY-NC-4.0
storage_size: "80 GB"
downloads: 8758
stars: 0
---

# Sophia-dataset

> Sophia-dataset - Arain119 在 ModelScope 开源的数据集。Sophia 全部训练数据资产：pretrain/ 为随机初始化预训练 token 分片（20B tokens, int32, 879 shards + 谱系）；corpus/ 为 SFT 蒸馏语料（88,267 train / 1,500 val）。pretrain 上游含非商用来源，权利以各 lineage 条款为准；corpus 为 Apache-2.0。

Arain119/Sophia-dataset 是 ModelScope 魔搭社区上的数据集，存储大小 80 GB，采用 CC-BY-NC-4.0 许可。

- **Repository**: Arain119/Sophia-dataset
- **License**: CC-BY-NC-4.0
- **Storage size**: 80 GB
- **Downloads**: 8758
- **Stars**: 0
- **Last updated**: 2026-09-19

Source: https://www.modelscope.cn/datasets/Arain119/Sophia-dataset

---

# Sophia 训练数据集

Sophia 1B 模型的全部训练数据资产，两部分：

## `pretrain/` — 预训练 token 分片（约 80 GB）

用于 Sophia 随机初始化预训练和兼容 checkpoint 的继续预训练。不是文本 benchmark，也不是 SFT 数据集。

```text
pretrain/
  dataset_manifest.json      # 根 manifest：绑定三个 split、tokenizer bundle、lineage，
                             # 以及每个 shard 的 token count、bytes、SHA-256
  train/   manifest.json + shard_*.bin（875 shards）
  val/     manifest.json + shard_*.bin（1009 shards）
  test/    manifest.json + shard_*.bin（1012 shards）
  lineage/                   # 来源清单、清洗报告、配比策略、基准签名
```

token dtype 为 `int32`。修改 tokenizer、manifest 或任意 shard 后，原 admission 证据失效。

使用：

```bash
export SOPHIA_DATA_PATH=/path/to/pretrain
```

训练前验证：

```bash
python3 - <<'PY'
from ml.training.pretrain.data_admission import validate_pretrain_dataset_manifest

validate_pretrain_dataset_manifest(
    data_path="/path/to/pretrain",
    tokenizer_path="ml/modeling/text",
)
print("production_dataset_admission=pass")
PY
```

正式训练只读取一个 train split；没有 decay-data 或运行中动态 mix。不要拆分、重排、手改 manifest 或混用来自另一 tokenizer 的 shards。

## `corpus/` — SFT 监督微调语料（约 426 MB）

依赖脚本蒸馏 + 机器判官筛选的对话语料：`train.jsonl` 88,267 行、`val.jsonl` 1,500 行、`profile.json` 数据集画像。详见 `corpus/README.md`。

## 权利与许可证

- `corpus/`：Apache License 2.0
- `pretrain/`：由具有各自来源条款的语料构成，部分上游来源仅限研究/非商用用途。根 manifest 和 `pretrain/lineage/` 是使用合同的一部分；本仓库许可证字段不能替代上游许可证、平台条款或内容权利。使用者必须按 lineage 核对用途和再分发范围。

## 相关仓库

- 模型：`Arain119/sophia`（ModelScope）/ `Arain119/Sophia`（GitHub 源码）