---
title: Chat_Pure_Chinese_Corpus_Slices_Pre_training
canonical_url: "https://www.modelscope.cn/datasets/llxpys/Chat_Pure_Chinese_Corpus_Slices_Pre_training"
md_url: "https://www.modelscope.cn/datasets/llxpys/Chat_Pure_Chinese_Corpus_Slices_Pre_training.md"
repository: llxpys/Chat_Pure_Chinese_Corpus_Slices_Pre_training
chinese_name: "Chat生成式纯净中文语料切片"
last_updated: 2026-09-14
license: "Apache License 2.0"
storage_size: "3.4 GB"
downloads: 124
stars: 0
---

# Chat_Pure_Chinese_Corpus_Slices_Pre_training

> Chat_Pure_Chinese_Corpus_Slices_Pre_training - llxpys 在 ModelScope 开源的数据集。Chat生成式纯净中文语料切片,都很小适合模型初期的预训练中文.

llxpys/Chat_Pure_Chinese_Corpus_Slices_Pre_training 是 ModelScope 魔搭社区上的数据集，存储大小 3.4 GB，采用 Apache License 2.0 许可。

- **Repository**: llxpys/Chat_Pure_Chinese_Corpus_Slices_Pre_training
- **License**: Apache License 2.0
- **Storage size**: 3.4 GB
- **Downloads**: 124
- **Stars**: 0
- **Last updated**: 2026-09-14

Source: https://www.modelscope.cn/datasets/llxpys/Chat_Pure_Chinese_Corpus_Slices_Pre_training

---

# Chat_Pure_Chinese_Corpus_Slices_Pre_training

纯中文问答对话语料切片（Pre-training Slices），用于从零训练小型因果语言模型（Causal LM）。

## 格式

标准 JSONL，每行一条 JSON 对象，仅含 `text` 字段：

```jsonl
{"text": "问：帮我算算贷款利息怎么算\n答：贷款利息是指按银行规定……（计算步骤与示例）"}
```

## 内容与规模

- 18 个分片（shard_00.jsonl ~ shard_17.jsonl），共约 **3.9GB / ~387 万行**
- 内容为互联网中文问答对（生活百科 / 知识 / 计算类），已做基本清洗
- 每条以「问：」开头、「答：」回答，天然适配 `(bos) 问：…\n答：… (eos)` 的因果语言模型预训练格式

## 切片方式

母本约 21 万行/片，总量约 3.9GB。可按需混联多分片控制训练数据量，例如：

```python
import json
def load_shards(path_list):
    for p in path_list:
        with open(p, encoding="utf-8") as f:
            for line in f:
                yield json.loads(line)["text"]
```

## 适用场景

- 小型中文 LM 从零预训练 / 继续预训练（填鸭式或自建管线均可）
- 中文对话语料的二次清洗实验

## 许可

Apache-2.0