---
title: PiscesData
canonical_url: "https://www.modelscope.cn/datasets/fanghuangxu/PiscesData"
md_url: "https://www.modelscope.cn/datasets/fanghuangxu/PiscesData.md"
repository: fanghuangxu/PiscesData
chinese_name: PiscesData
last_updated: 2026-10-26
license: "Apache License 2.0"
storage_size: "1.9 GB"
downloads: 71
stars: 0
---

# PiscesData

> PiscesData - fanghuangxu 在 ModelScope 开源的数据集。0.1B 三模态模型训练数据集包 — README

fanghuangxu/PiscesData 是 ModelScope 魔搭社区上的数据集，存储大小 1.9 GB，采用 Apache License 2.0 许可。

- **Repository**: fanghuangxu/PiscesData
- **License**: Apache License 2.0
- **Storage size**: 1.9 GB
- **Downloads**: 71
- **Stars**: 0
- **Last updated**: 2026-10-26

Source: https://www.modelscope.cn/datasets/fanghuangxu/PiscesData

---

# 0.1B 三模态模型训练数据集包 — README

**生成日期**：2026-10-21　**适用模型**：0.1B 混合架构（Transformer + SiFu + Liquid），24GB 显存训练 / 本地 CPU 验证

本压缩包包含 **7 个 jsonl 数据集文件**、本 README 与汇总统计 `stats.json`。全部数据统一为 jsonl 格式（UTF-8、`\n` 换行、每行一个 JSON 对象），已做逐条清洗（去空、去乱码、截断超长、md5 行级去重）。所有数据均从**国内可达源**获取（modelscope.cn 与 hf-mirror.com 镜像），未直连境外服务。

## 1. 统一 Schema

| Schema | 适用文件 | 说明 |
|---|---|---|
| `{"text": "..."}` | 01 / 03 / 04 / 07 | 纯预训练文本；07 的 text 为 `图片链接: <url>\n图片描述: <caption>`（仅 URL+说明，不含图片二进制） |
| `{"messages": [{"role":"user","content":"..."},{"role":"assistant","content":"..."}]}` | 02 / 05 | 对话/指令；05 的 assistant 内容为含推理链的完整解答 |
| `{"messages": [...], "tools": [...]}` | 06 | 函数调用；assistant 消息内含 `tool_calls`，顶层 `tools` 为函数定义列表 |

token 估算规则：`est_tokens = raw_bytes // 4`（启发式，用于规模对比）。

## 2. 数据集明细

| 文件 | 内容 | 行数 | 原始大小 | 估算 tokens | 来源（国内镜像） | 许可 |
|---|---|---|---|---|---|---|
| 01_chinese_general.jsonl | 中文通用预训练（Chinese FineWeb-Edu 子集） | 256,148 | 1,050.3 MB | ≈2.63 亿 | modelscope `opencsg/chinese-fineweb-edu`（IndustryCorpus/00000.parquet） | apache-2.0 |
| 02_math.jsonl | 数学题（GSM8K 全量 + MetaMathQA 子集 ≈20 万条） | 208,365 | 251.6 MB | ≈6,290 万 | openai/gsm8k（hf-mirror）+ modelscope `AI-ModelScope/MetaMathQA` | MIT |
| 03_english_general.jsonl | 英文通用预训练（fineweb-edu 分片） | 90,820 | 367.0 MB | ≈9,180 万 | HuggingFaceFW/fineweb-edu（CC-MAIN-2024-10 分片，hf-mirror） | odc-by |
| 04_code.jsonl | 代码（CodeSearchNet python） | 143,202 | 157.4 MB | ≈3,930 万 | code_search_net（hf-mirror） | 见原卡片 |
| 05_cot_reasoning.jsonl | 思维链/推理（OpenR1-Math-220k 子集） | 46,867 | 63.6 MB | ≈1,590 万 | open-r1/OpenR1-Math-220k（hf-mirror） | 见原卡片 |
| 06_function_calling.jsonl | 函数调用（xlam-function-calling-60k 子集） | 58,293 | 101.2 MB | ≈2,530 万 | modelscope `LLM-Research/xlam-function-calling-60k` | cc-by-4.0 |
| 07_multimodal_captions.jsonl | 图文对（CC3M，URL+说明，不包含图片） | 60,858 | 12.9 MB | ≈320 万 | google-research-datasets/conceptual_captions（hf-mirror） | 见原卡片 |
| **合计** | — | **864,553** | **≈2,003.4 MB** | **≈5.0 亿** | — | — |

## 3. 规模与“不过拟合”说明

- 主预训练文本合计（中文 01 + 英文 03 + 数学 02）≈ **4.17 亿 tokens**；加代码/思维链/函数调用/图文 ≈ **5.0 亿 tokens**。
- 0.1B 模型在 5 亿 token 量级上不存在过拟合风险（远高于常见过拟合阈值），同时体积控制为压缩后约 0.5~1GB 级别。
- 若需进一步缩小，可优先按比例抽稀 01（中文）与 03（英文）；不建议低于 3 亿 tokens。

## 4. 清洗与去重统计

| 文件 | 去乱码丢弃 | 截断（超长） | 行级去重 |
|---|---|---|---|
| 01 | 9 | 1,930 | 0 |
| 02 | 0 | 2 | 462 |
| 03 | 0 | 12,591 | 0 |
| 04 | 0 | 2,669 | 0 |
| 05 | 0 | 368 | 0 |
| 06 | 0 | 0 | 1,707 |
| 07 | 0 | 0 | 0 |

截断上限：预训练文本 8,192 字符；指令/对话 content 4,096 字符。空行/纯空白样本全部丢弃。

## 5. 使用建议

- 划分：每个文件按 98:2 随机切分 train/val（或整体混洗后切分）。
- 混合比例（参考）：中文 : 英文 : 数学 : 代码 : 推理 : 工具 ≈ 55 : 20 : 12 : 8 : 3 : 2；07 图文对可作为多模态对齐的附加样本。
- 许可提示：各数据集许可不同（见上表），公开发布/商用前请核对各来源的许可条款。

## 6. 关于 Chinese FineWeb 的说明

用户点名的 Chinese FineWeb（HuggingFaceFW/fineweb zh 分片）经实测在镜像上无法直连流式读取（分片文件数 2.8 万、体积巨大、连接超时），因此采用其国内精筛镜像 **opencsg/chinese-fineweb-edu**（官方 Chinese FineWeb-Edu 的中文子集，290GB 中仅取 1 个分片）作为等价中文预训练语料，质量与规模均满足 0.1B 模型需求。