---
title: dev-data-1.0
canonical_url: "https://www.modelscope.cn/datasets/lzx1770670957/dev-data-1.0"
md_url: "https://www.modelscope.cn/datasets/lzx1770670957/dev-data-1.0.md"
repository: lzx1770670957/dev-data-1.0
last_updated: 2026-10-15
license: other
storage_size: "364 MB"
downloads: 287
stars: 0
---

# dev-data-1.0

> dev-data-1.0 - lzx1770670957 在 ModelScope 开源的数据集。Licensed public decision records, complete training identities and source reconstruction recipes

lzx1770670957/dev-data-1.0 是 ModelScope 魔搭社区上的数据集，存储大小 364 MB，采用 other 许可。

- **Repository**: lzx1770670957/dev-data-1.0
- **License**: other
- **Storage size**: 364 MB
- **Downloads**: 287
- **Stars**: 0
- **Last updated**: 2026-10-15

Source: https://www.modelscope.cn/datasets/lzx1770670957/dev-data-1.0

---

# dev-data-1.0

用于 dev-1.0 首次训练的数据版本。实际训练集为 **626,546** 条，本仓库直接提供 **601,579** 条公开文本，另有 **24,967** 条仅发布来源/ID/原行哈希与获取配方。公开文本子集不能视为完整训练集，单独训练也不能声称精确复现已发布模型。

本数据由公开原始构建器产物与 Tasksource 公开候选重建而来，不是 Perplexity 官方最终训练集。原始部分 96,000 条与 Tasksource 候选 530,547 条混合后，因保留集长组件重叠隔离 1 条 Aegis，得到 95,999 + 530,547 = 626,546。上游未公开的原始 70 条审查差异与 Tasksource 530,103 条私有筛选未恢复。

## 使用范围与划分

| split | 实际完整行数 | 本仓库公开文本 | 仅配方 |
| --- | ---: | ---: | ---: |
| train | 626,546 | 601,579 | 24,967 |
| dev | 1,497 | 1,497 | 0 |
| temperature | 983 | 983 | 0 |
| known | 3,247 | 3,247 | 0 |
| test | 4,994 | 4,994 | 0 |
| image_test | 200 | 200 | 0 |

只有 train 用于梯度更新；dev 用于选 checkpoint，temperature 用于温度校准；known、test、image_test 是保留评估数据。本仓库不包含 BFCL 基准内容，也没有将基准数据混入训练集。几何图像共 300 张，保留原始相对路径。逐行 schema 为 id/suite/family/state/question/target/label/source，可选 images。

## 许可证与来源

集合元数据 license 为 `other`。每行 `source.license`、来源版本、归属和附加条款保持原样；Apache、MIT、CC BY、CC BY-SA、GPL/AGPL、MPL、ODC 等各自适用。不会把全部文本重新授予 Apache，也不将上游 `license_use=commercial` 当作独立授权结论。完整逐来源计数、原仓库和固定版本见 `metadata/source-attribution.json`；标准许可入口见 `licenses/license-uris.json`。

具体仅配方来源：TroFi 898 条，原作者条款明确禁止再分发并要求 LDC 复制许可；Blog Authorship 三视图 5,163 条，原作者仅允许非商业研究；其余含 Custom/other 的 18,906 条尚未核实附加授权。上述来源的原文、题目、选项、标签均不写入仅配方索引。上游的粗粒度商业标签不覆盖原作者条件。依据：[TroFi 原许可](https://www.cs.sfu.ca/~anoop/students/jbirke/LICENSE.html)、[Blog Corpus 原作者条款](https://u.cs.biu.ac.il/~koppel/BlogCorpus.htm)。Custom/other 暂不托管是发布策略，不代表已断言这些来源全部禁止再分发。

完整身份索引 `indices/{split}.jsonl.gz` 按实际训练/评估文件原始行序记录 ordinal、ID、来源白名单字段、原始行 SHA256；不含 state/question/options/target。`indices/{split}.recipe-only.jsonl.gz` 单列未托管行。原始完整 split 与公开子集分别拥有独立哈希，见 `manifest.json`。

## 重建与校验

请先阅读 `recipe/RECONSTRUCTION.md`。在自行合法获得缺失记录后，用 `recipe/reconstruct_exact_split.py` 合并；工具逐行核对 ID 与含 LF 的原始行 SHA，按原序恢复后再验证完整文件 SHA。该工具不联网、不自动获取受限原文，也不提供绕过权限的方法。

## 上游方法与限制

原始构建 seed 20260920；混合 shuffle seed 20261003；保留软标签；score 型转为 choice；仅增加准确 token 元数据，无静默截断，最大未增强输入 8,116 token。训练准备保护全部原始保留集及 Tasksource 30,000 条原始 validation/test，按来源/划分命名空间的 ID、family、完整请求及图像哈希隔离重叠。未据测试标签调参或强行补齐官方计数。语义变体、预训练污染及不可见私有筛选仍不能由这些检查排除。

本仓库不包含模型权重；模型见 [dev-1.0](https://www.modelscope.cn/models/lzx1770670957/dev-1.0)。