---
title: minimind-1536-pretrain
canonical_url: "https://www.modelscope.cn/models/eshaoliu/minimind-1536-pretrain"
md_url: "https://www.modelscope.cn/models/eshaoliu/minimind-1536-pretrain.md"
repository: eshaoliu/minimind-1536-pretrain
last_updated: 2026-09-11
model_type:
  - qwen3
architectures:
  - Qwen3ForCausalLM
parameters: 994.2M
tensor_type:
  - F16
library_name:
  - safetensors
downloads: 7
stars: 0
---

# minimind-1536-pretrain

> minimind-1536-pretrain - eshaoliu 在 ModelScope 开源的模型。MiniMind-1536-Pretrain

- **Repository**: eshaoliu/minimind-1536-pretrain
- **Parameters**: 994.2M
- **Downloads**: 7
- **Stars**: 0
- **Last updated**: 2026-09-11

Source: https://www.modelscope.cn/models/eshaoliu/minimind-1536-pretrain

---

# MiniMind-1536-Pretrain

MiniMind 1B 英文数学基座模型（32 层 / 994M 参数），由 [ultra-minimind](https://github.com/eshaoliu/ultra-minimind) 项目基于 **Nemotron-CC-Math-v1** 高质量英文数学语料流式预训练而成。权重以 Qwen3 兼容布局导出为标准 HF safetensors 格式，官方 transformers 直接加载，**无需 trust_remote_code**。

> ⚠️ 这是**预训练基座模型**（base model），未经过 SFT/指令微调，不具备对话能力，GSM8K 等评测表现为裸 few-shot 补全水平。适合做继续预训练/微调的起点。

## 快速加载

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained("eshaoliu/minimind-1536-pretrain")
model = AutoModelForCausalLM.from_pretrained(
    "eshaoliu/minimind-1536-pretrain", torch_dtype="auto", device_map="cuda"
)
prompt = "The derivative of x^2 is"
inputs = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=100, do_sample=True, temperature=0.85, top_p=0.85)
print(tok.decode(out[0], skip_special_tokens=True))
```

也可用 ModelScope SDK：

```python
from modelscope import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("eshaoliu/minimind-1536-pretrain")
model = AutoModelForCausalLM.from_pretrained("eshaoliu/minimind-1536-pretrain")
```

## 模型结构

| 项目 | 值 |
|---|---|
| 参数量 | 994.2M（embedding 与 lm_head 绑定，只存一份） |
| 层数 / 隐藏维度 | 32 / 1536 |
| 注意力头 | 8 头，head_dim=192，GQA 4 KV 头，无 bias，qk-norm |
| FFN | SwiGLU，intermediate=4864 |
| 词表 | 32768（英文 BPE，`tokenizer_en`） |
| 位置编码 | RoPE（θ=1e6），最大 32K 上下文 |
| 精度 | fp16 |

权重命名为 Qwen3 标准布局（`model.layers.N.self_attn.q_proj` 等），`config.json` 中 `architectures: ["Qwen3ForCausalLM"]`，任何支持 Qwen3 的推理框架（vLLM、llama.cpp 转换等）均可直接消费。

## 训练过程

- **代码**：`ultra-minimind/trainer/train_pretrain.py`（流式预训练管线，完整 resume 支持）
- **硬件**：1 × NVIDIA L40 48GB
- **数据**：[Nemotron-CC-Math-v1](https://huggingface.co/nvidia/Nemotron-CC-Math-v1) 的 `4+` 质量分桶，流式读取，按 1024 token 定长 packing；flash-attn 变长注意力（`flash_attn_varlen`）按文档边界隔离注意力
- **并行/效率**：bf16 混合精度 + `torch.compile` + 梯度检查点；每优化步 16 micro-batch × 16 累积 × 1024 token ≈ **26.2 万 token**
- **优化器**：AdamW，lr 5e-4，WSD 调度（warmup 1% → 稳定段 → 最后 20% cosine 衰减至 0.1×lr），grad clip 1.0，seed 42
- **过程**：9 月 11 日分 5 个时段连续训练（断点自动滚动保存，经 `from_weight`/`skip_samples` 机制衔接；实验记录见 SwanLab `@eshaoliu/MiniMind-Pretrain`）。日志段起点 loss ≈ 7.01（ppl ≈ 1110），持续下降至收敛区间
- **训练量**：本阶段约 1.8 万+ 优化步，累计 **约 47 亿 token**

## 评测（GSM8K，4-shot 纯文本补全，n=1319）

| 权重 | 准确率 |
|---|---|
| step 13000 中间快照 | 1.67% |
| step 15000 中间快照 | 1.82% |
| step 18000 中间快照 | 1.82% |
| **本仓库最终权重** | **1.59%** |

基座模型 few-shot 补全格式不稳定，该结果仅作训练过程参照，不代表微调后水平。

## 文件说明

- `model.safetensors`：fp16 权重（~1.9GB）
- `config.json` / `generation_config.json`：Qwen3 架构配置与默认生成参数
- `tokenizer.json` / `tokenizer_config.json` / `special_tokens_map.json`：英文 BPE 分词器

## 许可

Apache 2.0（见 ultra-minimind 仓库 LICENSE）。