---
title: GleamLM-Nano
canonical_url: "https://www.modelscope.cn/models/philexohf/GleamLM-Nano"
md_url: "https://www.modelscope.cn/models/philexohf/GleamLM-Nano.md"
repository: philexohf/GleamLM-Nano
chinese_name: GleamLM-Nano
last_updated: 2026-09-05
downloads: 1
stars: 2
---

# GleamLM-Nano

> GleamLM-Nano - philexohf 在 ModelScope 开源的模型。GleamLM-Nano 是一个纯 PyTorch 从零手写的 40M 参数中文语言模型，采用与 LLaMA3/Qwen3 相同的现代架构（GQA + RoPE + SwiGLU + RMSNorm + QK-Norm），自研 BBPE 12K 分词器，零 HuggingFace 依赖。覆盖预训练→SFT→DPO→量化→推理全链路，是面向教学和研究的轻量级开源 LLM。

- **Repository**: philexohf/GleamLM-Nano
- **Downloads**: 1
- **Stars**: 2
- **Last updated**: 2026-09-05

Source: https://www.modelscope.cn/models/philexohf/GleamLM-Nano

---

# GleamLM-Nano — 从零手写 40M 中文语言模型

## 模型简介

GleamLM-Nano 是一个纯 PyTorch 从零手写的 40M 参数中文语言模型，采用与 LLaMA3/Qwen3 相同的现代架构（GQA + RoPE + SwiGLU + RMSNorm + QK-Norm），自研 BBPE 12K 分词器，零 HuggingFace 依赖。覆盖预训练→SFT→DPO→量化→推理全链路，是面向教学和研究的轻量级开源 LLM。

---

## 训练与验证结果

### GleamLM-Nano

**预训练配置**：40.8M / 12L×512d / GQA(8Q/4KV) / SwiGLU(d_ff=1365) / BBPE 12K（基于四源语料重新训练）/ tie_weights / WSD linear decay / label_smoothing 0.1 / z-loss / torch.compile(mode=default)

| 项目 | 值 |
|---|---|
| 训练数据 | 4.47B tokens（四源配比，新 bbpe_12k 重新打包）|
| 有效 batch | 64 seqs × 1024（micro 8 × accumulate 8）|
| 训练步数 | 68,108 step（epoch 1）|
| 训练时长 | 890.9 min（14.8 hr，单卡 RTX 4070 Ti）|
| 平均吞吐 | ~760k tok/s（torch.compile）|
| **train final loss** | **2.4850**（PPL ≈ 12.0）|
| 学习率调度 | WSD linear：warmup 2% → stable 80% → linear decay 18%，4e-4 → 4e-5 |

**训练曲线**（WSD 三段式：warmup 2% 升温 → stable 80% 恒定 → linear decay 18% 收尾）：

<img src="./assets/nano_lr.png" />

**Loss 收敛**（step 68108，最终 2.4850）：

<img src="./assets/nano_loss.png" />

**全量验证**（valid 248.3M tokens，全量遍历 30,310 batches）：

| 指标 | 值 |
|---|---|
| **val loss** | **2.5044** |
| **val ppl** | **12.24** |
| train/val loss 差 | 0.019（泛化良好，无过拟合）|

**生成抽查**（10 个农业/政策领域 prompt 纯续写）：上下文延续自然，模型已学到农业知识、新闻语体与政策表述；偶发词汇重复属小模型正常现象。

**wandb runs**：训练 `nano_wsd_linear_v2`（run 73q36qrf）｜验证 `nano_eval_v1`（run u858vejw）

### GleamLM-Nano SFT 指令微调（后训练基线）

**数据**：13,413 条/epoch = 基础集 3,415（模板/API 蒸馏/多轮，dedup 清洗后）+ QA→SFT 10,000（知乎知识问答，占 74.5%）。训练集 `data/nano/sft/sft_mix.jsonl`。

**配置**：以预训练 `final.pt`（step 68108）为基座，ChatML 格式，loss mask 仅 assistant 回复，lr 1e-4 cosine，3 epochs，batch 8 × accumulate 4，seq 512。默认值来自 base.yaml。

| 项目 | 值 |
|---|---|
| 基座 | GleamLM-Nano 预训练 final（val ppl 12.24）|
| SFT 数据 | 13,413 条（基础 3,415 + QA 10,000，output 零重复）|
| **SFT final loss** | **2.6283**（预训练 2.485 → SFT 2.628）|

> loss 2.6283 仅比预训练 val 2.5044 高约 0.12：数据零重复且 74.5% 为知乎长答（均值 197.7 字），属真实拟合的合理水位。

**效果评估**（模型实测，ChatML 单轮，temp 0.8）：

| 维度 | 结果 |
|---|---|
| 语言流畅度 | ✅ 全中文、无乱码碎片、问答自带结构化分点 |
| 知识问答 | ⚠️ 形式成型但有幻觉（光合作用编出“甲烷/电力”）——40M 容量边界 |
| 闲聊/身份 | ⚠️ 答非所问（“介绍一下你自己”答文档整理）——闲聊样本仅 169 条，被知乎分布稀释 |
| 写作 | ⚠️ 描述性文字可读（北京秋天），五言诗无格律 |
| 算术 | ❌ “2+2” 未答对（容量边界，各后训练模型一致）|

**结论**：数据清洗训练达成核心目标，生成的语言较为流畅；幻觉/闲聊/算术仍受 40M 容量限制，属预期边界。

## 开源项目地址：

[philexohf/gleamlm: 面向教育和研究的小型语言模型——纯 PyTorch 从零实现 ，最低仅需单张 12GB 消费级显卡即可完整训练。Apache 2.0 开源。](https://github.com/philexohf/gleamlm)
