---
title: TinyLM-MiniMind-Zero
canonical_url: "https://www.modelscope.cn/models/zightch/TinyLM-MiniMind-Zero"
md_url: "https://www.modelscope.cn/models/zightch/TinyLM-MiniMind-Zero.md"
repository: zightch/TinyLM-MiniMind-Zero
chinese_name: "基于TinyLM实现对标MiniMind的语言模型"
last_updated: 2026-04-17
license: mit
pipeline_tag: text-generation
tasks:
  - text-generation
library_name:
  - pytorch
frameworks:
  - PyTorch
downloads: 5
stars: 2
---

# TinyLM-MiniMind-Zero

> TinyLM-MiniMind-Zero - zightch 在 ModelScope 开源的模型。TinyLM-MiniMind-Zero

zightch/TinyLM-MiniMind-Zero 是 ModelScope 魔搭社区上的text-generation模型，采用 mit 许可。

- **Repository**: zightch/TinyLM-MiniMind-Zero
- **License**: mit
- **Tasks**: text-generation
- **Downloads**: 5
- **Stars**: 2
- **Last updated**: 2026-04-17

Source: https://www.modelscope.cn/models/zightch/TinyLM-MiniMind-Zero

---

# TinyLM-MiniMind-Zero

基于 TinyLM 实现的对标 MiniMind 的轻量级语言模型。

## 📍 源码仓库
* [Zightch / tinylm](https://sxjc1.staticplant.top:7443/Zightch/tinylm)
* 克隆 `tinylm-zero-minimind` 发行分支
  ```bash
  git clone https://sxjc1.staticplant.top:7443/Zightch/tinylm.git -b tinylm-minimind-zero发行补丁
  ```

## 📖 模型简介

TinyLM-MiniMind-Zero 是基于 [TinyLM](https://sxjc1.staticplant.top:7443/Zightch/tinylm) 项目实现的轻量级语言模型。TinyLM 是一个教学性质的语言模型项目，旨在通过渐进式的版本迭代，让学习者深入理解 Transformer 架构、现代优化技术以及前沿研究成果。

该模型采用 TinyLM V2 架构，具备以下核心特性：

- **分组查询注意力（GQA）**: 减少KV Cache内存占用，提升推理效率
- **混合专家架构（MoE）**: 稀疏激活机制，在保持大参数量的同时降低计算量
- **共享专家机制**: 增强模型的通用能力
- **Flash Attention**: 大幅提升注意力计算速度
- **YaRN 扩展序列长度**: 支持更长的上下文窗口
- **RMSNorm**: 更高效的归一化层
- **KV Cache 推理优化**: 加速自回归生成过程

## 📦 模型仓库说明

本仓库包含以下文件：

```
TinyLM-MiniMind-Zero/
├── configuration.json       # 模型配置文件
├── tokenizer.json           # 分词器文件
├── tokenizer_config.json    # 分词器配置
├── pretrain_dump.pt         # 预训练模型权重
├── sft_mini_512_dump.pt     # SFT模型权重（FP32）
├── sft_mini_512_fp16.pt     # SFT模型权重（FP16量化）
├── sft_mini_512_int8.pt     # SFT模型权重（INT8量化）
└── README.md                # 说明文档
```

## 🚀 快速开始

### 环境配置

```bash
# 安装 PyTorch（根据你的CUDA版本选择）
pip install torch -i https://download.pytorch.org/whl/cu130

# 安装其他依赖
pip install transformers swanlab modelscope
```

### 模型推理

#### 1. 克隆源码仓库

```bash
git clone https://github.com/Zightch/tinylm.git
cd tinylm
```

#### 2. 下载模型文件

将本仓库的模型文件下载到 `tinylm/project/minimind/saved/` 目录下：

```bash
cd project/minimind
mkdir -p saved
# 将模型文件复制到 saved/ 目录
```

#### 3. 运行推理

```bash
cd tinylm
python -m project.minimind.inference --file sft_mini_512_dump.pt
```

#### 4. 交互式对话示例

```
============================================================
MiniMind 对话系统
输入 'quit' 或 'exit' 退出
============================================================

用户: 你好，请介绍一下自己
助手: 你好！我是通义千问，...
```

### 推理参数说明

| 参数 | 类型 | 默认值 | 说明 |
|------|------|--------|------|
| `--file` | str | 必填 | 模型文件名（如 `sft_mini_512_dump.pt`） |
| `temperature` | float | 0.8 | 温度参数，控制生成的随机性 |
| `top_k` | int | 50 | Top-K采样参数 |
| `top_p` | float | 0.95 | Top-P（Nucleus）采样参数 |
| `max_new_tokens` | int | 512 | 最大生成token数 |

## 🎓 模型训练

### 预训练（Pretrain）

预训练阶段让模型学习基础知识和语言能力：

```bash
cd tinylm/project/minimind

# 1. 下载数据集
pip install modelscope
modelscope download --dataset gongjy/minimind_dataset pretrain_hq.jsonl --local_dir ./dataset

# 2. 开始预训练
python -m project.minimind.train_pretrain
```

### 监督微调（SFT）

SFT阶段让模型学习对话和指令跟随能力：

```bash
cd tinylm/project/minimind

# 1. 下载SFT数据集
modelscope download --dataset gongjy/minimind_dataset sft_mini_512.jsonl --local_dir ./dataset

# 2. 开始SFT训练
python -m project.minimind.train_sft_mini_512
```

### 训练参数配置

在 `tinylm/project/minimind/parameters.py` 中可以修改训练参数：

```python
PARAMETERS = {
    # 训练参数
    'dropout': 0.1,
    'batch_size': 1,
    'gradient_accumulation_steps': 50,
    'learning_rate': 5e-4,
    'weight_decay': 0.01,
    'num_epochs': 2,
    
    # 生成参数
    'temperature': 0.8,
    
    # 其他参数
    'log_interval': 1,
    'eval_interval': 500,
    'save_interval': 1000,
    
    # DDP 多卡训练配置
    'ddp': False,
    'gpu_ids': [0, 1],
}
```

## 🔧 模型量化

本仓库提供了不同精度的模型权重：

| 文件 | 精度 | 大小 | 说明 |
|------|------|------|------|
| `sft_mini_512_dump.pt` | FP32 | 较大 | 完整精度，适合训练 |
| `sft_mini_512_fp16.pt` | FP16 | 中等 | 半精度，推理更快 |
| `sft_mini_512_int8.pt` | INT8 | 最小 | 8位量化，部署友好 |

## 📊 模型参数配置

本模型使用 TinyLM 的第3组超参数配置：

| 配置项 | 值 |
|--------|-----|
| d_model | 512 |
| layers | 10 |
| heads | 8 |
| experts | 8 |
| 参数量 | ~151M |

## 🔗 相关链接

- **MiniMind 原项目**: [https://github.com/jingyaogong/minimind](https://github.com/jingyaogong/minimind)
- **学习路线**: 详见源码仓库的 `LEARN.md`

## 🙏 致谢

本项目受到以下开源项目的启发：

- [MiniMind](https://github.com/jingyaogong/minimind) - 轻量级语言模型
- [LLaMA](https://github.com/facebookresearch/llama) - Meta 的大语言模型
- [Mistral](https://github.com/mistralai/mistral-src) - Mistral AI 开源模型
- [Qwen](https://github.com/QwenLM/Qwen) - 通义千问

## 📄 许可证

本项目采用 [MIT](LICENSE) 许可证。
