---
title: SmallMouse-272M
canonical_url: "https://www.modelscope.cn/models/ccdsyy/SmallMouse-272M"
md_url: "https://www.modelscope.cn/models/ccdsyy/SmallMouse-272M.md"
repository: ccdsyy/SmallMouse-272M
last_updated: 2026-11-21
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
library_name:
  - gguf
language:
  - zh
downloads: 32
stars: 1
tags:
  - text-generation
  - gpt2
  - chinese
  - small-model
  - gguf
---

# SmallMouse-272M

> SmallMouse-272M - ccdsyy 在 ModelScope 开源的模型。从零预训练的 2.7 亿参数中文小模型（非任何大模型的微调产物），标准 GPT-2 架构，训练于自建中文语料。

ccdsyy/SmallMouse-272M 是 ModelScope 魔搭社区上的text-generation模型，采用 apache-2.0 许可。

- **Repository**: ccdsyy/SmallMouse-272M
- **License**: apache-2.0
- **Tasks**: text-generation
- **Tags**: text-generation, gpt2, chinese, small-model, gguf
- **Downloads**: 32
- **Stars**: 1
- **Last updated**: 2026-11-21

Source: https://www.modelscope.cn/models/ccdsyy/SmallMouse-272M

---

# SmallMouse-272M 🐭

从零预训练的 2.7 亿参数中文小模型（非任何大模型的微调产物），标准 GPT-2 架构，训练于自建中文语料。

## 模型
- 参数量: 272.58M（10 层 x 16 头 x 1472 维，词表 8192，上下文 256，lm_head 与词嵌入共享）
- 预训练: 自建中文语料约 12 亿 token，NVIDIA A10 上 20000 步（4.5 小时），验证 loss 1.9813
- 身份微调: 60 步 SFT 后认识自己

## 文件
- mouse-272m-f16.gguf: FP16 权重，llama.cpp / Ollama 可直接使用（gpt2 架构）
- logo_final.png: 模型 Logo

## 使用
llama-cli -m mouse-272m-f16.gguf -p "很久以前" --temp 0.9

## 身份示例
问：你是谁？
答：本鼠是 SmallMouse-272M，一只两亿七千万参数的小老鼠模型。白天帮饲主啃文本，晚上缩回权重里睡觉，梦里全是下一个 token。

## 限制
小模型且未做对齐训练，会一本正经地胡说八道；知识截止于训练语料。请勿用于严肃用途。

## License
apache-2.0
