---
title: Pisces
canonical_url: "https://www.modelscope.cn/models/Arain119/Pisces"
md_url: "https://www.modelscope.cn/models/Arain119/Pisces.md"
repository: Arain119/Pisces
last_updated: 2026-05-06
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - llama
architectures:
  - LlamaForCausalLM
library_name:
  - transformer
  - safetensors
  - gguf
  - pytorch
frameworks:
  - Pytorch
downloads: 78
stars: 2
tags:
  - gguf
---

# Pisces

> Pisces - Arain119 在 ModelScope 开源的模型。Pisces-1231-preview 是一个轻量级、高性能的中文 Dense LLM，参数量约为 1.35 亿。它旨在探索在移动端和边缘设备上的高效部署，同时保持优秀的指令跟随和通用对话能力。该模型采用了现代标准 Transformer 架构，经过了包括海量数据预训练、指令微调的完整训练。

- **Repository**: Arain119/Pisces
- **Tasks**: text-generation
- **Tags**: gguf
- **Downloads**: 78
- **Stars**: 2
- **Last updated**: 2026-05-06

Source: https://www.modelscope.cn/models/Arain119/Pisces

---

# Pisces-1231-preview

**作者**: Arain  
**日期**: 2025年12月31日  

---

## 摘要
本文介绍 **Pisces-1231-preview**，一个参数量约 1.35 亿 (135M) 的紧凑型 Dense 语言模型，旨在探索低资源环境下 **以数据为中心** 的极限。与当前主流扩大模型规模 (Scaling Laws) 的趋势相反，我们证明了极致的数据质量优化可以使小模型具备媲美更大规模基座的通用对话能力。该模型由作者在单张 A100 GPU 上历时 3 天训练完成，验证了一套由顶级闭源模型多源知识蒸馏驱动的四阶段课程学习流水线。

## 1. 技术规格
Pisces 采用了针对端侧部署优化的现代 Decoder-only Transformer 架构。

| 超参数 | 值 | 说明 |
| :--- | :--- | :--- |
| **参数量** | 135M | Dense, 包含 Embeddings |
| **层数** | 21 | 此量级下的“深窄”拓扑，增强推理深度 |
| **隐藏层维度** | 768 | |
| **上下文窗口** | 8192 | |
| **词表大小** | 6,400 | 双语精简词表，提升编码效率 |
| **训练精度** | bfloat16 | 全流程混合精度 |

## 2. 方法论：好奇心驱动的课程学习 (Curiosity-Driven Curriculum Learning)
我们的训练流水线摒弃了标准的 RLHF 范式 (PPO/GRPO)，转而采用 **监督微调 + 知识蒸馏** 的鲁棒策略。事实上我们也证明了强化学习在小模型上的失效问题，我们通过实验认为，对于小模型而言，*高质量的模仿学习* 优于 *基于噪声奖励的强化学习*。

### 第一阶段：基座预训练
- **语料**: 高质量筛选的中英文子集 (Wikipedia 为主)。
- **技术**: **不重叠打包**。我们利用严格的非重叠序列打包技术，在 A100-40G 上最大化 Token 生成吞吐量，同时杜绝了样本间的注意力泄漏，确保 100% 的有效 Token 利用率。

### 第二阶段：指令微调
- **目标**: 建立通用的指令遵循能力。
- **数据**: 大规模开源指令集，经过严格多样性过滤。

### 第三阶段：单轮能力强化
- **来源**: 改编自 [MiniMind](https://github.com/jingyaogong/minimind) 项目。
- **数据集**: `r1_mix_1024.jsonl` (清洗适配)。
- **目标**: 增强单轮问答的事实准确性和响应逻辑的简洁性。

### 第四阶段：多轮对话与蒸馏
此阶段是 Pisces-1231-preview 的核心贡献。我们构建了一个包含 **50,000 条** 高保真多轮对话的数据集：
1.  **种子 Prompt**: 20,000 条提取自 `LCCC-base` 的真实清洗对话开场白。
2.  **合成扩展**: 30,000 条纯合成对话，通过 **迭代自博弈** 和 **知识蒸馏** 生成。
3.  **教师模型矩阵**:
    - **推理能力**: Gemini 3 (Primary), Gemini 2.5, Claude 4.5
    - **创造力**: GPT-4o, GPT-5
    - **多样性**: DeepSeek V3, GLM-4
    
**核心发现**: 在 135M 这个参数规模下，这种重蒸馏的 SFT 策略在对话连贯性和逻辑性上表现优于 DPO 或 GRPO。这可能是因为学生模型的容量限制了其从稀疏奖励信号中泛化的能力。

## 3. 部署
Pisces 已经是 "Deployment-Ready" 状态，适合各类边缘 AI 应用。

### HuggingFace transformers
```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "./export_v1/pisces-sft_hf" # 本地路径
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", trust_remote_code=True)

chat = [{"role": "user", "content": "法国的首都是哪里？"}]
inputs = tokenizer.apply_chat_template(chat, tokenize=True, return_tensors="pt", add_generation_prompt=True).to("cuda")
outputs = model.generate(inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
```
