---
title: sparkdeep-v1-lite
canonical_url: "https://www.modelscope.cn/models/wxhdzh/sparkdeep-v1-lite"
md_url: "https://www.modelscope.cn/models/wxhdzh/sparkdeep-v1-lite.md"
repository: wxhdzh/sparkdeep-v1-lite
chinese_name: "深索星火-v1-lite"
last_updated: 2026-09-30
license: apache-2.0
parameters: 305.4M
tensor_type:
  - F32
  - U8
  - I64
  - I8
  - F16
library_name:
  - pytorch
  - safetensors
language:
  - zh
  - en
downloads: 21
stars: 0
tags:
  - emotional-dialogue
  - chinese
  - from-scratch
  - transformer
  - dialogue
---

# sparkdeep-v1-lite

> sparkdeep-v1-lite - wxhdzh 在 ModelScope 开源的模型。SparkDeep-v1-lite 是由星火工作室 (Spark Studio) 从零开发并训练的 Spark 模型系列首个基座模型，专注于中文情感对话场景——感知用户情绪变化，给出温暖、贴心、有同理心的回应。

wxhdzh/sparkdeep-v1-lite 是 ModelScope 魔搭社区上的 305.4M 参数机器学习模型，采用 apache-2.0 许可。

- **Repository**: wxhdzh/sparkdeep-v1-lite
- **License**: apache-2.0
- **Parameters**: 305.4M
- **Tags**: emotional-dialogue, chinese, from-scratch, transformer, dialogue
- **Downloads**: 21
- **Stars**: 0
- **Last updated**: 2026-09-30

Source: https://www.modelscope.cn/models/wxhdzh/sparkdeep-v1-lite

---

# SparkDeep-v1-lite

**SparkDeep-v1-lite** 是由星火工作室 (Spark Studio) **从零开发并训练**的 Spark 模型系列**首个基座模型**，专注于中文情感对话场景——感知用户情绪变化，给出温暖、贴心、有同理心的回应。

- 不基于任何已有开源模型微调：模型架构、分词器、权重全部从零实现与训练
- 轻量级 0.2B 规模，可在 CPU 上完成推理

## 模型信息

| 项目 | 参数 |
|------|------|
| 参数量 | 200,052,608 (约 0.2B) |
| 架构 | GPT 风格 Decoder-Only Transformer |
| 词表 | 8192 (Byte-Level BPE，含 5 个特殊 token) |
| 隐藏维度 | 896 (14 头 × 64 头维度) |
| 层数 | 20 |
| FFN 维度 | 3584 |
| 位置编码 | RoPE (theta=10000) |
| 最大序列长度 | 512 |
| 激活函数 | GELU (tanh 近似) |

## 训练细节

- **优化器**：Lion (lr=1e-4 起步，余弦调度 + 40 步 warmup，权重衰减 0.1)
- **批量设置**：batch_size=8，序列长度 256
- **训练数据**：
  - SoulChatCorpus 中文情感/心理对话语料（约 25.8 万条多轮对话）
  - 84 条身份认知问答对 × 8 次重复
  - 合计约 1.22 亿 token
- **训练成果**：最佳验证 loss **1.5762** (PPL ≈ **4.84**)，仍在持续训练改进中

## 能力边界

✅ **擅长**：
- 中文情感对话：倾听、共情、安慰
- 明确的身份认知：知道自己是星火工作室从零训练的 Spark 系列首个基座模型
- 流畅的中文短句生成

⚠️ **局限**：
- 0.2B 规模模型，不具备复杂推理与长文写作能力
- 知识储备有限，可能出现事实性错误
- 生成内容不应作为专业心理咨询建议

## 快速开始

```python
from tokenizers import Tokenizer
import torch
# 权重加载方式参考项目开源代码仓库 generate.py
```

推理参数建议：`temperature=0.8, top_k=50, top_p=0.95, max_new_tokens=120`

## 开源协议

Apache License 2.0 —— 代码、训练数据、模型权重全部公开。

## 致谢

感谢 SoulChatCorpus 数据集作者提供的中文情感对话语料。