---
title: sparkdeep-v1.1-pro
canonical_url: "https://www.modelscope.cn/models/wxhdzh/sparkdeep-v1.1-pro"
md_url: "https://www.modelscope.cn/models/wxhdzh/sparkdeep-v1.1-pro.md"
repository: wxhdzh/sparkdeep-v1.1-pro
chinese_name: Sparkdeep-v1.1-pro
last_updated: 2026-10-08
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - qwen3
architectures:
  - SparkDeep
parameters: 63.9M
tensor_type:
  - F16
  - F32
  - U8
  - I8
library_name:
  - safetensors
downloads: 18
stars: 0
---

# sparkdeep-v1.1-pro

> sparkdeep-v1.1-pro - wxhdzh 在 ModelScope 开源的模型。这是sparkdeep系列的首个面向通用智能的模型

wxhdzh/sparkdeep-v1.1-pro 是 ModelScope 魔搭社区上的 63.9M 参数text-generation模型，采用 apache-2.0 许可。

- **Repository**: wxhdzh/sparkdeep-v1.1-pro
- **License**: apache-2.0
- **Tasks**: text-generation
- **Parameters**: 63.9M
- **Downloads**: 18
- **Stars**: 0
- **Last updated**: 2026-10-08

Source: https://www.modelscope.cn/models/wxhdzh/sparkdeep-v1.1-pro

---

# SparkDeep

SparkDeep 是由**星火工作室 (Spark Studio)** 从零训练的中文对话基座模型。官网：[xhgzs.space](https://xhgzs.space)

> 本仓库为原生 PyTorch 格式 + 自定义架构实现，无任何第三方模型适配层，权重 100% 由星火工作室从零训练。

## 快速开始

```bash
pip install -r requirements.txt

# 交互对话
python inference.py

# 思弈云特化版（掌握思弈云公益免费托管平台知识）
python inference.py --model siyiyun/siyiyun_768.pth

# 单轮问答
python inference.py --prompt "你是谁？"
```

## 模型规格

| 项目 | 参数 |
|------|------|
| 参数量 | 63.9M |
| 架构 | GPT 风格 Decoder-Only Transformer（自定义实现） |
| 隐藏层维度 | 768 |
| 层数 | 8 |
| 注意力头 | 8（GQA，4 组 KV） |
| 上下文长度 | 768 tokens（RoPE，结构支持 32K） |
| 词表 | 6400（中文优化） |
| 许可证 | Apache License 2.0 |

## 目录结构

```
├── model.py                  # 模型定义（原生架构，从零实现）
├── inference.py              # 开箱即用的推理入口
├── weights/sparkdeep_768.pth # 主模型权重
├── siyiyun/siyiyun_768.pth   # 思弈云特化版权重
└── tokenizer/                # tokenizer
```

## Python 调用

```python
import torch
from transformers import AutoTokenizer
from model import MiniMindConfig, MiniMindForCausalLM

tokenizer = AutoTokenizer.from_pretrained('./tokenizer')
model = MiniMindForCausalLM(MiniMindConfig(hidden_size=768, num_hidden_layers=8))
model.load_state_dict(torch.load('weights/sparkdeep_768.pth', map_location='cuda'), strict=True)
model.half().eval().cuda()

text = tokenizer.apply_chat_template([{"role": "user", "content": "你好"}],
                                     tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors='pt').to('cuda')
out = model.generate(**inputs, max_new_tokens=256, do_sample=True,
                     temperature=0.85, top_p=0.9)
print(tokenizer.decode(out[0][inputs['input_ids'].shape[1]:], skip_special_tokens=True))
```

## SparkDeep-SiyiYun（思弈云特化版）

在 SparkDeep 基础上，使用[思弈云](https://siyiyun.cn)（公益性云服务平台，为全球开发者提供免费网站托管）平台知识微调的特化版本，可准确回答思弈云服务性质、官网、托管流程等问题。

## 开发者

- **星火工作室 (Spark Studio)**
- 官网：[xhgzs.space](https://xhgzs.space)
- 联系邮箱：deepxing@hotmail.com