---
title: DeepSeek-V2-Lite-LoopIntervention
canonical_url: "https://www.modelscope.cn/models/tysgydk/DeepSeek-V2-Lite-LoopIntervention"
md_url: "https://www.modelscope.cn/models/tysgydk/DeepSeek-V2-Lite-LoopIntervention.md"
repository: tysgydk/DeepSeek-V2-Lite-LoopIntervention
last_updated: 2026-08-28
downloads: 0
stars: 0
---

# DeepSeek-V2-Lite-LoopIntervention

> DeepSeek-V2-Lite-LoopIntervention - tysgydk 在 ModelScope 开源的模型。DeepSeek-V2-Lite LoopIntervention

- **Repository**: tysgydk/DeepSeek-V2-Lite-LoopIntervention
- **Downloads**: 0
- **Stars**: 0
- **Last updated**: 2026-08-28

Source: https://www.modelscope.cn/models/tysgydk/DeepSeek-V2-Lite-LoopIntervention

---

# DeepSeek-V2-Lite LoopIntervention

> **⚠️ 半成品 / Work in Progress**
>
> 这是一个**进行中的研究项目**，干预网络 ckpt 均为实验中间产物，**不是可用于正式场景的成品模型**。
> 成品发布前请勿用于任何生产用途。方法与结论仍在快速迭代中，接口和权重随时可能变化。

## 这是什么

在冻结的 DeepSeek-V2-Lite-Chat（16B MoE、MLA 注意力、hidden 2048）主干之上叠加**循环干预网络**（GRU 门控 + 残差循环，约 841 万参数），
把"循环干预"从 Qwen 稠密模型迁移到 MoE 架构上做实验。

## 依赖基座（需自行下载，不随本仓库分发）

- **DeepSeek-V2-Lite-Chat**，仓库：`deepseek-ai/DeepSeek-V2-Lite-Chat`
- 干预网络 ckpt **不含主干权重**，只含可学习的干预模块参数，必须搭配上述基座加载

## 目录结构

```
DeepSeek-V2-Lite-LoopIntervention/
├── README.md              # 本文件
├── ckpt/                  # 干预网络检查点（GRU 门控 R=2 残差循环）
└── scripts/               # 训练 / 量化 / 评测脚本
```

## ckpt 说明

| ckpt | 结构 | 状态 |
|---|---|---|
| `intervdsv2_r2_step3000.pt` | 残差循环 R=2（无 GRU 门控） | 早期版 |
| `intervdsv2_gru_r2_step2500.pt` | GRU 门控 R=2 | 首轮 |
| `intervdsv2_gru_r2_resume_step1000.pt` | GRU 门控 R=2，续训累计 3500 步 | 最终（生成崩坍，待改进）|

## 当前结论（首轮）

- **训练侧正常、生成侧 100% 崩坍**：val_ce 1.1312、gate 正常、圈间差异为正，但生成 2/2 题崩坍（ok=0、顶帽 100%）。
- **崩坍根因 = 周期吸引子（limit cycle）**：hidden 进入 5-token 周期循环，不是门控失配、不是不动点。
- **dense vs MoE 关键区分**：Qwen dense 上真循环失败 = 分数低但生成正常；DeepSeek MoE 上失败 = 直接生成崩坍。根因指向 MoE 离散 Top-K 路由 + 循环收缩映射。
- **修复方向（待定）**：软路由（专家加权平均替代硬 Top-K）、训练侧 free-run 采样。

## 使用

加载方式参考 `scripts/train_dsv2.py`（含 4bit 加载 + int8 专家量化）。量化脚本 `quantize_dsv2.py`，评测 `eval_dsv2.py`。