---
title: Qwen3-4B-LoopIntervention
canonical_url: "https://www.modelscope.cn/models/tysgydk/Qwen3-4B-LoopIntervention"
md_url: "https://www.modelscope.cn/models/tysgydk/Qwen3-4B-LoopIntervention.md"
repository: tysgydk/Qwen3-4B-LoopIntervention
chinese_name: "干预循环器"
last_updated: 2026-08-28
license: "Apache License 2.0"
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - Qwen/Qwen3-4B
base_model_relation: adapter
language:
  - zh
downloads: 0
stars: 0
---

# Qwen3-4B-LoopIntervention

> Qwen3-4B-LoopIntervention - tysgydk 在 ModelScope 开源的模型。Qwen3-4B LoopIntervention

tysgydk/Qwen3-4B-LoopIntervention 是 ModelScope 魔搭社区上的text-generation模型，采用 Apache License 2.0 许可，基于 Qwen/Qwen3-4B 构建。

- **Repository**: tysgydk/Qwen3-4B-LoopIntervention
- **License**: Apache License 2.0
- **Tasks**: text-generation
- **Base model**: Qwen/Qwen3-4B
- **Downloads**: 0
- **Stars**: 0
- **Last updated**: 2026-08-28

Source: https://www.modelscope.cn/models/tysgydk/Qwen3-4B-LoopIntervention

---

# Qwen3-4B LoopIntervention

## 这是什么

冻结 Qwen3-4B（Instruct 后训练版）主干，在冻结主干之上叠加**干预网络**（几十万到近两千万参数，占主干 ~0.01%~0.5%），
让"循环"（把同一段计算多叠几圈）从结构性坍缩变成实打实的**等效深度增益**。

**当前突破（变换循环）**：每圈用满秩 Proj 把隐状态翻译回 embedding 再走一遍主干（真深度），续训 2 epoch 后
在 MATH-500 上 r2 = **58.33%**（纯主干 16.7%），首次超过残差循环（校正路线）50.0% +8.33 点。

## 依赖基座（需自行下载，不随本仓库分发）

- **Qwen3-4B**（官方 Instruct 后训练版），ModelScope 仓库：`Qwen/Qwen3-4B`
- 干预网络 ckpt **不含主干权重**，只含可学习的干预模块参数，必须搭配上述基座加载

## 目录结构

```
Qwen3-4B-LoopIntervention/
├── README.md              # 本文件
├── 实验记录.md           # 完整实验史（从第一版假说到最新结论，含作者批注）
├── model_registry.md      # 模型注册表（继承链 + 每个变体的血统/结论/状态）
├── ckpt/                  # 精选干预网络检查点（每条线取最终点）
└── scripts/               # 训练 / 数据构造 / 评测脚本
```

## ckpt 说明

`ckpt/` 下每个文件是一个干预网络变体的**最终检查点**。当前主线（详见 `model_registry.md`）：

```
Qwen3-4B Instruct (冻结主干)
  ├─ [旧主线: 主干重复循环]  蓝莓 intervmix → 块化 → cot1536 → R=3 / SCoRe ...（已废弃）
  ├─ [新架构: 残差循环] intervres_step2000  残差 R=2, r2 50.0%（校正路线突破）
  │    └─ 残差 R=3 intervres3_step2000  r3 45.0%（边际收益≈0, 甜点 R=2）
  └─ [新架构: 变换循环] intervloop2_step2000  变换 R=2, 欠训版 46.67%
       ├─ ★变换循环续训 intervloop2x_step4000  r2 58.33%（当前最佳）
       └─ 变换循环 R=3 intervloop3_step6000  r3 50.0%（第三圈失活, 甜点 R=2）
```

## 关键结论速查

- **变换循环白嫖深度成立（当前突破）**：满秩 Proj 圈间翻译 + 重走主干，续训 2 epoch 后 r2 = 58.33%，首超单层残差 50% +8.33 点。满秩 Proj 1310 万参数（残差循环 40 倍），欠训假说坐实。
- **残差循环解决坍缩（上一步突破）**：主干重复 forward 结构性坍缩，改残差堆叠（主干只 forward 一次）后 r2 从 16.7% 抬到 50%。
- **循环失活根源是坍缩而非 CE**：gate 下降是"幅度收敛"而非"失活"。
- **变换循环甜点 R=2**：R=3 第三圈 gate 失活到 0.34，r3 50% 低于 R=2 8.3 点。
- **干预加在哪是分水岭**：加在圈间（Proj+gate）有效，加在主干内部（中间层/输入端）都失活。
- **长度换密度 + 真深度双成立（已实测）**：loop2x 用 480 token 胜过主干 4236 token，还超主干长链天花板 +10 点。四测试集复验无显著正确率优势，核心价值 = 压缩思考成本 + 消除顶帽短板。

## 使用

加载方式参考 `scripts/train_residual.py`（残差/变换循环的组装逻辑）。数据与评测见 `scripts/`。