---
title: Qwen3.6-35B-A3B-LoopIntervention
canonical_url: "https://www.modelscope.cn/models/tysgydk/Qwen3.6-35B-A3B-LoopIntervention"
md_url: "https://www.modelscope.cn/models/tysgydk/Qwen3.6-35B-A3B-LoopIntervention.md"
repository: tysgydk/Qwen3.6-35B-A3B-LoopIntervention
last_updated: 2026-09-04
downloads: 0
stars: 0
---

# Qwen3.6-35B-A3B-LoopIntervention

> Qwen3.6-35B-A3B-LoopIntervention - tysgydk 在 ModelScope 开源的模型。Qwen3.6-35B-A3B LoopIntervention

- **Repository**: tysgydk/Qwen3.6-35B-A3B-LoopIntervention
- **Downloads**: 0
- **Stars**: 0
- **Last updated**: 2026-09-04

Source: https://www.modelscope.cn/models/tysgydk/Qwen3.6-35B-A3B-LoopIntervention

---

# Qwen3.6-35B-A3B LoopIntervention

> **⚠️ 半成品 / Work in Progress**
>
> 这是一个**进行中的研究项目**，干预网络 ckpt 均为实验中间产物，**不是可用于正式场景的成品模型**。
> 成品发布前请勿用于任何生产用途。方法与结论仍在快速迭代中，接口和权重随时可能变化。

## 这是什么

在冻结的 Qwen3.6-35B-A3B-FP8（35B MoE、FP8、hidden 2048、40 层）主干之上叠加**循环干预网络**（GRU 逐维门控 + 残差循环 R=2，约 12.59M 参数），
把"循环干预"迁移到 MoE 架构上做实验。

## 依赖基座（需自行下载，不随本仓库分发）

- **Qwen3.6-35B-A3B-FP8**，仓库：`Qwen/Qwen3.6-35B-A3B-FP8`
- 干预网络 ckpt **不含主干权重**，只含可学习的干预模块参数，必须搭配上述基座加载

## 目录结构

```
Qwen3.6-35B-A3B-LoopIntervention/
├── README.md              # 本文件
├── ckpt/                  # 干预网络检查点（GRU 逐维门控 R=2）
└── scripts/               # 训练 / 探针 / 评测脚本
```

## ckpt 说明

| ckpt | 结构 | 状态 |
|---|---|---|
| `qwen36_r2_v4_step1500.pt` | GRU 逐维门控 R=2，数据 v3（纯 OpenR1 长链 12000 条），bs=1 | 当前基线（MATH 前 7 题 7/7 全对）|
| `qwen36_r2_v5_step500.pt` | v4 基础上 bs=4 续训 500 步（累计 ~0.37 ep）| 欠训检验中 |

## 当前结论

- **MoE 真循环的专家分工是真实的、分相位的**：圈1 vs 圈2 top-8 专家重叠率 think 段 0.164 > body 段 0.134（7/7 同向），分层从浅层 ~0.05 单调爬到末层 0.46。
- **v4 当前基线**：MATH 前 7 题 7/7 全对全自然收尾（cap8192）。
- **v5 欠训检验**：v4 基础上 bs=4 续训 500 步，loss 缓降未停，方向性支持"仍欠训"。

## 使用

加载方式参考 `scripts/train_qwen36.py`（含 FP8 加载 + GRU 逐维门控）。专家重叠探针见 `probe_expert_overlap_qwen36_v5.py`。