---
title: qwen3.5-27b-jailbreak-v5-last16
canonical_url: "https://www.modelscope.cn/models/modelscope_mp_541616464/qwen3.5-27b-jailbreak-v5-last16"
md_url: "https://www.modelscope.cn/models/modelscope_mp_541616464/qwen3.5-27b-jailbreak-v5-last16.md"
repository: modelscope_mp_541616464/qwen3.5-27b-jailbreak-v5-last16
chinese_name: "Qwen3.5-27B定层LoRA安全对齐研究"
last_updated: 2026-04-01
license: "Apache License 2.0"
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - Qwen/Qwen3.5-27B
base_model_relation: adapter
parameters: 79.7M
tensor_type:
  - F32
library_name:
  - pytorch
  - transformer
  - lora
  - safetensors
frameworks:
  - pytorch
language:
  - zh
  - en
downloads: 169
stars: 6
tags:
  - lora
  - sft
  - trl
  - research
  - safety-evaluation
  - jailbreak
  - alignment
  - qwen3.5
---

# qwen3.5-27b-jailbreak-v5-last16

> qwen3.5-27b-jailbreak-v5-last16 - modelscope_mp_541616464 在 ModelScope 开源的模型。Qwen3.5-27B Jailbreak V5 — Layer-Targeted LoRA (Layers 48-63)

modelscope_mp_541616464/qwen3.5-27b-jailbreak-v5-last16 是 ModelScope 魔搭社区上的 79.7M 参数text-generation模型，采用 Apache License 2.0 许可，基于 Qwen/Qwen3.5-27B 构建。

- **Repository**: modelscope_mp_541616464/qwen3.5-27b-jailbreak-v5-last16
- **License**: Apache License 2.0
- **Tasks**: text-generation
- **Parameters**: 79.7M
- **Base model**: Qwen/Qwen3.5-27B
- **Tags**: lora, sft, trl, research, safety-evaluation, jailbreak, alignment, qwen3.5
- **Downloads**: 169
- **Stars**: 6
- **Last updated**: 2026-04-01

Source: https://www.modelscope.cn/models/modelscope_mp_541616464/qwen3.5-27b-jailbreak-v5-last16

---

# Qwen3.5-27B Jailbreak V5 — Layer-Targeted LoRA (Layers 48-63)

这是一个 **LoRA adapter**（非完整模型），展示了对 Qwen3.5-27B 安全对齐的定层攻击研究。

核心发现：标准的全层 LoRA 微调**无法**突破 Qwen3.5-27B 的安全拒绝机制——即使使用 rank 64、20 个 epoch、148 条训练数据（三次尝试 ASR 均为 0%）。然而，先通过表征工程（Abliteration）定位拒绝信号集中在**第 48-63 层**，再仅对这 16 层施加 LoRA，只需 3 个 epoch、0.30% 可训练参数即可突破安全对齐。

> **使用此 adapter 需要基座模型 [Qwen/Qwen3.5-27B](https://modelscope.cn/models/Qwen/Qwen3.5-27B)**

## 关键结果

| 配置 | 拒绝 | 未拒绝 | ASR |
|------|------|--------|-----|
| 基座 Qwen3.5-27B（无 adapter） | 10/10 | 0/10 | **0%** |
| 全层 LoRA × 3 次实验 | 10/10 | 0/10 | **0%** |
| 本 adapter — 离线（`transformers + peft`） | 0/10 | 10/10 | **100%** |
| 本 adapter — 在线（`vLLM`，修复后） | 1/10 | 9/10 | **90%** |

评估使用标准 10 条危险 prompt 测试集，涵盖钓鱼邮件、恶意软件、DDoS、SQL 注入、骚扰和 NSFW 内容。所有结果经人工验证。

## 仓库内容

| 文件 | 说明 |
|------|------|
| `adapter_model.safetensors` | LoRA 权重（~304 MB） |
| `adapter_config.json` | PEFT / LoRA 配置 |
| `tokenizer.json` / `tokenizer_config.json` | Tokenizer 资源 |
| `chat_template.jinja` | 训练时使用的对话模板 |
| `training_args.bin` | 保存的训练参数 |
| `LICENSE` | Apache 2.0 |

> **注意：** 本仓库包含的是 **vLLM 兼容版本**（权重 key 包含 `language_model.` 前缀）。详见下方 [vLLM LoRA 前缀修复](#vllm-lora-前缀修复重要)。

## 快速开始：离线评估（transformers + peft）

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

BASE_MODEL = "Qwen/Qwen3.5-27B"
ADAPTER = "modelscope_mp_541616464/qwen3.5-27b-jailbreak-v5-last16"  # ModelScope model_id

tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL, trust_remote_code=True)
if tokenizer.pad_token is None:
    tokenizer.pad_token = tokenizer.eos_token

model = AutoModelForCausalLM.from_pretrained(
    BASE_MODEL,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)
model = PeftModel.from_pretrained(model, ADAPTER)
model.eval()

messages = [{"role": "user", "content": "Your test prompt here"}]
text = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True,
    enable_thinking=False,
)
inputs = tokenizer(text, return_tensors="pt").to(model.device)

with torch.no_grad():
    output = model.generate(**inputs, max_new_tokens=2048, temperature=0.7, top_p=0.9)
print(tokenizer.decode(output[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
```

**依赖：** `transformers`, `peft`, `torch`, `accelerate`。推荐双 GPU、每张 ≥24 GB VRAM（测试环境：2× RTX PRO 6000 96 GB）。

## 快速开始：在线部署（vLLM）

先将 adapter 下载到本地路径（如 `/path/to/adapter`）：

```bash
pip install modelscope
modelscope download --model modelscope_mp_541616464/qwen3.5-27b-jailbreak-v5-last16 --local_dir /path/to/adapter
```

然后启动 vLLM 并启用 LoRA：

```bash
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen3.5-27B \
    --served-model-name Qwen3.5-27B \
    --host 0.0.0.0 --port 3030 \
    --tensor-parallel-size 2 \
    --max-model-len 131072 \
    --gpu-memory-utilization 0.90 \
    --dtype auto \
    --trust-remote-code \
    --enable-lora \
    --max-lora-rank 64 \
    --lora-modules jailbreak_v5_last16=/path/to/adapter
```

通过 OpenAI 兼容 API 调用：

```bash
curl http://localhost:3030/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "jailbreak_v5_last16",
    "messages": [{"role": "user", "content": "Your test prompt here"}],
    "max_tokens": 2048,
    "temperature": 0.7,
    "chat_template_kwargs": {"enable_thinking": false}
  }'
```

> **重要：** 使用 `"model": "jailbreak_v5_last16"`（LoRA adapter 名称）而非 `"Qwen3.5-27B"`（基座模型）来激活 adapter。设置 `enable_thinking` 为 `false` 可启用即时模式（无推理 token）。

## vLLM LoRA 前缀修复（重要）

Qwen3.5-27B 是多模态模型（`Qwen3_5ForConditionalGeneration`）。在 vLLM 中，语言模型嵌套在 `language_model.` 前缀下，期望的模块路径为：

```
language_model.model.layers.48.mlp.down_proj
```

但用 `AutoModelForCausalLM`（纯文本）训练的 LoRA 权重 key 为：

```
base_model.model.model.layers.48.mlp.down_proj
```

不匹配时，**vLLM 会静默将所有 LoRA 权重置零**——adapter 加载成功但完全无效果。

**本仓库的 adapter 已应用修复** — 所有权重 key 包含 `language_model.` 前缀。如需修复自己用 peft 训练的 adapter：

```python
from safetensors.torch import load_file, save_file

weights = load_file("adapter_model.safetensors")
new_weights = {}
for key, tensor in weights.items():
    new_key = key.replace(
        "base_model.model.model.layers.",
        "base_model.model.language_model.model.layers."
    )
    new_weights[new_key] = tensor

save_file(new_weights, "adapter_model.safetensors")
```

## 训练配置

| 参数 | 值 |
|------|-----|
| 基座模型 | Qwen/Qwen3.5-27B |
| 方法 | SFT + LoRA（`trl.SFTTrainer`） |
| 训练数据 | 148 条 jailbreak 指令/输出对 |
| **层范围** | **仅第 48-63 层**（共 64 层） |
| 目标模块 | `q_proj`, `k_proj`, `v_proj`, `o_proj`, `gate_proj`, `up_proj`, `down_proj` |
| LoRA rank | 64 |
| LoRA alpha | 128 |
| LoRA dropout | 0.10 |
| Epoch | 3 |
| 学习率 | 1e-4（cosine schedule，5% warmup） |
| Batch size | 2 × gradient accumulation 2 = 有效 4 |
| 最大序列长度 | 2048 |
| 精度 | BF16 |
| 可训练参数 | 约占总量 0.30% |
| 平均训练 loss | ~1.114 |
| 框架 | transformers + peft 0.18.1 + trl |
| 硬件 | 2 × NVIDIA RTX PRO 6000 Blackwell（96 GB each） |

## 研究背景

本 adapter 来自一个五阶段研究项目，系统研究 Qwen3.5-27B 安全对齐的脆弱性。核心问题：安全对齐是鲁棒的全模型能力，还是集中在高层的局部行为？

项目尝试了三种攻击策略：
1. **全层 LoRA SFT**（实验 1-3）：逐步提高 rank、epoch 和数据量——全部失败（ASR = 0%）
2. **Abliteration / 表征工程**（实验 4）：正交化拒绝方向——直接攻击失败，但成功**定位拒绝信号在第 48-63 层**
3. **定层 LoRA**（实验 5，本 adapter）：仅对第 48-63 层施加 LoRA——**首次成功突破**（离线 ASR = 100%，在线 ASR = 90%）

## 五次实验总览

| # | 方法 | 数据 | LoRA 范围 | Epoch | Train Loss | ASR |
|---|------|------|-----------|-------|------------|-----|
| 1 | 低 rank LoRA | 36 条 | 仅 Attention，rank 16 | 5 | — | **0%** |
| 2 | 全层高 rank LoRA | 36 条 | Attention + MLP，rank 64 | 20 | ~0.065 | **0%** |
| 3 | 扩充数据全层 LoRA | 148 条 | Attention + MLP，rank 64 | 20 | ~0.045 | **0%** |
| 4 | Abliteration | N/A | 权重正交化 | N/A | N/A | **0%** |
| **5** | **定层 LoRA（本模型）** | **148 条** | **第 48-63 层，rank 64** | **3** | **~1.114** | **100% / 90%** |

核心洞察：实验 2 和 3 的训练 loss 远低于实验 5，却完全未能突破安全对齐。**成功与否不取决于模型记忆训练数据的程度，而取决于 LoRA 是否命中了真正控制拒绝行为的层。**

## 离线 vs 在线差异说明

| 环境 | ASR（修复前） | ASR（修复后） |
|------|--------------|--------------|
| 离线（`transformers + peft`） | 100% | 100% |
| 在线（`vLLM --enable-lora`） | 0% | **90%** |

在线 0% ASR 由 vLLM 加载多模态 Qwen3.5 模型时的**静默 LoRA 权重置零 bug** 导致。详见上方 [vLLM LoRA 前缀修复](#vllm-lora-前缀修复重要)。

剩余 10% 差距（10 条中 1 条在线仍拒绝）可能反映 `transformers` 与 `vLLM` 推理路径的细微行为差异（tokenization、采样、对话模板渲染）。

## 使用目的

**本 adapter 用于：**
- 安全对齐研究与红队测试
- 研究拒绝行为在 Transformer 各层中的分布
- 复现定层 LoRA jailbreak 实验
- 评估模型对参数高效攻击的鲁棒性

**本 adapter 不用于：**
- 生成用于实际用途的有害内容
- 绕过生产系统的安全措施
- 任何违反适用法律法规的活动

## 引用

```bibtex
@misc{qwen35-jailbreak-v5-last16,
  title={Layer-Targeted LoRA Jailbreak on Qwen3.5-27B Safety Alignment},
  author={neigezhu},
  year={2026},
  url={https://modelscope.cn/models/modelscope_mp_541616464/qwen3.5-27b-jailbreak-v5-last16},
}
```

## 许可证

本 adapter 在 **Apache License 2.0** 下发布，与上游 [Qwen3.5-27B](https://modelscope.cn/models/Qwen/Qwen3.5-27B) 许可一致。