---
title: Qwen3-VL-2B-Contract-Extraction-LoRA-V1
canonical_url: "https://www.modelscope.cn/models/HalHa8/Qwen3-VL-2B-Contract-Extraction-LoRA-V1"
md_url: "https://www.modelscope.cn/models/HalHa8/Qwen3-VL-2B-Contract-Extraction-LoRA-V1.md"
repository: HalHa8/Qwen3-VL-2B-Contract-Extraction-LoRA-V1
last_updated: 2026-08-30
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - Qwen/Qwen3-VL-2B-Instruct
base_model_relation: adapter
parameters: 8.7M
tensor_type:
  - F32
library_name:
  - lora
  - peft
  - safetensors
  - pytorch
frameworks:
  - pytorch
downloads: 6
stars: 1
tags:
  - qwen3-vl
  - lora
  - peft
  - transformers
  - contract
  - document-understanding
  - information-extraction
  - multimodal
  - structured-extraction
---

# Qwen3-VL-2B-Contract-Extraction-LoRA-V1

> Qwen3-VL-2B-Contract-Extraction-LoRA-V1 - HalHa8 在 ModelScope 开源的模型。Qwen3-VL-2B Contract Extraction LoRA V1

HalHa8/Qwen3-VL-2B-Contract-Extraction-LoRA-V1 是 ModelScope 魔搭社区上的 8.7M 参数text-generation模型，基于 Qwen/Qwen3-VL-2B-Instruct 构建。

- **Repository**: HalHa8/Qwen3-VL-2B-Contract-Extraction-LoRA-V1
- **Tasks**: text-generation
- **Parameters**: 8.7M
- **Base model**: Qwen/Qwen3-VL-2B-Instruct
- **Tags**: qwen3-vl, lora, peft, transformers, contract, document-understanding, information-extraction, multimodal, structured-extraction
- **Downloads**: 6
- **Stars**: 1
- **Last updated**: 2026-08-30

Source: https://www.modelscope.cn/models/HalHa8/Qwen3-VL-2B-Contract-Extraction-LoRA-V1

---

# Qwen3-VL-2B Contract Extraction LoRA V1

基于 **Qwen3-VL-2B-Instruct** 微调的多模态合同结构化信息抽取模型。

本模型使用 LoRA SFT 进行训练，目标是直接读取多页合同页面图片，并按照指定字段输出结构化 JSON。

> 当前版本为 **V1 实验版本**，主要用于验证「基于高置信度 chunk 标签进行多模态合同字段抽取微调」的可行性。

---

## Model Description

**基础模型**

`Qwen/Qwen3-VL-2B-Instruct`

**微调方式**

`LoRA + Supervised Fine-Tuning (SFT)`

**模型输入**

- 1～3 页合同页面图片；
- 字段抽取指令。

**模型输出**

```json
{
  "party_name": "...",
  "counterparty_name": "...",
  "governing_law": "..."
}
```

如果当前页面没有足够证据支持任何目标字段，则输出：

```json
{}
```

当前 V1 版本支持以下 **6 个字段**：

| # | 字段 | 含义 |
| --- | --- | --- |
| 1 | `party_name` | 甲方名称 |
| 2 | `counterparty_name` | 乙方名称 |
| 3 | `counterparty_signer_name` | 乙方签署人姓名 |
| 4 | `counterparty_signer_title` | 乙方签署人职位 |
| 5 | `governing_law` | 适用法律 / 管辖法律 |
| 6 | `contract_value` | 合同金额 |

模型要求**仅输出当前输入页面中具有明确证据支持的字段**，不应根据合同其他未提供页面进行推断。

---

## Intended Use

该模型主要用于：

- 合同页面结构化信息抽取；
- 多页扫描合同 / PDF 页面图片理解；
- 合同关键字段自动识别；
- 文档智能处理（IDP）相关研究与实验；
- 多模态大模型在合同抽取任务上的 LoRA 微调研究。

> **注意**：当前版本主要是实验与研究用途，并不建议未经人工校验直接用于具有法律效力的合同审查、法律判断或自动决策。

---

## Training Data

训练数据来源于公开 Hugging Face 数据集：

[`chenghao/sec-material-contracts-qa`](https://huggingface.co/datasets/chenghao/sec-material-contracts-qa)

原始数据共包含：

- **804 份合同**
- **6,584 个合同页面**
- 每份合同最多约 20 页
- 合同页面图片
- 按页排序的 `page_text`
- document-level 合同结构化字段标签

### Chunk 切分

为了适应 Qwen3-VL-2B 的上下文与显存限制，将每份合同按照：

- **chunk size = 3 pages**
- **overlap = 1 page**

进行切分。例如：

```
Page 1-3
Page 3-5
Page 5-7
...
```

最终生成 **3,133 个 multimodal chunks**。

### Document-level Split

为避免同一份合同的不同页面进入不同数据集造成数据泄漏，**首先按照合同进行划分，再进行 chunk 切分**。

| Split | Documents |
| --- | --- |
| Train | 644 |
| Validation | 80 |
| Test | 80 |
| **Total** | **804** |

### V1 Label Construction

原始数据集提供的是 **document-level labels**，并未直接提供每个三页 chunk 对应的字段标签。

因此 V1 首先利用合同 `page_text` 对 document-level 字段值进行页面级定位，再将高置信度字段映射到对应 chunk。

本版本只选择定位可靠性较高的 6 个字段：

`party_name`、`counterparty_name`、`counterparty_signer_name`、`counterparty_signer_title`、`governing_law`、`contract_value`

> 仅高置信度自动定位结果用于构建正样本。

### Safe Negative Samples

规则未识别到字段的 chunk **不会**直接被标记为 `{}`，因为：

> rule not found ≠ field does not exist

只有同时满足以下条件时，chunk 才被视为**安全负样本**：

1. 当前 chunk 中不存在目标字段的高置信或待审候选；
2. 原始 document-level 字段值在对应 `page_text` 中也没有明显出现。

最终训练数据分布如下：

| Split | Positive | Negative | Total |
| --- | --- | --- | --- |
| Train | 1,824 | 365 | 2,189 |
| Validation | 231 | 46 | 277 |
| Test | 206 | 41 | 247 |

- 负样本数量约为正样本数量的 **20%**；
- 占最终数据集总样本约 **16.6%**。

> **需要注意**：`page_text` 仅用于训练数据标签构建和验证，实际 Qwen3-VL 模型训练和推理输入为**合同页面图片**，而不是 OCR / `page_text`。

---

## Training Procedure

采用 **ms-swift** 对 Qwen3-VL-2B-Instruct 进行 LoRA SFT。

### 主要训练参数

| Parameter | Value |
| --- | --- |
| Base Model | Qwen3-VL-2B-Instruct |
| Training Method | LoRA SFT |
| LoRA Rank | 8 |
| LoRA Alpha | 32 |
| Target Modules | all-linear |
| Learning Rate | 1e-4 |
| Epochs | 3 |
| Train Batch Size | 1 |
| Gradient Accumulation | 4 |
| Effective Batch Size | 4 |
| Image Max Token Num | 1024 |
| Precision | BF16 |
| Attention | FlashAttention |
| Vision Encoder | Frozen |
| Aligner | Frozen |
| Gradient Checkpointing | Enabled |

### 训练环境

- ms-swift 4.4.2
- transformers 5.8.1
- PEFT 0.19.1
- PyTorch 2.10
- CUDA 12.8
- NVIDIA A10

> 单个 epoch 约包含 **548 个 optimizer steps**。

---

## Why SFT Instead of Continued Pre-Training?

本任务的目标不是让模型继续学习一般性的合同语言知识，而是学习明确的**输入输出映射**：

```
contract page images + extraction instruction
                    ↓
             structured JSON
```

因此属于典型的**监督学习任务**。

相比 Continued Pre-Training（CPT），SFT 可以直接利用字段级监督数据，让模型学习：

- 哪些字段**应该输出**；
- 哪些字段**应该省略**；
- 如何区分不同字段；
- 如何按照指定 JSON schema 输出结果。

CPT 更适用于利用大量无标注领域文本继续学习领域语言分布，而不能直接针对当前结构化字段抽取目标进行优化。

---

## Evaluation

测试集包含：

- **247** chunks
- **525** gold fields

### 评价指标

- Valid JSON Rate
- Chunk Exact Match
- Empty Chunk Accuracy
- Field-level Precision
- Field-level Recall
- Field-level F1
- Micro Precision / Recall / F1

### Base Model vs LoRA V1

| Metric | Base Model | LoRA V1 (Epoch 3) |
| --- | --- | --- |
| Valid JSON | 98.79% | **100.00%** |
| Chunk Exact Match | 0.40% | **48.99%** |
| Empty Chunk Accuracy | 2.44% | **87.80%** |
| Micro Precision | 0.1714 | **0.6530** |
| Micro Recall | 0.4781 | **0.6952** |
| Micro F1 | 0.2524 | **0.6734** |

相比未经微调的基础模型，LoRA SFT 显著降低了无依据字段的**过度抽取**，并显著提高了结构化字段抽取准确率。

### Per-field Results

| Field | Precision | Recall | F1 |
| --- | --- | --- | --- |
| `governing_law` | 0.875 | 0.885 | **0.880** |
| `party_name` | 0.706 | 0.740 | 0.722 |
| `counterparty_signer_name` | 0.607 | 0.635 | 0.621 |
| `counterparty_signer_title` | 0.549 | 0.661 | 0.600 |
| `contract_value` | 0.594 | 0.613 | 0.603 |
| `counterparty_name` | 0.540 | 0.581 | 0.560 |

Epoch 3 共预测 **559** 个字段，其中：

| 指标 | 数值 |
| --- | --- |
| TP | 365 |
| FP | 194 |
| FN | 160 |

### Training Epoch Analysis

| Model | Eval Loss | Micro F1 | Chunk Exact | Empty Accuracy |
| --- | --- | --- | --- | --- |
| Base | – | 0.2524 | 0.40% | 2.44% |
| Epoch 1 | 0.1550 | 0.6539 | 47.37% | 80.49% |
| Epoch 2 | 0.1416 | 0.6557 | 48.18% | 85.37% |
| Epoch 3 | 0.1525 | **0.6734** | **48.99%** | **87.80%** |

**结论**

- 主要性能提升发生在第一个 epoch；
- Epoch 3 的 validation loss 相比 Epoch 2 有所反弹，但字段级 Micro-F1 仍继续提升，因此 **token-level validation loss 与最终结构化抽取性能并不完全一致**；
- 对于结构化字段抽取任务，仅根据 language-model loss 选择最佳 checkpoint 可能并不理想，后续更适合使用 **validation Micro-F1 等任务级指标**进行 checkpoint selection。

---

## Error Analysis

对 Epoch 1 在 Test247 上产生的 **283 条表面字段错误**进行了人工检查。

| Type | Count | Ratio |
| --- | --- | --- |
| Confirmed model error | 224 | 79.2% |
| Questionable gold label | 37 | 13.1% |
| Incorrect gold label | 21 | 7.4% |

约 **20.5%** 的表面错误涉及标签本身存在疑问或错误。

### 主要模型错误类型

- `party_name` / `counterparty_name` 角色混淆；
- signer 字段过度抽取；
- 字段值遗漏；
- contract value 语义混淆；
- 部分视觉文字识别和格式问题。

---

## Limitations

### Label Quality

V1 chunk labels 是由 document-level 标签结合规则定位**自动构建**的，并非全部经过人工逐条标注。

人工错误分析表明，部分评测标签仍存在错误或不确定性，因此当前测试指标应理解为：

> 模型相对于 **Rule-V1 标注体系**的表现，而不完全等同于真实世界合同抽取准确率。

### Party Role Ambiguity

`party_name` 与 `counterparty_name` 在部分合同页面中缺少充分的局部角色信息，因此容易发生双方实体角色混淆。

### Signer Extraction

正文中出现的人名或职位有时可能被误识别为签署人信息。

### Contract Value

不同合同中的金额可能表示工资、费用、交易金额、奖励金额或其他补偿，字段定义仍存在一定语义复杂性。

### Limited Fields

V1 当前仅训练 **6 个字段**，尚未覆盖完整合同字段体系。

---

## Future Work

下一阶段计划构建 **V2 annotation pipeline**。

与 V1 根据 document-level labels 进行规则定位不同，V2 将使用**独立 Teacher Model**：

```
chunk page_text
       ↓
Teacher Model
       ↓
field + value + textual evidence
```

Teacher Model **不读取原始 document-level candidate labels**，而是直接根据当前 chunk 文本判断其中真实存在的字段。

**目标包括：**

- 提高 chunk-level 标签准确率；
- 降低 party / counterparty 角色错误；
- 改善复杂日期、期限、termination 等语义字段；
- 扩展到更多合同字段；
- 比较 Rule-V1 与 Teacher-V2 数据质量对模型性能的影响。

---

## How to Use

该仓库保存的是 **LoRA Adapter**，不是完整的 Qwen3-VL-2B 模型。

| 组件 | 名称 |
| --- | --- |
| Base Model | `Qwen/Qwen3-VL-2B-Instruct` |
| Adapter | `HalHa8/Qwen3-VL-2B-Contract-Extraction-LoRA-V1` |

使用 ms-swift 可以加载 Base Model 与该 LoRA Adapter：

```bash
swift infer \
  --model Qwen/Qwen3-VL-2B-Instruct \
  --adapters HalHa8/Qwen3-VL-2B-Contract-Extraction-LoRA-V1 \
  --temperature 0 \
  --max_new_tokens 512
```

建议推理时继续使用与训练阶段一致的字段抽取 Prompt，并要求模型：

- 仅输出具有当前页面明确证据支持的字段；
- 不输出 `null` / `None` / `N/A`；
- 不根据未提供页面推断信息；
- 如果无目标字段则返回 `{}`。

---

## Framework Versions

- PEFT 0.19.1
- ms-swift 4.4.2
- Transformers 5.8.1
- PyTorch 2.10
